吐槽面部识别口罩（鲁棒口罩人脸识别）

吐槽面部识别口罩（鲁棒口罩人脸识别）论文大纲 我们首先在2.1节中采用口罩和人脸图像混合的方法生成口罩人脸，然后在2.2节中给出了通过自学习清洗的细节来净化噪声污染的数据集，在2.3节中，我们建立了一个新的损失函数，称为类别平衡损失，在第3节中，我们将简要介绍实现中的一些技巧，第四节给出了实验结果和消融研究。为了解决上述困难，我们在ICCV 2021-口罩人脸识别(MFR)挑战中提出了一个健壮的解决方案，该方案从已有的人脸数据中生成口罩人脸，解决了原始数据的稀缺性，同时，还引入了清洗管道来处理现有数据集的噪声，此外，我们提出类别平衡损失(Balanced curriculum Loss BCL)来减少长尾分布和困难样本的影响。本文主要研究口罩鲁棒人脸识别问题，口罩通常遮住脸部的大部分，导致有效特征的提取明显减少，由于这种限制，即使是最先进的人脸识别模型也面临着巨大的挑战，基于此，本文试图提供一个可靠的解决方案，具体地说，我

论文收录于iccv2021，本文为MFR 口罩人物身份鉴别全球挑战赛方案分享，详细介绍了他们在数据、模型、损失函数等方面的解决方案。

论文题目：

Towards Mask-robust Face Recognition

摘要

本文主要研究口罩鲁棒人脸识别问题，口罩通常遮住脸部的大部分，导致有效特征的提取明显减少，由于这种限制，即使是最先进的人脸识别模型也面临着巨大的挑战，基于此，本文试图提供一个可靠的解决方案，具体地说，我们介绍了一种基于UV纹理映射的口罩-脸图像混合方法，以及一种基于自学习的清洗管道，用于处理噪声训练数据集，然后，考虑长尾分布和困难样本的影响，引入了类别平衡损失函数，实验结果表明，本文提出的解决方案在InsightFace ms1m Track中分别获得了84.528% @ Mask和88.355% @ MR-ALL的识别率，在论文提交时排名第3。

1. 简介

新冠肺炎大流行期间戴口罩是一种非常有效的防护措施，然而，这一措施的实施大大降低了最先进的人脸识别模型的性能，因此，必须对现有的人脸识别模型进行升级，以应对这一严峻挑战，首先，口罩的使用导致了将近一半的有用的人脸信息被减少，这直接影响了模型提取人脸特征的质量，其次，对于口罩人脸，缺乏类似于Glint360k和WebFace260M的大型人脸数据集，这对模型是致命的。

为了解决上述困难，我们在ICCV 2021-口罩人脸识别(MFR)挑战中提出了一个健壮的解决方案，该方案从已有的人脸数据中生成口罩人脸，解决了原始数据的稀缺性，同时，还引入了清洗管道来处理现有数据集的噪声，此外，我们提出类别平衡损失(Balanced curriculum Loss BCL)来减少长尾分布和困难样本的影响。

论文大纲 我们首先在2.1节中采用口罩和人脸图像混合的方法生成口罩人脸，然后在2.2节中给出了通过自学习清洗的细节来净化噪声污染的数据集，在2.3节中，我们建立了一个新的损失函数，称为类别平衡损失，在第3节中，我们将简要介绍实现中的一些技巧，第四节给出了实验结果和消融研究。

2. 方法

2.1. 一种口罩和人脸图像融合方法

密集的口罩人脸数据集训练是获得可靠的口罩人脸识别模型的必要条件，为了为训练提供足够的数据，一种可行的解决方案是在人脸图像上绘制口罩，然而，目前流行的位置粘贴方法无法提供真实、灵活的口罩人脸数据，受PRNet的启发，我们采用口罩和人脸的图像混合方法，以获得更自然的口罩人脸。

具体来说，我们采用口罩到人脸的纹理映射方法，然后通过渲染生成口罩人脸图像，该技术的原理是为口罩图像生成UV纹理图，并使用3D方法重建人脸图像，然后基于纹理空间对口罩图像进行混合，通过我们使用的面具-脸混合图像方法，口罩灵活地将不同的区域贴合在人脸上。

这里，我们使用8种口罩，根据现有的人脸数据库生成8种口罩人脸，如图1所示，此外，我们使用UV映射来克服平面投影中口罩表面不均匀或面部边缘弯曲的问题，这往往会导致人脸与口罩的拟合不理想，此外，采用渲染过程生成不同的渲染效果，如调整口罩角度和阴影效果。

2.2. 自学习清洗

训练数据的纯度是影响最先进的人脸识别模型性能的一个重要因素，大多数的人脸识别模型都是建立在假设整个数据集是干净的基础上的，然而这一假设并不成立，数据集的低纯度将显著降低模型的性能，竞赛提供了噪声污染的MS1M和WebFace260M数据集，这使得产生高噪声口罩的人脸数据集成为必然，因此，我们设计了一种可扩展的、高效的基于自学习的清洗方法来净化噪声污染的数据集。

基于自学习的总体清洗框架如图2所示，具体介绍如下:(1)首先用MS1M-V3训练初始模型对原始数据集进行清洗，主要包括IDUnion、id间清洗和id内清洗，(2)然后在(1)中清理过的数据集上训练第i个模型，(3)通过将第i个模型初始化为(i 1)-th模型来迭代这个过程，在这里，首先执行类内id清理，然后执行类间id清理。

ID-Union 在这一段中，将介绍ID- union过程来扫描重复的ID文件夹

1、DBSCAN算法对每个ID文件夹中的人脸进行聚类。

2、计算DBSCAN得到的最大聚类的中心特征。

3、删除中心特征重复的ID信息。

Inter-ID清洗 针对不同身份之间的噪声，我们利用身份之间的中心特征对数据集进行净化，如图3所示

具体来说

1、对id并集后的中心特征进行相似度搜索。

2、如果相似度高于0.75，则合并文件夹。

经过Inter-ID清洗后，id相同但标签不同的人脸样本被合并，这样就大大滤除了类内的噪声水平。

Intra-ID清洗 针对同一身份内的数据噪声，我们利用身份内的中心特性来获得干净的数据集，如图3所示。

具体来说

1、更新合并后的人脸集群的中心特征。

2、对最大中心特征和各个人脸特征进行相似度搜索。

3、如果相似度低于0.25，则删除人脸。

id内清洗(Intra-ID Cleaning)后，去除同一身份内标记错误的人脸样本作为异常值、这使得我们可以有效地抑制由于不正确的标记所带来的数据噪声。

自学习清洗 在这个过程中，我们通过将第i个模型初始化为(i 1)-th模型来进行自我学习，在这里，每个id间和id内清理都是由学习到的模型在初始数据集上执行的。

值得注意的是，我们使用的数据集清理管道依赖于中心特性，这与CAST不同，该方案具有良好的鲁棒性，易于数据集的净化。

2.3. Balanced Curricular Loss based Model

Curricular Loss 我们使用IR SE-101的Curricular Loss作为基础模型，更具体地说，Curricular Loss是强调在不同训练阶段自适应调整易样本和难样本的相对重要性，为了从coursearface框架中提取模型输出，我们首先生成Curricular Loss

其中cos (θyi m)和N（t(k)， cos θj）为正负的余弦相似度函数，然而，它缺乏对所提供数据集的长尾分布的考虑，这导致了对模型的有偏见的估计。

Balanced Softmax Loss 在我们看来，长尾分布将给口罩人脸识别任务带来巨大的挑战，本节介绍一个名为balanced softmax的损失函数，与主流的多类损失支持算法在类平衡数据集中获得满意的性能不同，balanced softmax考虑了训练和测试过程中罕见类别的标签分布迁移和梯度问题，原始公式详细为:

Balanced Curricular Loss 结合Curricular Loss和balanced Softmax，我们提出了我们的Balanced Curricular Loss，BCL充分利用了困难样本，同时强调了长尾效应分布，我们将Balanced Curricular Loss 定义为:

3.技巧包

在本节中，我们将介绍实现中的一些技巧。

3.1. 颜色抖动

采用颜色抖动随机改变人脸图像的亮度、对比度和饱和度。

3.2. 水平翻转

水平翻转在所有设置的训练过程中使用。

3.3. 裁剪策略

考虑到口罩面部特征的减少，这类似于在人脸识别模型中引入困难样本，因此，我们采用裁剪策略来模拟困难人脸样本，以提高识别模型的性能。

3.4. 标签平滑

我们尝试将标签平滑作为一种正则化策略，并在本文提交时发现它带来了一些改进。

4. 实验

在本节中，我们将展示大量实验的结果，以证明我们的解决方案的性能，然后，我们进行了详细的消融研究，以进一步研究我们的方案。

训练细节 我们使用32个V100 GPU对模型进行24 epoch的训练，单个GPU的批处理大小设置为160，用SGD优化器训练模型，动量为0.9，权值衰减为5e-4，学习率从0.1开始，在10、18、22 epoch除以10，尺度s设置为128，边距m设置为0.5。

4.1. MFR协议挑战的结果

我们评估了提出的方法在MFR挑战协议上的性能，InsightFace ms1m赛道的结果如表2所示，测试数据集主要来自InsightFace Recognition test (IFRT)，在表2中，我们的方法实现了84.528% @ Mask和88.355% @ MR-ALL性能，在本文提交时排名第三，与w/o clean和w/o口罩场景相比，我们的方法在口罩和MR-ALL条件下都显示出更好的性能，表2的结果证明了我们提出的方法的优越性，同时，提出的BCL的结果如表1所示。

4.2. 不同比例的口罩脸

通过所有数据集中不同比例的口罩人脸来评估添加的口罩对模型性能的影响，如表3所示，比例分别设置为5%、10%、15%、20%和25%，很明显，当比例为5%时，MR-ALL达到最大值86.185%，然而，当比例调整为25时，尽管MASK增加到82.682%，MR-ALL却下降到最低的81.7%。这说明，当口罩人脸与正常人脸同时训练时，口罩人脸的百分比是权衡模型效率的一个重要参数。

4.3. 各种阈值设置的效果

我们在不同的id内清洗阈值(从0.05到0.5)上验证了我们提出的解决方案，如表4所示，我们的方法实现了73.693% @mask和86.153% @ MR-ALL，阈值为0.25，如表4所示，我们观察到，当设置一个宽松的阈值时，明显的错误人脸被清洗得相当好，但严格的阈值会导致负面的效果，这是由于一些困难样本在清洗时伴随着噪声，这些困哪样本对模型意义重大，同时增加了清洗的难度，因此，就性能而言，我们使用0.25阈值作为合适的候选值，图4显示了数据集中对应阈值设置的图像数量的变化。

5.结论

在这项工作中，我们提出了我们的解决方案与口罩人脸识别工作的细节，首先，我们使用一种新的口罩映射方法生成高质量的口罩人脸，同时采用一种自学习的清洗方法来去除数据集中的噪声，然后引入一种新的Balanced Curricular Loss算法来处理长尾分布和困难样本，此外，我们还探索了在训练中混合所有数据集时口罩人脸的最佳比例，我们的解决方案通过适当的设置显著降低了噪声对模型的影响，ICCV 2021-MFR挑战的实验结果证明了所提出方法的有效性。