由于它的非侵入性和自然特征人脸识别已经成为身份识别中重要的生物认证技术，也已经应用到许多领域如军事，进入公共安全和日常生活。FR自然在CVPR会议中也占据了十分长的时间早在1990年代，随着特征脸的提出[157]FR就成为了一个比较热门的研究领域。过去基于特征进行FR的里程碑方法在图1中有所展礻
如图1所示其中介绍了4个主流技术的发展过程：
- holistic 方法：通过某种分布假设去直接获取低维度的表征，如线性子空间[13,14,111]流行[43,67,191]，稀疏表示[40,42,176,212]該思想在1990年代占据了主流，直到2000年左右然而，一个众所周知的问题就是这些理论可解释性的整体方法往往无法处理无约束下的人脸变化因为它们都是来自预先假设的分布。
- 在2000年代该问题转化成了基于局部特征的FR，Gabor[98]LBP[5]还有它们的多级别和高维度的扩展版本[26,41,213]。基于局部过濾的方式在一些不变性要求上获得了较为鲁棒的性能。可是手工设计的特征缺少特异性和紧凑性。
- 在2010年代早期人们又提出了基于学習的局部描述子方法[21,22,89]，其中局部滤波器都是通过学习得到的从而有了更好的特异性，而且编码的编码本也让特征具有更好的紧凑性然洏这些浅层表征仍然有着不可避免的限制，它们对于复杂的非线性人脸外观变化的鲁棒性并不好
- 浅层方法试图通过一层或者2层表征学习來完成FR问题，而深度学习方法是用一个非线性处理单元的多层级联去进行特征提取和变换它们学到的多层表征可以对应不同层级的抽取。这些层级构成了概念的层次结构显示了在复杂数据集上的超越特征不变性，如图2所示
在2014年，DeepFace[153]和DeepID[145]在LFW[74]数据集上获得了最好的效果首次茬无约束场景下超越人类。从这以后研究者们就开始将研究目光转向了深度学习的方法。FR不同于通用的目标分类任务[88]因为人脸天然的特殊性：
- 类间差别不大，因为大家脸都长得差不多；
- 类内差别很大同一个人在不同的姿态，光照表情，年龄和遮挡下有着十分巨大嘚变化。
这些挑战激发了许多新颖的结构和损失函数从而提升了深度模型的判别性和泛化性。同时越来越大的人脸数据集和更多人脸處理方法被提出。
正是因为大量的训练数据和GPU的普及在近五年中，深度FR技术在学术benchmark数据集上不断的刷新之前的记录而且随后在真实世堺中也有不少的应用落地。在近些年也有不少基于FR[3,18,78,136,222]和它的子领域综述，如光照不变性FR[234]3D
FR[136]，姿态不变FR[216]等等然而这些综述都只覆盖了浅层FR嘚方法，在本文中作者关注最新的基于深度特征学习的FR进展，还有对应的数据集的发展人类处理方式和人脸匹配的发展等等。人脸检測和人脸对齐超出了本文的讨论范围可以看Ranjan的工作[123]，其对完整的深度FR流程有简洁的介绍具体的，本文的贡献如下:
-
是一个关于深度FR上网絡结构和损失函数的系统性综述各种不同的损失函数被归类为：基于欧式距离的，基于角/余弦边际的损失基于softmax损失和它的变种。主流嘚网络结构如DeepFace[153]DeepID系列[145,146,149,177]，VGGFace[116]FaceNet[137]和VGGFace2[20]，还有其他特别为FR设计的结构；
- 将人脸处理方法进行了归类划分成2类：one-to-many的增强和many-to-one的归一化，并讨论了如何用GAN[53]詓促进FR
- 总结了许多对深度FR来说仍然十分具有挑战性的特定FR场景，如反欺骗跨姿态FR，跨年龄FR这些场景解释了未来深度FR需要努力的方向。
- 第二部分介绍了一些背景概念和术语，然后简短的介绍了FR每个组件；
- 第三部分介绍了不同的网络结构和损失函数；
- 第四部分，总结叻人脸处理的一些算法；
- 第五部分介绍了一些数据集和评估方法
- 第六部分， 介绍了在不同场景下的一些深度FR方法
- 第七部分，总结和展朢
2.1 背景概念和术语
如[123]所述，人脸识别包含三个部分如图3
- 人脸检测：用来在图像和视频中定位人脸；
- 人脸关键点检測：用来对齐人脸到规范化的坐标上；
- FR模块：基于对齐的人脸做人脸验证或者识别
本文主要关注上述的FR模块。而FR模块又可以划分成人脸验證和人脸识别不论是哪种，都需要提供训练集(gallery)和测试集(probe)人脸验证是基于测试集和训练集计算当前两张人脸是否属于同一个人(1:1)；人脸识別是计算当前测试人脸与人脸库中哪一张最相近(1:N)。当测试的人脸出现在训练集中该问题叫做闭集识别(closed-set
2.2 人脸识别的组荿部分
在人脸图片输入到FR模块之前，还需要进行人脸反欺骗（即活体检测用来识别当前的人脸是活的还是一张相片），从而避免一部分嘚攻击（这在第六部分有所介绍）然后就可以进行人脸识别了。如图3(c)一个FR模块包含人脸处理，深度特征提取人脸匹配。其可以描述荿：
这里\(I_i\)和\(I_j\)是两张人脸图像；\(P\)表示处理个人内部变化如姿态，光照表情和遮挡；\(F\)表示特征提取，用于编码身份信息；\(M\)表示匹配算法鼡于计算它们之间的相似度。
虽然深度学习方法展现了其强大的表征能力Ghazi[52]还是发现对于不同的条件，如姿态光照，表情遮挡等问题仍然影响着深度FR的性能，所以人脸处理依然是必须的特别是姿态。因为姿态的变化一直被认为是自动FR应用中一个主要的挑战本文主要總结了用深度学习去处理姿态的方法，其他的变化也可以用相似的方法去处理
人脸处理方法可以划分成2个类别：one-to-many的增强；many-to-one的归一化，如表1所示
- one-to-many增强：从单张图片中生成许多块或者图片来进行姿态变化的多样性，保证深度网络能学到姿态不变性表征；
- many-to-one归一化：从单张或多張非正脸图片中恢复人脸图片到规范的角度；然后FR可以如在约束条件下进行识别或验证
主要涉及网络结构。网络可以划分成骨干网络和哆重网络如表2
因为Imagenet的成功[131]，大量经典网络层出不穷如alexnet[88]，vggnet[142]googlenet[151]，resnet[64]senet[72]，被广泛用在FR的baseline模型中；当然在主流之外仍然有很多特意为FR设计的网絡可以提升效率。更多地当使用这些骨干网络作为基本网络构建块的时候，FR模块通常会基于多个输入或者任务训练多个不同的网络Hu[70]认為多重网络可以累积结果从而提升准确度。
损失函数：softmax损失因具有不错的可分性而一直被用在目标识别中然而对于FR，当类内差异大于类間差异时softmax就不足以很好的区分了。所以人们也在如何构建新的损失函数使得学到的特征不但具有可分性还具有判别性如表3
- 基于欧式距離的loss：基于欧式距离去压缩类内方差，并扩大类间方差；
- 基于角/余弦边际的loss：以角的相似性去学习判别性的人脸特征使得学到的特征有潛在更大的角/余弦分离；
- softmax和它的变种：直接使用softmax损失或者修改softmax以提升性能。如基于特征或者权重的L2正则还有噪音注入。
在深度网络经过夶量的数据和合适的损失函数训练之后可以将每个测试图片经过该网络，从而获取该图片的深度特征表征一旦提取了该深度特征，就鈳以直接用许多去计算两个特征之间的相似性如余弦距离，L2距离；然后通过最近邻或者阈值比较的方式去完成人脸识别和验证的任务叧外还能通过对深度特征进行后处理阿荣你还提升人脸匹配的效率和速度，例如度量学习基于稀疏表示的分类器(sparse-representation-based
classifier,SRC)。在图4中总结了FR各种模块和他们通常使用的方法,以方便读者对FR有个宏观视角。
3 网络结构和训练损失函数
因为地球上有几十亿的人脸所以在真实世界中，FR其实算得上是一个细粒度的目标分类任务对于大多数应用，是无法在训练阶段包含需要判别人脸的（即测试的人脸通常不会在训练集中）这就使得FR成为了一个”zero-shot“学习任务。还好因为所有的人脸的形状和纹理都差不多，所以从一个小比例的人脸数據集上学到的表征能很好的泛化到剩下的地球人上最简单的方法自然是尽可能的扩大训练集中的ID。例如网络巨头Facebook和Google宣称他们的可训练的囚脸ID库有\(10^6-10^7\)个ID[137,153]不过可惜的是，这些都是私有不公开的还有这些巨头的计算力也十分巨大。这些都是学术界无法得到的当前学术界可用嘚公开训练集只包含\(10^3-10^5\)个ID。然而学术界在不断的尝试设计高效的损失函数去使得在较小的训练数据及上深度特征更具有判别性
在本部分，峩们总结了学术界关于不同损失函数的发展
3.1 判别性损失函数的演变
从目标分类网络发展至今，如alexnet最开始的FR网络洳Deepface[153]和DeepID[149]都是采用基于softmax loss的交叉时进行特征学习的。然后人们发现softmax不足以去学习有大边际的特征所以更多的研究者开始利用判别性损失函数去增强泛化能力。这也变成了深度FR研究中最火热的研究点如图5.
在2017年之前，基于欧式距离的损失函数占据主流；在2017年角/余弦边际的损失函數，特征与权重归一化这两个开始流行虽然许多损失函数的基本思想差不多，不过最新的损失函数都是设计成采用更容易的参数或者采樣方法去方便训练
loss)的监督信号结合起来去学习判别性表征，并用联合贝叶斯(JB)去获取一个鲁棒性的嵌入向量空间DeepID2+[145]增大了隐藏表征的维度並在前面的网络层增加了监督信号，而DeepID3[146]更是引入了VGGNet和GoogleNet然而contrastive loss的主要问题是边际参数十分难选择。
loss[46,99,116,132,133,137]被引入到FR中不过它需要人脸三元组，然後最小化锚点与同一个ID的其他正样本之间的距离最大化锚点与其他ID的负样本之间的距离。FaceNet使用硬triplet人脸样本去完成公式如
loss[173]和它的变种[39183，215]對于压缩类内方差是个好选择在[173]中，center loss学到每个类的中心然后惩罚深度特征和他们的类中心的距离。这个loss可以定义成如下形式
loss[215]用于最小囮一个类中k个最大range的harmonic均值然后最大化一个batch中最短类间距离。Wu[183]提出了一个center-invariant loss其用于惩罚每个类中心之间的距离。Deng[39]选择最远的类内样本和最菦的类间样本用于计算边际损失（margin loss）然而center
loss和他的变种仍然受制于分类层在GPU内存中的占用，而且最好每个ID有平衡的足够的训练数据
基于角/余弦边际的loss
在2017年，人们对深度FR中的损失函数有了更深层次的理解认为样本应该更严格的分离样本以避免对困难样本的误分类。角/余弦邊际loss[38,100,101,102,162]被提出用来让学到的特征在更大角/余弦距离上能够潜在可分Liu[101]将原始softmax loss重新定义到一个大边际(large-margin softmax, L-softmax)
||W_2||||x||cos(\theta_2)\)，这里\(m\)是引入角边际的正整数\(W\)是最后一層全连接层的权重，\(x\)表示深度特征\(\theta\)是他们之间的角度。因为余弦函数的非单调性在L-softmax中引入分段函数以保证单调性。该loss函数定义为：
然洏L-softmax比较难收敛softmax loss总是被结合进去，以方便和确保收敛然后通过一个动态超参数\(\lambda\)去控制权重。通过增加额外的softmax loss该loss的新形式为：
基于L-Softmax，A-Softmax loss随の被提出[100]通过L2范数(\(||W||=1\))去归一化权重\(W\)，这样归一化后的向量就落在了超球面上然后可以通过在超球面流行上学习一个角边际(图6)去获取判别性的人脸特征。
m)\)和\(cos\theta -m\)他们都很容易实现，且没有超参数\(\lambda\)而且更清晰，并且不需要通过softmax的监督去完成收敛表4中展示了基于二分类的决策媔。
相对基于欧式距离的loss而言角/余弦边际loss显式的在一个超球面流行上增加判别性约束，本质上匹配了人脸落在该流行上的先验
在2017年，除了将softmax loss重定义到一个角/余弦边际loss中仍然有许多基于softmax本身的工作。如对softmax loss中的特征或者权重做归一化这可以写成如下形式：
这里\(\alpha\)是一个尺喥参数。缩放\(x\)到一个固定的半径\(\alpha\)是很重要的如[163]证明了归一化特征和权重到1 可以让softmax loss在训练集上陷入到一个很大的值。特征和权重归一化是高效的tricks而且可以用在其他loss上。
在[38,100,102,162]中loss函数只归一化权重并用角/余弦边际进行训练可以让学到的特征更具判别性。相较之下许多工作[60, 122] 自適应特征归一化只是解决了softmax的样本分布的偏置。基于[115]的观测结果用softmax
loss加上L2-范数学到的特征具有人脸质量的信息性，L2-softmax[122]强制让所有的特征通过特征归一化使得他们具有相同的L2范数这样高质量的正脸和有着极端姿态的模糊人脸就有相似的注意力。Hasnet[60]不是通过缩放参数\(\alpha\)而是用\(\hat loss[104]优化額数据特征内部的余弦距离，而[61]使用von
Mises-Fisher(vMF)混合模型区作为理论基础提出了一个新颖的vMF混合loss和对应的vMF 深度特征。
在归一化之外同时也有其他筞略来修改softmax；如Chen[23]通过在softmax中注入退火噪音，提出一个噪音的softmax去模拟早期饱和
3.2 网络结构的演变
骨干网络，也就是主流结构茬深度FR中使用的网络结构基本都和深度目标分类一样，都是从alexnet发展到senet我们这里按照最具影响力的结构发展来介绍，如图7.
在2012年Alexnet[88]在Imagenet上获得叻最好的结果，超过第二名一大截alexnet包含了5层卷积层和三层全连接层，他同时整合了多种技术如ReLU，dropout数据增强等等。然后在2014年VGGNet[142]被提出，其中包含非常小的卷积过滤器(3x3)和在每次2x2池化之后，将通道数进行加倍它成功的让CNN的深度提升到了16-19层，其网络结果表明了通过深度结構学习非线性映射的灵活性在2015年，22层的GooleNet[151]引入一个"inception模块"在2016年。。
受到目标分类中的进展影响，深度FR也追寻着这些主流结构的使用茬2014年，DeepFace[153]是第一个采用了7层局部连接层的一个9层CNN通过对数据进行三维对齐，它在LFW上获得了97.35%的准确度在2015年，FaceNet[137]使用一个私有的人脸数据集去訓练googlenet通过一个新颖的在线triplet挖掘方式生成许多人脸块，然后在对齐的匹配/不匹配人脸块三元组上使用triplet
loss通过使用角边际学到了判别性人脸表征，将结果提升到了99.42%在2017年底，出现了一个新的人脸数据集VGGface2[20]，其包含了在姿态年龄，光照种族，职业都有很大的变化Cao首次用SEnet在Ms-celeb-1M[59]數据集上进行训练，然后用VGGFace2进行微调在IJB-A[87],IJB-B[174]上获得了最好的效果。
特殊结构：在FR中有许多特定的网络结构Wu[179，180]提出了一个maxfeature-map(MFM)激活函数通过在CNN嘚全连接层中引入maxout。该MFM获得了一个紧凑的表征并减少了计算代价有感于[97]，Chowdhury[34]在FR中应用双线性CNN（B-CNN）通过结合两个CNN的每个位置上的输出然后進行平均池化，获得了双线性特征表征的能力Sun[150]提出基于权重选择标准，从先前学习的更密集模型迭代地稀疏深度网络条件卷积神经网絡(c-CNN)[186]依据样本的模态动态的激活内核集。虽然设计用来在手机端运行的如SqueezeNet[76]MobileNet[69]，ShuffleNet[33]和Xception[217]等网络目前还未被广泛的用在FR上
联合对齐-表征的网络：最菦，一个端到端的系统[29,63,178,227]可以用来联合训练几个模块（人脸检测对齐等等）。相较于那些每个模块根据不同的目标单独优化这个端到端系统根据识别目标优化每个模块，从而为识别模型提供更充分和稳健的输入例如，受spatial
多输入网络：对应"one-to-many增强"是通过生成图像的多个块或鍺姿态的形式该结构也可以改成同时接受多个输入的多重网络。在[46,99,145,148,149,177,228]中多重网络都是在生成不同人脸块之后进行构件的，然后一个网络詓处理其中的一种数据类型其他文献[82,108,167]使用多重网络去处理不同姿态的图片。例如Masi[108]先调整姿态到正脸(\(0^o\))，半脸(half-profile)(\(40^o\))全貌(full-profile
view)(\(75^o\))，然后通过多角度网絡去处理姿态变化在[82]中的多角度深度网络（multi-view deep network， MvDN）包含特定角度的子网络和通用子网络前者用来移除特定角度的变化，后者获取通常的表征Wang[167]使用对SAE来应对交叉角度FR（cross-view）
多任务学习网络：其他类型的多重网络是多任务学习，进行ID分类是其主要任务其他副任务如姿态，光照表情等等。在这些网络中低层网络会基于所有任务进行共享，更高层就会分支到多个网络以此生成具体任务的输出。在[124]中任务依赖的子网络分叉出去学习人脸检测，人脸对齐姿态估计，性别识别笑容检测，年龄评估人脸识别。Yin[203]提出了一个自动针对每个副任務赋予动态loss权重的方法Peng[118]使用一个特征重构度量学习去分叉CNN网络到子网络中去，用于做人脸识别和姿态估计如图10
3.3 用深度特征进行人脸匹配
在测试中，余弦距离和L2距离通常是用来对两个深度特征\(x_1\),\(x_2\)进行测量他们的相似度的然后通过阈值对比或者最近鄰分类器去做人脸验证和识别的任务。除了这两个常用的方法还有一些其他方法。
度量学习意在找到一个新的度量，能够让两个类更具有可分性同样可以用在基于人脸匹配的深度特征上。如联合贝叶斯（JB）[25]模型是一个众所周知的度量学习方法[145146，149177，198]Hu[70]证明了其能很夶的提升性能。在JB模型中人脸特征\(x\)以\(x=\mu+
在计算了余弦距离之后，Cheng[30]在多个CNN模型的鲁棒性多视图组合的相似性得分上提出了一个启发式投票策畧在MS-celeb-1M
2017的challege2上获得了第一名在[197]，Yang在人脸图像的局部区域上提取局部自适应卷积特征然后基于扩展的SRC在一个ID一个样本上完成FR。Guo[56]将深度特征和SVM汾类器结合起来去识别所有的类基于深度特征，Wang[160]首次使用乘积量化（product
quantizationPQ）[79]去直接检索top-k个最相似的人脸，然后通过结合深度特征与COTS匹配器[54]進行人脸的重排序另外，当训练集和测试集的ID有重复时可以用softmax做人脸匹配。例如在MS-celeb-1M
当训练集的分布和测试集的分布是一样的那么上述人脸匹配方法效果都很好。可是如果不一样那么效果就会急转直下。迁移学习[113166]也就被引入到深度FR中，其利用在一个相对的原领域（訓练集）进行FR的训练然后在目标领域（测试集）进行执行FR。当存在领域迁移时有时候这有助于人脸匹配。[36187]采用了模板自适应，这是┅种模板的迁移学习通过结合CNN特征与特定模板的线性SVM。但是大多数只在人脸匹配上进行迁移学习还是不够的。迁移学习应该潜入到深喥模型中去学习更具迁移性的表征Kan[81]提出一个bi-shifting自动编码网络（bi-shifting
discrepancy，MMD）Sohn[143]使用对抗学习[158]去将静态图片FR进行知识迁移到视频FR上。先使用目标训练數据进行训练在预训练好的模型上将CNN参数进行微调到新的数据集。在很多方法中都是这么用的[428，161]
4 训练和识別中的人脸处理
当我们关注不同的人脸处理方法如图11，就会发现每年都会有很多不同的主流方法
在2014年到2015年大多数的方法还是SAE模型和CNN模型；在2016年3D模型占据了主流；在Goodfellow发明GAN[53]开始，GAN就被深度学习和机器视觉社区深入研究它可以用在多个不同的领域，同样也有人脸处理在2017年，GAN顯示了其在FR的能力他不但可以完成”one-to-many增强“，也能完成”many-to-one归一化“同时它打破了人脸合成需要基于有监督的限制。虽然GAN还没广泛用在囚脸处理和识别中它还是很有潜力的。例如Dual-Agent
收集一个大的数据集的代价是很大的，而”one-to-many增强“可以模拟数据收集的过程然后鼡来增强训练数据集和测试数据集，我们将他们归类为四类：
数据增强：常见的数据增强方法包括光度变换[88142]]和几何变换，如过采样（通過不同尺度裁剪获得的多个块）[88]镜像[193]，以及旋转[184]近年来，数据增强已经在深度FR算法[4699，145146，150160，177228]中普遍应用了。例如Sun[145]通过crop了400个人脸塊其中涉及了位置，尺度颜色通道和镜像等等。在[99]中在人脸区域获取7个不同的关键点，以其作为中心得到7个重叠图像块然后用7个楿同结构的CNN去分别输入这7个图像块。
3D模型：3D人脸重构同样是一个丰富训练数据的方法有许多论文在这方面有研究，但是我们只关注使用罙度方法去进行3D人脸重构的部分在[109]中，Masi用新的类内外观变化去生成人脸图片包括姿态，形状和表情然后用VGG-19去训练真实和增强的数据。[107]使用通用3D人脸和渲染的固定视角去减少计算代价Richardson[129]使用了一个迭代3D
CNN，通过使用辅助输入通道表示之前网络的输出作为用于重建3D人脸的图潒如图12
Dou[48]使用一个多任务CNN，将3D人脸重构任务划分成神经3D重构和表情3D重构Tran[155]直接通过一个非常深的CNN结构去回归3D可变型人脸模型（3d morphable face model，3DMM）An[208]采用3DMM詓合成各种姿态和表情的人脸图片，然后通过MMD去减少合成数据与真实数据之间的鸿沟
CNN模型：不采用先从2D图像进行3D重构然后将其映射回2D的各种不同的姿态的方法，CNN能直接生成2D的图片在多角度感知中（multi-view
perceptron，MVP）[231]判别性的隐藏层神经元可以学习ID特征，而随机隐藏神经元可以去抓取视角特征通过采样不同的随机神经元，不同姿态的人脸图片都是合成的类似[201]，Qian[200]使用了7个Recon codes将人脸以7个不同的姿态进行旋转然后提出叻一个unpair-supervised方法去学习人脸变化的表征，而不是通过Recon
GAN模型：在使用一个3D模型生成侧面图像DA-GAN[221]可以通过GAN提炼该图像，该GAN结合了数据分布和人脸知識（姿态和ID认知loss）的先验CVAE-GAN[11]通过将GAN与一个变分自动编码器去增强数据，然后利用了统计和成对的特征匹配去完成训练过程且手里更快更穩定。在从噪音中合成不同人脸之外许多文献也会去探索如何将ID和人脸的变化进行解耦，从而通过交换不同的变化来合成新的人脸在CG-GAN[170]Φ，生成器直接将输入图像的每个表征解析为变化编码和ID编码并重新组合这些编码以进行交叉生成，而判别器确保生成的图像的真实性Bao[12]提取一个输入图片的表征和任何其他人脸图片的属性表征，然后通过重组这些表征生产新的人脸该工作在生产真实和ID表示的人脸图片仩展现了超强的性能，甚至是训练集之外的数据不同于之前的将分类器作为观测者，FaceID-GAN[206]提出一个三角色GAN其中分类器同时与判别器合作，詓和生成器在两个方面（人脸ID和图像质量）做竞争
该方法是生成正脸，并减少测试数据的变化性从而让人脸能够容易做对齐囷验证。该方法可以简单归类为SAECNN和GAN三种。
encoder-decoder）在每个时间步上通过控制信号去渲染旋转的目标ZHang[218]通过设置正脸和多个随机脸为目标值构建叻一个many-to-one编码。
CNN：Zhu[230]在规范视角上使用一个有特征提取模块和正脸重构模块组成的CNN去提取人脸身份保留特征从而重构人脸。Zhu[232]根据人脸图像的對策和外形选择规范视角的图片然后通过一个CNN基于最小化重构loss去重构正脸。Yim[201]提出一个多任务网络其能够通过使用用户远程编码（user's remote
code），旋转一个任意姿态和光照的人脸到目标姿态人脸上[73]根据它们之间的像素位移场将非正脸图像变换为正脸图像。
GAN：[75]提出一个两路径的生产對抗网络(two-pathway GAN, TP-GAN)其包含四个定点关键点人脸块网络和一个全局的编码解码网络。通过结合对抗loss对称loss和ID保留loss，TP-GAN生成一个正脸角度的同时保留了铨局结构和局部信息如图13.
在解耦表征学习生成对抗网络（DR-GAN）[156]中，编码器生成身份表征并且解码器使用该表征和姿态编码合成指定姿态嘚人脸。Yin[204]将3DMM引入到GAN结构中以提供外形和外观先验，从而知道生成器生成正脸
5 人脸数据集和评估方案
在过去三十哆年中，人脸数据集从小型到大型从单源到多源从约束场景到无约束的真实世界场景。如图14
随着虚弱简单数据集变得饱和越来越多复雜的数据集被不断的提出。可以说数据集本身的提出也帮助FR的发展指明了方向。在本部分中主要简单介绍下主流数据集。
5.1 大规模通用训练数据集
要想有很好的深度FR必须要有足够大的训练集。Zhou[228]认为深度学习加大量的数据可以提升FR的性能MegaFace挑战的结果揭示了之前的深度FR通常都是基于大于50十万张图片和2万个ID上训练的。深度FR早期的工作通常都是基于私有训练数据集的Facebook的深度人脸模型[153]是茬4千个ID，4百万张图片上训练的；Google的FaceNet[137]是在3百万个ID2亿张图片上训练的；DeepID系列模型[145,146,149,177]是在1万个Id，20十万个图片上虽然他们宣称打破了记录，可是卻没法通过公开的数据集去复现他们的结果
为了处理这个问题，CASIA-WebFace[198]首次提供了一个超大数据集其中包含1w个名人，50十万张图片基于其数據集的量和简单的使用方法，它变成了学术界的一个标准数据集然而因为其数据量和ID不够多，还是无法推进更多更好的深度学习方法當前已经有了不少公开的数据集，如MS-Celeb-1M[59], VGGface2[20],
这些大型训练集都是从深度和广度上进行扩展VGGFace2的是基于深度的大规模训练集，其限制了ID的个数扩展叻每个ID的图片个数数据集的深度增强了模型处理较大类内变化的能力，例如光照姿态和年龄；而MS-Celeb-1M和Megeface(挑战2)提供了基于广度的大规模训练集，其中包含了很多iD不过限制了每个ID的图片个数。数据集的广度增强了模型处理类间变化的能力Cao[20]在VGGFace2和MS-celeb1-M上进行模型训练并做了系统性研究，并发现首先在MS-celeb-1M(广度)上训练然后在VGGFace2(深度)进行微调可以得到最优的结果
当然不同数据集之间的对长尾分布的使用也是不同的，在MS-Celeb-1M挑战2中该数据集特别用尾数据来研究low-shot学习；中心部分用来作为挑战1的任务且每个ID图像的个数都逼近100张；VGGFace和VGGFace2只用了其分布前面部分；MegaFace使用了整个汾布，尽可能包含所有图片其中每个ID最少3个图片，最多2469个图片
在大多数数据集中会存在数据偏置问题，一个主要的原因就是每个数据集只覆盖了人脸数据的部分分布另一个原因是大多数数据集(VGGface2,Ms-celeb-1M)中的名人是在空开场合：笑着，化妆了年轻，且漂亮所以它们就和从日瑺生活中采集的(Megaface)不同。因此基于这些数据集训练的深度模型不能直接在一些特定场景使用，因为数据偏置需要重新收集大量的标签数據去从头训练一个模型或者重新收集无标签塑化剂去进行领域自适应[166]或者使用其他方法。
1&2都是显式的鼓励研究者去收集和清洗一个大型數据集，从而增强网络的能力虽然数据工程对CV研究者是一个有价值的问题，可是工业界的人才往往熟知该门道如lederboards上展示的，大多数都昰由公司所占据因为他们有着巨大计算力和数据。这个现象对于学术界开发新模型是不利的
对于学术界，建立一个足够大和干净的数據集是十分有意义的Deng[38]发现Ms-Celeb-1M里面有不少标签噪音，他减少了该噪音然后公开了清洗后的数据集。Microsoft和Deepglint联合公开了从MS-Celeb-1M清洗后的最大干净标签數据集其中包含4百万张图片和10万个亚洲名人。
在训练方案（training protocol）中FR模型可以通过目标依赖或者独立环境下进行评估，如图16
目标依赖(subject-dependent)：所有的测试ID都出现在训练集中所以该情况的问题可以看成是一个分类问题，其中特征都期望是可分的该方案是FR发展的最早阶段(2000姩之前),如FERET[120]，AR[106]只适合在一些小范围的应用。MS-Celeb-1M是目前唯一的使用该方案的大型数据集
目标独立（subject-independent）：测试ID通常不出现在训练集中。因为无法将人脸分类给训练集所以目标独立的表征是有必要的。因为人脸总是表现的相似的类内变化深度模型可以在一个足够大的通用ID数据集上学到很好的泛化能力，其中的关键就是学到判别性的大边际深度特征几乎所有主流的人脸识别benchmark如LFW，PaSC[14],IJB-A/B/C和MegaFace都需要测试的模型先基于目標独立方案上进行训练。
5.3 评估任务和性能指标
为了评估一个深度模型是否解决了现实生活中遇到的不同FR问题设计了許多基于不同任务的测试集和场景，如表9.
在测试任务中人脸识别模型的性能会基于人脸验证，闭集人脸识别开集人脸识别上评估，如圖16每个人物都有对应的性能指标。
人脸验证：人脸验证与访问控制系统Re-ID和FR算法的应用程序独立评估相关。它通常使用（receiver operating characteristicROC）和平均（accuracy，ACC）进行评估给定一个阈值（独立变量），ROC分析可以测量真接受率(true accept
ratetar)，真正超过阈值的结果所占比例；假接受率（false
ratefar）是不正确的超过閾值的结果所占比例。ACC是LFW采用的一个简化指标表示正确分类的比例。随着深度FR的发展测试数据集上的指标越来越严格地考虑安全程度，以便在大多数安全认证场景中当FAR保持在非常低的比例时TAR能够符合客户的要求。PaSC在FAR等于\(10^{-2}\)时对TAR进行评估；IJB-A将其提高到\(TAR@10^{-3}FAR\)；Megaface专注于\(TAR@10^{-6}FAR\);
CMC)是该场景中瑺用的指标Rank-N基于测试样本搜索在排序结果前K个中返回测试样本的正确结果百分比。CMC曲线表示在给定rank（独立变量）测试样本识别的比例IJB-A/B/C主要使用rank-1和rank-5识别率。MegaFace挑战系统性评估rank-1识别率其中最好的结果在表6。
MS-Celeb-1M使用precision-coverage曲线去基于可变阈值\(t\)下测试识别性能当得分低于阈值\(t\)，则该测試样本会被拒绝算法之间对比就是看测试样本到底测试正确了多少，如95%,99%不同算法的评估在表7。
5.4 评估场景和数据
有许多鈈同的数据集用于模拟现实生活中不同的场景如表9。按照它们各自的特色我们将这些场景划分成四个：
跨洇素的人脸识别：因为复杂的非线性人脸外观，由许多是人类自身导致的变化如跨姿态，跨年龄化妆。例如CALFW[225]MORPH[128]，CACD[24]和FG-NET[1]都是基于不同年龄段的；CTP[138]只关注正脸和侧脸CPLFW[223]从LFW中提取的基于不同姿态的。
异质的人脸识别：主要是为了基于不同的视觉领域进行人脸匹配领域鸿沟主要囿传感器设备和照相机设置引起的，如可见光和近红外照相和素描。例如相片和素描的数据集，CUFSF[213]要难于CUFS[168]因为光照变化和变形
多（单）媒体的人脸识别：理论上深度模型都是基于每个ID大量的图片上训练，然后基于每个ID一张图片上测试可是现实是，训练集中每个ID的图片佷少被称为low-shot FR，例如MS-Celeb-1M 挑战2；或者测试机中每个ID人脸通常采集自图片和视频被称为set-based FR，例如IJB-A和PaSC
工业界人脸识别：虽然深度FR在一些标准benchmark上效果超过了人类，不过当深度FR在工业上应用的时候我们需要关注更多的细节，如反欺骗（CASIA-FASD[219]）和3D
FR(Bosphorus[134]BU-3DFE[202]和FRGCv2[119]).对比公开的可用2D数据集，3D扫描很难获取而且开源的3D人脸数据集也受限扫描的图片个数和ID个数，这也阻碍了3D深度FR的发展
为了应对不同场景的数据集，需要很好嘚深度模型在大量数据集上训练然而，因为隐私问题公开的数据集大部分来自名人的照片，基本没法覆盖不同场景下日常生活的图像抓取不同LFW中的高准确度，在megaface中效果仍然没法达到现实应用的地步。对于工业界就是基于不同的目标场景收集一个较大数据集然后以此来提升效果。然而这只是一个方面。因此需要考虑如何在受限数据集基础上采用更好的算法来明显的提升结果。本部分我们介绍幾个基于不同场景下的特殊算法。
6.1 跨因素的人脸识别
跨姿态人脸识别：如[138]中说明的许多现存算法在正脸-正脸验证改成囸脸-侧脸验证时准确度降低10%，交叉姿态FR仍然是一个极端挑战的场景之前提到的方法包括"one-to-many增强"，“many-to-one归一化”多输入网络和多任务学习还囿其他算法都是用来应对该场景的方法。考虑这些方法需要额外的代价[19]首次尝试在深度特征空间中使用正脸化，而不是图像空间中一個深度残差等效映射（deep
residual equviariant mapping，DREAM）块动态的在输入表征上增加残差去将侧脸映射到正脸上[27]提出结合特征提取与多角度子空间学习去同时让特征變得姿态鲁棒和判别性。
跨年龄人脸识别：跨年龄FR一直是一个极端的挑战因为随着年龄的改变，人脸的外观也伴随巨大变化一个直接嘚方法就是将输入图片以特定年龄进行合成。[49]提出的生成概率模型可以以短期阶段进行建模年龄变化Antipov[7]提出通过GAN进行年龄人脸合成，但是匼成的人脸不能直接用来做人脸验证因为它是对ID的不完美表征。[6]使用局部流行自适应(local
在[224]中年龄不变特征可以通过在年龄评估任务中基於表征减去年龄指定的因子。另外还有其他方法用在跨年龄FR上，如[15,60]微调CNN去做知识迁移。Wang[169]提出基于siamese深度网络的多任务学习去应对年龄评估Li[95]通过深度CNN整合了特征提取和度量学习。Yang[192]涉及了人脸验证和年龄评估利用一个复合训练评价，整合简单的像素级别的惩罚基于年龄嘚GAN
loss去达到年龄变换，其中的个人依赖评价可以保持ID信息的稳定
化妆人脸识别：在化妆如此平常的今天，也同时因为明显的人脸外观改变給FR带来巨大挑战基于匹配化妆和不化妆的人脸图像研究一直受到持续性关注。[94]通过一个bi-level对抗网络(BLAN)上从化妆的图片上生成不化妆的图片嘫后用该合成的不化妆图片进行验证，如图19.
[147]在开源的视频上训练了一个triplet网络然后基于小的化妆和不化妆数据集进行微调。
6.2 异质的人脸识别
NIR-VIS人脸识别：由于在低光场景下近红外光谱（NIS）图像的优异性能NIS图像被广泛应用于监视系统。NIS图像广泛用在监控系统中因为大多数数据集有可见光（visible light，VIS）图谱图像如何从VIS图像中识别出一个NIR人脸也成了热点。[103135]通过微调迁移这个VIS深度网络到NIR领域中。[90]使用┅个VIS
CNN以交叉光谱幻视的方式变换NIR图像到VIS人脸然后从低秩嵌入向量上恢复一个低秩结构。[127]训练了两个网络一个VISNet(可见图像)和一个NIRNet(近红外线圖像)，通过创建一个siamese网络耦合他们输出的特征[65，66]将该网络的高层划分到一个NIR层一个VIS层和一个NIR-VIS共享层；然后，通过NIR-VIs共享层学习一个模态鈈变特征[144]将交叉光谱人脸幻视和判别性特征学习嵌入到一个端到端的对抗网络中。在[181]中低秩相关和交叉模态排序用来缓解该语义鸿沟。
低分辨率人脸识别：虽然深度网络对于低分辨率有一定的鲁棒性仍他有一些文献研究如何提升低分辨率的FR。例如[207]提出一个有两个分叉結构的CNN（一个超分辨率网络和一个特征提取网络）去映射高和低分辨率图片到一个通用空间上该空间中类内距离小于类间距离。
相片-素描人脸识别：照片-素描FR可以有助于法律人士快速进行嫌疑人认证通常该领域的使用可以划分成两类：
- 一个是使用迁移学习去直接将照片匹配到素描上，这里深度网络受限使用一个照片人脸数据集去训练然后使用小的素描数据集[51,110]去微调；
- 使用图像到图像的变换，将照片变換到素描上或者将素描变换到照片上，然后在目标领域中进行FR[211]将生成损失和判别性正则加到全卷积网络上实现相片到素描的变换。
BFCN)去苼成一个结构保留的素描和一个纹理保留的素描然后将它们通过一个概率方法进行融合。近期GAN在图片生成上获得了不小的轰动。[86,199,229]使用兩个生成器\(G_A\)和\(G_B\)生成从相片到素描和素描到相片，图20
基于[229][165]提出一个多对抗网络通过利用生成器网络中不同分辨率的特征图的隐式表征去避免伪造的图片。
6.3 多（单）媒体的人脸识别
对于许多具体应用如监控和安保，FR系统应该基于很少的训练样本或鍺一个ID一个样本进行训练low-shot学习可以归类为增大训练数据和学习更强的特征。[68]使用3D模型去生成各个姿态的图像然后适应深度领域去处理其他变化，例如模糊遮挡和表情（图21）.
[32]使用数据增强方法和GAN去做姿态变换和属性加速，以增大训练数据集的规模[182]提出一个使用CNN和最近鄰模型的混合分类器。[58]使用one-shot类和正常类的权重向量的范数对齐以解决数据不平衡问题[30]提出一个增强softmax以包含最优dropout，选择性衰减L2
归一化模型级别的优化。Yin[205]通过将主成分从常规类转移到low-shot类来增强low-shot类的特征空间以鼓励low-shot类的方差来模拟常规类的方差。
set/template-based人脸识别：set/template-based FR问题假设测试样夲和训练样本都是用媒体集来表示的如图像和视频而不只是其中一个。在从每个媒体上独立的学习了表征集合基于其应用两个不同的筞略做FR：
- 使用这些表征做基于两个集合的相似性对比，然后将结果池化到一个最终的得分，就和最大池化[108]平均池化[105]和它们的变种[220,17]。
- 通過平均或者最大池化将人脸表征融合起来然后对每个集合生产一个单一表征，然后进行两个集合的对比这里我们成为特征池化[28,108,132]。
另外还有许多其他基于该方向的应用，如[62]提出一个深度异质特征融合网络来利用不同CNN生成的特征完备性信息
视频人脸识别：视频人脸识别Φ有两个关键问题：
- 整合基于不同帧之间的信息去构建一个视频人脸的表征，
- 要处理视频自带的模糊姿态变化和遮挡。
对于帧融合[196]提絀一个神经融合网络(neural aggregation network,nan )，在融合模块中有基于一个memory驱动的两个注意力块，生成128维的特征向量（图22）.
Rao[125]直接基于度量学习和对抗学习进行组匼，去融合原始视频帧在处理坏帧时，[126]通过将该操作时为一个马尔可夫决策过程去丢弃该帧然后通过一个深度强化学习框架去训练这個注意力模型。[47]人工去模糊清晰的图片然后用来训练去学习模糊鲁棒性的人脸表征。Parchami[114]使用CNN用高质量人脸去重构一个低质量的视频
6.4 工业界的人脸识别
FR继承了2D方法上的优势，但是3DFR没有太多深度网络的使用研究主要是因为缺少大量的标签数据。为了增强3D训練数据集大多数工作主要是使用"one-to-many增强"去合成3D人脸。然而提取3D人脸的深度特征的高效方法依然需要探索。[84]基于少量的3D扫描去微调一个2DCNN[235]使用一个3通道图像（对应正常向量的深度，方位和elevation
角度）作为输入然后最小化平均预测log-loss[210]从candide-3人脸模型去选择30个特征点来属性化人脸，然后進行了无监督的人脸深度数据预训练和有监督微调
人脸反欺骗：随着FR技术的成功，伴随的是各种欺骗攻击比如打印欺骗，视频播放欺騙3D面具欺骗等等。人脸反欺骗也成了识别人脸是否是活的一个重要部分因为他同时需要识别人脸(真还是假ID),所以我们将它看成是一种FR场景。[8]提出一个新颖的两流CNN其中局部特征独立于空间人脸区域的判别欺骗图像块，整体深度图确保输入的活体样本具有类似面部的深度[190]提出一个LSTM-CNN结构，学习时序特征去联合预测一个视频中多个人脸[91，117]在一个包含了真假人脸数据集上微调一个预训练的模型。
移动端人脸識别：随着手机的出现平板电脑和增强现实，FR已应用于移动设备因为计算力的限制，在这些设备中的识别任务需要轻量级而且实时的運行基于之前提到的[33,69,76,217]提出了轻量级的深度网络，这些网络可以用在这里的场景[152]提出一个人多batch方法，首先生成k个人脸的batch然后基于这个minibatch，通过依赖所有\(k_2-k\)对构建一个全梯度的无偏估计
[139,140]对如何减少人脸欺骗做了一些 工作
[166]关于深度领域适应值得关注。
