后使用快捷导航没有帐号？
查看: 453|回复: 3
看到了一篇关于人脸识别的，用的度量学习
注册会员, 积分 62, 距离下一级还需 138 积分
论坛徽章:1
本次介绍的人脸识别方法，其核心贡献就是如何加快相似度的学习速度，这里所谓的相似度和一般意义上的Triplet Loss很像，即：相同身份的人脸距离较近，不同身份的人脸距离较远。方法来源于：
Introduction很多人脸识别模型都是一种Metric或者Embeding模型，即相同身份的人脸距离较近，不同身份的人脸距离较远。这样有一个好处就是，模型除了用来做recognition之外还可以很方便的拿来做face verification或者face clustering.基于深度的Embeding方法有很多，其不同之处可以归到3个方面：
（1）Loss Function有的是直接比较两个目标相同还是不相同， 即 L[x_i, x_j];
有的使用的是最近很流行的Triplet Loss， 即L[x_{pos},x_{pos},x_{neg}]（2）Network Architecture网络的构建一直都很灵活，有得网络还需要对图片进行对齐等预处理。（3）Classification Layer
有得直接训练一个端到端的Embedding网络；
有得是先按照普通的分类问题训练，然后再提取中间层特征再去train一个Embedding网络；以著名的Google的FaceNet为例，在只挖掘hard三元组的情况下，多机训练了超过1个月。
因此，本文的目标就是降低训练时间Learn a Metric整个网络学习一个从输入x到输出f_w(x)\in\mathbb{R}^d的一个映射，学习规则如下:y=y’ \Longrightarrow |f_w(x)-f_w(x’)|^2 & \theta-1y\neq y’ \Longrightarrow |f_w(x)-f_w(x’)|^2 & \theta+1现在，我们先据此定义one pair的Loss,其中训练集定义为：{(x_i,y_i)_{i=1}^m},y_i为标签l(w,\x_i,x_j,y_{ij})=(1-y_{ij}(\theta-|f_w(x)-f_w(x’)|^2))_+其中，y_{ij}\in{\pm1},+1表示x_i和x_j属于同一身份，另外(u)_+:=max(u,0)。
则整体的Loss为：L(w,\theta)=\frac{1}{m^2-m} \sum_{i\neq j\in [m]}l(w,\x_i,x_j,y_{ij})另一方面，文章从理论和实验上证明了上面的Loss比hinge-loss或者softmax-loss等多分类Loss要更难收敛。
所以，Google的Facenet中有很大一部分工作就是在如何选择和设计Triplet三元组，因此本文后面就参考该思想设计了新的训练方法。The Multi-Batch Estimator这一部分在原文中占比挺多，可惜感觉完全在水，总之实现的方法就是：
假如batch_size=K，那么两两配对的话总共会有K\times(K-1)种可能。（不过实际程序实现的时候，应该只有\frac{K\times(K-1)}{2},因为(x_i,x_j)或者(x_j,x_i)在BP时是一样的）。于是，我们实际每一个batch中都进行类似遍历，最后将所有pair的loss加和即为一个batch的Loss。原文中作者的实验参数配置如下：batch_size=256,共16个人每人16张图片; 训练图片2.6M; 模型大小为1.3M; 输入图像为112x112的RGB图像，编码长度128B 学习率固定0.01，最后一个epoch降为0.001。备注：(1)：训练图片来自互联网收集，其中有一定错误，采集办法来自于,也是一篇很有启发性的方法。(2)：文中给出了详细的网络结构，该结构参考了NIN结构；(3)：输入图片需要先进行对齐，作者对齐时也采用了深度网络。
新手上路, 积分 32, 距离下一级还需 18 积分
论坛徽章:1
学习了，好东西，非常感谢楼主分享
中级会员, 积分 411, 距离下一级还需 89 积分
论坛徽章:7
先收藏了，谢谢楼主分享。
中级会员, 积分 312, 距离下一级还需 188 积分
论坛徽章:4
用caffe来做的，学习一下。专访DeepID发明者孙祎：关于深度学习与人脸算法的深层思考
发表于 09:51|
作者周建丁
摘要：DeepID人脸算法发明者、人脸识别创业公司Linkface研究员孙祎深度解读DeepID的研发心得，人脸识别应用的现状、难点与未来，深度学习的实践经验等问题。
人脸识别是近两年计算机视觉领域创业热潮中的一个热门方向，DeepID
是这股热潮中不可忽视的一种人脸算法。针对DeepID的研发心得，人脸识别应用的现状、难点与未来，深度学习的实践经验等问题，CSDN记者近日采访了DeepID人脸算法发明者孙祎。
孙祎先后就读于清华大学、香港中文大学，
2013年在CVPR
上发表了用深度学习做面部特征点检测最早的论文
。随后陆续发表了四篇在人脸识别领域有影响力的论文（ICCV’13
，CVPR’14，
NIPS’14，CVPR’15
），使深度学习方法的人脸识别准确率远远超过了人眼的准确率。
孙祎所提出的方法已被学术界和工业界广泛采用，他本人目前也是
的一名研究员，专注于算法创新与实际应用的结合。孙祎团队研发的技术和产品已经在当今备受关注的互联网金融领域被应用于“人脸在线身份认证”，让用户无需面签即可通过人脸识别在手机端认证身份，继而开户、转账、借贷，这项身份认证服务已达到了百万级/天的调用量。
DeepID人脸算法发明者、Linkface公司研究员孙祎
结缘深度学习与人脸算法
CSDN：首先请介绍一下您自己。
孙祎：我现在在人脸识别科技公司Linkface担任研究员。我开始做研究的启蒙导师是微软亚洲研究院的孙剑研究员。大四在微软亚洲研究院实习的时候开始接触卷积神经网络，这也是目前计算机视觉领域应用最广的深度学习模型。但在当时了解它的人还很少。我的第一个研究工作是用卷积神经网络进行面部特征点检测。在微软的实习期结束之后，我来到了香港中文大学读博士，导师是汤晓鸥教授和王晓刚教授。在中大，我把面部特征点检测的工作整理成了论文，发表于CVPR’13，这也是用深度学习做面部特征点检测最早的论文。
后来我将卷积神经网络应用于人脸识别领域。此前的积累让我后来的研究比顺利，先后发表了四篇在人脸识别领域比较有影响力的论文（，CVPR’14，NIPS’14，CVPR’15）。其中后三篇论文都在当时取得了LFW/YouTube
Face人脸识别测试集上的最好结果，极大地提高了人脸识别的准确率，使深度学习方法远远超过了人眼以及非深度学习方法在人脸识别上的准确率。这些工作是使用深度学习进行人脸识别的开创性的工作。我和导师共同提出了通过大规模人脸分类以及人脸对之间的度量学习训练用于人脸识别的深度神经网络的方法，这种方法已经被学术界和工业界广泛采用。
CSDN：您当初为什么会选择人脸识别技术方向？这项技术研发的主要挑战有哪些？
孙祎：我在做人脸识别之前是研究用卷积神经网络做面部特征点检测的。因此对卷积神经网络已经比较熟悉了。当时对于LFW上的人脸比对有一个特别直接的用卷积网络实现的想法，就是将两张人脸图片作为不同的通道输入给卷积网络，然后让它做一个二分类问题，判断这两张人脸是不是同一个人。这个想法虽然简单，但是在我初次尝试时就达到了大约85%的人脸比对准确率。这使我看到了用深度学习的方法做人脸识别的希望。我的第一篇人脸识别的论文就是从这个最简单的想法出发做成的。
人脸识别的困难在于人脸图片较大的类内变化和较小的类间差异。由于人脸的角度、光照、表情、年龄、化妆、遮挡、图片质量等等变化，同一个人的不同人脸图片具有很大差异。同时，随着待识别的人数的增加、出现长得比较像的人的概率增加等情况逐渐增多，如何让计算机在较大的类内变化的干扰下依然能够辨识到可能比较微弱的类间变化，是人脸识别的主要挑战。（）
CSDN：能否介绍选择在Linkface主要负责的工作，以及加入Linkface创业的深层原因？
孙祎：我目前在Linkface担任研究员，主要进行基于深度学习的人脸识别算法的研究，比如改进神经网络模型，改进训练方法等。工作之余，会时刻关注这个领域的动态，整合现有学术成果的基础上，寻求新的技术突破。一方面，我希望在产业界依然能够在科技前沿上为人类探索未知做一点贡献，另一方面，人脸识别技术有很大的应用价值，希望可以看到我的技术被广泛使用。
在Linkface，我们的团队在不断改进现有算法的同时，也专注于算法研究与实际应用的结合，目前我们在互联网金融领域研发的技术和产品已经在“人脸云平台”上提供百万级/天的调用服务。
孙祎和Linkface联合创始人石建萍、夏炎、马廷姣、方芳
DeepID研发心得与未来
CSDN：在DeepID的研发和进化过程中，有哪些事情让您印象最为深刻？
孙祎：深度学习在一开始还远没有非深度学习的方法性能好。当时比较知名的一些方法，例如Tom-vs-Pete classifiers、high-dim
LBP、TL Joint Bayesian等极大地提高了人脸识别的性能，而这些都是非深度学习的方法。当时人们不会想到深度学习能在人脸识别上取得如目前这样的突破。
深度学习在人脸识别应用上的两个突破另我印象最为深刻。其一是通过非常难的大规模人脸分类任务训练神经网络，在网络的隐藏层学到了富含人脸身份属性的特征。我们称这样学得的人脸特征表示为DeepID。Facebook也独立研究提出了类似的方法，称作DeepFace。DeepID和DeepFace使得深度学习首次在人脸识别问题上超过非深度学习方法，并且识别性能首次在LFW上逼近人眼在较紧凑地框住的人脸区域上的人脸识别准确率。
之后的另一个突破是在人脸分类的同时加入另一个人脸比对的训练信号。这一额外的比对信号的加入进一步将LFW上人脸识别的错误率减小了67%，人脸识别首次在LFW上突破99%的准确率。我们称这种通过联合人脸分类-比对学习到的人脸特征表示为DeepID2。DeepID2工作的一个重要发现是，人脸分类和比对信号的作用恰好分别对应于两个解决人脸识别至关重要的方面，即增大类内变化和减小类间变化。这一发现完美地揭示了同时加入这两个监督信号后识别性能获得巨大提升的原因。
CSDN：现在基于CNN做人脸识别的团队很多，也发了不少相关的Paper，您认为DeepID和其他模型相比，主要有哪些区别？
孙祎：我是用深度学习做人脸识别比较早的。Hybrid ConvNet-RBM model、DeepID、DeepID2等都是使用深度学习做人脸识别的开拓性的工作。这些突破使人们看到了深度学习在人脸识别上的潜力。目前虽然深度学习在人脸识别上被大量使用，但技术上没有太多突破，主要仍然是通过分类或者测度学习的方法来学习人脸的特征表示。
CSDN：深度学习输出的解释性受到很多人的诟病，但DeepID很注重对输出向量的分析，我们是如何做到的？
孙祎：当深度学习在具有挑战性的人脸识别测试标准上逐渐接近人眼的水平，人们渴望知道这些人工神经元学到了什么以及它们是如何实现如此高的性能的。认知科学领域有很多关于视觉皮质神经元处理人脸信号机制的研究。受这些工作的启发，我们尝试通过对人工神经网络中神经元行为的分析来解释人脸识别在深度神经网络中的处理过程，神经元学到了人脸的什么信息，以及神经元对于人脸图像部分缺损的鲁棒性。
DeepID人脸图片的预处理方式
CSDN：在DeepID中CNN的改进方式，是否也适用于其他的应用场景？
孙祎：通过联合分类-比对监督信号学习人脸特征表示的方法可能可以推广到其它物体的识别，不过我没有验证过。另一方面，区别于一般物体，人脸的特殊性在于，它可以比较容易地通过面部特征点来对齐。人脸对齐对人脸识别是至关重要的。认知科学研究表明人脑处理人脸信号和一般物体信号使用了人脑不同区域的神经元。
CSDN：能否分析人脸识别领域的下一个技术突破点，以及DeepID未来的进化方向？
孙祎：目前DeepID使用的训练人脸图片只有大约30万张。未来DeepID的进化方向应该是，改进网络结构和网络的监督方式，使其能够学好更大规模（比如上千万）的训练数据。现在 Linkface 的数据资源是非常丰富的，人脸数据上亿，这些资源给DeepID算法提供了很大的提升空间。
CSDN：人脸识别技术从Paper、竞赛中超越人眼的识别准确率，到产品化，走进工业应用，还有哪些重要工作需要完成？
孙祎：人眼的识别能力是有限的，超过人眼只是人脸识别技术的一小步进步。像身份认证的应用，要求准确率很高，相比于指纹，目前使用人脸进行认证还是比较困难的。人脸识别要解决的难题是，能否从很多（比如上百万）个人中准确地找到属于给定人脸的那个人，或者说，考虑人脸比对的场景，在很低的（比如百万分之一）将不同的人误认作相同的人的概率下，保持较高的将相同的人认作相同的人的概率。
高效深度学习的思考
CSDN：在深度学习领域，目前有很多开源的工具和库，您是如何选择最适合自己的技术的？
孙祎：目前深度学习使用的模型越来越大，实现的效率是主要考虑的问题。此外还会考虑代码是否容易修改。
CSDN：DeepID 能够通过模型本身的优化减少对数据和计算的需求，但很多做深度学习的公司都强调了大数据和高性能基础架构，百度大脑最近还谈到了有基于FPGA加速的版本。您认为模型本身的优化空间还有多大？GPU、FPGA、神经网络加速芯片或者纯类脑架构，哪一种才是未来？
孙祎：从深度学习的角度来讲，使用更多的数据以及更大规模的网络来学这些数据是提高性能最直接的做法。另一方面，一个好的模型或者好的训练方法对于性能的提高是显著的。或者说，为达到相同的性能，好的模型或者训练方法可以极大地减少所需的训练数据。因此模型本身的优化是人们永远不会停止探索的课题。最后一个问题现在不会回答，未来再给出答案。
CSDN：技术路线方面，对于CV、DL的入门和进阶，您有什么建议？
孙祎：我接触计算机视觉和机器学习是从一个具体问题开始的，即使用训练卷积神经网络进行面部特征点检测。刚开始做研究也摸不着门道，相关的工作读的太少，自己的想法也很有限，遇到了不少坎。其间也经历了几个技术上的突破（至少对我而言是这样）。从我开始做这个问题到把论文投出去花了整整两年的时间，但这样的积累让我现在在Linkface的研究工作顺利了很多，能够很快将深度学习用到了人脸识别领域。
可以说从我投出去第一篇论文起算是入门了。所以从我的经历来看，首先是找到一个具体问题，然后多阅读相关文献，多思考，多实践，渐渐就会对一个领域有深入的了解了。
DeepID第一代结构图
CSDN：从学习和工作习惯层面来说，能够做出DeepID这样的模型，您认为哪些因素是成功的关键？
孙祎：做研究过程中，很多想法都来源于直觉。就是在做的过程中，很多想法就自然而然地想到了。例如，我在完成了用卷积神经网络检测面部特征点的工作之后，对卷积神经网络有一定的了解了。我那时在想，人脸比对这个问题是否能简单地用卷积神经网络进行端到端的学习，即输入两张人脸图片，让神经网络做一个二分类，输出这两张人脸是否属于同一个人。我的第一篇人脸识别论文就是从这个简单想法出发完成的。又比如，我当时做了通过人脸图片对的比对以及单张人脸图片的分类训练卷积神经网络的工作之后，就在想，这两个信号能否叠加起来训练神经网络呢。当时还没有想清楚这两种监督信号各自的作用，但这就是DeepID2工作的最原始思想。
（责编/周建丁 &深度学习技术采访、投稿，请联系或微信号jianding_zhou）
将于-12日在北京隆重举办。在主会之外，会议还设立了16大分论坛，包含数据库、深度学习、推荐系统、安全等6大技术论坛，金融、制造业、交通旅游、互联网、医疗健康、教育等7大应用论坛和3大热点议题论坛，。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章基于统计学习的人脸识别方法研究--《上海交通大学》2007年硕士论文
基于统计学习的人脸识别方法研究
【摘要】：
人脸识别是当前非常热门的一个生物特征识别领域,它涵盖了图像处理,计算机视觉和模式识别等前沿技术,在人机交互,安全监视,机器人,身份认证等方面有着广阔的应用前景。目前的人脸识别系统主要是基于二维图像的,但由于受到姿势、光照和表情变化等因素的影响,无论理论方面还是应用方面,基于二维图像的人脸识别方法的有效性和鲁棒性受到了很大的削弱。三维人脸模型是解决目前问题的有效方法之一,但基于三维人脸模型的人脸识别仍是基于二维图像的,而且三维模型的真实感、参数优化等问题与实际应用仍有一段距离。因此,到目前为止,人脸识别技术还远未成熟,建立一个鲁棒的实时自动人脸识别应用系统仍然有很长的一段路要走,而其成功将很大程度上依赖于认知科学,神经科学,计算机视觉,模式识别,人工智能等多学科的突破和交叉研究!
目前主流的人脸识别方法主要是基于统计学习模型的二维人脸识别,包括基于全局特征和基于局部特征学习的方法。典型的基于全局特征的方法有Eigenface,Fisherface,Laplacianface等,而基于隐马尔可夫模型的人脸识别则是基于局部特征的模型学习方法。本文主要研究的是基于统计学习方法二维人脸识别问题。本文的主要贡献如下:
1)系统综述了人脸识别的发展历史和研究现状。详细总结了基于几何特征方法、弹性图匹配、神经网络、隐马尔可夫模型、子空间学习、流形学习、三维模型等各种人脸识别方法。通过分析和比较各种方法的优缺点,为各种方法在人脸识别中的应用指出了改进之处,它们的发展方向提供了一些建议;
2)针对EHMM模型应用于人脸识别时没有很好的解决特征提取问题,提出了基于DCT域PPCA的特征提取方法。由于EHMM具有严密和丰富的体系结构,以两层结构从粗到细很好的描述了人脸的局部结构和全局结构,因而具有很好的发展前景。但这种方法的有效性仍然依赖于所提取的采样窗口的特征,即这
【关键词】：
【学位授予单位】：上海交通大学【学位级别】：硕士【学位授予年份】：2007【分类号】：TP391.41【目录】：
ABSTRACT7-11
第一章 绪论11-25
1.1 研究的背景和项目支持11
1.2 研究的意义11-13
1.3 国内外研究进展13-24
1.4 本文结构介绍24-25
第二章 基于HMM 模型的人脸识别25-39
2.1 DCT 域上的PPCA26-29
2.2 EHMM 结构29-32
2.3 训练和识别32-34
2.4 实验部分34-36
2.5 本章总结36-39
第三章 基于子空间学习的人脸识别39-53
3.1 数据基展开与拟合39-41
3.2 EIGENFACE 和2D PCA41-42
3.3 FISHERFACE 和2D LDA42-44
3.4 子空间演化分析(SUBSPACE EVOLUTION ANALYSIS)44-48
3.5 实验结果48-52
3.6 本章总结52-53
第四章 基于流形学习的人脸识别53-72
4.1 流形学习理论53-57
4.2 流形学习主要方法分析57-64
4.3 局部保持嵌入64-66
4.4 实验部分66-71
4.5 本章总结71-72
第五章 总结与展望72-75
5.1 对本文的总结72-73
5.2 展望73-75
参考文献75-81
攻读硕士期间发表的论文82
欢迎：、、)
支持CAJ、PDF文件格式
【相似文献】
中国期刊全文数据库
钟锐;;[J];赣南师范学院学报;2011年03期
曾斌;姚路;陈志诚;;[J];计算机工程;2011年15期
黄静;孔令富;李海涛;;[J];计算机仿真;2011年07期
阿依木尼萨·胡甫尔;艾斯卡尔·艾木都拉;;[J];计算机应用与软件;2011年09期
焦慧敏;王党校;张玉茹;方磊;;[J];自动化学报;2011年07期
秦海勤;徐可君;隋育松;于世胜;;[J];振动.测试与诊断;2011年03期
李瀚霖;许林娜;王嘉楠;;[J];科技致富向导;2011年24期
谷俊;王昊;;[J];现代图书情报技术;2011年04期
李伟;李媛媛;;[J];电声技术;2011年07期
;[J];;年期
中国重要会议论文全文数据库
王宏生;孙美玲;李家峰;;[A];创新沈阳文集（A）[C];2009年
;[A];第六届全国人机语音通讯学术会议论文集[C];2001年
张劲松;戴蓓倩;郁正庆;王长富;;[A];第二届全国人机语音通讯学术会议论文集[C];1992年
于哲舟;杨佳东;周春光;王纲巧;;[A];中国仪器仪表学会第六届青年学术会议论文集[C];2004年
肖镜辉;刘秉权;;[A];全国第八届计算语言学联合学术会议（JSCL-2005）论文集[C];2005年
魏峰;徐成;曾祺;;[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
朱义;陈进;;[A];2008年全国振动工程及应用学术会议暨第十一届全国设备故障诊断学术会议论文集[C];2008年
杨玥;王海鹏;毛睿;;[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年
彭子平;张严虎;潘露露;;[A];2008'中国信息技术与应用学术论坛论文集（一）[C];2008年
刘文壮;李均利;;[A];2009系统仿真技术及其应用学术会议论文集[C];2009年
中国博士学位论文全文数据库
陈治平;[D];湖南大学;2003年
刘晓宁;[D];西北大学;2006年
王跃明;[D];浙江大学;2007年
吴义坚;[D];中国科学技术大学;2006年
张小强;[D];西南交通大学;2006年
杜修平;[D];天津大学;2006年
王璐;[D];中南大学;2007年
吴振华;[D];华中科技大学;2006年
赵立权;[D];安徽大学;2007年
龙潜;[D];中国科学技术大学;2007年
中国硕士学位论文全文数据库
叶海燕;[D];广州大学;2008年
杜守栓;[D];中国科学院研究生院（计算技术研究所）;2006年
张爽;[D];东北师范大学;2009年
李翠芸;[D];西安电子科技大学;2003年
刘斌斌;[D];重庆大学;2008年
洪文;[D];哈尔滨工程大学;2005年
王敏;[D];山西大学;2007年
赵琳瑛;[D];西安电子科技大学;2008年
孙美玲;[D];沈阳工业大学;2010年
胡磊;[D];武汉理工大学;2007年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号