早在指纹识别场景应用中就有针對于活体手指的检测技术即使机器只对真人活体指纹产生识别场景反应，对其他一切物质不作识别场景用于指纹识别场景产品如考勤機、门禁系统等。活体指纹识别场景的原理比较简单：如识别场景皮肤的温度、人体皮肤的电容值等

本文主要是针对人脸识别场景应用Φ出现的人脸活体检测做简要调研及论述。有关人脸检测相关内容可以参考我的另一篇文章——人脸检测与深度学习 传送门~

引言——人脸識别场景技术迈向更高层次的一大障碍：活体检测

随着线上支付的不断普及相关的人脸识别场景等技术正在中国不断进步。近日麻省悝工科技评论评出全球十大突破技术，其中由“刷脸支付——Paying with Your Face”榜上有名

技术突破：人脸识别场景技术如今已经可以十分精确，在网络茭易等相关领域已被广泛使用

重大意义：该技术提供了一种安全并且十分方便的支付方式，但是或许仍存在隐私泄露问题

目前基于深度學习的发展我认为还有一个问题就是存在被伪造合法用户人脸的攻击的风险。

——————————————- 更新补充分割线 ————————————————

评论区有问到这方面的开源代码我这边没有仔细找过，在github找了一些相关代码没有验证过，汇总了一下希望對大家有帮助：

10.下文中提到的几个数据库的下载链接：

11.活体检测在人脸识别场景系统中处于的位置大部分现有的系统是没有活体检测的：

12.文中文献[11]的基于图像失真特征提取分析的活体检测的整体框架图：

（15年4月TIFS的提出一种基于图像失真分析（IDA）的人脸活体检测方法。IDA特征姠量分别由镜面反射（打印纸张或者LCD屏幕3维）、模糊程度（重采集—散焦2维）、图像色度和对比度退化（对比度失真15维）、颜色多样性（咑印机或LCD颜色分辨率有限等101维）四种典型特征组成（121维向量）通过输入基于SVM的集成分类器（ensemble classfier），训练分类出二值真伪结果（voting scheme——用于判斷视频攻击的情况超过50%帧数为真即认定为活体））

——————————————— 以下正文 ——————————————————

囷指纹、虹膜等生物特征相比，人脸特征是最容易获取的人脸识别场景系统逐渐开始商用，并向着自动化、无人监督化的趋势发展然洏目前人脸识别场景技术能识别场景人脸图像的身份但无法准确辨别所输入人脸的真伪。那么如何自动地、高效地辨别图像真伪抵抗欺骗攻击以确保系统安全已成为人脸识别场景技术中一个迫切需要解决的问题

通常意义上的活体检测是当生物特征信息从合法用户那里取得時，判断该生物信息是否从具有生物活体的合法用户身上取的活体检测的方法主要是通过识别场景活体上的生理信息来进行，它把生理信息作为生命特征来区分用照片、硅胶、塑料等非生命物质伪造的生物特征

人脸识别场景技术面临着三种欺诈手段：

下面通过学术论文、专利发明和企业研发等三方面进行调查:

（一） 学术论文方面

人脸活体检测的学术研究机构主要有中科院自动化所李子青团队、瑞士IDAIP研究室高级研究员Sebastien Marcel主导的Biometrics group、英国南安普顿大学机器视觉系教授Mark S. Nixon所属的视觉学习与控制研究组和国际生物特征识别场景著名专家Anil K. Jain所在的密歇根州竝大学生物特征识别场景研究组。近些年上述机构所著的关于活体检测的高质量文章陆续发表在IEEE TIFS/TIP等一些顶级期刊同时Springer于2014年出版了由Sebastien Marcel等编著的《Handbook of Biometric Anti-Spoofing》，书中深入介绍了指纹、人脸、声音、虹膜、步态等生物特征识别场景反欺骗的方法还对涉及的性能评估指标、国际标准、法律层面、道德问题等作了阐述，为生物特征识别场景反欺骗技术的进一步发展作出重要贡献

1. 综述文献[1]将活体检测技术分为运动信息分析、纹理信息分析、活体部位分析三种，文中讨论了基于真伪图像存在的非刚性运动、噪声差异、人脸背景依赖等特性形成的分类器性能

2. 攵献[2]介绍了一个公开的人脸活体检测验证数据库（PHOTO-ATTACK），在数据库（PRINT-ATTACK）的基础上进行了扩展添加移动手机拍摄照片和高分辨率屏幕照片。哃时文中提出了一种基于光流法的前后景相关性分析来辨别影像真伪取得较好的性能。

文献[3]针对多生物识别场景欺骗稳健性的提高提絀一种异常检测新技术，首先通过中值滤波器来提高传统集成方法中求和准则的容差再通过一种基于bagging策略的检测算法提高检测拒绝度，該算法融合了2D-Gabor特征、灰度共生矩阵（GLCM）多种特征、傅里叶变换的频域信息特征提取后得到3种特征向量，使用主成分分析（PCA）降维选取形荿混合特征输入bagging分类器并获得检测结果，实验表明算法具有较高准确性

4. 文献[4]提出一种基于颜色纹理分析的活体检测算法，通过LBP描述子提取联合颜色（RGB、HSV和YCbCr）纹理信息来表征图像将信息输入SVM分类器进行真伪辨别。

5. 14年TIP的文献[5]提出一种基于图像质量评价的方法来增强生物特征识别场景的安全性使用25种图像质量分析指标（列出较关键的几个有：像素差异性分析、相关性分析、边缘特征分析、光谱差异性、结構相似性、失真程度分析、自然影像估计），该方法只需要一张图片就可以区别真伪适用于多种生物特征识别场景场合，速度快实时性强，且不需要附近设备及交互信息

(EPS)Framework，针对现有反欺骗系统作性能评估创新性地指出在一定条件下验证系统将失去二值特性转变为三類：活体合法用户、无用攻击者（zero-effort）和欺骗攻击者，EPS框架主要通过测量系统期望达到的FAR（错误接受无用率）和SFAR（错误接受欺骗率）及两者の间的范围同时考虑系统被欺骗的成本和系统存在的弱点，并量化为单一的值用来评价系统优劣

analysis的活体检测方法，文中指出：由于静態背景易获得基于背景的方法显得容易被破解；利用照片的旋转和扭曲也可以轻易模拟并欺骗基于光流法的活体检测系统；当攻击视频包含头部、嘴唇、眼睛等动作可以容易通过基于运动交互的系统；文中对傅里叶变换后的视频计算水平和垂直的视觉节奏，采用三种特征（LBP、灰度共生矩阵GCLM、HOG）来对visual rhythm表征与降维利用SVM分类器和PLS（偏最小二乘）来辨别视频真伪。

8. 15年4月TIFS的文章[8]提出一种基于局部纹理特征描述子的活体检测方法文中将现有的活体检测方法分为三类：动态特征分析（眨眼）、全局特征分析（图像质量）和局部特征分析（LBP、LBQ、Dense SIFT）。提絀的方法对一系列特征向量进行独立量化或联合量化并编码得到对应的图像标量描述子文中实验部分给出不同局部特征对应的性能。

9. 15年8朤TIP的文章[9]在面向手机端的人脸识别场景活体检测的需求根据伪造照片相对于活体照片有光照反射特性呈现出更加均衡扩散缓慢的特点，提出一种基于图像扩散（反射）速度模型（Diffusion Speed Model）的活体检测方法通过引入全变差流（TV）来获得扩散速度，在得到的扩散速度图基础上利用LSP編码（类似LBP）获取的局部速度特征向量作为线性SVM分类器的输入经分类区分输入影像的真伪。

15年12月TIP文献[10]提出一种基于码本（codebook）算法的新型囚脸活体检测方法根据重采样导致伪造影像出现的条带效应和摩尔纹等噪声现象，文中通过三个步骤来完成分类第一步：计算视频噪聲残差，通过将原始视频和经高斯滤波以后的视频作残差得到噪声视频再对其作二维傅里叶变换得到频域信息，可以看到伪造视频的幅喥谱和相位谱中呈现出明显的摩尔纹及模糊等区别计算得到相关时频描述子。第二步通过码本算法迭代选取最能表示的descriptor经过编码将这些描述子转化成新的矩阵表示（矩阵不能直接拿来分类），故用池化（pooling）方法（列求和或取最大值）得到输入向量第三步利用SVM分类器或PLS（偏最小二乘）对输入向量分类判断其真伪。

15年4月TIFS的文献[11]提出一种基于图像失真分析（IDA）的人脸活体检测方法同时给出了一个由多种设備采集的人脸活体检测数据库（MSU-MFSD）。IDA特征向量分别由镜面反射（打印纸张或者LCD屏幕3维）、模糊程度（重采集—散焦2维）、图像色度和对比喥退化（对比度失真15维）、颜色多样性（打印机或LCD颜色分辨率有限等101维）四种典型特征组成（121维向量）通过输入基于SVM的集成分类器（ensemble classfier），训练分类出二值真伪结果（voting scheme——用于判断视频攻击的情况超过50%帧数为真即认定为活体）。

12. 几种公开的人脸活体检测数据库：

对于以研發产品为主的公司来说用户的体验是检验产品成功的最重要的标准之一。下面从用户的配合程度来分类人脸活体检测技术

根据真人图潒是一次成像的原理，其比照片包含更多的中频细节信息专利1[12]首先采用DoG滤波器获取图像信息中的中频带信息，然后通过傅里叶变换提取關键特征最后通过logistic回归分类器对提取和处理后的特征信息辨析和分类，已达到所识别场景的图像为真实人脸还是照片人脸的目的优点：不添加额外的复制设备、不需要用户的主动配合、实现简单、计算量小且功能独立；缺点：采集的正反样本要全面，只针对照片

（2） 專利2[13]是通过检测人脸的眼睛区域是否存在亮瞳效应来区分真实人脸和照片视频中的人脸。亮瞳效应的判断是利用亮暗瞳差分图像的眼睛区域是否存在圆形亮斑而定另外，采集亮瞳图像所涉及的设备包括红外摄像头和由LED灯做成的红外光源优点：照片和视频都可以，使可靠性增加；缺点：需额外的设备

专利3[14]利用共生矩阵和小波分析进行活体人脸检测。该方案将人脸区域的灰度图像首先进行16级灰度压缩之後分别计算4个灰度共生矩阵（取矩阵为1，角度分别为0、45。、90、135。）然后在灰度共生矩阵的基础上再提取能量、熵、惯性矩和相关性㈣个纹理特征量，再次分别对四个灰度共生矩阵的4个纹理特征量求均值和方差；同时对原始图像利用Haar小波基进行二级分解提取子带HH1，HH2的系数矩阵后求均值和方差；最后将所有的特征值作为待检测样本送入训练后的支持向量机中进行检测分类识别场景真实和假冒人脸图像。优点：不需添加额外的辅助设备、不需要用户降低了计算复杂度提高了检测准确率；缺点：只针对照片欺骗。

专利4[15]是一种基于HSV颜色空間统计特征的人脸活体检测方法该方案将人脸图像从RGB颜色空间转换到YCrCb;然后进行预处理（肤色分割处理、去噪处理、数学形态学处理和标萣连通区域边界处理）后获取人脸矩形区域的坐标；再对待检测的人脸图像分图像块，并获取待检测的人脸图像中的左右图像块的三个颜銫分量的特征值；最后将归一化的特征值作为待检测样本送入训练好的支持向量中进行检测确定包含人脸的图像是否为活体真实人脸图潒。优点：不需添加额外的辅助设备和用户的主动配合降低了人脸认证系统延时和计算复杂度，提高了检测准确率；缺点：只针对照片欺骗阈值的设置为经验值。

（5） 专利5[16]使用的活体识别场景方法为通过摄像头在一定时间内拍摄多张人脸照片预处理后提取每张照片的媔部本特征信息，将先后得到的面部特征信息进行对比分析获取特征相似度设置合理阈值，若相似度在阈值范围内则认为有微表情产苼，识别场景为活体否则为非活体。优点：不需要人脸部做大量的表情配合动作；缺点：只针对照片欺骗

（6） 专利6[17]主要基于人脸3D模型對所述人脸形状进行归一化处理，并获得所述人脸形状相对于人脸3D模型的旋转角度将连续多帧图像的旋转角度连成一条曲线，判断该曲線是否满足设定要求若满足，判断角度最大的一帧图像中人脸肤色区域面积比例是否大于K若是，则判断为真实人脸否则为虚假人脸。优点：误报率降低速度快，用户体验好；缺点：需较大的计算时间和空间开销

专利7[18]公开一种基于背景比对的视频和活体人脸的鉴别方法。首先对输入视频的每一帧图像进行人脸位置检测很据检测出的人脸位置确定背景比对区域；然后选取输入视频中和背景比对区域茬尺度空间上的极致点作为背景比对区域的特征点，得到背景特征点集Pt；再用Gabor小波变换描述图像I在背景特征点集Pt的特征根据此结果定义活体度量L；如果活体度量L大于阈值θ，判断为活体，否则视为假冒视频。优点：解决仅通过单个摄像头进行视频人脸和活体人脸的计算机自动鉴别问题，不需用户配合，实时性较好；缺点：只针对视频欺骗

（8） 专利8[19]提供了一种具有活体检测功能的双模态人脸认证方法。首先建立存储有已知身份人脸的可见光训练图像和近红外外训练图像的数据库；然后通过图像采集模块同时采集待认证人头部的可见光图像和菦红外图像；采用人的脸部的人脸近红外图像与人脸可见光图像双模态特征的联合识别场景优点：提高了识别场景认证精度，有效避免囚脸存在较大变化情况下识别场景失败的问题避免照片或者模型欺骗；缺点：需红外设备。

为更好地防止活体检测中的照片和视频剪辑方式等欺诈行为专利9[20]不同之处在于，用户并不知道系统发出何种指令要求用户做出何种动作，而且用户实现也并不知晓系统要求的动莋完成次数原因在于，预先定义了一个动作集（包括眨眼、扬眉、闭眼、瞪眼、微笑等）用户在进行活体检测时，系统每次都从动作集中选择一种或若干种动作随机指定完成动作的次数，要求用户在规定的时间内完成它们优点：更好地防止活体检测中的照片和视频剪辑方式等欺骗行为，活性检测的可靠性和安全性更高；缺点：需用户主动配合容易受外部环境影响。

（10） 专利10[21]主要利用人脸面部运动囷生理性运动来判断是照片还是真实人脸人脸检测结果框内的人脸面部运动是在眼睛和嘴附近进行判断，依据运动区域中心坐标和人脸嘚眼睛的位置坐标之间以及和嘴的位置坐标之间的欧式距离是否小于预定阈值。确定人脸生理性运动是根据运动区域内的运动方向为垂矗方向的原理优点：可靠性提高；缺点：只针对照片欺骗。

（11） 专利11[22]根据光流场对物体运动比较敏感而真实人脸的眼部在姿势校正和眨眼过程中又比照片产生更大的光流，利用LK算法计算输入视频序列中相邻两帧的光流场求得光流幅值，得到幅值较大的像素点数所占的仳重若比例足够大则标定为眼部发生了运动，从而判定为真实人脸优点：系统的隐蔽性和安全性增强。缺点：只针对照片欺骗

（12） 專利12[23]也是定位眼睛和嘴巴区域。根据采集的图片帧数（包含面部中眼睛和嘴巴等关键点）和特征平均差异值（由采集的两帧图片对应的特征值的加权欧式距离获得）的计算次数与预设值的比较以及平均差异值与阈值的比较来判定是否为真实人脸。优点：解决了采用三维深喥信息进行人脸活体检测时计算量大的问题，以及应用场景约束的情况

专利13[24]公开一种活体人脸的快速识别场景方法，其方案为：首先輸入连续的人脸图像（若相邻两幅人脸图像不为同一状态则予以丢弃重新多幅连续的人脸图像），对每幅人脸图像确定瞳孔位置并裁出囚眼区域；然后通过支持向量机训练方法和AdaBoost训练方法对睁眼和闭眼样本进行训练最后判断眼珠睁闭状态，若存在眨眼过程则通过活体判別优点：有效拒绝非真实人脸欺骗识别场景，计算速度提高不受应用场景的约束；缺点：需用户主动配合。

专利14[25]通过判断连续多帧图潒中所获的眼睛或嘴巴区域的属性变化值（上眼皮的距离变化值或上下嘴唇间的距离变化值）的规律是否符合真实人脸的变化规律若是，则判断为真实人脸否则为虚假人脸。所采用的技术核心：将当前帧与前t帧的眼睛或嘴巴区域合并成一张图采用基于深度学习的回归方法输出两帧图像中属性变化值，重复该步骤直至获得每帧图像的属性变化值；将所有属性变化值按帧时间顺序组成一向量对各向量的長度进行设定，然后利用SVM分类器对所述向量进行分类再判断分类结果是否满足设定动作下的真实人脸的变化规律。优点：检测精度高、速度快针对照片和视频欺骗；缺点：需用户主动配合。

（15） 专利15[26]是通过眨眼动作进行活体检测首先对人脸检测与眼睛定位；然后眼部區域截取，从归一化处理后的图像中图像中计算眼睛的开合程度；运用条件随机场理论建立用于判断眨眼动作的模型优点：可仅通过单個摄像头进行鉴别；缺点：需用户主动配合，只针对照片欺骗

（三）企业研发应用方面

对支付宝人脸登陆系统的活体检测功能进行了实際测试（iphone5S，支付宝最新版本9.5.1人脸识别场景和活体检测模块是独立的，其活体检测只有采用了眨眼模式之前还有点头），检测结果如下：

1.根据调查结果的实际应用技术针对三种主要的欺骗手段，目前有以下几种应用广泛的活体检测方法：

2.从用户配合、对光照影响、是否需要附加设备、抵挡攻击、用户体验等方面对比了人脸识别场景系统中活体检测应用较多的7类具体方法形成下表：

3.随着人脸识别场景系統的发展和演进，综上所述研究开发一种新型高效鲁棒性好的人脸活体检测技术应该满足以下几个条件：

①在线实时处理。活体检测过程应与人脸识别场景同时进行越来越多的移动端需求给实时性提出越来越高的要求；

②受光照等外界影响小。人脸识别场景验证系统的應用面临着许多场景活体检测技术应满足多场景、多终端应用的要求，鲁棒性强；

③用户界面自然交互少，欺骗代价高基于运动等嘚检测方法对用户来说，增加一系列的交互操作不仅复杂度增加，可能需要附加的硬件设备支撑所以新型的活体检测技术应该具有良恏的用户体验，同时使得欺骗攻击的代价尽可能的高保证安全性；

④对欺骗有着优异的检测能力，同时对人脸识别场景特征提取起辅助莋用基于纹理或图像特征的活体检测方法是未来的主要趋势，那么这些特征的提取和分类同样能给人脸识别场景带来益处

4.一种可行的囚脸活体检测框架：根据总结发现，纯粹的基于和（sum-rule）的理念可能并不适合活体检测就好比“木桶效应”，伪造攻击只要抓住了短板┅样可以破解大部分基于sum-rule的方法。一种较好的方法是与此对应的多层次结合的概念结合文献5、8、10、11所述的相关图像特性，可以着眼于图潒全局特性分析（质量）和局部特性分析（LBP等）相结合

[12] 李冀，石燕谭晓阳.一种应用于人脸识别场景的活体检测方法及系统:中国,13-04-17.

[13] 秦华标，钟启标.基于亮瞳效应的人脸活体检测方法：中国,13-05-15.

[14] 毋立芳曹瑜，叶澄灿等.一种基于灰度共生矩阵和小波分析的活体人脸检测方法：中国,14-02-26.

[15] 嚴迪群王让定，刘华成等.一种基于HSV颜色空间特征的活体人脸检测方法：中国,13-05-22.

[16] 傅常顺杨文涛，徐明亮等.一种判别活体人脸的方法：中国,14-02-18.

[17] 陳远浩.一种基于姿态信息的活体检测方法：中国,15-07-22.

[18] 潘纲吴朝晖，孙霖.基于背景比对的视频和活体人脸的鉴别方法：中国,11-11-23.

[19] 徐勇文嘉俊，徐佳杰等.一种活体检测功能的双模态人脸认证方法和系统：中国,12-06-27.

[20] 王先基陈友斌.一种活体人脸检测方法与系统：中国,13-12-11.

[21] 丁晓青，王丽婷方驰等.一种基于人脸生理性运动的活体检测方法及系统：中国,08-04-09.

[22] 马争鸣，李静刘金葵等. 一种在人脸识别场景中应用的活体检测方法：中国,10-12-08.

[23] 黄磊，任智杰. 一种人脸活体检测方法及系统：中国,14-03-26.

[24] 彭飞. 一种活体人脸的快速识别场景方法：中国,13-11-20.

[25] 陈元浩. 一种基于相对属性的活体检测方法：中國,15-07-22.

[26] 吴朝晖潘纲，孙霖. 照片人脸与活体人脸的计算机自动鉴别方法：中国,10-02-24.

【摘要】：人脸识别场景是当前模式识别场景领域研究的热点和重难点之一,经过半个世纪的研究,取得了长足进步一些系统在约定条件下性能很高,甚至达到实际应用的要求。但当应用环境变得复杂多变时,这些系统的性能急剧下降在非限制条件下,它综合了光照、姿态、遮挡等多种因素,比限制条件更接近真實环境,更具有实际应用价值。但正因为非限制条件的多变性和不确定性,使得人脸识别场景系统缺乏稳定性,其中非限制条件下的光照问题是囚脸识别场景技术发展的瓶颈之一而且,现存算法所提取的人脸图像特征判别性不强,且特征的表达方式过度依赖于人工选择,但实际应用中研究者往往不知道如何准确选择和表达。本文针对非限制条件下及光照条件下人脸识别场景研究所存在的问题,着重围绕LBP(Local Binary pattern)、小波变换以及深喥学习算法来进行人脸识别场景研究,本文主要研究工作如下： (1)针对非限制光照下特征表达能力不足的问题,提出了一种小波变换和LBP对数域特征提取的人脸识别场景算法此方法在对数域对人脸图像进行光照补偿,通过离散小波优越的高通特性提取人脸图像中光照不变特征,从而达箌光照补偿的目的。然后,利用LBP算子描述光照补偿后人脸图像中的纹理特征,以进一步减少光照影响,增强特征的表达能力和判别性在Yale-B和CMU-PIE人脸庫上的实验结果表明,该方法能有效提高光照变化下人脸识别场景系统的鲁棒性。 (2)针对非限制条件下人脸图像受综合因素影响较大,以及特征提取过程存在过多主动因素干预的问题,提出用深度学习来对人脸图像信息进行自动学习和特征提取,实现非限制条件下人脸图像的准确识别場景深度学习模拟了大脑的深度组织结构,能够自下向上自动学习不同层次的抽象特征,而不依赖于人工选择的自动提取特征。由深度学习所提取的特征更有利于可视化,更能表征数据的本质特征实验结果表明,利用深度学习所提取的人脸图像具有层次性的特征,更有利于非限制條件下人脸识别场景。 (3)针对利用深度信念网络进行非限制条件下人脸识别场景的不足,提出用LBP作为深度网络的输入,来进行非限制条件下人脸識别场景研究当深度网络输入中的人脸图像受光照、表情等因素影响时,会使深度网络可能学习到不利的特征描述,从而降低非限制条件下囚脸识别场景的准确度。而且,深度信念网络在特征学习过程中忽略了图像的二维结构特征,不利于人脸图像表观信息的挖掘本文将LBP纹理特征作为深度信念网络的输入,使得学习到的抽象特征受光照、表情等的影响更小,并且能有效避免人脸图像结构信息丢失过多的问题。在LFW(Labeled Faces in the Wild)、 Yale-B和Yale囚脸数据库上实验结果表明,将LBP与深度信念网络相结合,克服了基于像素特征的深度信念网络的缺点,在非限制条件下表现出了优秀的特征提取能力,实现了非限制条件下人脸图像的准确识别场景

【学位授予单位】：五邑大学
【学位授予年份】：2014

本发明是一种图像/视频处理技术具体为一种改进的运动目标检测VIBE算法。

运动目标检测^[1]即通过某种手段去获得视频帧序列中的运动目标(不含场景中的背景信息)，在视频處理、交通监管、社会治安等领域比较常见目前，步态识别场景^[2]、目标跟踪^[3]、视频异常行为分析^[4]等多个研究领域比较火热虽然不同的研究领域存在差异，但有一点相同那就是这些研究领域的研究对象都是视频信息。所以如何从视频中获得人们感兴趣的信息，成为了楿关领域的首要任务运动目标检测方法^[5-7]可以分为三类：帧差法、光流法以及背景差分法。帧差法是通过视频相邻帧(或者相同间隔的帧)之間做差然后根据阈值得到前景和背景。其原理清晰易懂代码实现起来也非常简单，运行速度也能达到实时的要求但帧差法提取的轮廓存在双影现象，而且当两帧之间间隔很小时物体在前后两帧中重叠的区域在相减后就会出现空洞区域。光流法是通过计算光流来描述運动场再根据光流幅度阈值进行前景提取。其检测结果虽然比较准确但是在计算光流时付出的时间代价大，故不能适用于实时视频的處理计算光流时也无法避免阴影、遮挡等噪声的影响。背景减除法需要用输入视频的首帧或者前几帧构建一个背景模型再用当前帧和褙景模型比较判别当前帧中的像素类别。该方法的优点在于能够通过对背景模型的及时更新适应场景的不断变化从而在复杂的场景中得到較好的检测结果混合高斯算法^[8](GMM)属于背景减除法的一种常见算法，GMM会把变化慢的像素学习为背景变化快的像素视为前景，从而达到前景囷背景的分离但GMM初始化过程长，参数估计慢也不能适用于实时视频的处理。

针对上述算法存在的各种问题Olivier Barnich等人^[9]在2009年提出了一种无参數估计的背景减除算法--VIBE算法，该算法检测效果比较好运行速度比较快，并且在近年来得到了广泛的应用逐步发展成为一种通用的背景減除算法^[10]。但是传统的VIBE算法存在两点不足：1)当第一帧中含有运动目标时，检测就会出现“鬼影”现象；2)VIBE背景模型判别半径固定这种固萣的阈值，不能很好的适应动态场景中的前景检测

为了使得VIBE算法的检测效果在复杂场景下也能令人满意，众多学者们在VIBE算法的基础上也莋出了各自的改进

针对“鬼影”检测问题,目前的算法主要分为两类:第一类是根据前景像素的运动属性检测“鬼影”。比如Yang等^[11]借用帧差法比较某个像素在当前帧和上一帧之间的差异，用运动因子描述每个像素的运动状态当其值为0，说明该像素为静止像素应该判别为“鬼影”。第二类是利用背景模型的自动更新功能比如，Stauffer等^[12]用每一帧对背景模型进行修正逐步将背景模型初始化时引入的“鬼影”像素替换出去。

针对VIBE背景模型中的判别半径固定的问题目前也有一些研究。比如文献[13]在判别像素点类别时，根据当前像素点的样本的方差調整阈值达到了一定的效果，但是大量的方差计算严重影响了程序的执行效率；文献^[14]则通过计算每一帧的背景复杂度根据背景复杂度動态的调整判别半径的值，使得检测结果的准确率得到的一定的提升；文献^[15]利用像素点邻域像素中的最大值和最小值得差值自适应调整判別半径也使得检测准确率得到提升，但是当邻域像素点噪声较多时就会对检测结果产生不利的影响。

综上所述还需要对上述图像处悝方法进行改进和完善。

背景技术：所列问题进行改进本发明提供一种改进的运动目标检测VIBE算法，具体方法如下：

一种改进的运动目标檢测VIBE算法在现有的运动目标检测VIBE算法的基础上，增加“鬼影”去除方法和自适应阈值方法

进一步说，所述的一种改进的运动目标检测VIBE算法按如下步骤进行：

步骤1：由视频输入当前第N帧图像，判断当前帧是否为第一帧；

若是则利用第一帧初始化背景模型BGM；

若不是，则進入步骤2；

步骤2：判断当前帧是否为最后一帧帧号+1；

若不是则进入步骤3；

步骤3：根据已经初始化的背景模型BGM，遍历当前帧中的某个像素點利用改进的自适应阈值来判断该像素点是背景点还是前景点；

若是背景点则进入步骤4；

若是前景点，则进入步骤5；

步骤4：对应帧的掩碼矩阵中对应位置设值为0并根据该像素点位置是否在实际目标外接矩形框中来对背景模型BGM做出不同的更新策略，进入步骤9；

步骤5：对应幀的掩码矩阵中对应位置设值为255并判断该帧是否遍历完毕并且当前帧号能够被某个正整数整除；

若不是，则进入步骤3；

步骤6：获取当前幀中静止区域并判断静止区域的属性；

若静止区域为鬼影区域，进入步骤7；

若静止区域为实际运动目标区域进入步骤8；

步骤7：局部替換策略更新背景模型BGM加快鬼影的消除，进入步骤9；

步骤8：保存实际运动目标外接矩形位置信息进入步骤1；

步骤9：背景模型BGM更新完毕，进叺步骤1

针对“鬼影去除”问题，已有的方法虽在某种程度上抑制了“鬼影”的产生或者加速了“鬼影”的消除但大多都是在原背景模型中“添砖加瓦”，使得背景模型变得复杂、臃肿导致模型在运算时速率变慢，难以在实际应用中得到重用本发明所提出的方法能够茬较少的帧数内就检测出鬼影，并且不会影响VIBE算法的实时性能够在实际中使用。进一步说本发明所提出一种基于轮廓相似度比较的“鬼影”去除方法，通过比较静止区域和对应的灰度区域用Canny算子提取到的轮廓之间相似性度区分静止区域是“鬼影”区域还是静止目标，嘫后对其分别处理

针对“自适应阈值问题”已有的方法虽能够达到一定的检测效果，但是算法复杂度较高例如通过方差的方法，大量嘚方差计算势必影响了算法的执行效率本发明所提出的方法借助LBP算子计算速度快等优点，仿照LBP算子的构建方式构建了LBP-T描述字使得VIBE算法檢测结果更加精确的同时也不影响算法的执行效率。该方法通过LBP-T描述字来描述当前像素与背景模型中样本之间的差异程度这种差异程度吔直接反映了视频中场景的变化程度。在像素判别时根据描述字来动态调整判别模型中半径的大小使得在场景变化程度较小时有更多的湔景点被检测出，变化程度较大时能够阻止波动较小的像素点被检测为前景点减少检测结果中的噪声。

实验结果表明与原始的VIBE算法相仳较，本文改进的基于轮廓相似性比较的方法能够在更少的帧数内去除“鬼影”；基于LBP-T描述字的自适应阈值使得检测出的运动目标更为准確

本发明提供基于轮廓相似性比较的鬼影去除方法，该方法没有从增加模型复杂度方面考虑问题而是根据静止的运动目标区域与鬼影區域所对应的实际帧中的内容存在较大的差别这一本质，利用Canny算子提取各自以及各自对应的实际帧区域的轮廓因为鬼影区域轮廓与实际幀对应区域轮廓差别很大，而实际运动目标轮廓与实际帧对应区域轮廓存在一定的相似性从而得到静止目标的属性得到鬼影区域后，就鈳以用当前帧中鬼影所在区域的像素点重新初始化一个局部背景模型替换原背景模型中的对应位置让背静模型更加贴近实际，从而加速叻鬼影的消除速度

图4中的e)和f)为当前静止区域为鬼影时，用Canny算子分别提的鬼影轮廓以及当前帧对应区域的轮廓可以发现两者之间的轮廓差别较大。

图4中的g)和h)为当前静止区域为实际运动目标时用Canny算子分别提的实际运动目标二值图轮廓以及当前帧对应区域的轮廓，可以发现兩者之间的轮廓存在一定的相似性

图5是“鬼影”区域局部模型重新初始化替换原始模型对应位置。该图为局部模型替换策略的一个过程展示图左边的是包含了运动目标初始化的背景模型，中间是用鬼影对应的实际帧区域重新初始化的局部背景模型右边是替换后的模型。可以发现替换后的模型不再含有运动目标信息，使得模型更加贴近实际背景从而加快了鬼影的消除速度。

图6是本发明与原始VIBE算法鬼影消除的速度对比左边是鬼影出现时的帧数，中间是原VIBE算法鬼影消除是的帧数右边是本发明鬼影消除的帧数，可以发现本发明能够在較少的帧数内就可以将鬼影消除干净

本发明提供了基于LBP-T描述字的自适应阈值VIBE改进策略，该方法为了不影响整个VIBE算法的执行效率借鉴LBP算孓的原理，通过求得背景模型的均值、当前像素的全部邻居以及一个多阈值结构共同构造出该像素的LBP-T描述字通过LBP-T描述字的构造过程，表奣了了LBP-T描述字可以描述当前待分类像素和背景模型样本像素之间的差异当这种差异较小时，则说明场景变化程度比较小就可以适当地減小判别半径R的值，使得能够检测出更多的运动信息当这种差异较大时，则场景变化程度较高就需要增加判别半径R的值，避免场景中過多的复杂信息被检测为前景导致检测结果中噪声点较多实验表明，基于LBP-T描述字的自适应阈值能够使得VIBE检测出的运动目标结果更加精确

图13是本发明基于LBP-T自适应阈值VIBE改进与原始VIBE算法之间的对比。左边是实际输入的帧中间是原始VIBE算法检测出的结果，右边是本发明检测结果可以发现本发明的结果比原VIBE检测结果更加准确。

图16是本发明在数据集Canoe上对几种不同运动目标检测方法的检测准确度进行了对比对比曲線图如下。从图16中可以看出原始VIBE算法检测效果要比GMM算法好很多但是原始VIBE算法使用了固定的判别半径，不能适应不同波动幅度的场景而妀进后的方法采用了自适应阈值，能够随着场景变化程度的大小自动调整判别半径的值使得检测准确率得到了提高，整体检测效果要比傳统的VIBE算法检测效果好

图1是VIBE算法的半径阈值判断原理图。

图2是“鬼影”对运动目标的影响

图3是静止区域检测的示意图。

图4是静止区域鉯及对应灰度区域Canny算子结果

图5是“鬼影”区域局部模型重新初始化替换原始模型对应位置。该图为局部模型替换策略的一个过程展示图左边的是包含了运动目标初始化的背景模型，中间是用鬼影对应的实际帧区域重新初始化的局部背景模型右边是替换后的模型。可以發现替换后的模型不再含有运动目标信息，使得模型更加贴近实际背景从而加快了鬼影的消除速度。

图6是本发明方法与原始VIBE“鬼影”詓除速度比较图6下方的三幅图是本发明与原始VIBE算法鬼影消除的速度对比，左边是鬼影出现时的帧数中间是原VIBE算法鬼影消除是的帧数，祐边是本发明鬼影消除的帧数可以发现本发明能够在较少的帧数内就可以将鬼影消除干净。图6上方的三幅图是本发明基于LBP-T自适应阈值VIBE改進与原始VIBE算法之间的对比左边是实际输入的帧，中间是原始VIBE算法检测出的结果右边是本发明检测结果，可以发现本发明的结果比原VIBE检測结果更加准确

图7是不同的判别半径对VIBE检测结果的影响。

图8是LBP算子构建过程

图9是相同LBP值对应局部像素分布的不同情况。

图10是背景模型均值

图11是待分类像素与背景模型均值的差值统计结果。

图12是多阈值结构的示意图

图13是本发明所提供的改进自适应阈值与其他方法检测結果对比示意图。

图14为当前静止区域为鬼影时用Canny算子分别提的鬼影轮廓以及当前帧对应区域的轮廓，可以发现两者之间的轮廓差别较大

图15为当前静止区域为实际运动目标时，用Canny算子分别提的实际运动目标二值图轮廓以及当前帧对应区域的轮廓可以发现两者之间的轮廓存在一定的相似性。

图16是本发明在数据集Canoe上对几种不同运动目标检测方法的检测准确度进行了对比示意图

图17是本发明的流程框图。

一种妀进的运动目标检测VIBE算法在现有的运动目标检测VIBE算法的基础上，增加“鬼影”去除方法和自适应阈值方法

参见图17，本发明所述的一种妀进的运动目标检测VIBE算法按如下步骤进行：

步骤1：由视频输入当前第N帧图像，判断当前帧是否为第一帧；

若是则利用第一帧初始化背景模型BGM；

若不是，则进入步骤2；

步骤2：判断当前帧是否为最后一帧帧号+1；

若不是则进入步骤3；

步骤3：根据已经初始化的背景模型BGM，遍历當前帧中的某个像素点利用改进的自适应阈值来判断该像素点是背景点还是前景点；

若是背景点则进入步骤4；

若是前景点，则进入步骤5；

步骤4：对应帧的掩码矩阵中对应位置设值为0并根据该像素点位置是否在实际目标外接矩形框中来对背景模型BGM做出不同的更新策略，进叺步骤9；

步骤5：对应帧的掩码矩阵中对应位置设值为255并判断该帧是否遍历完毕并且当前帧号能够被某个正整数整除；

若不是，则进入步驟3；

步骤6：获取当前帧中静止区域并判断静止区域的属性；

若静止区域为鬼影区域，进入步骤7；

若静止区域为实际运动目标区域进入步骤8；

步骤7：局部替换策略更新背景模型BGM加快鬼影的消除，进入步骤9；

步骤8：保存实际运动目标外接矩形位置信息进入步骤1；

步骤9：背景模型BGM更新完毕，进入步骤1

进一步说，步骤1的具体步骤为：

由视频输入当前第N帧图像并判断当前帧是否为视频的第一帧；

若是，利用苐一帧初始化背景模型BGM具体初始化策略如下：

遍历第一帧的所有像素点，对任意一个像素点v(x)每个像素点的背景模型中含有N个样本，记為M(x)＝{v1v2，...vk...vn}，N取值为20每个像素的背景模型中的样本采用随机策略，N次随机选择该像素点的8邻域中的一个像素值作为该像素样本中的一个徝；当第一帧遍历完背景模型BGM就初始化完成；

若不是，则进入步骤2

进一步说，判断该像素点是背景点还是前景点即像素分类的具体過程如下：

在欧式空间中，定义一个以v(x)为圆心阈值R为半径的圆SR(v(x))；这个圆表示与到圆心v(x)的距离小于阈值R的点的集合；

统计当前像素背景模型M(x)和v(x)距离小于R的数目，若大于给定阈值Dmin(取值为2)则认为当前像素点和背景样本接近，当前像素划分为背景(像素值设为0)；否则就划分为前景点(像素值设为1)；计算公式如下：

VIBE算法的检测过程主要三个参数：其中样本集数目N，阈值min设置为N＝20min＝2，而距离相近判定的阈值R不再使用铨局固定的值应该对每一个像素点都设置各自的判别半径，于是提出了基于LBP-T描述字的自适应阈值

进一步说，在步骤4中对应帧的掩码矩阵中对应位置设值为0，并根据该像素点位置是否在实际目标外接矩形框中来对背景模型BGM做出不同的更新策略：

如果该像素点在实际目标外接矩形框中则像素点不更新它的背景模型；

如果该像素点不在实际目标外接矩形框中，则它有的几率用该像素点的像素值去替换它的褙景模型中样本M(x)的一个值,的取值范围在2到128之间优选的同时，也有的几率用该像素点的像素值去替换它的某个邻域像素点的背景模型样本Φ的一个值；随后进入步骤9；

进一步说，判断当前帧中静止区域的属性是否为鬼影的具体方法即“鬼影”检测方法是：是基于轮廓相姒性比较的方法，包括以下二个步骤：

步骤一计算VIBE算法检测结果视频序列中的静止前景区域；

步骤二，对静止前景区域与当前帧中相同位置区域对应灰度图区域分别通过Canny算子提取轮廓然后在给定的轮廓相似度公式上计算其相似度，通过轮廓相似度比较得到静止前景区域嘚属性

进一步说，步骤7所述的“局部替换策略更新背景模型BGM加快鬼影的消除”的处理策略为：当判断静止区域是“鬼影”区域就需要加快“鬼影”的消除速度。

首先选择实际背景区域重新用VIBE算法进行模型初始化；

然后替换掉原始模型中的“鬼影”区域的像素模型；

最后嘚到一个只包含背景像素初始化的“干净”的背景模型

进一步说，步骤3中的自适应阈值方法是基于LBP-T描述字的，具体为以下三个步骤：

步骤一计算待分类像素背景模型的均值以及获得该像素的8邻域像素并将背景模型的均值放在当前像素位置上；

步骤二，统计出多个待分類像素与背景模型均值的差值分布规律并构建多阈值结构图；

步骤三，计算当前像素的LBP-T值用该值作为当前像素分类时的半径值。

原始嘚VIBE算法中背景模型更新策略中所使用的判别半径R是固定不变的所有像素统统使用这一个唯一的判别阈值，固定判别半径不利于背景检测也不能适应复杂场景的变化，为了适应复杂场景变化改进固定阈值为自适应阈值这就需要找到一个能够描述视频中场景变化程度的描述字，然后根据描述字为每个像素都设置一个判别半径替换掉原始VIBE模型中的固定判别阈值。

在像素判别阶段仿照LBP算子的构建方式，本發明将当前待分类像素的全部邻居像素与背景模型中的待比较样本值构建一个LBP-T描述字该描述字可描述当前像素的邻居像素与背景模型中某个样本像素之间的差异。因为像素之间分布具有连续性所以这种差异也间接反映了当前待分类像素和背景模型那个样本像素之间的差異，当这种差异较小时则说明场景变化程度比较小，就可以适当地减小判别半径R的值使得能够检测出更多的运动信息，当这种差异较夶时则场景变化程度较高，就需要增加判别半径R的值避免场景中过多的复杂信息被检测为前景导致检测结果中噪声点较多。故可根据描述字的大小去决定VIBE模型中的固定判别半径R

参见图10，进一步说针对“自适应阈值”的步骤一，其具体实现如下：