人脸检测综述_孙宁

2006 年 12 月JOURNAL OF CIRCUITS AND SYSTEMS December, 2006 文章编号：1007-0249 (2006) 06-0101-08人脸检测综述*孙宁1,2，邹采荣2，赵力1,2（1. 东南大学学习科学研究中心，江苏南京 210096；2. 东南大学无线电工程系，江苏南京 210096）摘要：人脸检测研究在近二十年的时间内取得了长足的进步，并且作为安控、人机界面、人类情感研究系统的重要组成部分得到了广泛的应用。

该文首先对人脸检测所面临的问题进行了探讨，并将人脸检测方法分为：基于几何特征的方法、基于肤色模型的方法、基于统计理论的方法三个方面进行了阐述。

分析了相关的理论及算法，对各个方法的优缺点进行了比较。

最后，对人脸检测今后的研究方向进行了讨论。

关键词：人脸检测；人脸识别；机器学习；模式识别；中图分类号：TP391 文献标识码：A1 引言观察一个人的面部可以自然的，无侵犯性的了解到一个人的很多信息，比如：身份，性别，年龄，情感等等。

因此，在过去三十多年[1]的时间里人们对人脸检测和人脸识别始终保持着浓厚的研究兴趣。

随着近些年来国际形势的变化，特别是9.11事件之后，各国对自身重要设施的安保性能越发重视，也积极研发了一些自动人脸识别系统并投入实用。

比如，美国Identix公司的FaceIt[2]系统，该系统基于局部特征分析（LFA），能在不同的光照，肤色，姿态，表情情况下得到良好的检测性能。

我国的生物特征认证与安全技术研究中心（CBSR）则在2004年成功研制出了基于人脸、指纹、虹膜三种识别方法的快速通关系统（MRTD）[3]，取得了国际先进的整体性能。

任何人脸识别系统首先都需要从输入信息中获取人脸的位置、大小。

因此，人脸检测是人脸识别系统的第一个步骤，这一步骤的所获得的精度与速度直接影响整个系统的性能。

此外，人脸检测的应用也大大超越了人脸识别系统的范畴，在人脸表情识别系统，基于内容的检索，视频会议，三维人脸模型等方面也有重要的应用价值。

人脸的自动检测是一类具有很大挑战性的问题，其主要难点在于：（1）人脸是一类高度非刚性的目标，存在相貌，表情，肤色等差异，（2）人脸上可能会存在一些附属物，诸如，眼镜，胡须等。

（3）人脸的姿态变化万千，并且可能存在遮挡物。

（4）待检测图像性质的差异。

比如：待检图像的分辨率；摄录器材的质量等；（5）光源的种类和角度。

不同种类和角度的光源会对待检测的人脸产生不同性质的反射和不同区域的阴影。

针对以上问题，各国的科研人员作了很多的研究，国外比较著名的有CMU，MIT,UIUC等，国内的有微软亚洲研究院、中科院自动化研究所、清华大学等。

此外，每年在国际国内的相关期刊和会议上都有大量的关于人脸检测的论文，其中综述性质的文章对近期人脸检测的研究进展进行总结，对人脸检测的研究方向进行展望。

Chellappa、Zhao等人分别于1995和2003年发表的两篇人脸识别的综述论文[4,5]，其中列出专门章节将人脸检测作为人脸识别系统的一部分进行了综述。

前者总结了上世纪九十年代中期之前人脸检测技术的状况和发展，后者则着重介绍了最新的人脸检测技术的发展情况。

2001年，E. Hjelmas等人发表的文章[6]将人脸检测技术分为基于图像的方法和基于特征的方法这两类进行了综述。

2002年，M .H. Yang等在IEEE Trans. PAMI上发表了名为：Detecting Faces in Images: A Survey[7]的人脸检测技术综述文章，该文将人脸检测技术分为四类进行了详细介绍，并且针对以往关于人脸检测论文中检测性能估计方面的混乱情况，提出了较明确的估计准则。

此外，还给出了许多用于人脸检* 收稿日期：2005-04-11 修订日期：2005-08-17测的人脸库资源的互联网链接。

此后，M. H. Yang 在2003年的ICIP 会议和2004年的ICPR 会议上分别作了名为：Recent Advances in Face Detection 的主题报告[8,9]，对人脸检测的最近动态进行了详细的介绍。

本文根据对人脸检测算法发展和现状的研究，将人脸检测算法分为三类进行介绍和分析，分别为：基于几何特征的方法、基于肤色模型的方法、基于统计理论的方法。

2 基于几何特征的人脸检测方法所谓人脸的几何特征指的是人类面部器官在几何上体现的特征。

本章分为以下三种方法进行介绍：基于先验知识的方法；基于特征不变性的方法；基于模板的方法。

2.1 基于先验知识的方法基于先验知识的方法是将人脸面部器官之间的关系编码准则化的人脸检测方法。

该方法是一种自顶而下的方法，依据人脸面部器官的对称性、灰度差异等先验知识，制定出一系列的准则。

当图像中的待测区域符合准则，则被检测为人脸。

Yang 等在1994年提出的方法[10]是基于先验知识的人脸检测方法的典型例子。

该方法利用4×4镶嵌图将人脸分块，如图1(a)，并根据每块的灰度值制定准则来进行判定。

他们将系统分为三级，利用不同精度的平均和二次采样产生三级不同分辨率的图像。

针对不同分辨率的图像采用不同的准则进行判定，例如，在低分辨率图像里的准则主要体现了人脸的大体轮廓，而在高分辨率图像里的准则则主要体现了人脸的细节特征。

虽然Yang 的方法在检测性能方面并不突出，但是这种由粗至细的检测思想对以后的研究工作产生积极的影响。

卢春雨等对镶嵌图方法进行了改进，提出了3×3的广义三分图方法[11]，如图1(b)。

该方法充分利用了人脸器官的自然分布，可以更直观的利用人脸的先验知识制定准则，使镶嵌图子块对脸形的自适应操作成为可能。

章品正等[12]在检测过程中结合3×3和4×4的划分方式建立检测准则，如图1(c)。

并利用最小同值分割吸收核区（SUSAN ）方法进行检测结果验证，取得了较高的检测率及良好的抗噪声性能。

2.2 基于特征不变性的方法基于特征不变性的方法着眼于检测面部的一些不变的特征，例如眼睛、鼻子、嘴巴等。

与基于先验知识的方法不同，该方法是自底而上的，先利用各种手段寻找上述的不变特征，然后综合找到的这些不变特征来确定待检测区域是否是人脸。

Graf 等[13]首先利用带通滤波器选择出一段频率，然后根据形态学的知识设定一系列的阈值找出眼睛、嘴巴等区域，最后依照以上位置检测出人脸。

Leung 等提出任意图匹配的方法[14]，其主要目的是用准则正确表达出面部特征的几何分布。

该文中用五个特征（两只眼睛、两个鼻孔以及鼻子与嘴唇的连接处）来描述人脸。

王延江等[15]用肤色方法分割出人脸的候选区域后，然后利用小波分解对每一个侯选区域进行人脸特征分析，如所检测到的区域特征分布相似于某一预先定义的人脸模型，则确认该区域代表人脸。

2.3 基于模板的方法基于模板的方法可以分为两类：预定模板和变形模板。

预定模板方法首先制定出标准的模板，然后计算检测区域和模板的相关值，当相关值符合制定的准则就判断检测区域为人脸。

变形模板首先制(a) 4×4划分的镶嵌图 (b) 3×3划分的镶嵌图 (c) 文[12]中的划分图1 人脸镶嵌图划分策略第6期孙宁等：人脸检测综述103定出模板参数，然后根据检测区域的数据对参数进行修改直至收敛，以达到检测出人脸面部器官位置的目的。

Miao等提出了一种层次模板匹配的方法[16]。

首先，将输入图像从-20°到+20°以5°为步长进行旋转，以增强检测倾斜人脸的性能。

然后使用Laplace算子进行边缘提取。

组合提取出的六个人脸器官（两个眉毛、一双眼睛以及鼻子和嘴）的边缘作为人脸模板。

最后，应用分级式的方法检测人脸。

梁路宏等提出了多模板匹配的方法[17]。

预制人眼和不同长宽比的五种人脸模板，首先用人眼模板进行初步筛选，然后用人脸模板进行检测以适应不同的脸形。

该方法对单人脸的检测有较好的效果。

Cootes等提出的主动形状模型（Active Shape Models，ASM）[18]和主动表观模型（Active Appearance Models，AAM）[19]是变形模板中经典的两种方法，现在很多学者仍以此为基础，进行更加深入的挖掘和研究。

上述两种方法均是基于关键点分布模型（PDM）的，将人脸的几个关键部位（如眉毛、眼睛、鼻子、嘴巴和脸颊）用一系列的坐标点来表示从而组成以坐标向量为集合的训练集。

对ASM而言，将训练集中的向量对齐后，然后进行PCA分析建模，得到相应的主成分模型参数，因而得到了物体形状的简化表示。

在搜索新给图像中的未知图形时，先获得每个关键点将对应的更佳位置，然后再进行相似变换等操作，最后得到未知图形中与训练集中相似形状的关键点的位置。

而对AAM而言，则采用了形状和纹理二者融合的统计约束，借鉴合成分析技术（ABS）的思想，通过模型参数的优化调整使得模型能够不断逼近所要求的输入模式。

以上两种方法多用于人脸检测中的人脸配准（Face alignment）和面部器官的精确定位。

此后，Cootes等针对偏转人脸的定位问题，提出了基于外观的主动表现模型方法[20]。

2004年，Cootes又提出了一种新的统计形状模型方法，称为平滑（Diffeomorphic）统计形状模型方法[21]。

该方法利用卷积函数取代传统形状模型方法的坐标点来表示人脸的轮廓和关键部位。

该文最后指出，此方法在对变形物体的建模和表达方面将会有广阔的应用。

3 基于肤色模型的人脸检测方法3.1 基于肤色模型的方法在彩色图像中，人脸的肤色是一个区别与非脸的很显著的特征。

因此，利用人脸的肤色在彩色图像中检测人脸是一种很自然的想法。

经研究发现：（1）在灰度图像下两个外形相似的图形很可能在颜色空间下相差巨大；（2）不同人种的人脸肤色能在颜色空间中聚成相异的紧凑的类[22]；（3）影响肤色值变换的最主要因素是亮度而非色度[23]。

根据以上性质，人们在研究中经常使用的颜色空间有RGB（三基色）[24]、rgb（亮度归一化三基色）[25]、HSI（色调、饱和度、亮度）[26,32]、YCrCb（CCIR601编码方式的色度模型）[27,30,31]、UCS（CIE提出的一种均匀色标体系）[28]。

J. C. Terrillon等[29]对两种不同色度模型和在九种色度空间下的人脸检测性能进行了分析和比较。

对选取合适的颜色空间进行人脸检测提供了参考依据。

Jones等[30]搜集了上万张肤色区域标定的图片（包括上十亿个像素点）来建立肤色和非肤色两类的直方图模型。

并且比较了直方图模型和混合高斯模型的性能，得出在前者检测精度和计算量两者性能上都优于后者的结论。