人脸检测综述_孙宁

2006 年 12 月JOURNAL OF CIRCUITS AND SYSTEMS December, 2006 文章编号：1007-0249 (2006) 06-0101-08

人脸检测综述*

孙宁1,2，邹采荣2，赵力1,2

（1. 东南大学学习科学研究中心，江苏南京 210096；2. 东南大学无线电工程系，江苏南京 210096）

摘要：人脸检测研究在近二十年的时间内取得了长足的进步，并且作为安控、人机界面、人类情感研究系统的重要组成部分得到了广泛的应用。该文首先对人脸检测所面临的问题进行了探讨，并将人脸检测方法分为：基于几何特征的方法、基于肤色模型的方法、基于统计理论的方法三个方面进行了阐述。分析了相关的理论及算法，对各个方法的优缺点进行了比较。最后，对人脸检测今后的研究方向进行了讨论。

关键词：人脸检测；人脸识别；机器学习；模式识别；

中图分类号：TP391 文献标识码：A

1 引言

观察一个人的面部可以自然的，无侵犯性的了解到一个人的很多信息，比如：身份，性别，年龄，情感等等。因此，在过去三十多年[1]的时间里人们对人脸检测和人脸识别始终保持着浓厚的研究兴趣。随着近些年来国际形势的变化，特别是9.11事件之后，各国对自身重要设施的安保性能越发重视，也积极研发了一些自动人脸识别系统并投入实用。比如，美国Identix公司的FaceIt[2]系统，该系统基于局部特征分析（LFA），能在不同的光照，肤色，姿态，表情情况下得到良好的检测性能。我国的生物特征认证与安全技术研究中心（CBSR）则在2004年成功研制出了基于人脸、指纹、虹膜三种识别方法的快速通关系统（MRTD）[3]，取得了国际先进的整体性能。

任何人脸识别系统首先都需要从输入信息中获取人脸的位置、大小。因此，人脸检测是人脸识别系统的第一个步骤，这一步骤的所获得的精度与速度直接影响整个系统的性能。此外，人脸检测的应用也大大超越了人脸识别系统的范畴，在人脸表情识别系统，基于内容的检索，视频会议，三维人脸模型等方面也有重要的应用价值。

人脸的自动检测是一类具有很大挑战性的问题，其主要难点在于：（1）人脸是一类高度非刚性的目标，存在相貌，表情，肤色等差异，（2）人脸上可能会存在一些附属物，诸如，眼镜，胡须等。（3）人脸的姿态变化万千，并且可能存在遮挡物。（4）待检测图像性质的差异。比如：待检图像的分辨率；摄录器材的质量等；（5）光源的种类和角度。不同种类和角度的光源会对待检测的人脸产生不同性质的反射和不同区域的阴影。

针对以上问题，各国的科研人员作了很多的研究，国外比较著名的有CMU，MIT,UIUC等，国内的有微软亚洲研究院、中科院自动化研究所、清华大学等。此外，每年在国际国内的相关期刊和会议上都有大量的关于人脸检测的论文，其中综述性质的文章对近期人脸检测的研究进展进行总结，对人脸检测的研究方向进行展望。Chellappa、Zhao等人分别于1995和2003年发表的两篇人脸识别的综述论文[4,5]，其中列出专门章节将人脸检测作为人脸识别系统的一部分进行了综述。前者总结了上世纪九十年代中期之前人脸检测技术的状况和发展，后者则着重介绍了最新的人脸检测技术的发展情况。2001年，E. Hjelmas等人发表的文章[6]将人脸检测技术分为基于图像的方法和基于特征的方法这两类进行了综述。2002年，M .H. Yang等在IEEE Trans. PAMI上发表了名为：Detecting Faces in Images: A Survey[7]的人脸检测技术综述文章，该文将人脸检测技术分为四类进行了详细介绍，并且针对以往关于人脸检测论文中检测性能估计方面的混乱情况，提出了较明确的估计准则。此外，还给出了许多用于人脸检

* 收稿日期：2005-04-11 修订日期：2005-08-17

测的人脸库资源的互联网链接。此后，M. H. Yang 在2003年的ICIP 会议和2004年的ICPR 会议上分别作了名为：Recent Advances in Face Detection 的主题报告[8,9]，对人脸检测的最近动态进行了详细的介绍。

本文根据对人脸检测算法发展和现状的研究，将人脸检测算法分为三类进行介绍和分析，分别为：基于几何特征的方法、基于肤色模型的方法、基于统计理论的方法。

2 基于几何特征的人脸检测方法

所谓人脸的几何特征指的是人类面部器官在几何上体现的特征。本章分为以下三种方法进行介绍：基于先验知识的方法；基于特征不变性的方法；基于模板的方法。

2.1 基于先验知识的方法

基于先验知识的方法是

将人脸面部器官之间的关系

编码准则化的人脸检测方

法。该方法是一种自顶而下

的方法，依据人脸面部器官

的对称性、灰度差异等先验知识，制定出一系列的准则。当图像中的待测区域符合准则，则被检测为人脸。

Yang 等在1994年提出的方法[10]是基于先验知识的人脸检测方法的典型例子。该方法利用4×4镶嵌图将人脸分块，如图1(a)，并根据每块的灰度值制定准则来进行判定。他们将系统分为三级，利用不同精度的平均和二次采样产生三级不同分辨率的图像。针对不同分辨率的图像采用不同的准则进行判定，例如，在低分辨率图像里的准则主要体现了人脸的大体轮廓，而在高分辨率图像里的准则则主要体现了人脸的细节特征。虽然Yang 的方法在检测性能方面并不突出，但是这种由粗至细的检测思想对以后的研究工作产生积极的影响。

卢春雨等对镶嵌图方法进行了改进，提出了3×3的广义三分图方法[11]，如图1(b)。该方法充分利用了人脸器官的自然分布，可以更直观的利用人脸的先验知识制定准则，使镶嵌图子块对脸形的自适应操作成为可能。

章品正等[12]在检测过程中结合3×3和4×4的划分方式建立检测准则，如图1(c)。并利用最小同值分割吸收核区（SUSAN ）方法进行检测结果验证，取得了较高的检测率及良好的抗噪声性能。

2.2 基于特征不变性的方法

基于特征不变性的方法着眼于检测面部的一些不变的特征，例如眼睛、鼻子、嘴巴等。与基于先验知识的方法不同，该方法是自底而上的，先利用各种手段寻找上述的不变特征，然后综合找到的这些不变特征来确定待检测区域是否是人脸。

Graf 等[13]首先利用带通滤波器选择出一段频率，然后根据形态学的知识设定一系列的阈值找出眼睛、嘴巴等区域，最后依照以上位置检测出人脸。Leung 等提出任意图匹配的方法[14]，其主要目的是用准则正确表达出面部特征的几何分布。该文中用五个特征（两只眼睛、两个鼻孔以及鼻子与嘴唇的连接处）来描述人脸。

王延江等[15]用肤色方法分割出人脸的候选区域后，然后利用小波分解对每一个侯选区域进行人脸特征分析，如所检测到的区域特征分布相似于某一预先定义的人脸模型，则确认该区域代表人脸。

2.3 基于模板的方法

基于模板的方法可以分为两类：预定模板和变形模板。预定模板方法首先制定出标准的模板，然

后计算检测区域和模板的相关值，当相关值符合制定的准则就判断检测区域为人脸。变形模板首先制(a) 4×4划分的镶嵌图 (b) 3×3划分的镶嵌图 (c) 文[12]中的划分图1 人脸镶嵌图划分策略