人脸检测与识别研究

人脸检测法（ 人脸检测法（三）
基于先验知识的人脸检测法
Sakai等人(1969)提出的使用椭圆模板(Oval Template)法； Govindaraju等人(1989)提出的弦模型(Spring Model)法； Yuille等人(1989)提出的变形模板(Deformable Template)法； Yang和Huang(1994)提出的使用镶嵌图(Mosaic Image)的方 法来检测复杂背景中的人脸。 基于先验知识的方法可以比较清楚地了解人脸的结构和特 点，得到知识化的表示，但这种先验知识是由人工定义的， 因而带来了准确性，有效性，全面性以及鲁棒性的问题。 在目前情况下，尚没有哪种方法能满足这些要求。其主要 原因在于图象中的很多信息难以用语言直接加以描述。
人脸识别方法（ 人脸识别方法（一）
基于几何参数的方法
基于几何参数的识别方法是人脸识别早期的主要研究方法，它 通过提取人脸的一些几何特征，这些特征包括脸部的轮廓、眼 睛、鼻子、嘴巴。
基于神经网络的方法
神经网络方法是人脸识别的一个重要方法，并且具有较高的识 别率。神经网络方法中，比较常用的人脸识别方法有RBF网络， SOM网络等。
人脸检测法（ 人脸检测法（二）
基于彩色的人脸检测法
基于彩色的人脸检测法主要是利用人的肤色特征来迅速找 到人脸的区域，从而实现人脸的初定位。基于彩色的人脸 检测的关键技术是对人脸肤色的确定和识别。Wang(1997) 等人采用贝叶斯最小代价准则来进行肤色的分类。首先把 彩色空间从RGB色度空间变换到YCbCr空间，然后采用基 于贝叶斯最小代价准则来进行肤色的分类。Menser（1999） 等人采用高斯模型来描述肤色的分布，通过概率大小来进 行肤色的分类。Hsu（2002）等人提出了一种新的肤色分 布模型，这种模型通过对YCbCr色度空间进行非线性变换 来消除亮度（Y）对肤色的影响。从而更加准确地描述人 脸肤色分布。
∑∑
i =1
c
Ni
j =1
x ij
线性特征提取方法
主成分分析(PCA) 主成分分析
主成分分析(PCA)是信号特征提取的一种重要方法。离散的PCA 变换又称K-L变换或Hotelling变换，K-L变换是最小均方误差意 思意义上的正交变换，其具体做法如下： 计算样本的协方差矩阵(或样本总体散射矩阵) ST ，其中
ST = ∑∑ ( xij − u )( xij − u )T
i =1 j =1 c Ni
求 ST 的特征值和特征向量（特征值分解）；
PS T P T = diag {λ1
其中， P
λ2 L λn }
pn ]
= [ p1
p2 L
特征脸(Eigenface)法(Turk et al., 1991) 法 特征脸
人脸检测的方法大致可分为基于彩色的人脸检测法， 基于运动的人脸检测法，基于先验知识的人脸检测 法以及基于统计的人脸检测法。
人脸检测法（ 人脸检测法（一）
基于运动的人脸检测法
对于运动图象（如视频图象），可以利用运动信息进行物 体的检测和分割。在人脸检测中，利用运动信息，可以快 速准确地定位出人脸的大致区域。Choong Hwan Lee (1996) 等人提出了一种在利用运动和彩色信息复杂背景下检测人 脸的方法。
人脸检测与识别研究
报告人： 报告人：郑文明 东南大学信息处理与应用工程研究中心
2003年5月24日 年 月 日
系统结构框图
视频输入 人脸检测 人脸识别
运动检测 与 彩色分割 基于先验 知识人脸 检测法
人脸定位 与 分割
人脸图象的 规一化
特征提取
模式分类
基于统计 人脸检测法
基于几 何的方 法
基于神 经网络 的方法
∑
c
c
i =1
N i ( u i − u )( u i − u ) T
Ni j i
∑ ∑ (x
i =1 c j =1
− u i )( x i j − u i ) T − u ) ( x ij − u ) T 1 = N
∑ ∑ (x
i =1 j =1 Ni
Ni
j i
1 = Ni
∑
j =1
xi , u
j
人脸识别简述
人脸识别是生物识别的重要组成部分，具有非常广泛的应 用前景。在国际上，人脸识别一直是模式识别研究的热点， 出现了专门从事人脸识别的两个国际会议AFGR和AVBPA， 此外，一些重要的国际会议如ICIP，CVPR每年都有大量关 于人脸识别的论文，IEEE模式分析和机器智能(PAMI)还在 1997年7月还专门出版了有关人脸识别的专刊。 人脸识别的研究可追溯到20世纪60-70年代，经过几十年的 研究发展已经日趋成熟。按特征提取方法分，人脸识别的 方法大致可以分为基于几何参数的方法，基于神经网络的 方法以及基于统计的方法。其中，基于统计的方法是近年 来比较流行的人脸识别方法，我们的工作也主要集中在统 计方法的研究上。
基于事例学习的人脸检测参考文献
1. K.K. Sung, T. Poggio, “Example-Based Learning for View-Based Human Face Detection”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.39-51, 1998.
人脸识别方法（ 人脸识别方法（二）
基于统计的方法
统计方法是近年来人脸识别的主流方法。Turk和Pentland的 (1991)提出了特征脸（Eigenfaces）的思想来进行人脸识别， 它采用主成分分析（PCA）的方法来提取人脸的特征。 Belhumeur (1997)等人提出了Fisherfaces的方法，该方法首先 采用PCA方法进行降维，然后应用Fisher线性分离方法(FLD) 来进一步进行特征提取。Chen (2000)等人认为，在高维空间 中，线性分离分析(LDA)的最佳鉴别矢量位于样本的总体类 内散射矩阵的零子空间里，提出了一种直接求解LDA最佳鉴 别矢量的算法，并用于人脸的识别中。Yu和Yang (2000)则 认为最佳线性鉴别矢量应在样本总体类间散射矩阵的非零子 空间中，他们提出了一种相应求解算法（D-LDA）。此外， Zhong (2001)等人提出了一种统计不相关的线性分离方法 (UODV)，事实上这种方法与经典的LDA方法没有本质差 别;Chien (2002)等人提出了一种小波脸(Waveletface)的方法。
基于统计 的方法
人脸检测简述
人脸检测是人脸识别的第一步，其目的是从输入图 象中判断是否有人脸存在，如果有，则给出人脸的 位置和大小。复杂背景下的人脸检测是人脸检测的 一个主要难点，主要体现在：
人脸自身的复杂性。人脸模式受许多因素的 影响，这些 人脸自身的复杂性 因素包括人种、性别、肤色、面部佩戴物等。 光照、背景的复杂性。由于人可能处于任何的背景之中， 光照、背景的复杂性 因而背景具有不确定性和无穷多样性。 位置、尺寸的复杂性。人脸通常处于一种不确定的大小 位置、尺寸的复杂性 和位置，包括人脸自身的旋转、倾斜以及摄像机角度等 因素的影响。
一些记号说明
SW ——样本类内散射矩阵； S B ——样本类间散射矩阵；
——样本总体散射矩阵； x ij ——第 i 个类别的第 j 个样本； ui ——第 i 类样本的均值； u ——样本的总体均值； N l ——第 i 类样本的个数； N ——样本的总个数； c ——样本类别个数
ST
SB = SW = ST = ui
基于统计的人脸检测法( 基于统计的人脸检测法(续)
4. 基于线性子空间的人脸检测 基于线性子空间的人脸检测(Yang et来自百度文库al, 2000)
Yang (2000)等人提出了两种混合线性子空间的人脸检测方 法。其中一种方法是采用混合自组织映射(SOM) 和FLD的 方法，他们首先应用SOM神经网络算法进行人脸和非人脸 的聚类，把把人脸空间和非人脸分别聚类成26个子类；其 次，根据聚类后的结果，把整个人脸样本看成是一个多类 问题，对于非人脸样本也是如此。 采用FLD方法对上述多类模式进行鉴别矢量的求解，进而 对未知图象的人脸和非人脸的归类。 参考文献
基于统计的人脸检测法
1. 基于事例学习的人脸检测 (Sung et al.,1995) )
Sung等人的做法是首先采用椭圆k-均值算法对人脸和非人脸样 本(大小为19×19 )进行聚类，分别聚成六个人脸子类和非人脸 子类。从而形成人脸和非人脸的大致分布。在此基础上，定义 了一种混合马氏距离和欧氏距离的距离度量来度量图象间的相 似程度。在分类方面，采用多层前向网络进行人脸的分类。
人脸识别方法（ 人脸识别方法（二）续
基于统计的方法（ 基于统计的方法（续）
考虑到人脸空间的高度非线性，近几年来人脸识别的研 究转移到了非线性领域上来，特别是以机器学习理论为 基础的非线性领域。B. Schölkopf (1998)提出了核主成分 分析(KPCA)法，通过核技术把PCA从线性领域推广到非 线性领域，Kim(2002)等人采用KPCA进行人脸的识别。 G. Baudat(2000)把LDA从线性领域推广到非线性领域， 提出了广义的鉴别分析(GDA)方法。Lu(2003)等人把DLDA算法从线性领域推广到非线性领域，提出了基于核 的D-LDA算法(KDDA)，并把这一算法应用于人脸的识 别中。此外，Li（）等人采用支撑矢量机(SVM)进行人 脸的识别。
M.-H. Yang, N. Ahuja, and D. Kriegman, “Mixture of Linear Subspace for Face Detection,” Proc. Fourth Int’l Conf. Automatic Face and Gesture Recognition, pp. 70-76, 2000.
人脸检测法（ 人脸检测法（四）
基于统计的人脸检测法
Turk和Pentland(1991)提出特征脸(Eigenface)方法来检测和识别 人脸；Rowley等人(1995)等人提出了一个多层前向神经网络模 型来检测人脸；Sung和Poggio等人(1995)提出了基于事例学习的 人脸检测法；Liu等人(1997)提出了一个基于概率决策的神经网 络模型来检测人脸，人眼和识别人脸;Osuna(1997)等人把人脸检 测问题看成是一个由人脸和非人脸两类模式的分类问题，并采用 支撑矢量机(SVM)方法来进行人脸的分类；Yang (2000)等人混 合线性子空间法进行人脸检测 。 基于统计的方法其最大优点在于它可以通过训练来自动地提取人 脸的特征，主要缺点是所提取出的特征十分隐晦，缺乏认知学上 的意义。此外，训练时间长，计算量大，而且一般需要大量精心 制作的样本。
基于统计的人脸检测法( 基于统计的人脸检测法(续)
3. 基于支撑矢量机的人脸检测 基于支撑矢量机的人脸检测(Osuna et al,1997)
Osuna等人把人脸检测看成是一个人脸和非人脸的两类模 式的分类问题，并采用支撑矢量机(SVM)寻找分类的超平 面。
基于支撑矢量机的人脸检测参考文献
E. Osuna, R. Freund, and F. Girosi, “Training Support Vector Machines: An Application to Face Detection,” Proc. IEEE conf. Computer Vision and Patter Recognition, pp.130-136, 1997.
基于统计的人脸检测法( 基于统计的人脸检测法(续)
2. 基于神经网络的人脸检测 (Rowley et al.,1998)
Rowley等人直接采用多层感知神经网络进行人脸检测。
参考文献
H. A. Rowley, S. Baluja, T. Kanade, “Neural Network-Based Face Detection”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.23-38, 1998.