第8章 人脸检测

• 除上述三种肤色模型外，还有直接利用几 何参数描述肤色区域分布范围的模型、三 维投影模型、基于神经网的肤色模型等。 此外也有同时考虑“肤色”与“非肤色” 象素分布的基于贝叶斯方法的模型。
8.3.2 灰度特征
灰度特征包括人脸轮廓特征、人脸灰度分布特征（镶嵌图 特征、直方图特征等）、器官特征（对称性等）、模板特 征等。 轮廓是人头部的重要特征。 人脸核心区域（眼睛、鼻子、嘴区域）具有独特的灰度分 布特征。 人脸区域内的各个器官（如双眼、鼻子、嘴等）是人脸的 重要特征。 人脸区域的灰度本身可以作为模板特征，通常取仅包含双 眼、鼻子和嘴的面部中心区域作为共性的人脸模板特征， 排除掉头发、脸颊两侧变化很大的部分。被广泛地用于基 于统计学习的人脸检测方法中。
第八章 人脸检测
吴士泓
人脸检测问题最初作为自动人脸识 别系统的定位环节被提出，近年来由于 其在安全访问控制、视觉监测、基于内 容的检索和新一代人机界面等领域的应 用价值，开始作为一个独立的课题受到 研究者的普遍重视。
8.1 引言
• 人脸检测（Face Detection）是指在输入图象中 确定所有人脸（如果存在）的位置、大小、位姿 的过程。 • 人脸检测问题最初来源于人脸识别（Face Recognition）。 • 人脸检测研究具有重要的学术价值。 人脸是一类具有相当复杂的细节变化的自然结构 目标，此类目标的检测问题的挑战性在于：（1） 人脸由于外貌、表情、肤色等不同，具有模式的 可变性；（2）一般意义下的人脸上，可能存在眼 镜、胡须等附属物；（3）作为三维物体的人脸的 影像不可避免地受由光照产生的阴影的影响。
8.2 人脸检测问题的分类与人脸模式分析
• 人脸检测问题所包含的内容十分广泛，从不同的角度可以 有多种分类方法（表1）
• 人脸图象所包含的模式特征十分丰富，如图1所示。这些 特征中哪些是最有用的、如何利用这些特征，是人脸检测 要研究一个关键问题。
• 人脸模式具有复杂而细致的变化，因此一般需要采用多种 模式特征综合的方法，如图2所示。
3）基于概率模型的方法
• 基于概率模型方法的一种思路是计算输入 图象区域region属于人脸模式object的后验 概率p(object|region)，据此对所有可能的图 象窗口进行判别。
• 一种基于后验概率估计的人脸检测方法。 该方法利用贝叶斯原理将后验概率估计转 化为一个似然度求解问题：
将难以估计的先验概率 P (object) 和用一个 比率参数 P (object) λ代替，作为调节检测 器敏感度的参量。
ห้องสมุดไป่ตู้
• 聚类－归并－验证策略是较常用的解决方 法：首先将肤色象素按照较为严格的颜色 一致性和几何约束条件聚类为区域，然后 按照一定规则进行归并，归并后或归并过 程中利用其它特征进行验证。 • 另一种策略是先用较弱的条件将肤色象素 聚类为区域，再将符合一定条件的区域分 裂开。 • 还有一些方法使用肤色模板进行搜索匹配。 • 此外，还有在分割之前就将肤色检测的结 果与其它特征融合在一起的方法.
8.3 人脸模式的特征提取
• 肤色特征
• 灰度特征
8.3.1 肤色特征 • 肤色是人脸的重要信息，不依赖于面部的 细节特征，对于旋转，表情等变化情况都 能适用，具有相对的稳定性并且和大多数 背景物体的颜色相区别。因此肤色特征在 人脸检测中是最常用的一种特征。肤色特 征主要由肤色模型描述。
• 可以从两个方面考察某种色度空间：（1）在该色 度空间中能否用给定的模型描述“肤色”区域的 分布；（2）色度空间中“肤色”与“非肤色”区 域的重叠有多少。人脸检测常用的色度空间主要 有：RGB（红、绿、蓝三基色）、rgb（亮度归一 化的三基色）、SHI（饱和度、色调、亮度） 、 YIQ（NTSC制的光亮度和色度模型）、YUV （PAL制的光亮度和色度模型）、YCbCr （CCIR601编码方式的色度模型，与YUV在数学 上具有等价性）、CIEL*a*b（国际照明委员会提 出的基于色度学的彩色模型）等。 • 常用的肤色模型有高斯模型、混合高斯模型和直 方图模型。
• 该方法的基本思路是对每一个19×19象素的检测 窗口使用SVM进行分类，以区分“人脸”和“非 人脸”窗口。SVM的训练使用了大量人脸样本和 “自举”方法收集的“非人脸”样本，并且使用 逼近优化的方法减少支持矢量的数量。需要说明 的是，长期以来SVM的训练需要求解计算复杂度 极高的二次规划问题，限制了该方法的应用。 Platt提出的SMO（Sequential Minimal Optimization）算法解决了SVM训练困难的问题。
基于统计模型的方法总结
• 不依赖于人脸的先验知识和参数模型，可以避免 不精确或不完整的知识造成的错误； • 采用了实例学习的方法获取模型的参数，统计意 义上更为可靠； • 通过增加学习的实例可以扩充检测模式的范围、 提高检测系统的鲁棒性。 • 基于统计模型的方法大多适用于复杂背景图象中 的人脸检测。
• 归纳起来，根据利用特征的色彩属性可以将人脸 检测方法分为基于肤色特征的方法和基于灰度特 征的方法两类。前者适用于构造快速的人脸检测 和人脸跟踪算法，后者利用了人脸区别于其它物 体的更为本质的特征，是人脸检测领域研究的重 点。根据特征综合时采用的不同模型，可以将基 于灰度特征的方法分为两大类：基于启发式（知 识）模型的方法和基于统计模型的方法。由于人 脸检测问题的复杂性，无论那一类方法都无法适 应所有的情况，一般都针对人脸检测领域内某个 或某些特定的问题。
2）基于人工神经网的方法
人工神经网（ANN）方法是把模式的统计特性隐含在 ANN的结构和参数之中，对于人脸这类复杂的、难以显式 描述的模式，基于ANN的方法具有独特的优势。 • CMU的Rowley 等使用了多个ANN检测多姿态的人脸，算 法的框架如图4所示。
• 在上述框架下，Rowley等对正面端正人脸和正面 旋转人脸的检测单独进行了研究。对于正面端正 的人脸，仅使用了正面人脸检测ANN，是一种三 层前向网：输入层对应20×20象素的图象区域； 隐层节点分为对应不同人脸区域的若干组，与输 入层部分连接；ANN输出1到-1区间的值表示这个 区域是否为人脸。Rowley等使用相同的“人脸” 样本和不同“自举”过程收集的“非人脸”样本 训练了多个正面人脸检测ANN，对它们的检测结 果进行仲裁，以进一步减少错误报警。对于正面 旋转人脸的检测使用了旋转角度检测器及正面人 脸检测ANN，并使用相似的多ANN仲裁方法降低 错误报警。
• • • •
1） 基于特征空间的方法
此类方法将人脸区域图象变换到某一特征空间，根据其在 特征空间中的分布规律划分 “人脸”与“非人脸”两类 模式。 • 主分量分析(PCA, Principal-Component Analysis)是一种 常用的方法。它根据图象的统计特性进行的正交变换（KL变换），以消除原有向量各个分量间的相关性。变换得 到对应特征值依次递减的特征向量，即特征脸。 • 了基于事例学习的方法，同时使用了19×19象素分辨率的 “人脸”和“非人脸”样本。。样本预处理后按行列顺序 展开为样本向量进行主分量分解。采用k-均值聚类方法在 特征空间中建立6个“人脸”簇(Clusters)，同时建立包围 “人脸”簇的六个“非人脸”簇，以使“人脸”与“非人 脸”模式的边界更为清晰。 • 属于特征空间方法的还有因子分解方法（Factor Analysis, FA）和Fisher准则方法(Fisher Linear Discriminant, FLD)。
8.4.3 基于统计模型的方法
由于人脸图象的复杂性，显式地描述人脸特征具有一定困 难，因此另一类方法——基于统计模型的方法越来越受到 重视。此类方法将人脸区域看作一类模式，即模板特征， 使用大量的“人脸”与“非人脸”样本训练、构造分类器， 通过判别图象中所有可能区域属于哪类模式的方法实现人 脸的检测。实际上，人脸检测问题被转化为统计模式识别 的二分类问题。 基于特征空间的方法 基于人工神经网的方法 基于概率模型的方法 基于支持向量机的方法
4）基于支持向量机的方法
• 支持向量机（Support Vector Machines，SVM）是 Vapnik等提出的基于结构风险最小化原理（Structural Risk Minimization Principle, SRM）的统计学习理论 ，用 于分类与回归问题。 • SRM使VC（Vapnik Cherovnenkis）维数的上限最小化， 这使得SVM方法比基于经验风险最小化（Empirical Risk Minimization Principle, ERM）的人工神经网方法具有更 好的泛化能力。Osuna等将SVM方法用于人脸检测，取得 了较好的实验结果。
• 另一种概率模型是用于描述信号统计特性的隐马 尔可夫模型(Hidden Markov Models, HMM)，目 前也被应用于人脸检测与识别。Nefian等据正面 人脸由上到下各个区域（头发、额头、双眼、鼻 子、嘴）具有自然不变的顺序这一事实，使用一 个包含五个状态的一维连续HMM加以表示。将头 部图象按照这五个区域划分为互有重叠的条块， 对各块进行K-L变换，选取前若干个变换系数作为 观测向量训练HMM。Nefian等还提出了基于嵌入 式HMM的人脸检测方法。该方法同时考虑到人脸 由左到右各个特征的自然顺序，使用了二维HMM， 并且采用二维DCT变换的系数作为观察向量。此 外还有Meng等使用HMM描述人脸的小波特征中 不同级间的相关性等方法。基于HMM的方法一般 只使用“人脸”样本进行训练，主要针对用于人 脸识别的头肩部图象。
8.4.2基于启发式模型的方法
• 基于启发式模型的方法首先抽取几何形状、灰度、 纹理等特征，然后检验它们是否符合人脸的先验 知识。 • Govindaraju等使用变形模板（Deformable Template）匹配头顶轮廓线和左右两条面颊轮廓 线，实现人脸定位。 • Yang等提出了基于镶嵌图（Mosaic Image，又称 为马赛克图）的人脸检测方法。 • 人脸区域内的各个器官也具有较为恒定的模式， 因此一些方法首先检测器官（如双眼、鼻子、嘴 等）或局部特征，然后根据它们的相对位置关系 判断整个区域是否为人脸。