人脸图像中鼻子检测技术综述

基于知识的方法： 灰度积分投影法
{
{
图1
鼻子检测方法分类
板的方法、 基于模型的方法和基于表观信息的方法。
基金项目： 国家自然科学基金项目（ 60972163） ； 宁波市自然科学基金项目（ 2009A610090 ） ； 信息处理与自动化技术浙江省重中之 重学科开放基金（ 201100808） ； 浙江省综合信息网技术重点实验室开放基金（ 201109）
2
基于人脸 3D 信息的方法
基于人脸 3D 信息的代表方法有水平切片图像轮廓
108
《电视技术》 第 36 卷第 11 期（ 总第 386 期） | 投稿网址 http： www．VideoE．cn
视频应用与工程 VIDEO APPLICATION ＆ PROJECT 检测法、 曲率分析法、 检测三重态法和签名表征法等。 2． 1 水平切片图像轮廓检测法 Mian 等人
［ 26 ］
头部模型可以得到参考姿态深度图像， 通过找输入的深度 图像和参考姿态深度图像的最佳匹配可以进一步验证鼻 尖点的位置。文中的 3D 头部模型是由 97 个成年男性和 41 个成年女性的激光扫描的特征值分解平均值得到的。 然 而， 在 实 际 应 用 中 这 样 的 3D 头 部 模 型 不 总 是 能 得到
《电视技术》 投稿网址 http： www．VideoE．cn | 第 36 卷第 11 期（ 总第 386 期）
107
视频应用与工程 VIDEO APPLICATION ＆ PROJECT 1． 1 基于知识的方法 基于知识的方法一般是在图像应用环境确定后， 总 结能用于鼻子检测的知识， 如轮廓信息、 位置信息等， 然后 将其概括成可用于鼻子检测的规则
。比如， 山世
模板的初始定位较为困难等缺陷 方法还存在参数多，
。
运用人脸图像的 光等人在检测到人脸大概范围的前提下， 灰度分布峰谷特性和人脸器官构造的先验知识检测鼻 子
［ 12 ］
Xiong 等人在文献［ 19］ 中为眉毛、 眼睛、 鼻子、 嘴和面部轮 廓分别采用一个 ASM， 以此解决在实际情况中各个面部 这种方法不易受鼻子 器官形变影响所带来的问题。因此， 形变影响。然而， 该文只考虑了人脸正面图像， 在人脸出 现偏移和旋转时检测精度不高。 1． 4 基于表观信息的方法 基于表观信息的方法是将一定区域范围（ 窗口） 内的 图像看作一个随机变量， 然后将其映射为高维空间（ 或低 维空间） 中的一个点， 在高维空间（ 或低维空间） 中， 同一 其分布规律就可 类型的脸部特征从而被描述为一个点集， 以用统计方法进行建模
视频应用与工程 VIDEO APPLICATION ＆ PROJECT
J］ ． 电视技术， 2012， 36（ 11） ． 【本文献信息】 贾丽华， 宋加涛， 谢刚 . 人脸图像中鼻子检测技术综述［
专题
人脸检测与识别
人脸图像中鼻子检测技术综述
1， 2 2 1 贾丽华 ， 宋加涛 ， 谢 刚
（ 1． 太原理工大学 信息工程学院， 山西 太原 030024； 2． 宁波工程学院 电子与信息工程学院， 浙江 宁波 315016）
鼻子是人脸的重要器官之一， 相对于眼睛和嘴， 鼻子 的位置和形状最不容易受面部表情变化的影响。鼻子检 测是指在图像或图像序列中检测鼻子的位置和形状等信 息 别
［ 1 ］
。鼻子检测是人脸图像分析技术的一个重要组成部
［ 4 ］ 、 3D 人脸重构、 脸部动画、 人脸肖像生成 、 头部追
分， 它可广泛应用于人脸检测和定位、 人脸识别、姿态识
［ 13 ］
。文中采用的 Gabor 小波识别力强， 稳健性好， 但是
［ 21 ］
它的高运算复杂度限制了实时应用
。作者用 AR － 882
人脸库进行测试， 鼻子的检测率为 96． 5% 。 Zhu 等人［22］提出了一种子类判别分析方法（ Subclass Discriminant Analysis， SDA） ［21 － 23］， 核心思想是将类别数划 即非线性可分数据用多个高斯分布来表 分得更多一些， 达， 此时数据变为线性可分。一旦每一类数据可以用混合 就可以用特征值分解等式找出对分类最 高斯分布来表示， 有用的判别向量 Ding 间，
1． 3
基于模型的方法 该类方法首先建立一个通用的模型， 然后通过确定
［ 15 ］
模型中的参数来表征鼻子
， 代表方法有主动形状模型
（ Active Shape Model， ASM） 。ASM 是 T． F． Cootes 等［16］在 1992 年提出一种基于统计学的可变形模型［17］， 其思想是 对整张脸或某一类特定面部器官的形状和表观进行建模，
［ 25 ］ ［ 24 ］
。
。鼻子在下眼睑以下和两眼中心之
将此作为鼻子搜索区域， 并采用改进的 SDA 和
选举法在此区域内检测鼻子。在训练阶段， 负样本采用鼻
图2 鼻子形状的形变模板
子的背景， 即包含部分鼻子的图像， 这样可以更精确地检 测鼻子。作者使用了 AR 人脸库， 并取得了很好的鼻子检 测结果， 检测率为 97． 7% 。但由于使用了先验知识， 鼻子 检测精确度容易受眼睛检测精确度的影响。
设计分类器
［ 15 ］
Boost， SVM 和 SDA。 Ren 和 Song 等人使用 GentleBoost 分类器和 Haar 特 征进行鼻子检测。在鼻子感兴趣区域内， 用结合灰度级亮 度特 征 和 Gabor 小 波 特 征 的 GentleBoost 模 板 检 测 鼻 尖
［ 20 ］
。基于 Yin 的思想， 杨
［ 11 ］
。此类方法通常易于实现且速度快， 但是精确度不
［ 13 ］
高， 所以一般和其他方法结合使用 1． 2 基于模板的方法
。另外， 在人脸存在
［ 11 ］
大的姿态变化或复杂背景情况下容易失效
。
鼻子在人脸中具有较为明显的外形特征， 如鼻子的 对称性、 鼻子与其他脸部特征的相对位置等。利用这些特 一些研究者制作了鼻子形状模板， 通过在图像上进行 性， 模板匹配， 就可以检测到鼻子的位置。此方法相对简单， 稳定可靠， 且与光照条件无关
［ 10 ］
通过形变让输入图像和模型匹配
［ 18 ］
， 从而进行特征定位。
这种方法的优点在于能够对各种形状的目标对象进行建 模， 即具有较好的通用性与灵活性。但训练过程需要手工 标定目标对象的形状， 所以比较耗时费力
［ 17 ］
。搜索时根据这些
［ 11 ］
。而且， 该类
［ 14 ］
规则从图中筛选出候选鼻尖或鼻子区域
【摘 要】 鼻子是人脸中一个突出的器官， 其特征不易受面部表情变化的影响。鼻子检测是在图像或图像序列中搜索人鼻的位 3D 人脸重构等方面具有重要的意义。近年来， 置及其轮廓线特征， 其研究在人脸检测和定位、 人脸识别、 人脸姿态估计、 研究者 们在该领域做了大量研究， 提出了很多有效的算法。对相关文献进行了综述， 将现有的鼻子检测方法分为基于 2D 图像的方法 和基于 3D 信息的方法， 分析了这两类方法的优缺点。 【关键词】 鼻子检测； 2D 图像； 3D 信息 【中图分类号】 TN919. 8； TP391． 4 【文献标识码】 A
1
基于 2D 图像的方法
基于 2D 图像的代表方法有基于知识的方法、 基于模
基于模板的方法 简单模板 二维可变形模板 Snake 基于模型的方法 AAM ASM 基于 2D 图像的方法 PCA ICA 基于表观信息的方法 GentleBoost 鼻子检测方法 SVM SDA 水平切片图像轮廓检测法 曲率分析法 检测三重态法 基于 3D 信息的方法 多层滤波方案法 特征向量法 签名表征法 投影法
2． School of Electronic and Information Engineering，Ningbo University of Technology，Zhejiang Ningbo 315016 ，China）
【Abstract】Nose is a protruding facial feature in the facial organs． And it is less susceptible to the changes in the facial expression． Nose detection means searching for the position and the contour line of the nose in an image or the image sequence． Nose detection is of great significance in face detec3D face reconstruction and so on． In this area， researchers have done a lot of research tion and location，face recognition，human face pose estimation， work，and many effective algorithms are provided． The interrelated documents are summarized and the existing methods are classified into two categories， namely the ones based on 2D image and 3D information． The advantages and the disadvantages of these two methods are both analyzed. 【Key words】nose detection； 2D image； 3D information
14］ 中首先利用 K 均值分类器定位出鼻 承根等人在文献［ 子所在区域， 再用 2 个非对称抛物线和 2 个圆形构造鼻子 形状的形变模板（ 如图 2） 和对应的能量函数， 能较有效地 提取多种人脸姿态下的鼻子形状。但因为在参数空间内 变形模板要用优化算法使能量函数极小化， 所以， 主要存 在以下问题： 1 ） 计算时间比较长； 2 ） 对参数初值依赖性 高， 从而易陷入局部最小
［ 11 ］
等提出了一种二维可变形模板法， 用对称的两
， 其特点是通过样本学习， 为每一个模式类别 ， ICA， Gentle具有代表性的分类器有 PCA，
双纽线和两抛物线分别拟合鼻孔形状和鼻子轮廓形成鼻 子形状模板， 但由于其完全对称特性， 只适用于完全正面 的标百度文库人脸图像的鼻子形状提取
［ 9 ］
［ 2 －3 ］ ［ 5 －7 ］
踪
和残疾人实现免持鼠标的人机交互
［ 9 ］
［ 8 ］
等领域。此
外， 在模型基编码的模型调整， 参数提取和图像重建中鼻 子形状特征起着重要的作用 。 近年来， 国内外学者们已提出了许多鼻子检测方法， 本文将这些方法分为基于 2D 图像的方法和基于 3D 信息 的方法两大类， 分别论述其中代表性的技术。鼻子检测方 法分类如图 1 所示。
［ 1 ］
， 这种简单模板的缺点是
， 在搜索时， 依据计算出的分类
当被识别类别数增加时， 鼻子模板的数量也随之增加。这 另一方面也会降低检测的 一方面会增加机器的存储容量， 正确率。 Yin
［ 6 ］
器输出响应（ 待测区域与鼻子特征点模型之间的相似性 或匹配度） ， 进行判断待测区域是否包含鼻子。该类方法 对图像质量、 环境条件和鼻子状态等方面的变化有较好的 适应能力
Review of Nose Detection Technology in Human Face Images
2 JIA Lihua1， ，SONG Jiatao2 ，XIE Gang1
（ 1．
College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024 ，China；