基于信息融合的三维人脸识别

{
}
２） （
式中， ｃ 为颜色向量， Ｅ 为协方差矩阵． μ为均矢量， ３） 和式（ ４） 得到： μ和 Ｅ 可以通过式（ μ＝ １ ｃｊ ｎ∑ ｊ＝ １
ｎ ｎ
（ ３） （ ４）
２． ２ 基于动态规整的人脸轮廓比较
动态规整（ ＤＴＷ） 算法的核心思想是利用动态 规划的方法实现不同长度特征之间的距离衡量， 常 用于解决语音识别过程中发音长短不一的模板匹配
式中， ｋ１ （ ｐ） 为最大曲率， ｋ２ （ ｐ） 为最小曲率． 根据鼻 尖一般处于人脸中心的实际情况及计算出的 Ｓｈａ ｐｅＩｎｄｅｘ 值对鼻尖进行精确的定位． 然后， 融合鼻尖 和眼睛的位置来提取出人脸中轴线的深度轮廓信 息． 如图 １ （ ｂ） 所示为提取出的人脸中轴轮廓线．
图 １ 人脸中轴轮廓线 Ｆｉｇ． １ Ｍ ｅｄｉａｌ ａｘｉｓ ｃｏｎｔｏｕｒ ｏｆ ｆａｃｅ 图 ３ 区域 ＬＢＰ 模式 Ｆｉｇ． ３ Ｒｅｇｉｏｎａｌ ｍｏｄｅｌ ｏｆ ＬＢＰ
型造成的影响， 选择了混合高斯模型， 并通过最大期 望算法（ ＥＭ） 对肤色模型进行迭代估计． 单个的肤 色高斯模型为： ｇ＝ ２ １ Ｅ １ Ｔ － （ ｃ－ ） Ｅ －１ （ ｃ－ ） μ μ １／ ２ ｅｘｐ ２
立姿态模型对人脸姿态估计， 利用计算出的姿态参 数对齐人脸． 上述方法均存在计算量大的问题， 文中 结合前面已完成人眼定位的情况， 基于人眼位置基 本水平的客观事实， 通过左右眼位置完成人脸倾斜 角度计算， 实现对应人脸的角度矫正， 完成人脸对齐．
１． １ 人眼位置检测
双眼的位置是人脸的重要特征之一， 相对于其 他脸部特征， 它在人脸姿态发生变化时也能保持相 对稳定． 文中提出的人脸检测主要依靠双眼位置来
１３ ］ 完成， 借用 Ｐａｕｌ 等 ［ 提出的级联的 Ｈａｒｒ 分类器的
１． ３ 人脸检测深度信息过滤
上述检测方法对于照片人脸或纹理特别丰富的 区域还会出现误检现象． 为避免误检情况， 文中引入 人脸深度信息以提高人脸检测的准确性． 通过对检 测的人脸区域深度信息进行统计分析， 可以有效滤 具体实现方法如 除照片人脸及纹理特征丰富区域． 记 ｄ（ ｘ， ｙ） 为图像中像素点 ｐ（ ｘ， ｙ） 的深度信息， 下． 则人脸区域的平均深度 Ｎ 可以表示为 １ Ｎ ＝ ∑｛ ｄ（ ｘ， ｙ） ｜ ｄ（ ｘ， ｙ） ｐ（ ｘ， ｙ） ６） ≠０ ， ∈Ａ｝（ ｎ １ 深度信息的方差 Ｖ 表示如下： Ｖ＝ １ ２ ｛ （ ｄ（ ｘ， ｙ）－ Ｎ） ｜ ｄ（ ｘ， ｙ） ≠０ ， ｎ∑ １ （ ７）
摘 要：为了克服二维人脸识别的不足，提出采用 Ｋｉｎｅｃｔ 采集设备并基于信息融合进行 三维人脸识别． 在人脸检测方面，利用双眼位置定位人脸，并通过肤色模型和深度信息 实现人脸过滤．在人脸识别方面，将动态时间规整算法应用于人脸轮廓快速提取，并提 出了一种改进的局部区域二值化特征（ ＬＢＰ） 匹配来实现人脸识别，将彩色图像信息和人 脸生理特征信息的分析应用于区域 ＬＢＰ 算法的权值确定． 实验表明： 文中提出的基于信 息融合的三维人脸识别方法具有使用价值， 识别方法的实时性和鲁棒性方面得到一定 提升． 关键词：人脸检测；三维人脸识别；信息融合；动态时间规整；区域二值化特征匹配 中图分类号：ＴＰ３９ １ ｄｏｉ ：１０． ３９６９ ／ ｊ． ｉｓｓｎ． １０００ ５６５ Ｘ． ２０１３． １１． ００３
其中 ｌ ＝ ｘｌ － ｘｒ ． 在具体实现中要注意左右眼的 文中在 规定， 因为捕获图像是实际图像的水平翻转． 程序实现上以图像中 ｘ 坐标较大者为左眼， 较小者 为右眼．
ｐ（ ｘ， ｙ） ∈Ａ｝ 过该值过滤人脸．
Ｖ 反应了检测到人脸区域深度信息的变化情况， 通
１． ２ 人脸检测肤色过滤
区域肤色特征是表征人脸的重要方面， 选取肤 色颜色空间和肤色模型进行有效的肤色过滤， 能够 提高人脸检测的准确率． 文中选择 ＹＣｂＣｒ 作为肤色 分割的颜色空间， 相对于其他诸如 ＲＧＢ 、 ＣＭ Ｙ、 ＨＩＳ 等颜色空间， 该颜色空间在肤色提取上更具表征能
收稿日期： ２０１３ ０５ ２４
除人脸轮廓， 加速匹配过程． 为提高识别的鲁棒性， 提出了一种分区域的改进 ＬＢＰ 算法用于人脸特征 的提取和匹配， 并在区域 ＬＢＰ 算法的权值的确定上 有效融合了人脸彩色图像信息和人脸生理特征信息．
８６３ ” 计划项目 （ ２０１２ＡＡ０４１３１２ ） ； 国家自然科学基金资助项目（ ６１２０３０６０ ） ； 公安部应用创新课题 基金项目：国家 “ ２０１２ＹＹＣＸＧＤＳＴ０８１ ） ； ２０１３ 年广东省省级科技计划项目； 华南理 工 大 学 中 央 高 校 基 本 科 研 业 务 费 专 项 资 金 资 助 项 目 （ （ ２０１３ＺＭ ００９８ ） ； 广东警官学院院级重点项目（ ２０１ １ Ｚ０２ ） 作者简介：廖广军（ １９８１ ） ， 男， 博士生， 主要从事模式识别的应用研究． Ｅ ｍａｉｌ：ｇｄｌｉａｏｇｊ＠ｇｍａｉｌ． ｃｏｍ 通信作者：李致富（ １９８１ ） ， 男， 博士后， 助理研究员， 主要从事智能材料驱动控制研究工作． Ｅ ｍａｉｌ：ｓｕｎｄｙｌｚｆ＠ｇｍａｉｌ． ｃｏｍ
ｎ ｎ
思想， 使用学习算法对人眼的左右眼数据库训练， 得 到对应的左右眼级联分类器， 然后根据人眼分布信 息经验值来确认人脸的区域． 记 Ｐｌ （ ｘｌ ， ｙｌ ） 为左眼位 置， Ｐｒ （ ｘｒ ， ｙｒ ） 为右眼位置． 则人脸的区域可以表达为 Ａ＝ ｛ （ ｘ， ｙ） ｜ ｘ－ （ ｘｒ － ｌ／ ２ ）＜ ２ ｌ， ０ ＜ ｙ－ （ ｙｒ － ｌ／ ２ ）＜ ２ ｌ｝ （ １）
第 ４１ 卷 第 １ １ 期 ２０１３ 年 １ １ 月
华 南 理 工 大 学 学 报 （自 然 科 学 版） Ｊｏｕｒｎａｌ ｏｆ Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ （ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ）
Ｖｏｌ． ４１ Ｎｏ． １１ Ｎｏｖｅｍｂｅｒ ２０１３
欧氏距离衡量两张图像 ２５６ 维度的直方图， 实现两 张图的匹配．
图 ２ ＬＢＰ 特征描述 Ｆｉｇ． ２ Ｆｅａｔｕｒｅ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ＬＢＰ
上述采用单个像素点编码的方法易于受到噪 声、 旋转等因素的干扰． 为克服传统 ＬＢＰ 算法基于 单个像素值与中心值比较进行计算的缺陷， 提高识 别的鲁棒性， 文中提出一种基于区域像素值的改进 ＬＢＰ 算法． 通过对中心像素区域与周围区域进行比 较确定编码， 获得更具有描述能力和抗干扰能力的 区域 ＬＢＰ 特征． 区域 ＬＢＰ 特征提取方法如图 ３ 所 示． 改进后的区域 ＬＢＰ 特征的计算方式不再依赖单 个像素点的像素值， 而是通过计算一个区域的像素 来决定 ＬＢＰ 的编码． 如对编号“ ７” 区域的计算， 在传 统的 ＬＢＰ 中是由一个像素点值决定的， 而在扩展的 ＬＢＰ 特征中其是由 ４ 个像素点值共同决定的．
３ 基于信息融合的改进 ＬＢＰ 的多尺 度人脸识别
３． １ 改进的区域 ＬＢＰ 特征
图像的 ＬＢＰ 具有很强的局部描述能力， 最初多 用于纹理匹配领域． ＬＢＰ 特征的描述如图 ２ 所示． 从 ＬＢＰ 特征的核心是将中心像素点的 图中可以看出， 值与周围像素点的值进行比较， 大于中心点像素值 的编码为 １ ， 小于中心点像素值编码为 ０ ， 并规定一 如图 ２ 所示， 采用左上角 个起始方向得到一组编码． 为起始方向， 得到的编码为 １ １０００１ １ １ ， 对应的十进 制数为 １９９． 基于这种编码方法， 对整个图像进行归 一化的编码， 则可以得到一个 ２５６ 维的直方图． 采用
１４ ］ 力［ ． 在肤色模型方面， 考虑到光． １ 人脸对齐
人脸对齐是人脸识别的重要前提， 对齐效果直 接影响后续的特征提取， 进而影响识别结果． 现有的 ＰＣＡ ） 投 三维人脸对齐的方法包括： ① 主成分分析（
１５ ］ １６ ］ 影［ ； ＩＣＰ ） 找对称轴 ［ ； ② 通过迭代近邻点（ ③建
［ ６ ７］
用马尔科夫随机场（ Ｍ ＲＦ ） 对非正面人脸重构正面 虚拟人脸等方法 ， 虽然能够在一定程度上克服 光照、 姿态变化的影响， 但所采集的信息单一， 难以 有效应付复杂环境下的人脸识别． 为突破二维人脸识别的限制， 伴随着三维信息 采集设备的普及， 国内外的研究者逐步将人脸识别 研究从二维转向三维， 试图利用更丰富的采集信息， 在三维人脸识别中， 往往 突破二维人脸识别的约束．
ｋ
Ｇ＝ ∑ ｉ ｇｉ
ｉ＝ １ ｋ
（ ５）
式中， ｋ 为混合高斯模型的个数， 且有 中根据实验经验值设置为 ５ ．
为减少整张人脸的环境影响， 并结合人脸固有生理 特征信息， 文中拟通过检测人脸左右眼位置来确定 人脸位置， 然后利用区域肤色特征及深度信息特征 实现人脸过滤．
∑ １ ｉ＝
ｉ
＝１ ， 文
通过对检测到的人脸区域进行肤色统计， 可以得 到当前区域中肤色像素点所占整个区域的百分比， 利用所占比例的信息来对检测区域进行肤色过滤．
人脸识别技术相比其他生物特征识别技术（ 指 纹识别， 虹膜识别等） ， 具有使用者无心理障碍， 易 于用户接受等优点， 受到了研究者的广泛关注
［ １］
涉及三维点云数据处理， 如文献［ ８］ 利用迭代近邻 ＩＣＰ） 处理人脸点云数据， 文献［ ９］ 使用三维特征 点（ 脸来表征人脸， 同时结合人脸的 ３Ｄ 网格来完成人 上述情况不可避免存在计算量大、 耗费时 脸识别． 人脸的三维信息包 间、 不利于自动识别的应用需求． 含大量的面部生理特征信息， 有效应用这些信息将 能极大地提高人脸识别鲁棒性． 针对上述问题， 同时考虑到设备成本及民用化 提出了一种融合彩色 需求， 文中采用 Ｋｉｎｅｃｔ 设备， 图像和深度信息的三维人脸识别研究． 为提高算法
文章编号：１０００ ５６５ Ｘ（ ２０１３ ） １１ ００１６ ０７
基于信息融合的三维人脸识别
２ ２ ３ ２ 廖广军 １ ， 曾玮 １ 刘屿 １ ， 李致富２ ， 胡跃明 １ ，
（ １ ．华南理工大学 自动化科学与工程学院，广东 广州 ５ １０６４０ ； ２．华南理工大学 精密电子制造装备教育部工程中心， ３．华南理工大学 机械与汽车工程学院，广东 广州 ５ １０６４０ ） 广东 广州 ５ １０６４０ ；
１ Ｔ Ｅ＝ （ ｃｊ － ） （ ｃｊ － ） μ μ ｎ－ １∑ ｊ＝ １
１８
华南理工大学学报（ 自 然 科 学 版）
第 ４１ 卷
问题． 该 算 法 具 有 明 显 的 优 点： 不 需 要 提 取 训 练； ＤＴＷ 计算时间短， 高效． 文中引入动态规整算法实 现人脸轮廓匹配， 以期在人脸识别第一步快速过滤 人脸， 减少后续人脸特征的提取和匹配计算， 提升系 统的处理能力和实时性． 人脸的 ３Ｄ 轮廓信息， 特别是人脸中轴线是重 要的特征信息． 人脸中轴线是指以鼻尖为中心， 将人 脸分为对称的两部分的一条轮廓线， 它包含了人脸 额头、 鼻梁、 嘴唇等的深度信息， 以及相互间的深度 位置关系． 在人脸深度信息上， 鼻尖位置是人脸曲率变化 最剧烈的区域， 且稳定性高． 文中对人脸深度信息按 ８） 进行 ＳｈａｐｅＩｎｄｅｘ 计算， 计算出每一个点 ｐ 的 式（ ＳｈａｐｅＩｎｄｅｘ 值： ｋ１ （ ｐ）＋ ｋ２ （ ｐ） １ １ Ｓ（ ｐ）＝ － ｔａｎ －１ ｋ１ （ ｐ）－ ｋ２ （ ｐ） ２ （ ８）
［ １０ ］ 的实时性， 引入动态规整（ ＤＴＷ） 的算法快速排
．
该技术的研究可以追溯到 ２０ 世纪 ６０ 年代， 主要集 中在对二维人脸识别的研究， 经常采用主成分分析 （ ＰＣＡ ） 、 线性判别分析（ ＬＤＡ ） 、 局部二值匹配 ＬＢＰ 等算法
［ ２ ５］
， 近年提出的局部判别嵌入 （ ＬＤＥ ） 和利
第 １ １ 期
廖广军 等：基于信息融合的三维人脸识别
１７
１ 三维人脸检测方法
人脸检测是指从动态场景或复杂的背景中检测 出人脸的存在并确定其位置， 然后分离处理的过程． 以 往 的 研 究 中， 往往以整张人脸作为检测基
１１ １２ ］ ， 受到环境干扰较大， 算法速度上也受影响． 础［
式中， ｃ ｊ为第 ｊ 个颜色向量， ｎ 代表皮肤颜色样本 ｃ 的总 数． 颜色向量的肤色概率 Ｇ 可以通过式 （ ５） 表示：