关键点匹配三维人脸识别方法

Y 或 Z 轴旋转， 要： 提出了一种新颖的三维人脸识别算法， 其基本思路是， 把代表人脸的三维点云沿 X 、 反复
多次把 3D 人脸关键点投影到 2． 5D 图像上， 然后提取 2． 5D 图 像 的 关 键 点 并 进 行 标 记， 而用这些比原来小得多 的关键点代替原来的面扫描 。 面对未知的待测人脸首先通过执行相同的多视角特征点提取技术提取关键点 ， 然 这个方法 后应用一个新的加权特征点匹配算法进行识别 。 通过用 GavabDB 三维面部识别数据集进行试验评估， 对中性表情人脸可获得高达 94% 的识别精度， 对人脸表 情 辨识 （ 如微 笑） 的 准 确率 也 超 过 了 88% 。 实 验 结 果 表 明， 此方法在识别精度上有显著地提高 。 关键词： 关键点； 投票； 识别； 人脸 中图分类号： TP391. 41 文献标志码： A 文章编号： 1001-3695 （ 2010 ） 11-4331-04 doi ： 10． 3969 / j． issn． 10013695． 2010． 11． 092
· 4332·
计 算 机 应 用 研 究
第 27 卷
120 人 、 每人 6 幅图像的数据集， 识别率降为 71． 1% 。 基于轮廓线的方法提取人脸表面的若干轮廓线作为特征， 采用某种度量进 行 匹 配 。 Zhang 等 人
［4 ］
识、 影像追踪和动作比对 。 SIFT 是 一 种 基 于 特 征 的 配 准 方 法 。 SIFT 特征匹配算法 是 对 图 像 缩 放 、 旋转甚至仿射变换保持不 能提取稳定的特 变性的特征匹配算法 。 该算法匹配能力较强， 征， 可以处理两幅图像之间发生平移、 旋转、 仿射变换、 视角变 光照变换情况下的匹 配 问 题， 甚至在某种程度上对任意角 换、 度拍摄的图像也具备较为稳定的特征匹配能力， 从而可以实现 差异较大的两幅图像之间的特征匹配 。 Mikolajczyk 和 Schmid 针对不同的场 景， 对光 照 变 化、 图像 几何变形 、 分辨率差 异 、 旋 转、 模 糊 和 图 像 压 缩 6 种 情 况， 就多 矩不变量、 互 相 关 等 10 种 描 种最具代表性的描述子（ 如 SIFT 、 述子） 进 行 了 实 验 和 性 能 比 较 。 结 果 表 明， 在以上各种情况 SIFT 描述子的性能最好 。 下， 一个好的图像关键点 应 该 具 有 高 的 区 分 度 和 低 的 误 匹 配 应 该 包 容 图 像 噪 声 和 光 照 变 化， 也 应 该 减 少 由 于 缩 放、 旋 率， 转、 视角变化以及局部失真所带来的不利影响 。 SIFT 是最著名的 关 键 点 选 择 方 法 ， 它能满足上述所有标 没 有 颜 色 信 息 丢 失， 非常适合 准 。 它用灰 度 等 级 表 示 图 像， 2． 5D 图像 。 简单地说， 利用 SIFT ， 如对于 一 个 4 × 4 的 图 像， 计算像素 梯度向量直方图大小， 每个像素有 8 个可能的梯度方向， 因 此， 对 SIFT 描述的总大小为 4 × 4 × 8 = 128 个 元 素 。 这 些 特 征 向 量经过规范化， 提高光照 不 变 性， 并确保在缩放和旋转等方面 的不变性 。 虽然从不同角度看有许多关键点， 但只有最独特的和匹配 而 这 些 点 往 往 落 在 边 缘、 角 落、 性 稳 定 的 特 征 点 被 保 留 下 来， 点， 或其他的“有趣 ” 的图像部分 。 1. 3 关键点匹配三维人脸识别算法思路 SIFT 的关键点匹配如 下： 如 果 一 个 测 试 图 像 包 含 传统上， 三个以上关键点匹配的话， 那么测试图像被认为包含 。 但是在 因为人脸在视觉上非常 人脸识别方面这种匹配方法并不可行， 相似 。 本文方法不 是 匹 配 测 试 图 像 所 有 从 2． 5D 图 像 上 提 取 Y 或 Z 轴 旋 转， 的关键点， 而是把代表人脸的三维点云沿 X 、 反 复多 次 地 把 3D 人 脸 突 出 点 投 影 到 2． 5D 图 像 上， 然后提取 2． 5D 图像的关键点并进行 标 记， 这些经过标记的关键点组合 成一个数据集 。 对关键点在测 试 之 前 予 以“投 票 ” 确定关键点 通过与匹配和标记的关键点最接近的未标记的关键点 的权重， 进行识别 。
［2 ］ 方法无法根本解决的问题， 或弥补 2D 方法的不足 。
1. 1
3D 人脸识别算法 三维人脸识别算法按采用的数据类型 、 特征方法分为五种
类型， 即基于子空间的方法 、 基于轮廓线的方法 、 基于其他特征 的方法 、 基于多分类器融合的方法以及基于三维点云的方法 。 基于子空间的方法将人脸用深度图像表示， 再采用特征脸 （ eigenfaces ） 等子 空 间 方 法 进 行 识 别 。 Xu 等 人［3］ 先 构 建 一 个 规则网格表示三维人脸 表 面， 经 姿 态 校 正 后 用 深 度 图 表 示， 再 用特征脸方法进行识别 。 对 3D RMA 数 据 库 中 质 量 较 好 的 30 人、 每人 6 幅图 像 的 数 据 集， 识 别 率 为 93． 9% ； 对 质 量 较 差 的
第 27 卷第 11 期 2010 年 11 月
计 算 机 应 用 研 究 Application Research of Computers
Vol． 27 No． 11 Nov． 2010
关键点匹配三维人脸识别方法
宋顶利
063000 ） 摘
1， 2a
*
，杨炳儒 1 ，于复兴 2 b
（ 1． 北京科技大学 信息工程学院，北京 100083 ； 2． 河北理工大学 a． 理学院； b． 计算机与控制学院，河北 唐山
Abstract ： This paper proposed a novel algorithm for 3D face recognition based on keypoint matching． Its idea was to rotate each 3D point cloud representing a face around the x ，y or z axes ，iteratively projecting the 3D points onto 2． 5D images． It extracted the keypoints from 2． 5D images ，set of keypoints replaced the original face scan ，performed test faces the same keypoint extraction technique ，and secondly using a new weighted keypoint matching algorithm to recognize face． Evaluation using the GavabDB 3D face recognition dataset ，the method achieved up to 94% recognition accuracy for faces with neutral expressions ，and 88% accuracy for face recognition with expressions （ such as a smile ） ． The experiment results show that this method gets remarkable progress in recognizing accuracy． Key words ： key point ； voting algorithm ； recognization ； face
。 本文在前人研究 的 基 础 上 提 出 了 一 种 新 颖 的 基
于关键点匹配的三维人脸识别算法 。
收稿日期： 2010 -05-20 ； 修回日期： 2010-06-28
基金项目： 国家自然科学基金资助项目（ 60875029 ）
பைடு நூலகம்
作者简介： 宋顶利（ 1971 -） ， 男， 河北唐山人， 博士研究生， 主要研究方向为图像处理（ sdlhr617 @ sohu． com ） ； 杨炳儒（ 1943 -） ， 教授， 博 导， 主要研 究方向为数据挖掘 、 知识发现； 于复兴（ 1979 -） ， 讲师， 主要研究方向为数据挖掘 ．
［1 ］
别 。3D 人脸的研究起源于计算机动画和生物医 学 成 像 。 计 算 姿 机动画是在计算机上生成 3D 的 人 脸 动 画 来 表 达 人 的 运 动 、 态和表情 。 这种动画的人脸可以应用在不同的环境下， 从而应 用和发展为虚拟现实 。 在 生 物 医 学 方 面 的 方 法 是 从 生 物 图 层 或切片重构人体器官组织， 并将其用于病理分析 。 将三维的方 法用于人脸机器识别 是 近 几 年 才 开 始 的， 主 要 是 为 了 解 决 2D
用 PCA 从 三 角 化 的 人
再 用 ICP 算 法 对 齐 镜 像 人 脸， 得到人 脸表面得到初始对 称 轴， 脸对称平面 。 由平均曲率和中轴轮廓线曲率获得鼻尖 、 鼻梁和 由这三 个 特 征 点 定 义 新 的 坐 标 系， 并定位前 鼻下三个特征点， 额轮廓线和脸颊轮廓线， 连 同 中 轴 轮 廓 线 作 为 人 脸 的 表 示， 并 用线性判别分析（ LDA ） 优化各轮 用 ICP 算法计算相应的距离， 廓线的权重 。 实验结果表明该方法对表情变化不够鲁棒 。 基于其他特征的方法 从 人 脸 表 面 提 取 某 种 特 征 作 为 人 脸 的表示， 再用某种度量进行匹配 。 基于多分类器融合的方法从人脸表面提取多种特征， 采用 不同的 分 类 器 进 行 分 类， 将 各 分 类 器 的 结 果 进 行 融 合。 如 Chang 等人［5］ 基于人脸肤色从二维彩 色 照 片 提 取 人 脸 区 域 ， 再 用 ICP 算法进行姿态 校 正 。 利 用 高 斯 曲 率 和 平 均 曲 率 找 出 鼻 在鼻尖周围 找 出 三 个 局 部 区 域， 分 别 用 ICP 算 法 进 行 子区域， 匹配， 再将其结果进行融合 。 在 FRGC v2． 0 数 据 库 上， 识别率 6］中有更详细的阐述 。 达 92% 。 文献［ 基于三维点云的方法将人脸用三维点云表示， 再采用某种 度量对人脸点云进行匹配 。 Medioni 等人
0
引言
人脸识别是最具挑 战 性 的 模 式 识 别 问 题 之 一 。 经 过 多 年
1
三维人脸识别
人脸识别按照所用的信息类型， 可分为二维和三维人脸识
的发展， 特别是近十多年 的 研 究， 人脸识别的理论和算法均取 但这些理论和算法主要针对二维人脸图像 。 由 得了巨大进步， 于人脸的非刚性特征， 二维图像中人脸姿态 、 表情 、 光照条件等 的变化对算法的识别 性 能 影 响 很 大 。 更 实 用 的 人 脸 识 别 算 法 应该能 够 在 摄 像 环 境 、 姿态、 光照不可控、 表情变化大、 用户不 配合的情况下进行识 别 。 所 以 目 前 算 法 的 缺 陷 大 大 限 制 了 人 脸识别技术在实际中的广泛应用 。 如何解决不同姿态 、 不同光 照条件下的人脸识别问题是二维人脸识别研究的瓶颈， 也是当 前的研究热点 。 与二维人脸图像数据相比， 三维人脸数据中包 含人脸的空间信息， 这是人脸本身固有的特征信息， 对姿态 、 光 照条件的变化具有鲁棒性 。 与二维图像不同， 三维人脸数据有 多种不同的形式， 如人脸 的 深 度 数 据 、 曲面点的三维坐标及其 面 部 轮 廓 线 数 据 等 。 因 此， 近年来利用三 点之间的连接关系 、 维人脸数据进行人脸识别的方法成为研究热点， 也出现了一些 识别算法
Method of 3D face recognition based on keypoint matching
2a SONG Ding-li1 ， ，YANG Bing-ru 1 ，YU Fu-xing 2 b
（ 1 ． School of Information Engineering ，University of Science ＆ Technology Beijing ，Beijing 100083 ，China ； 2 ． a． College of Sciences ，b． College of Computer ＆ Automatic Control ，Hebei Polytechnic University ，Tangshan Hebei 063000 ，China ）