人脸识别_从二维到三维

Computer Engineering and Applications 计算机工程与应用
S m 表示由节点连线所围成的表面 示网格节点集合； （一般为 C m 表示该表面的属性 三角面） ； （颜色、 法线等） 。节点越多，
人脸识别算法。
2
3D 人脸数据获取
进行 3D 人脸识别面临的首要问题就是数据的来源。由
所围成的三角面就越多， 所表述的人脸模型就越逼真， 同时模 型的复杂度也越高。具有代表性的网格模型有 Keith Waters 等人提出的肌肉向量模型 [12] 以及瑞典 Linkoping 大学 Image Coding Group 公布的 CANDIDE-3 模型 [14]。 CANDIDE-3 模型 包含 113 个特征点和 168 个三角面片， 如图 2 所示， 主要由静态 参数 （Facial Definition Parameters， FDP） 来描述不同人脸之间 的差异； 动态参数 （Facial Animation Parameters， FAP） 则用于 控制脸部的动作。因此该模型也常用于动作编码， 在视频传 输方面应用较广。肌肉向量模型由 1 314 个节点和 876 个三角 面片组成， 模型的复杂度比较高。该模型还通过定义 18 块肌 肉向量来控制人脸的变型， 产生出高兴、 恐惧、 愤怒、 厌恶、 惊 奇等逼真的表情， 如图 3。Waters 的算法已经成为模拟脸部表 情动画的核心算法之一。
图 2 CANDIDE-3 网格模型
图 3 肌肉向量模型
在由网格模型到特定人脸模型的调整过程中， 由于所采 集的特征点与一般网格模型的节点数目存在差异， 需要通过 插值获得丢失的数据点。对于人脸这样高维的曲面， 径向基 函数 （Radial Basis Function， RBF） 插值方法是一种行之有效 的方法。值得一提的是 Pighin 等人提出的高度真实感人脸建 模技术[15]： 首先， 在若干幅图像中手工定义一些相互对应的特 征点， 并使用计算机视觉技术恢复摄像机参数 （位置、 方向、 焦 距等） 以及特征点的坐标； 然后， 由这些特征点的坐标值计算 出径向基函数的系数， 并由此对一般网格模型进行全局调整； 最后， 通过使用更多对应的特征点， 对全局调整后的网格模型 作局部调整， 从而得到与真实人脸非常接近的模型数据。 Pighin 提出的这种方法用到了 112 个特征点， 需要辅以人工操 作。Yano 等人给出了改进算法[16]， 使之更具可操作性， 并应用 到计算机游戏上。 人脸统计模型， 就是采用统计方法从大量采样样本中学习出人 脸的共有属性而建立起来的， 基于统计意义上的通用人脸模型。 其中最为著名的是 V.Blanz 和 T.Vetter 所提出的 3D 形变模型[5]。 许多研究者基于这个模型， 提出了新的人脸识别算法[17-20]。 3D 形 变 模 型 用 一 个 形 状 向 量（Shape-vector）
1
人脸识别概述
“这真是一个奇迹， 千万张面孔中， 就没有两个是完全一
12.9%
10.0% 0.3% 12.4%
样的！ ” 英国哲学家托马斯 · 布朗曾经说过。人类很早便意识 到了人脸所存在的差异性， 并研究它的机器识别算法。世界 上第一个人脸识别算法是在 1966 年由 Bledsoe 提出的[1]。 此后， 人脸识别一直是生物特征识别技术的一个主要方 向， 越来越多的研究者投身到这一领域中来。与其他生物特 征识别技术相比， 人脸识别技术具有主动性、 非侵犯性和隐蔽 性等许多优点， 因此更加适用于各种安全防卫工作。例如罪 犯监控， 人脸识别能够在罪犯毫不知觉的情况下进行图像的 采集和识别， 而其他生物特征识别方法， 诸如虹膜、 指纹识别， 至少需要罪犯的一根手指或一颗眼球， 这要想在对方不知情 的状态下获得， 显然是不可能的。国际生物识别小组 （International Biometric Group） 于 2009 年的研究结果显示， 人脸识别 技术在整个生物特征识别应用领域中所占的比重越来越大， 已达到 12.9%， 如图 1 所示。 目前大部分人脸识别算法主要是对二维平面图像进行识 别， 称这类识别方法为 “2D 人脸识别” 。对于这一类算法， Chellappa 等[2]和 Zhao 等[3]给出了很好的综述。由于受到姿势、 光照、 表情变化等因素的影响， 2D 人脸识别算法的准确度受到 很大限制。迄今为止， 建立一个鲁棒的 2D 人脸识别系统仍然
基金项目： 汕头大学青年科研基金项目资助 （No.YR10003） 。
50.6%
7.3% 4.1% 2.4%
人脸特征 掌纹 击键行为特征 中间件 虹膜 声音 手写签名 指纹
图 1 各类生物特征识别技术比重图
是一个很困难的问题。 针对 2D 人脸识别技术的难点， 近年来许多学者致力于利 用人脸的三维信息来进行识别， 原因是人脸的三维信息能够 更精确地描述人的脸部特征， 提取的某些特征具有刚体变换 不变性， 并且不易受姿势以及光照的影响。3D 人脸识别技术 使得识别效果得到很大的提高。称这种基于立体图像的识别 方法为 “3D 人脸识别” 。 近几年有关 3D 人脸识别算法的技术文章发表了很多， 最 [4] 近一篇针对 3D 人脸识别算法的综述文章出自 Scheenstra 等 。 然而人脸三维数据的获取是进行 3D 人脸识别的基础， 两者密 不可分。目前在三维人脸数据的获取方面仍然存在困难， 需 要从这一方面入手， 分析两者之间的关系， 有针对性地获取人 脸的三维数据， 进而提高人脸识别率。正是出于这样的考虑， 从 3D 人脸数据的获取方式入手， 重点介绍最近所提出的 3D
ቤተ መጻሕፍቲ ባይዱ
于技术的限制， 目前还没有像照相机那样的设备可以方便、 快 速地拍摄立体图像。如何准确地获取人脸的三维信息， 这本 身就是一个具有挑战性的问题， 许多研究者致力于这一方面 的研究。 然而， 数据获取上的困难并未阻挡 3D 人脸识别研究的开 展， 人们通过各种方式来克服这种困难。目前， 人脸三维数据 的获取主要存在有下面三种方式。
2.1 基于硬件设备的数据获取
3D 扫描仪是最近研制的可用于获取物体三维数据的技术 产品。将扫描得到的三维数据输入 3DMAX 中即可完整地还 原出物体的 3D 模型。如今， 许多人脸识别研究机构已经使用 这种设备采集人脸数据， 并建立起 3D 人脸库， 例如 USF 人脸 库 [5]。然而， 3D 扫描仪的精确度仍在不断提高中， 且价格昂 贵， 扫描速度较慢。采集时需要被采集者的高度配合， 使人脸 识别的非侵犯性受到破坏。这些缺点使得直接使用 3D 扫描 仪很难达到实用要求。 也有研究者采用结构光的思想， 利用一个激光源和一个 普通 2D 照相机， 搭建起一个可用于获取人脸三维数据的平 台。最初提出这种方法的是 Posdamer 等[6]以及 Boyer 等[7]， 他们 利用激光源发出光束， 经过一个可旋转的平面镜反射后照射 到目标物体上。这样物体上会有一个亮条， 同时照相机采集 到的相片上也有对应的亮条， 从而有效地解决了双目视觉中 对应点的匹配问题。后来比利时学者 Beumier 进一步发展了 这种思想， 并采用这样的平台建立了一个包含 120 个人的 3D 人脸库 3D_RMA[8-9]， 这个库是目前最大的 3D 人脸数据库。然 而， 这样的采集系统过于复杂， 且同样需要被采集者的配合， 获取的数据精度也不高。
作者简介： 蔡泽民 （ 1980— ） ， 男， 博士， 副教授， 主研领域： 图像处理与模式识别； 闫敬文 （ 1964— ） ， 男， 博士， 教授,博士生导师。E-mail： zmcai@ 收稿日期： 2010-09-08； 修回日期： 2010-12-01
156
2011， 47 （11）
S = ( x1 y1 z1 x 2 y n z n)T Î R3n 来表示人脸的几何形状， 其中 xi yi zi 分 别 表 示 三 维 点 的 坐 标 ； 再用一个纹理向量 （Tex-
2.2 基于通用模型的方法
采用硬件设备获取人脸的 3D 数据， 是一种最直接的办 法。但是由于硬件设备昂贵， 技术不成熟， 所采集的数据还需 要通过预处理、 规格化等步骤才能得到真实人脸， 计算量较 大； 而且人们更加倾向于使用传统的照相机获取图像， 因此这 种方法的推广受到限制。如何在自然环境下利用普通摄像机 获取一幅或多幅图像来恢复人脸的三维信息， 是科研工作者 一直关心的一个方向。 人脸具有个体特征， 比如眼睛的大小、 鼻子的高低等。但 是人脸也具有基本相同的面部结构 （如眼睛、 鼻子、 嘴巴等） 和 相似的面部动作 （如嘴巴的开合） ， 这提示可以基于人脸的先 验知识， 建立起具有人脸基本特征的 3D 通用模型， 然后通过 刚体变换、 形变等方法与具体的人脸特征作匹配， 最后再将合 成的纹理信息映射到人脸模型上， 从而获得该特定人脸的三 维数据。 人脸模型主要包括有椭圆模型、 圆柱模型、 网格模型、 超 二次曲面模型、 统计模型等， 其中普遍使用的是网格模型 [10-13] 和统计模型[5]。 网格模型是由网格节点以及它们之间的连线构成， 网格 节点又称为控制点 （Control vertex） 或特征点 （Feature verVm 表 tex） 。网格模型一般可以表示成 M = {V m S m C m} ， 其中，
含更丰富的人脸信息， 有助于机器对人脸的识别。从二维到三维， 人脸识别研究进入了一个新的阶段。从 3D 人脸数据的获取方 式入手， 介绍最近提出的一系列 3D 人脸识别算法， 并进行归类。最后提出 “有针对性地获取 3D 人脸模型数据是进行有效识别的 基础” 这一结论。 关键词： 3D 人脸识别； 3D 人脸数据； 通用模型 DOI： 10.3778/j.issn.1002-8331.2011.11.044 文章编号： 1002-8331 （2011） 11-0155-05 文献标识码： A 中图分类号： TP391.4
Computer Engineering and Applications 计算机工程与应用
2011， 47 （11）
155
⦾图形、 图像、 模式识别⦾
人脸识别： 从二维到三维
蔡泽民， 闫敬文 CAI Zemin， YAN Jingwen
汕头大学 工学院 电子工程系， 广东 汕头 515063 Department of Electronic Engineering， College of Engineering， Shantou University， Shantou， Guangdong 515063， China CAI Zemin， YAN Jingwen.Face recognition： From 2D to puter Engineering and Applications， 2011， 47 （11） ： 155-159. Abstract： As an aspect of biometric technologies， face recognition plays an increasingly important role.Though the majority of face recognition research focuses on the use of two-dimensional intensity images， 3D face models hold more information， like surface information， that can be used for face recognition.From 2D to 3D， face recognition research has entered a new stage.This paper introduces 3D face data acquisition modes， describes the recent 3D face recognition algorithms and classifies them.It draws the conclusion that targeted acquisition of 3D face data is the basis for effective recognition. Key words：3D face recognition； 3D face data； general models 摘 要： 人脸识别是生物特征识别技术的一个重要方向。虽然目前大部分研究都还只是针对二维人脸图像， 但是 3D 人脸模型包