基于单幅图像的人脸三维建模研究

收稿日期：2010-04-10基金项目：国家自然科学基金资助项目（60673014）；福建省自然科学基金资助项目（2008J0013）作者简介：金彪（1985-），男，安徽六安人，2008级硕士研究生；姚志强（1967-），男，福建莆田人，教授。

0引言三维人脸建模在三维动画、计算机游戏、视频会议、医学手术以及生物教学等许多领域有着广泛的应用价值，因此得到了越来越广泛的重视。

美国国家自然科学基金委员会在1993年专门组织了脸部建模的研究会，MPEG-4标准中也专门制定了人脸模型参数规范。

人脸三维模型的获取途径有很多种，使用三维扫描设备获取三维模型无疑是其中最有效、最直接的方法。

但由于三维扫描设备成本太高，致使该方法不能被广泛采用。

这也促使研究人员开始思考和探索一种成本低、效果好的人脸建模方法。

如今已出现了很多三维人脸建模的方法（如，基于B 样条曲线的三维人脸建模[1]、基于二维图像的三维人脸建模[2]、基于形变模型的三维人脸建模[3]、基于认识机理的三维人脸建模等）和工具（如maya 、3DmeNow 、3ds Max 等）。

在众多的建模方法中，基于图像的人脸三维建模方法被越来越多的研究人员所关注。

原因在于，此类建模方法的输入仅仅是一张或者多张图像，而这些图像可以来源于普通的数码相机，获取比较便捷。

1基于单幅图像的人脸三维建模基于图像的人脸三维建模的一般过程可以用图1表示。

其中，对原始模型进行调整的依据是我第17卷第2期莆田学院学报Vol.17No.22010年4月Journal of Put ian UniversityApr.2010文章编号：1672-4143（2010）02-0057-04中图分类号：TP391.41文献标识码：A基于单幅图像的人脸三维建模研究金彪，姚志强（福建师范大学软件学院，福建福州350108）摘要：由于人脸三维模型在三维动画、计算机游戏、视频会议、医学手术以及生物教学等许多领域都有着广泛的应用价值，使得越来越多的研究人员开始思考获取人脸三维模型的有效途径。

文中先采用AdaBoost 算法进行人脸检测，判断输入图像中是否含有人脸；接着，采用ASM 模型对含有人脸的图像进行特征点提取；最后依据从图像中提取的特征点等信息对初始模型进行调整，实现了一种基于单幅图像的建模方法。

关键词：AdaBoost ；人脸检测；ASM 模型；特征点提取；人脸建模Research of 3D Face Modeling Based on A Single PictureJIN Biao,YAO Zhi-qiang(Faculty of Software,Fujian Normal University,Fuzhou Fujian 350108,China )Abstract ：3D face modeling is useful to 3D-animation,computer games,video conferencing,operation andeducation and so on.More and more researchers have been thinking about effective ways to get 3D face models.In this paper,AdaBoost is used for detecting face,and ASM model for facial feature extraction.Finally,original model is modified according to the feature information and an effective way for 3D face modeling with a single picture is implemented.Key words ：AdaBoost ；face detection ；ASM model ；facial feature extraction ；face modeling莆田学院学报2010年4月们从图像和模型中提取的特征点等信息。

一个完备的基于图像的人脸三维建模系统至少应该包括图像采集、人脸检测、人脸图像特征点提取、对生成的模型进行纹理贴图等四个模块。

（1）图像采集：获取人脸三维建模系统的输入数据，是整个系统运行的前提；（2）人脸检测：系统必须能够准确地判断出用户输入图像中是否含有人脸。

不含有人脸的输入图像不能作为系统的有效输入数据。

因为，对不含有人脸的输入图像建模是没有任何意义的；（3）人脸图像特征点提取：如何有效地从输入图像中提取出人脸特征点信息很关键，因为特征点信息是我们后续工作中调整初始人脸模型的依据；（4）纹理贴图：为了使产生的个性化人脸模型更逼真、更具有真实性，我们还应该为模型添加纹理贴图。

1.1人脸检测常用的人脸检测方法主要有：1）基于脸部特征的模板匹配方法[4]；2）基于肤色模型的检测方法[5]；3）基于神经网络的人脸检测方法[6]；4）基于支持向量机的检测方法[7]；5）基于小波分析的检测方法[8]。

2001年，Viola 与Jones 首先提出基于AdaBoost算法的人脸检测方法[9]，该方法具有检测精度高、实时性强等优点。

出于对实时性和精确度的考虑，本文采用基于AdaBoost 算法实现人脸检测。

1.2特征点提取基于照片的三维人脸建模方法基本上都是通过对一个中性人脸几何模型（或标准人脸模型）进行形变处理后得到的。

形变的主要依据就是从人脸照片中提取的特征点的位置。

人脸特征点的选取，须满足2个条件：1）能准确表示出人脸的静态结构；2）方便表情等各种动态信息的控制[10]。

当前关于面部特征点提取的研究工作可以主要归类为：1）利用特征模板和变形模板进行特征点提取；2）基于人脸几何模型的特征点提取；3）利用Gabor 复数滤波器进行特征提取等。

在众多的特征点提取算法中，以主动形状模型（ASM,Active Shape Model ）、主动外观模型（AAM,Active Appearance Model ）为代表的参数模型用统计的方法建立形状、外观、纹理等参数模型，利用统计模型对人脸的形状进行约束，并通过预先学习的局部模型的匹配转换为一个参数优化问题，并最终得到较好的收敛结果。

ASM ／AAM 得到的模型能很好地覆盖各种人脸几何外形子空间和人脸纹理子空间，并能很好地区分非人脸的部分。

这些参数模型中包含的丰富经验知识对目标的提取有很好的指导作用，因而对遮挡、退化等问题具有一定的鲁棒性[11]。

对基于图像的人脸三维建模而言，准确的特征点定位尤为重要。

特征点信息的准确度和精度将直接影响到建模的效果。

由于较AAM 而言，ASM 的点定位精度更高，本文采用基于ASM 模型的特征点提取算法。

2基于单幅图像的人脸三维建模的实现2.1基于AdaBoost 算法实现人脸检测AdaBoost 算法的本质是一种迭代算法。

该算法的主要思想是针对同一个训练集训练不同的分类器（弱分类器），然后将所有的弱分类器组合在一起，构成最终分类器（强分类器）。

算法本身是通过改变数据分布来实现的———依据每次训练集中每个样本的分类是否正确，以及上次总体分类的准确率，来确定每个样本的权值。

并将权值调整后的数据集作为下层分类器的输入，由下层分类器进行新一轮的训练。

最后将每次训练得到的分类器融合起来，作为最终的决策分类器。

使用AdaBoost 分类器可以有效地排除一些不必要的训练数据特征。

本文在使用AdaBoost 算法进行人脸检测时，加载了OpenCV 中自带的分类器，如图2所示，使用该方法进行人脸检测取得了较好的实验效果。

图1基于图像的人脸三维建模的一般过程58第2期金彪，等：基于单幅图像的人脸三维建模研究2.2基于ASM 模型的人脸特征点提取ASM 方法，是Cootes 提出的用于解决图像中的目标搜寻的形状统计模型。

经过多年的发展，它已成为一种相当成熟有效的方法，并被广泛应用于医学图像处理、数字图像理解和计算机视觉等领域。

ASM 依靠一个由人工标定特征点的训练集，这些点既可以是目标的边缘点，亦可以为目标的内部点。

它的基本思想可以描述为：1）选取足够多的人脸正面图像作为样本库，对所有的图像进行脸部轮廓以及五官轮廓的手动标记；2）对样本库图像进行对齐归一化处理。

对齐操作包括旋转、平移以及缩放等操作。

归一化后可以得到一个中性人脸模型；3）利用局部灰度模型，对归一化后的中性人脸模型中的每个特征点沿着轮廓的法线方向进行迭代搜索，搜索过程中进行灰度匹配。

每次迭代中不断调整参数，使得整个模型不断适应目标形状且保持人脸的合理形状。

如图3所示，本文采用ASM 模型从人脸图像中提取出68个特征点（左右眼各选取5个特征点，左右眉毛各选取6个特征点，脸部轮廓特征点15个，鼻子区域选取11个特征点，嘴巴区域选取20个特征点）。

图像中的圆点即为提取出的人脸特征点。

图3人脸特征点提取效果2.3个性化人脸模型生成基于图像的人脸三维建模通常还需要一个初始人脸三维模型，本文选用的初始模型如图4（a ）、（b ）和（c ）所示。

在提取图像的特征点之后，我们还需在选用的初始模型中手动标记出与图像特征点相对应的模型特征点。

本文在初始模型中手动标记出65个特征点（与图像中提取的68个特征点相比较而言，模型特征点除去了两只眼睛的中心点及嘴巴的中心点）。

图4（d ）中的圆点即为选取的模型特征点。

（a ）初始模型右旋一定角度（b ）初始模型正视图（c ）初始模型左旋一定角度（d ）模型特征点标记图4初始模型及模型特征点标定2.3.1平面图像的z 坐标获取从二维平面图像中恢复某一点的深度信息，是一个病态问题。

但是我们可以通过某些方法估算出该点的近似深度值。

在文[12]中，Chen 等人利用稀疏的形变模型获取特征点的深度信息。

文[13]采用基于稀疏线性模型的优化算法，能够比较准确、稳定地估计出二维图像中特征点的深度信息。

但由于需要使用大量的人脸图像样本库，其计算量较大。

本实验中，图像特征点的深度值采用初始模型中与之相对应点的经验值（z 坐标值）。

2.3.2模型调整本文参考文[14-16]，依据特征点信息采用基于径向基函数（Radial Basis Function,RBF ）插值的方法对初始模型进行调整。

RBF 可应用于三维散乱点的插值，作为一个图2AdaBoost算法人脸检测效果59莆田学院学报2010年4月典型的插值函数，RBF 具有很好的插值和能量最小性质。

该方法的主要优点在于：1）与网格拓扑结构无关，可以适应于任意的约束特征点集；2）直接给出求解插值的线性解析表达式，无需优化、迭代，可直接得到精确的结果。