人脸识别中的姿态问题研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
-I-
哈尔滨工业大学工学博士学位论文
果更加精确。 (3) 提出了一种基于局部线性回归(LLR)的姿态校正方法。通过将姿态校正
形式化为从非正面人脸估计其虚拟正面视图的预测问题，本文提出了一种基于 线性回归的正面视图预测方法，该方法可以在仅标定输入非正面人脸双眼中心 位置的条件下，通过线性回归算法预测出其虚拟正面视图。考虑到非正面人脸 视图与正面人脸视图之间的映射对于不同人而言实际上并不相同，我们进一步 改进上述算法，提出了一种基于分块模式的姿态校正方法，即所谓的局部线性 回归(LLR)姿态校正方法。该方法基于 3D 人脸结构的先验知识，将人脸区域分 成若干小的面片，在小的面片上进行上述线性回归操作以获得更为精确的预测 结果。实验结果表明，无论从视图校正的视觉效果，还是从人脸识别的精度来 看，此方法都具有很好的性能。
(4) 提出了一种基于 3D 稀疏变形模型(3D SDM)的 3D 人脸重建及姿态校正 方法。本方法利用人脸类的 3D 形状先验知识，根据单幅任意姿态下的人脸图像， 重构其特定的 3D 形状信息。在 3D 人脸重构的基础上，通过图形绘制的方法得 到正面姿态下的人脸视图，用于解决人脸识别中的姿态问题。该方法假设人脸 的 3D 形状分布为高斯分布，将所有人脸的 3D 形状分布空间用主成分分析(PCA) 模型表示。按照预先定义的 2D 人脸图像上的关键特征点，从稠密的 PCA 模型 中得到稀疏的版本，即稀疏变形模型。基于此，在输入图像 2D 特征点的驱动下， 恢复得到该特定人的 3D 形状，进而重构其 3D 人脸，实现姿态校正及任意姿态 下的虚拟视图生成。实验表明：通过 3D 人脸重建得到的虚拟视图结果，从视觉 上来看更加接近于真实人脸图像。同时，以 Gabor PCA+LDA 方法作为识别策 略，在 CMU PIE 数据库中 45 度以内的图像上测试，将姿态校正后的视图作为 输入，平均识别率达到了 97.5%左右，极大的改善了识别系统对于人脸姿态图 像的适应能力。
- II -
Abstract
Abstract
Face recognition has been one of the most challenging and active research topics in computer vision and pattern recognition for several decades. It has held more and more researchers’interest in recent years. Meanwhile, as one of the key techniques of biometric feature recognition, it has more prospect of application in the domains of public security, information security, and finance. The state-of-the-art of the face recognition systems achieves good results under the well-controlled environment. However, if tested on the non-controlled imaging environments, or the uncooperative users, the performances of the face recognition systems decrease tremendously. Therefore the main difficulties of face recognition come from the variations of illumination, expression and pose which result in the difficult classification.
Affiliation:
Date of Defence: Degree-Conferring-Institution: ：
Chai Xiujuan Prof. Gao Wen Doctor of Engineering Computer Application School of Computer Science and Technology Jul, 2007 Harbin Institute of Technology
(2) Propose a facial pose estimation method based on projection error correction (PEC). Based on the orthogonal projection principle, the pose information
博 士 研 究 生： 柴秀娟
导
师： 高 文 教授
申 请 学 位： 工学博士
学 科 、 专 业： 计算机应用技术
所 在 单 位： 计算机科学与技术学院
答 辩 日 期： 2007 年 7 月
授予学位单位： 哈尔滨工业大学
Classified Index: TP391.41 U.D.C.: 681.39
摘要
摘要
人脸识别是计算机视觉和模式识别研究中的热点问题，近年来受到越来越 多研究者的重视。同时，作为生物特征识别的关键技术之一，其在公共安全、 信息安全、金融等领域具有潜在的应用前景。当前的人脸识别系统在用户配合 的理想情况下，取得了令人满意的结果。但在摄像环境不可控、用户不配合的 情况下，识别性能急剧下降。因此，现有的人脸识别系统的主要难点在于光照、 表情、姿态等因素引起的人脸外观的剧烈变化所带来的分类困难。
总之，通过上述工作，本文对人脸识别中的姿态问题进行了深入研究，研 究结果表明：不论是基于 2D 人脸图像的学习方法还是融合 3D 先验信息的人脸 重建方法，都能实现很好的姿态校正，从而可以有效地提高人脸识别系统对姿 态变化的鲁棒性。
关键词 人脸识别；面部特征标定；姿态估计；姿态校正；高斯模型；局部线 性回归；3D 稀疏变形模型
Dissertation for the Doctoral Degree in Engineering
STUDY OF THE POSE PROBLEM IN FACE RECOGNITION
Candidate: Supervisor: Academic Degree Applied for: Specialty:
(2) 提出了一种基于投影误差修正(PEC)的人脸图像姿态估计方法。理论上， 基于正交投影原理，根据特定人的 3D 人脸模型及其人脸图像的五个面部关键特 征点，即可计算得到该人脸图像的姿态信息。但由于求解特定人的 3D 人脸形状 是一个病态问题，因此，通常只能利用平均的 3D 人脸模型来替代特定人的 3D 形状进行姿态估计。毫无疑问，此姿态估计结果必然受以下因素的影响而产生 偏差：特定人脸 3D 形状与平均人脸模型之间的差异，以及实际成像的弱透视投 影和理论上正交投影之间的差异。为降低估计偏差，本文提出一种基于投影误 差修正的姿态估计方法，用高斯模型来模拟 3D 人脸形状以及弱透视投影和正交 投ห้องสมุดไป่ตู้之间差异的分布。在给定人脸图像的 5 个关键点的前提下，由最大后验概 率理论，借助于先验的误差分布模型，来推断得到特定人对应的 3D 形状，进而 得到精确的人脸 3D 姿态。实验表明：此方法对于真实的人脸图像，姿态估计结
(1) Propose an example-based shape learning method (ESL) for automatic face alignment. This method is motivated by the observation that there exists an approximated linear mapping between the facial feature vector and the potential face shape. Linear regression idea is used to perform the linear transformation to the face image and thus the facial shape information composed by the facial landmarks is gotten efficiently and effective. At the same time, noticed that the edge face image has much closer relation to the facial shape in intuition, this paper further propose a binary edge-based ESL (BE-ESL) method in order to improve the precision of the landmarks locating. This method is easy to extend to multi-poses to realize the face landmarks labeling. Experimental results show that this method achieves much higher precision in face alignment. Besides this, for the linear transformation matrix can be computed off-line in training stage, the ESL has higher computing efficiency especially compared with the traditional methods.
The dissertation discusses the pose variations in face recognition. The technical route we adopt is the face pose normalization, i.e. normalizing the non-frontal face images into virtual frontal views. We focus on the following aspects: face alignment, pose estimation and the pose normalization. On the whole, the contributions of the dissertation are as follows:
本文主要针对姿态鲁棒的人脸识别问题，采取对人脸图像进行姿态归一化 （将非正面人脸校正为正面虚拟视图）预处理的技术路线，重点研究了实现姿 态归一化所需的面部特征标定、姿态估计以及姿态校正方法。概括而言，本文 的主要研究成果包括：
(1) 提出了一种基于样例学习的面部特征标定方法(ESL)。基于人脸图像特 征向量与其中潜在的人脸形状向量之间存在的近似的线性关系的观察，本文采 取线性回归思路，对图像进行简单线性变换，从而可以快速有效地获得面部关 键特征点构成的人脸形状信息。同时，注意到人脸边缘图像与面部形状之间在 直觉上存在更密切的关系，本文进一步提出了基于边缘的 ESL 方法，以提高特 征标定性能。此算法很容易进行多姿态扩展，可以较为准确的标定非正面人脸 图像上的面部关键特征点。实验表明：该方法不仅具有较高的面部特征定位精 度，而且由于线性变换矩阵可以在训练阶段脱机得到，因而与传统的方法相比 其计算效率更高。
人脸识别中的姿态问题研究
ＳＴＵＤＹ ＯＦ ＴＨＥ ＰＯＳＥ ＰＲＯＢＬＥＭ ＩＮ ＦＡＣＥ ＲＥＣＯＧＮＩＴＩＯＮ
柴秀娟
２００７ 年 ７ 月
国内图书分类号：TP391.41 国际图书分类号：681.39
工学博士学位论文
人脸识别中的姿态问题研究
哈尔滨工业大学工学博士学位论文
果更加精确。 (3) 提出了一种基于局部线性回归(LLR)的姿态校正方法。通过将姿态校正
形式化为从非正面人脸估计其虚拟正面视图的预测问题，本文提出了一种基于 线性回归的正面视图预测方法，该方法可以在仅标定输入非正面人脸双眼中心 位置的条件下，通过线性回归算法预测出其虚拟正面视图。考虑到非正面人脸 视图与正面人脸视图之间的映射对于不同人而言实际上并不相同，我们进一步 改进上述算法，提出了一种基于分块模式的姿态校正方法，即所谓的局部线性 回归(LLR)姿态校正方法。该方法基于 3D 人脸结构的先验知识，将人脸区域分 成若干小的面片，在小的面片上进行上述线性回归操作以获得更为精确的预测 结果。实验结果表明，无论从视图校正的视觉效果，还是从人脸识别的精度来 看，此方法都具有很好的性能。
(4) 提出了一种基于 3D 稀疏变形模型(3D SDM)的 3D 人脸重建及姿态校正 方法。本方法利用人脸类的 3D 形状先验知识，根据单幅任意姿态下的人脸图像， 重构其特定的 3D 形状信息。在 3D 人脸重构的基础上，通过图形绘制的方法得 到正面姿态下的人脸视图，用于解决人脸识别中的姿态问题。该方法假设人脸 的 3D 形状分布为高斯分布，将所有人脸的 3D 形状分布空间用主成分分析(PCA) 模型表示。按照预先定义的 2D 人脸图像上的关键特征点，从稠密的 PCA 模型 中得到稀疏的版本，即稀疏变形模型。基于此，在输入图像 2D 特征点的驱动下， 恢复得到该特定人的 3D 形状，进而重构其 3D 人脸，实现姿态校正及任意姿态 下的虚拟视图生成。实验表明：通过 3D 人脸重建得到的虚拟视图结果，从视觉 上来看更加接近于真实人脸图像。同时，以 Gabor PCA+LDA 方法作为识别策 略，在 CMU PIE 数据库中 45 度以内的图像上测试，将姿态校正后的视图作为 输入，平均识别率达到了 97.5%左右，极大的改善了识别系统对于人脸姿态图 像的适应能力。
- II -
Abstract
Abstract
Face recognition has been one of the most challenging and active research topics in computer vision and pattern recognition for several decades. It has held more and more researchers’interest in recent years. Meanwhile, as one of the key techniques of biometric feature recognition, it has more prospect of application in the domains of public security, information security, and finance. The state-of-the-art of the face recognition systems achieves good results under the well-controlled environment. However, if tested on the non-controlled imaging environments, or the uncooperative users, the performances of the face recognition systems decrease tremendously. Therefore the main difficulties of face recognition come from the variations of illumination, expression and pose which result in the difficult classification.
Affiliation:
Date of Defence: Degree-Conferring-Institution: ：
Chai Xiujuan Prof. Gao Wen Doctor of Engineering Computer Application School of Computer Science and Technology Jul, 2007 Harbin Institute of Technology
(2) Propose a facial pose estimation method based on projection error correction (PEC). Based on the orthogonal projection principle, the pose information
博 士 研 究 生： 柴秀娟
导
师： 高 文 教授
申 请 学 位： 工学博士
学 科 、 专 业： 计算机应用技术
所 在 单 位： 计算机科学与技术学院
答 辩 日 期： 2007 年 7 月
授予学位单位： 哈尔滨工业大学
Classified Index: TP391.41 U.D.C.: 681.39
摘要
摘要
人脸识别是计算机视觉和模式识别研究中的热点问题，近年来受到越来越 多研究者的重视。同时，作为生物特征识别的关键技术之一，其在公共安全、 信息安全、金融等领域具有潜在的应用前景。当前的人脸识别系统在用户配合 的理想情况下，取得了令人满意的结果。但在摄像环境不可控、用户不配合的 情况下，识别性能急剧下降。因此，现有的人脸识别系统的主要难点在于光照、 表情、姿态等因素引起的人脸外观的剧烈变化所带来的分类困难。
总之，通过上述工作，本文对人脸识别中的姿态问题进行了深入研究，研 究结果表明：不论是基于 2D 人脸图像的学习方法还是融合 3D 先验信息的人脸 重建方法，都能实现很好的姿态校正，从而可以有效地提高人脸识别系统对姿 态变化的鲁棒性。
关键词 人脸识别；面部特征标定；姿态估计；姿态校正；高斯模型；局部线 性回归；3D 稀疏变形模型
Dissertation for the Doctoral Degree in Engineering
STUDY OF THE POSE PROBLEM IN FACE RECOGNITION
Candidate: Supervisor: Academic Degree Applied for: Specialty:
(2) 提出了一种基于投影误差修正(PEC)的人脸图像姿态估计方法。理论上， 基于正交投影原理，根据特定人的 3D 人脸模型及其人脸图像的五个面部关键特 征点，即可计算得到该人脸图像的姿态信息。但由于求解特定人的 3D 人脸形状 是一个病态问题，因此，通常只能利用平均的 3D 人脸模型来替代特定人的 3D 形状进行姿态估计。毫无疑问，此姿态估计结果必然受以下因素的影响而产生 偏差：特定人脸 3D 形状与平均人脸模型之间的差异，以及实际成像的弱透视投 影和理论上正交投影之间的差异。为降低估计偏差，本文提出一种基于投影误 差修正的姿态估计方法，用高斯模型来模拟 3D 人脸形状以及弱透视投影和正交 投ห้องสมุดไป่ตู้之间差异的分布。在给定人脸图像的 5 个关键点的前提下，由最大后验概 率理论，借助于先验的误差分布模型，来推断得到特定人对应的 3D 形状，进而 得到精确的人脸 3D 姿态。实验表明：此方法对于真实的人脸图像，姿态估计结
(1) Propose an example-based shape learning method (ESL) for automatic face alignment. This method is motivated by the observation that there exists an approximated linear mapping between the facial feature vector and the potential face shape. Linear regression idea is used to perform the linear transformation to the face image and thus the facial shape information composed by the facial landmarks is gotten efficiently and effective. At the same time, noticed that the edge face image has much closer relation to the facial shape in intuition, this paper further propose a binary edge-based ESL (BE-ESL) method in order to improve the precision of the landmarks locating. This method is easy to extend to multi-poses to realize the face landmarks labeling. Experimental results show that this method achieves much higher precision in face alignment. Besides this, for the linear transformation matrix can be computed off-line in training stage, the ESL has higher computing efficiency especially compared with the traditional methods.
The dissertation discusses the pose variations in face recognition. The technical route we adopt is the face pose normalization, i.e. normalizing the non-frontal face images into virtual frontal views. We focus on the following aspects: face alignment, pose estimation and the pose normalization. On the whole, the contributions of the dissertation are as follows:
本文主要针对姿态鲁棒的人脸识别问题，采取对人脸图像进行姿态归一化 （将非正面人脸校正为正面虚拟视图）预处理的技术路线，重点研究了实现姿 态归一化所需的面部特征标定、姿态估计以及姿态校正方法。概括而言，本文 的主要研究成果包括：
(1) 提出了一种基于样例学习的面部特征标定方法(ESL)。基于人脸图像特 征向量与其中潜在的人脸形状向量之间存在的近似的线性关系的观察，本文采 取线性回归思路，对图像进行简单线性变换，从而可以快速有效地获得面部关 键特征点构成的人脸形状信息。同时，注意到人脸边缘图像与面部形状之间在 直觉上存在更密切的关系，本文进一步提出了基于边缘的 ESL 方法，以提高特 征标定性能。此算法很容易进行多姿态扩展，可以较为准确的标定非正面人脸 图像上的面部关键特征点。实验表明：该方法不仅具有较高的面部特征定位精 度，而且由于线性变换矩阵可以在训练阶段脱机得到，因而与传统的方法相比 其计算效率更高。
人脸识别中的姿态问题研究
ＳＴＵＤＹ ＯＦ ＴＨＥ ＰＯＳＥ ＰＲＯＢＬＥＭ ＩＮ ＦＡＣＥ ＲＥＣＯＧＮＩＴＩＯＮ
柴秀娟
２００７ 年 ７ 月
国内图书分类号：TP391.41 国际图书分类号：681.39
工学博士学位论文
人脸识别中的姿态问题研究