Statistical Model-Based Face Pose Estimation
人脸检测与识别文献汇总——by qian wu解读
一、类别人脸检测(Face Detction)：从场景中检测并分割。
人脸识别(Face Recognition)：识别、匹配人脸。
1.人脸检测基于知识的人脸检测方法Ø 模板匹配Ø 人脸特征Ø 形状与边缘Ø 纹理特性Ø 颜色特征Ø 镶嵌图利用人脸的轮廓、对称性等少量特征的方法适用于较强约束条件下的人脸检测，该算法可以达到较高的检测速度。
利用人脸五官分布特征的知识模型方法能够在一定程度上适用于复杂背景图像中的人脸检测，同时达到较高的检测速度。
基于统计的人脸检测方法Ø 主成分分析与特征脸Ø 因子分解方法(Factor Analysis, FA)Ø Fisher准则方法(Fisher Linear Discriminant, FLD)Ø 神经网络方法Ø 支持向量机Ø 隐马尔可夫模型Ø Adaboost算法2.人脸识别基于几何特征(Geometric Feature-based)的方法：首先检测出嘴巴、鼻子、眉毛、眼睛等脸部主要部件的位置和大小，然后利用这些部件的总体几何分布关系以及相互之间的参数比例来识别人脸。
基于模板匹配(Template Matching-based)的方法：利用模板和整个人脸图像的像素值之间的子相关性进行识别。
基于模型的方法：1. 隐马尔科夫模型(Hidden Markov Model, HMM)是一种常用的模型。
首先采用两维离散余弦变化(Discrete Cosine Transform, DCT)抽取人脸特征，得到观察向量，构建HMM人脸模型，然后用EM(Expectation Maximization)算法训练。
2. 主动形状模型(Active Shape Model, ASM)方法，对形状和局部灰度表象建模，用建立的ASM在新的图像中定位易变的物体。
人脸检测和识别技术的文献综述
人脸检测和识别技术的文献综述摘要：通过对关于人脸检测与识别技术方面文献的阅读，本文综述了传统的身份识别，人脸检测和识别技术的背景、意义及国内外发展现状，着重介绍了人脸检测和识别方法。
关键词：人脸检测；人脸识别；子空间分析；核主元分析。
人脸不仅具有很强的自身稳定性和个体差异性，而且直接、友好，相对传统识别，更符合人类的视觉习惯。
一个完整的人脸识别过程一般包括人脸检测和人脸识别两大部分，人脸检测是指计算机在包含有人脸的图像中检测出人脸，并给出人脸所在区域的位置和大小等信息的过程[1]，人脸识别就是将待识别的人脸与已知人脸进行比较，得出相似程度的相关信息。
这里所指的人脸识别是狭义的识别，是统称的广义人脸识别的一个子过程[2]。
近年来人脸检测和识别技术的研究取得了较大的发展。
1 人脸识别的背景和研究意义身份识别与验证是人类社会日常生活中的基本活动之一。
尽管也许是无意识的，我们每天都要对很多人的身份做出判别，同时，每个人也都要经常通过各种方式和手段证明自己的身份，目前我们大多数情况下仍然依赖于传统的身份验证手段来完成身份识别过程，这些手段包括各类标识物如身份证、学生证等各类证件，钥匙，口令等，然而这些方式使用不方便、不安全、不可靠的缺点不言而喻，证件、钥匙携带不便证件可以被伪造钥匙可能会丢失密码,这些缺点使得它们越来越不能满足现实的需要[3]。
目前广泛使用的依靠证件、口令等传统方法来确认个人身份的技术面临着严峻的挑战，已经不能适应现代科技发展和社会进步的需要[4-6]。
随着社会的发展，信息化程度的不断提高，人们对身份鉴别的准确性和实用性提出了更高的要求，传统的身份识别方式已经不能满足这些要求。
生物特征识别利用人类特有的生理特征如指纹，虹膜等或行为特征如签名，声音等进行身份识别。
基于生物特征的身份认证技术是一项新兴的安全技术，也是本世纪最有发展潜力的技术之一[7]。
2 人脸检测和识别技术的发展概况人脸检测是自动人脸识别系统中的一个关键环节，也是极其重要的一步.早期的人脸检测问题可以追溯到20世纪70年代，由于技术原因，当时人脸检测的研究一直处于止步状态。
基于人脸图像的BMI预测算法研究
Ｋｅｙｗｏｒｄｓ ＢＭＩ Ｆａｃｉａｌｆｅａｔｕｒｅｓ ＢＭＩｐｒｅｄｉｃｔｉｏｎ Ｎｅｕｒａｌｎｅｔｗｏｒｋｆｉｔｔｉｎｇ
收稿日期：２０１８－１１－２９。国家自然科学基金项目（６１８７６１１２，６１６０１３１１，６１６０３０２２）；北京市属高校高水平教师队伍建设支持计 划项目（ＣＩＴ＆ＴＣＤ２０１７０３２２）；北京市优秀人才资助项目（２０１６００００２０１２４Ｇ０８８）；北京市教委科研计划项目（ＳＱＫＭ２０１８１００２８０１８）；首 都师范大学青年科研创新团队项目。邹睿智，硕士生，主研领域：计算机视觉。尚媛园，教授。郭国栋，副教授。邵珠宏，副教授。 丁辉，副教授。
Ａｂｓｔｒａｃｔ ＢＭＩｉｓａｓｔａｎｄａｒｄｃｏｍｍｏｎｌｙｕｓｅｄｉｎｔｈｅｗｏｒｌｄｔｏｍｅａｓｕｒｅｔｈｅｏｂｅｓｉｔｙａｎｄｈｅａｌｔｈｏｆｔｈｅｈｕｍａｎｂｏｄｙ． Ｕｓｕａｌｌｙ，ｔｈｅＢＭＩｉｓｃａｌｃｕｌａｔｅｄｆｒｏｍ ｔｈｅｈｅｉｇｈｔａｎｄｗｅｉｇｈｔｏｆｔｈｅｉｎｄｉｖｉｄｕａｌ．Ｎｏｗａｄａｙｓ，ｒｅｓｅａｒｃｈｅｒｓｈａｖｅｐｒｏｐｏｓｅｄｔｈｅ ａｌｇｏｒｉｔｈｍ ｏｆｔｈｅＢＭＩｐｒｅｄｉｃｔｉｏｎｂａｓｅｄｏｎｆａｃｅｉｍａｇｅｓ．ＴｈｅｙｂｕｉｌｔｔｈｅｃｏｌｌｅｃｔｉｏｎｓｅｔｂｅｔｗｅｅｎｆａｃｉａｌｆｅａｔｕｒｅｓａｎｄＢＭＩ，ａｎｄ ｐｒｅｄｉｃｔｅｄｔｈｅＢＭＩｂｙＳＶＲｒｅｇｒｅｓｓｉｏｎｍｏｄｅｌ．Ｔｈｅａｌｇｏｒｉｔｈｍｐｅｒｆｏｒｍｓｗｅｌｌｉｎｔｈｅｌａｂｏｒａｔｏｒｙｔｅｓｔｅｎｖｉｒｏｎｍｅｎｔ，ｂｕｔｔｈｅｒｅｉｓ ｓｔｉｌｌａｌａｒｇｅｅｒｒｏｒｗｈｅｎｉｔｉｓｕｓｅｄｉｎｄａｉｌｙａｐｐｌｉｃａｔｉｏｎ．Ｆｏｒｉｍｐｒｏｖｉｎｇｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｏｆｔｈｅａｌｇｏｒｉｔｈｍ ｉｎｄａｉｌｙ ａｐｐｌｉｃａｔｉｏｎ，ｗｅｐｒｏｐｏｓｅｄｔｈｒｅｅｎｅｗｆａｃｉａｌｆｅａｔｕｒｅｓａｄｄｅｄｔｏｔｈｅａｌｇｏｒｉｔｈｍ．Ｔｈｅｙａｒｅｔｈｅｒｅｇｉｏｎｔｏａｒｅａｒａｔｉｏ（ＲＡＲ），ｔｈｅ ｍｏｕｔｈｔｏｊａｗｗｉｄｔｈｒａｔｉｏ（ＭＪＷＲ）ａｎｄｔｈｅｃｈｅｅｋｗｉｄｔｈｔｏｈｅｉｇｈｔｒａｔｉｏ（ＣＷＨＲ）．Ｉｎａｄｄｉｔｉｏｎ，ａｎｅｕｒａｌｎｅｔｗｏｒｋｆｉｔｔｉｎｇ ｍｏｄｅｌｗａｓｕｓｅｄｉｎＢＭＩｐｒｅｄｉｃｔｉｏｎｉｎｓｔｅａｄｏｆＳＶＲ ｒｅｇｒｅｓｓｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗ ｔｈａｔｉｎｔｈｅｄａｉｌｙｌｉｆｅ ａｐｐｌｉｃａｔｉｏｎｅｎｖｉｒｏｎｍｅｎｔ，ｔｈｅｉｍｐｒｏｖｅｄＢＭＩｐｒｅｄｉｃｔｉｏｎａｌｇｏｒｉｔｈｍ ｍａｋｅｓｔｈｅｐｒｅｄｉｃｔｉｏｎｒｅｓｕｌｔｓｍｏｒｅａｃｃｕｒａｔｅ，ａｎｄｔｈｅ ＭＡＥｏｆＢＭＩｐｒｅｄｉｃｔｉｏｎｉｓｒｅｄｕｃｅｄｂｙ０．７．
人机交互中的头部姿态识别与跟踪的技术研究
人机交互中的头部姿态识别与跟踪的技术研究近年来，随着计算机科学和人工智能的快速发展，人机交互技术越来越成熟和普及。
头部姿态识别与跟踪技术作为人机交互领域的一项重要技术，其应用范围已经涵盖了电子游戏、智能家居、医疗健康、虚拟现实等多个领域。
本文将对头部姿态识别与跟踪技术进行探究和分析，并结合实际应用来了解其目前的发展和潜力。
一、头部姿态的定义和分类头部姿态指的是人体头部在三维空间中相对于某一固定坐标系的三个旋转角度：偏航角（yaw）、俯仰角（pitch）和滚转角（roll）。
例如，当一个人通过旋转头部左右移动视线时，他的头部偏航角就在不断变化。
而当人的眼睛向上或向下移动时，他的俯仰角就会发生改变。
头部姿态的分类主要分为基于像素和基于特征点两种。
基于像素的方法直接利用图像的像素信息，较为简单，但所需的计算量和精度都较低，容易受到光照和姿态的影响。
基于特征点的方法则采用头部图像的特征点进行姿态估计，更加精确和稳定，但对于图像处理算法的要求也更高。
二、头部姿态识别技术头部姿态识别技术是指利用计算机视觉和机器学习等技术对头部姿态进行识别和测量。
其实现主要依赖于以下两种方法：1.基于传统图像处理的方法该方法需要先对头部图像进行预处理，如图像去噪、归一化等，然后使用特征提取和匹配算法来确定头部的姿态角。
特征提取包括了边缘检测、角点检测等，主要目的是找到图像中比较显著的点。
特征匹配则是通过找到两幅图像中相同的特征点，得到两幅图像的对应关系。
最终，根据特征点之间的位置和距离计算头部的三个姿态角。
2.基于深度学习的方法该方法利用深度神经网络技术对头部姿态进行识别和估计，具有更高的准确性和稳定性。
常用的深度学习模型包括了卷积神经网络（CNN）、循环神经网络（RNN）和支持向量机（SVM）等。
此外，还可以采用3D模型和深度相机等技术来进行头部姿态的识别和跟踪。
三、头部姿态跟踪技术头部姿态跟踪技术是指通过连续采集头部图像和姿态的变化信息，以实现对头部运动的准确跟踪，可以分为基于单目摄像头、多目摄像头和红外线摄像头等多种技术。
【论文】人类步态的支持向量机识别
摘 要步态作为一种适用于非接触式远距离身份识别的生物特征近年来倍受关注。
步态识别主要由三部分构成：步态序列图像预处理、特征提取和分类识别。
步态特征可根据是否对人体结构进行建模分为两类：基于模型的特征和非基于模型的特征。
提出了三种步态特征提取方法，分别是人体结构模型、肢体角度模型和人体轮廓模型。
其中，前两种是基于模型的特征，后一种是非基于模型的特征。
使用VC++6.0作为开发工具，编写了步态特征生成程序。
常用的步态识别算法有动态时间规整、隐马尔可夫模型和神经网络等，这些方法主要适用于大样本的情形，现实中的样本数目往往有限，为解决小样本问题，采用了支持向量机来进行步态识别。
支持向量机与传统方法相比，具有泛化能力强、能保证全局最优等优点。
选用CASIA数据库，利用支持向量机软件LIBSVM对提取的步态特征进行了训练与识别，并对不同的核函数的识别效果进行了比较。
实验结果表明，基于支持向量机的步态识别算法能够有效地对步态进行分类，具有良好的识别性能，不同核函数对分类结果影响不大。
关键字：生物特征，步态识别，特征提取，支持向量机AbstractGait has recently drawn greater attention as a long-distance non-contact biometric identification.Generally, gait recognition consists of three parts: preprocessing of gait sequences, feature extraction and classification.Depending on whether the structure of the human body is modeled, Gait characteristics fall into two categories: model-based and model-free characteristics. Three gait feature extraction methods, namely, the human body structure model, the body angle model and the human body contour model. Two of these are model-based characteristics and another is model-free characteristics. As a development tool, VC ++6.0 was used to develop a procedure to extract gait feature.The usual gait recognition algorithms include Dynamic Time Warping, Hidden Markov Models and Neural Networks. These methods are mainly applicable to the large samples. Due to the number of samples are limited in reality, the method based on Support Vector Machine which can clssify small samples is proposed. Compared with traditional methods, this method can clssify effectly with strong generalization performance and good global optimum.CASIA gait database and LIBSVM software are used to classify the characteristics of gait with different kernel function . The result indicate that the algorithm based on SVM can classified effectively with good identification performance on which the different kernel function has a slight impact.Key words: biometrics characteristics, gait recognition, feature extraction, support vector machine目 录第一章前 言 (1)1.1生物识别技术 (1)1.2步态识别研究现状 (1)1.3论文主要内容 (4)第二章步态识别概述 (6)2.1 人体检测与跟踪 (6)2.2 步态特征提取 (9)2.3 识别算法 (10)第三章步态特征提取 (12)3.1 基于模型的方法 (12)3.1.1 人体结构模型 (12)3.1.2 肢体角度模型 (16)3.2 非基于模型的方法 (17)3.2.1 人体轮廓模型 (17)3.3 特征提取程序 (19)第四章步态识别算法 (21)4.1 支持向量机原理 (21)4.2 支持向量机的数学模型 (24)4.2.1 线性模型 (24)4.2.2 非线性模型 (24)4.3 SVM的具体实现 (25)第五章步态识别实验 (27)5.1 实验工具 (27)5.2 步态常用数据库 (27)5.3 实验过程 (28)第六章技术经济分析 (34)6.1 技术可行性 (34)6.2 经济效益和前景 (34)第七章结论与展望 (35)7.1 结论 (35)7.2 展望 (35)参 考 文 献 (37)致谢 (39)附录 (40)第一章前 言1.1生物识别技术生物识别技术是依据人类自身所固有的生理或行为特征而进行识别的一种技术[1]。
四级段落信息匹配题最详尽解法说明
四级段落信息匹配题最详尽解法说明2013年8月14日，四六级官网确认自13年12月考次起，四六级试卷将使用“匹配型长篇阅读”代替快速阅读。
这就是在托福及雅思阅读题目中经常出现的段落信息匹配题。
从样卷看，此次涉及改革题目的特点是：1、做题时间10~15分钟（整体阅读包括选词填空、匹配和精度，共计40 分钟）；2、四级样卷显示需要将10道题目信息配对到9个段落中；3、六级样卷显示需要将10道题目信息配对到15个段落中；4、考试说明提到，某段可能被用到两次，而某段可能完全不被涉及。
5、这类题型的出题形式为：题干给出原文的若干条细节信息，要求考生找出文中分别有这些信息的段落（即题目当中会问道：which paragraph con tai ns the followi ng in formatio n?）。
实际考试中，在时间和耐力的双重压迫下，无奈的考生们颇有“可能就在此段中，只因文深不知处”的感慨！难点分析：1、顺序原则被打破段落细节信息配对题之所以让无数考生闻之色变，主要在于这种题目打破了解答雅思阅读题目传统的阅读技巧和解题思路。
首先，作为匹配题代表，这种题型明显不会遵守其他主流题型的“顺序原则”，考生从文章开头到结尾定位的方法显然行不通；2、题目均为长句形式其次，题目当中的表述通常是极其复杂和繁琐的名词短语或者长难句型，在试图寻找合适的定位词之前，考生往往就业已被题干错中复杂的表述搞得云里雾里了;例如四级样卷第51题: The nu mber of foreig n stude nts appl ying to U.S. uni versities decreased sharply after September 11 due to cha nges in the visa process.3、定位词模糊即使考生能够排除万难，读懂题目陈述中晦涩难懂的意思，寻找定位词仍然存在很大的障碍，因为这类题目往往不会出现非常明显的可以实践拿来主义的明显定位词（数字、时间、地点、人物、特殊字体和特殊符号等等），即使侥幸被我们碰到一个，这个定位词也通常和文章主题联系密切，且出现多次，所以并没有太大实用意义，例如上题中的U.S.;4、两题对一段的可能性增加干扰性最后，一般选择题至少是一对一进行对应的，如果能够成功选出一对，那么就至少可以排除一个选项。
人脸识别算法
发展趋势
二维与三维人脸识别相结合，多种模式的识别使用，可以有效地提高人脸识别精确度；二维识别算法逐步应 用于三维人脸识别；人脸识别算法要能克服：姿势、表情的变化，佩戴眼镜、珠宝和其它一些因素及光线等因素 影响；识别算法应该需要更少的计算量。
谢谢观看
5.
1.基于人脸特征点的识别算法（feature-based recognition algorithms）。 2.基于整幅人脸图像的识别算法（appearance-based recognition algorithms）。 3.基于模板的识别算法（template-based recognition algorithms）。 4.利用神经络进行识别的算法（recognition algorithms using neural network）。 5.利用支持向量机进行识别的算法（recognition algorithms using SVM）。
简介
人脸识别（Facial Recognition），就是通过视频采集设备获取用户的面部图像，再利用核心的算法对其 脸部的五官位置、脸型和角度进行计算分析，进而和自身数据库里已有的范本进行比对，后判断出用户的真实身 份。人脸识别技术基于局部特征区域的单训练样本人脸识别方法。第一步，需要对局部区域进行定义；第二步， 人脸局部区域特征的提取，依据经过样本训练后得到的变换矩阵将人脸图像向量映射为人脸特征向量；第三步， 局部特征选择（可选）；后一步是进行分类。分类器多采用组合分类器的形式，每个局部特征对应一个分类器， 后可用投票或线性加权等方式得到终识别结果。人脸识别综合运用了数字图像/视频处理、模式识别、计算机视觉 等多种技术，核心技术是人脸识别算法。人脸识别的算法有 4种：基于人脸特征点的识别算法、基于整幅人脸图 像的识别算法、基于模板的识别算法、利用神经络进行识别，在背景简单的情形下，大部分算法都能很好的处理。但是，人脸识别的应用范围颇 广，仅是简单图像测试，是远远不能满足现实需求的。所以人脸识别算法还是存在很多的难点。
人脸识别三大经典算法（附经典论文列表）
人脸识别三大经典算法（附经典论文列表）AMiner今日已发布《人脸识别研究报告》微信公众号菜单栏和文末均可直接下载研究报告欢迎大家下载特征脸法（Eigenface）特征脸技术是近期发展起来的用于人脸或者一般性刚体识别以及其它涉及到人脸处理的一种方法。
使用特征脸进行人脸识别的方法首先由Sirovich和Kirby（1987）提出（《Low-dimensional procedure forthe characterization of human faces》），并由Matthew Turk和Alex Pentland用于人脸分类（《Eigenfaces for recognition》）。
首先把一批人脸图像转换成一个特征向量集，称为“Eigenfaces”，即“特征脸”，它们是最初训练图像集的基本组件。
识别的过程是把一副新的图像投影到特征脸子空间，并通过它的投影点在子空间的位置以及投影线的长度来进行判定和识别。
将图像变换到另一个空间后，同一个类别的图像会聚到一起，不同类别的图像会聚力比较远，在原像素空间中不同类别的图像在分布上很难用简单的线或者面切分，变换到另一个空间，就可以很好的把他们分开了。
Eigenfaces选择的空间变换方法是PCA（主成分分析），利用PCA得到人脸分布的主要成分，具体实现是对训练集中所有人脸图像的协方差矩阵进行本征值分解，得到对应的本征向量，这些本征向量就是“特征脸”。
每个特征向量或者特征脸相当于捕捉或者描述人脸之间的一种变化或者特性。
这就意味着每个人脸都可以表示为这些特征脸的线性组合。
局部二值模式（Local Binary Patterns，LBP）局部二值模式（Local binary patterns LBP）是计算机视觉领域里用于分类的视觉算子。
LBP，一种用来描述图像纹理特征的算子，该算子由芬兰奥卢大学的T.Ojala等人在1996年提出（《Acomparative study of texturemeasures with classification based on featured distributions》）。
基于PCA模型的人脸图像纹理特征高精度识别方法
科技通报
BULLETIN OF SCIENCE AND TECHNOLOGY
Vol．35 No．7 Jul． 2019
基于 PCA 模型的人脸图像纹理特征高精度识别方法
李跃飞
（ 湖南信息学院 电子信息学院，湖南 长沙 410151）
摘 要： 针对传统人脸图像纹理特征识别方法中存在的计算量大，样本训练与测试时间较长，识别正确率较低等问 题，提出一种新的基于 PCA 模型的人脸图像纹理特征高精度识别方法。在人脸图像预处理过程中，采用 Gabor 滤 波器确定人脸图像训练样本中的双眼位置，结合卷积运算与人脸几何模型从图像中分割出目标人脸区域，并对分 割得到的图像进行规范化处理； 采用 PCA 模型对预处理后的图像进行降维与特征向量提取，并根据选取的主要纹 理特征以及欧式距离近似度量结果，实现人脸图像纹理特征高精度识别。实验结果表明，所提方法的识别准确度 高于实验对比方法，且样本训练时间与测试时间明显缩短，具有较好的鲁棒性。 关键词： PCA； 人脸图像； 纹理特n Institute of Information Technology，School of Electronic Information，Changsha 410151，China）
Abstract： Aiming at the problems existing in traditional face image texture feature recognition methods， such as large amount of computation，long training and testing time，low recognition accuracy，a new high-precision face image texture feature recognition method based on PCA model is proposed． In the process of face image preprocessing，Gabor filter is used to determine the binocular position of the training sample of face image，convolution operation and face geometry model are combined to segment the target face area from the image，and normalize the segmented image； PCA model is used to reduce the dimension of the preprocessed image and extract the feature vectors，and according to the selected main texture features． The feature and Euclidean distance approximation measure results are used to realize high－precision recognition of face image texture features． The experimental results show that the recognition accuracy of the proposed method is higher than that of the experimental comparison method， and the training time and testing time of the samples are significantly shortened，which has better robustness． Keywords： PCA； face image； texture feature； recognition
基于非线性流形学习的人脸面部运动估计
第33卷第10期电子与信息学报Vol.33No.10 2011年10月Journal of Electronics & Information Technology Oct. 2011基于非线性流形学习的人脸面部运动估计王晓侃①毛峡*① Ishizuka Mitsuru②①(北京航空航天大学电子信息工程学院北京 100191)②(Department of Information and Communication Engineering, University of Tokyo, Japan)摘要：由于人脸面部运动变化分布在一个低维非线性流形中，基于线性假设的主动外观模型采用主成分分析算法描述人脸形状的变化必然带来额外的估计误差。
为降低或消除这一误差，该文提出一种改进的局部线性嵌入算法构建人脸形状-纹理空间，并将其应用于主动外观模型中。
实验结果表明，不仅对于面部形变不大的人脸形状，局部线性嵌入-主动外观模型拥有更低的估计残差；而且对于一些变化较大的人脸形状，在主成分分析-主动外观模型跟踪失败的情况下，局部线性嵌入-主动外观模型依然可以取得很好的特征估计结果，弥补了主成分分析-主动外观模型的不足。
关键词：人脸识别；主动外观模型；非线性流形学习；局部线性嵌入中图分类号：TP391.4文献标识码：A 文章编号：1009-5896(2011)10-2531-05 DOI: 10.3724/SP.J.1146.2011.00153Human Face Analysis with Nonlinear Manifold LearningWang Xiao-kan①Mao Xia①Ishizuka Mitsuru②①(School of Electronic and Information Engineering,Beijing University of Aeronautics and Astronautics, Beijing 100191, China)②(Department of Information and Communication Engineering, University of Tokyo, Japan)Abstract: Since human face movements distribute on a nonlinear manifold, there are inherent alignment residuals brought by the global linearity hypothesis in the traditional Principal Component Analysis (PCA) based Active Appearance Models (AAM). In this paper, a famous manifold learning method, Local Linear Embedding (LLE) is improved to model human face shape space for reducing the inherent alignment residuals. The experimental results show that the method, LLE-AAM, obtains lower alignment residuals to the tiny alterations of human face and still make successful alignment when PCA-AAM failed to some large alterations. According to the statistical analysis, LLE-AAM could reduce the residual to a certain extent.Key words: Face recognition; Active Appearance Models (AAM); Nonlinear manifold learning; Local Linear Embedding (LLE)1引言面部运动估计是人脸分析的重要组成部分，其中面部特征的选择和提取是后续分析算法能否成功的关键。
实时人脸特征提取
中国科学 E辑: 信息科学 2008年 第38卷 第12期: 2038~2047 《中国科学》杂志社SCIENCE IN CHINA PRESS实时人脸特征提取赵杰煜*, 刘箴宁波大学计算机科学技术研究所, 宁波 315211*E-mail: zhaojieyu@收稿日期: 2007-07-10; 接受日期: 2008-02-26国家自然科学基金(批准号: 60672071)、国家重大基础研究计划前期专项(批准号: 2005CCA04400)、教育部新世纪优秀人才支持计划(批准号: NCET-05-0534)和浙江省自然科学基金(批准号: D1080807)资助项目摘要快速精确的人脸特征提取是人脸识别和表情分析的基础. 文中提出了一种新型高效的视频人脸几何特征实时提取方法. 视频输入图像以加权图形式表示, 通过在加权图上的随机游动实现人脸像素级特征的自动提取, 脸部特征包括外轮廓、眉毛、眼睛、鼻子和嘴唇. 加权图采用8-邻接结构, 定义在图的边上的加权值反映随机游动通过该边的似然度. 随机游动模拟了一个各向异性的扩散过程, 此扩散过程在滤除图像噪声点的同时保留下脸部特征点. 随机游动从一些事先通过颜色和运动信息确定的、最具人脸特征的种子点开始, 通过随机游动获得的人脸特征点以其原始形式统一保存在多个链表结构中, 并根据人脸各部分的相对位置聚集成对应的特征点集合. 有关人脸结构的先验知识通过Bayes方法结合到分析过程中. 为了便于高层视觉计算, 采用统计形状分析方法, 将人脸特征点进一步表示成形状和配准信息, 形状是具有仿射不变特性的几何信息, 用于描述人脸的全局特征. 形状的距离度量采用Procrustes距离. 实验结果表明, 提出的方法快速高效, 能够实时地从视频中提取出人脸特征, 在一定程度的光线变化、尺度变化、头部转动、手部干扰的情形下仍可以正常工作. 关键词实时人脸特征提取随机游动各向异性扩散过程统计形状分析人脸信息处理是一个富有挑战性的研究领域, 是多学科交叉的研究热点, 由于技术的进步和市场的需求, 近年来引起了学术界和工业界的广泛关注[1~4].人脸特征提取作为人脸信息处理最为重要的一步, 对于后续的基于视觉的人机交互至关重要, 脸部表情分析、人脸识别、生物认证、动画制作、视频会议等都依赖于高效精确的人脸特征提取. 人脸特征提取过程中的细小误差很容易导致身份验证或表情分析的错误. 然而, 由中国科学 E 辑: 信息科学 2008年 第38卷 第12期2039于环境光线的变化、对象头部姿态的变化、视频图像质量限制等众多因素影响, 精确快速的人脸特征提取至今仍然是一项极具挑战性的工作[2, 5~7].本文着重讨论如何从视频图像中实时地提取出精确的人脸特征. 与以往大多数的采用抽象全局特征或跟踪少量特征点的方法不同, 我们抽取完整的人脸特征, 将嘴唇、眼睛、眉毛、鼻子和外轮廓精确地以像素描述, 完整地保留各部分精确的几何细节特征. 为了保证基于视觉的人机交互各种各样的应用需求, 我们的人脸特征提取方法以实时方式运行, 目前的工作仅限于处理正面的视频人脸图像, 允许头部有一定角度的转动.高层视觉计算往往需要结构性的人脸特征, 因此我们采用Bayes 方法将有关人脸结构的先验知识结合到人脸特征分析中, 并通过统计形状分析将人脸特征点进一步表示成形状和配准信息, 描述人脸全局特征的形状具有仿射不变的特性, 可以直接应用于表情分析或人脸识别等.基于图论和图模型的图像处理方法[8~16]在近年获得了很大进展, 这些算法速度快、精度高. 在一般情形下, 基于图的算法将待处理图像表示为一个加权图形式, 图的顶点对应于一个像素(或小块一致性图像), 图的边表示像素(或图像块)之间的联系, 边上的加权反映联系的紧密程度. 最小割(graph cut) [14]和随机游动(random walk) [11,13,15]的方法为交互式图像分割提供了强有力的工具, 这种图像分割方法一般从种子点开始, 种子点可以事先人为选定或通过检测器自动确定. 最小割方法是将图像分割转换为对应加权图的最大流/最小割求解问题; 随机游动方法则是将图像分割转换为带边界条件的Dirichlet 问题[9], 从特定点出发随机游动到达种子点的概率被用作图像分割的依据.对于视频人脸特征的分割和提取, 采用求图模型最优解的方法由于计算量大做到实时运算目前尚无法实现. 因此, 我们采用了有限的随机游动来近似地实现一个各向异性的扩散过程[13], 该过程在滤除图像噪声点的同时保留人脸特征点, 从而获得精确的人脸几何特征.本文的组织如下: 第1节介绍图模型的表示并定义加权图上的随机游动; 第2节给出采用随机游动实现人脸特征点分割的方法; 第3节介绍统计形状分析方法; 第4节给出实验结果,第5节为小结.1 图模型与随机游动加权图是数字图像非常自然的一种表示形式, 图的顶点对应于像素, 加权边用于表示像素间的关联度. 本文采用8-邻接结构的无向加权图. 边上的加权反映该边所具有的脸部特征的程度, 越具有典型的脸部特征, 加权值越大; 越不具有脸部特征的, 加权值越小.这里我们简要地给出图模型以及加权图上随机游动的正式定义.一个图(,)G V E =由可数顶点集V 和边集E 组成, 边e E ∈为顶点对: e =<x , y >=<y , x >,,.x y V ∈ 如果顶点x 和y 通过一条边相连, 这种相邻关系就表示为x ~y . 一个加权图(,),w G G w = 其中G 是一个图, w 是一个实函数, :()0.w E G ℜ>6定义在加权图上的随机游动是通过随机选择一条当前顶点的相连边连续不断地实现对一系列相邻顶点访问的随机过程. 选择一条相连边的概率由该边的加权与所有相连边的加权之赵杰煜等: 实时人脸特征提取2040和的比率决定. 对边,i e E ∈ 设其上的加权为().i i w w e = 对顶点,v V ∈ 设与v 相连的所有边的集合为N (v )={e ∈E (G ): e =<y , v >, y ∈V }, W (v )表示与v 相连的所有边上的加权之和, 即()().ii e N v W v w ∈=∑ 则加权图(,)w G G w =上的随机游动X 是一个采用以下转移概率的随机过程()1~,(|),()n n n n v X n w v X P X v X I W X +== (1) 其中~n v X I 是连接v 和n X 的边的集合的指示函数.2 人脸特征点分割加权图上的随机游动可以被有效地用于图像滤波和图像分割. 图像滤波过程由Perona 等人[13]提出的各向异性扩散方程描述; 图像分割过程则由Laplace 方程表示[11], 给定一些种子像素, 算法通过随机游动来标记那些最易到达种子点的像素. 大多数各向异性扩散滤波算法的目标是在不穿越边界的前提下平滑图像的同质区域, 而图像分割的目标是标记出同质区域. 对于图像质量不高的视频人脸特征提取, 我们需要同时达到2个目标: 既要滤除图像噪声, 又要分割出人脸特征点.假设当前图像由实函数),,(t y x F 描述, 各向异性扩散可以表示为如下形式: 2222(,,)(,,)(,,),F x y t F x y t F x y t c t x y ⎡⎤∂∂∂=+⎢⎥∂∂∂⎣⎦(2) 其中,x y 为图像坐标, t 为时间, c 为传导系数.为了在滤除噪声平滑图像的同时保留人脸结构信息, 传导系数一般定义为空间位置相关项, 最常见的选择如下: 22(,,)(,,)exp ,2F x y t c x y t λ⎛⎞∇⎜⎟=−⎜⎟⎝⎠(3) 其中λ为常数. 由此可见, 对于图像的一致性较好的区域, c 的取值较大, 达到平滑的效果; 对于变化较大的人脸特征区域, c 的取值较小, 从而达到保留人脸结构信息的目的.上述的各向异性扩散过程可以由一组随机游动来实现. 设(,)w G G w =是对应于输入图像的加权图, 采用8-邻接结构, ,i j w 为连接顶点i 和j 的边上的加权, 随机游动采用自回避形式, 即随机游动不重复通过同一个点, 从0X 到1X 的单步转移概率如下:[]{}{}1010,101,1,{}exp 1,,,exp k k k k v v v v w P X X w ββ++∈→−=−∑ (4)其中0v 和1v 为2个相邻顶点, 01{}v v →为所有连接0v 和1v 的路径上的顶点的集合.平滑操作S 定义如下:中国科学 E 辑: 信息科学 2008年 第38卷 第12期2041000{}()[,](),n n n v v S v P n v v F v →=→⋅∑求和操作对所有从0v 开始到n v 结束的路径轨迹进行.从0X 到n X 的转移概率如下:[]{}00,11,21,0,1{}exp (),,.exp n n n n j j v v j w w w P n X X w ββ−+→−+++=⎧⎫⎪⎪−⎨⎬⎪⎪⎩⎭∑∑" (5) 因此平滑操作S 可以重新改写如下: {}00,11,21,0,1{}exp ()()(),exp n n n n j j v v j w w w S v F v w ββ−+→−+++=⋅⎧⎫⎪⎪−⎨⎬⎪⎪⎩⎭∑∑" (6)其中的0β≥是一个控制参数, 当0β=时, 平滑操作S 实现一个平均化过程; 当β→∞时, 平滑操作将v 0的值赋为(),k F v 其中{}0{},1arg min .k v v j j j k w →+=∑ 请注意公式(4)~(6)中的指数函数计算, 这里的转移概率与第1节公式(1)中的定义略有不同, 我们将指数函数计算放在随机游动时进行而不对整个加权图进行计算, 因为随机游动只发生在种子点附近的局部区域, 这样可以大大减少计算量.由此我们通过随机游动在一个过程中同时实现了去除噪声点和保留人脸特征点, 其平滑操作的原理类似于形态滤波器, 但更为方便的是无需事先定义结构要素.3 统计形状分析物体的形状无论在人类视觉还是机器视觉中都起着至关重要的作用. 在这里我们将物体的形状定义为与平移、旋转、缩放无关的物体的几何信息, 即形状具有仿射不变的特性. 视觉对象的复杂形状分析是一项非常艰难的工作. 传统的基于像素统计信息的图像分析方法对于复杂形状的分析困难重重.统计形状分析法[17~19]为机器视觉提供了一个强大的形状分析工具, 通过统计形状分析,我们可以①获得视觉对象的仿射不变的几何特征; ②将局部特征结合成复杂的全局特征; ③结合先验知识进行形状模型学习. 这些通过统计形状分析获得的仿射不变的全局特征对于机器视觉和目标识别往往是关键性的.统计形状分析法将视觉对象的几何描述分为2个部分: 配准信息和形状信息. 配准信息是指Euclid 相似变换(平移、旋转、缩放)的有关信息; 形状信息则是指仿射不变的几何信息. 这2部分信息的重要性随着任务的变化而改变. 例如, 对于非特定人的脸部表情识别任务来说, 形状信息是至关重要的; 而对于人脸识别任务, 形状信息和配准信息都很重要.在成功地分割出人脸特征像素点后, 紧接着就是运用统计形状分析获得人脸仿射不变的全局特征. 下面我们简单介绍统计形状分析法的主要框架.赵杰煜等: 实时人脸特征提取2042设X 是代表视觉对象的特征标记点的Descartes 坐标矩阵, 为了得到视觉对象的形状, 需要进行以下3步计算:1) 去除平移的影响, 移动对象X 的位置至其中心点, .c X CX =2) 去除缩放的影响, 将对象尺寸归一化, /()/,c Z X S X CX CX == 其中S (X )表示X 的尺寸.3) 去除旋转的影响, 考虑所有可能的旋转变换得到形状[X ]:[]{}:SO(),X Z m ΓΓ=∈其中Γ 为旋转变换, m 为维数, SO(m )表示所有m 维空间旋转矩阵的集合.统计形状分析过程中十分重要的一点是如何对2个形状间的距离进行度量, 在本文中我们采用Procrustes/Rieman 距离度量法[17]:1212(,)2arcsin((,)/2), 0/2,P X X d X X ρρ=π≤≤ 其中12SO()21(,)inf ,p m d X X Z Z ΓΓ∈=− Z 1和Z 2是X 1和X 2平移和尺寸归一化后的结果.对于二维空间的特征点集合来说, 如果2个视觉对象的特征标记点集合分别是12(,,...,)k z z z z =和12(,,...,)k u u u u =的话, 那么二者的Procrustes 形状距离是 ()*1/222()()(,)arccos ,j j j j z z u u z u z z u u ρ−−=−−∑∑∑ (7) 其中*z 是T z 的复共轭.任意2个二维视觉对象之间的Procrustes 形状距离计算的详细过程如下:1. 计算每个视觉对象的中心1111(,),.kk j j j j x y x y k k ==⎛⎞=⎜⎟⎜⎟⎝⎠∑∑ 2. 调整每个视觉对象的大小, 使它们具有相同尺寸. 形状的尺寸采用Frobenius 范数度量:()S X =3. 将每个视觉对象按各自的中心对齐, 进行如下奇异值分解(SVD):(a) 将中心对齐、尺寸归一化后的z 和u 表示成m k ×矩阵形式(二维空间m = 2).(b) 进行SVD, 计算z T u 的UDV T , 其中D 为非负对角矩阵, U 和V 为正交矩阵. 目的是使2个对象的特征标记点集合的偶合度最大.(c) 通过旋转T VU 使z 和u 达到最佳拟合,T cos()sin().sin()cos()VU θθθθ−⎡⎤=⎢⎥⎣⎦为了进一步获得视觉对象形状的全局特征, 往往需要对大量的视觉对象形状样本进行分中国科学 E 辑: 信息科学 2008年 第38卷 第12期2043析, 获得形状分布的统计信息. 一个常用的技术是在将视觉对象形状样本中心对齐、尺寸归一化、旋转拟合后进行主成分分析. 给定m 维空间中特征标记点个数为k 的n 个视觉对象形状样本, 采用n 个k ×m 的矩阵表示, 1,...,,n T T .km i T ∈ℜ 统计形状分析需在Procrustes 拟合后计算出视觉对象形状的均值 2:()10,(),ˆarg inf inf ,j j j j j j j k S r SO m b j r T b l μμΓμμΓ=>∈=−−∑ (8) 其中的j j j r T Γ和j k b l 项分别表示样本的尺寸归一化、旋转和平移. ˆˆˆˆj j j j j kT r T b l Γ=+对应于与均值拟合后的对象形状样本, 当形状样本相似性较高, 总体变化不大时, 形状空间近似为线性空间(procrustes tangent space)[20]. 经过Procrustes 拟合后, 形状均值的估算值为ˆ(1/),i n T μ=∑ 形状方差的估算值为T ˆˆˆˆˆ(1/)(){()},i in V T V T Σμμ=−−∑ 其中()vec().V T T = 通过对ˆΣ的主成分分析, 便可以获得形状的总体变化情形.对于人脸这样的复杂可形变的视觉对象, 我们希望在形状分析过程中结合有关人脸结构的先验知识, 这可以通过基于Bayes 学习的可形变模板方法[21]实现. 设S 是具有先验分布)(S π的视觉对象, I 为观测图像, 视觉对象的形状模型通过似然函数)|(S I L 描述, 该似然函数通过统计形状分析获得, 也可以通过学习过程不断修正. 用于视觉对象识别的后验概率)|(I S π可以由Bayes 公式获得(|)(|)().S I L I S S ππ∝4 实验设计与结果为了验证上述随机游动和概率形状分析对于人脸特征提取的有效性, 我们采用Visual C++在Windows 平台上实现了一个实时人脸特征提取系统, 视频图像捕获设备是普通型分辨率为640×480的网络摄像头.实现一个基于图模型的图像分析系统的首要步骤是设计一个映射函数, 将图像中像素的变化情形反映到连接对应像素顶点的边的加权上, 这样一来, 加权图就完全地获得了图像的结构信息. 最常用的一个映射函数是Gauss 加权函数[11]2exp(()),ij i j w I I β=−−其中i I 和j I 分别是像素i 和j 的灰度, β是控制参数.很显然上述函数无法完全反映出人脸特征, 为了准确地捕获人脸肤色信息和运动信息, 我们定义了如下的映射函数:()00exp ,1max ||max ||i j i j i j ij i k j k j k k N k N H H H H H H w I I I I I I β∈∈⎛⎞−+−+−⎜⎟=−⎜⎟+−+−+Δ+Δ⎜⎟⎝⎠(9) 其中i H 和j H 分别是像素i 和j 的色调, 0H 是典型人脸肤色的色调值, i N 和j N 分别是像素i 和j 的相邻顶点集合, i I Δ和j I Δ分别是像素i 和j 最近2帧的灰度变化值.赵杰煜等: 实时人脸特征提取2044我们采用的随机游动与交互式图像分割中的随机游动[11]有所不同, 由于受操作的实时性限制, 随机游动只发生在种子点附件, 而且游动的步长也是受限的. 种子点的选取是采用了加权图中权值特别大的那些对应顶点.为了加速计算过程, 对于整个加权图我们省略了(9)式中的指数函数计算, 只有当局部的随机游动(见第2节(5)和(6)式)发生时, 才进行指数函数计算, 这样大大减少了不必要的运算. 在各种条件下的实时人脸特征提取效果如图1~5所示.图1是头部小角度转动情形下人脸特征的实时提取结果, 人脸不同部分的几何特征采用不同的颜色表示, 左右眼睛分别用红色和粉红色标记, 左右眉毛分别用深红色和深粉红, 鼻子用黄色, 嘴巴用绿色, 脸部和其他肤色区域的外轮廓用蓝色表示.图1 头部小角度转动情形下视频人脸特征实时提取情形, 人脸各部分的几何特征采用不同颜色表示图2是系统运行过程中初始的种子特征点与随机游动得到的特征点的分布情形, 初始种子特征点采用红色表示, 通过随机游动获得的特征点用蓝色表示. 初始的种子特征点的选取主要通过大权值特征边决定(反映肤色和一定的运动信息), 一些噪声点也有可能成为种子特征点(如头发右上角的红色点), 但如果一个种子点对应的随机游动没有获得更多的特征点并将其连接成片, 该种子点将被滤除, 因此图2中头发右上部少量红色种子点在光照正常的情形下并未最终成为人脸特征点.实时分割得到的人脸特征点, 包括颜色和坐标信息, 被统一存储在动态链表中. 因为对应于眼、眉、鼻、嘴的特征点被提取时是各自相连成组的, 只要根据各组的中心点位置和方差, 结合有关人脸结构的先验知识(采用一个简单Bayes 网络表示), 即可得到如图1所示的人脸各个部分的几何特征.采用随机游动的人脸特征提取法不仅速度快, 而且具有较好的鲁棒性, 对于环境光线变化、头部运动、尺寸变化等都不太敏感, 甚至在人脸受到手部干扰和部分遮挡的情形下仍能正常工作. 图3是在环境光照发生明显变化的情形下人脸特征实时提取情形, 可见光线变暗时, 视频图像的噪声明显增加; 图4是视频目标尺寸明显变化和受到手部干扰的情形下人脸特征实时提取效果, 因为手部肤色与脸部肤色十分接近, 部分遮挡使得脸部轮廓的特征提取受到影响, 但脸部主要几何特征提取仍然正常.上述视频人脸特征提取实验在ThinkPad T60p 笔记本电脑上基本做到了实时处理, 对于320×240分辨率的视频流图像, 处理速度大于每秒30帧; 对于640×480分辨率的视频流图像, 处理速度达到每秒25帧.中国科学 E 辑: 信息科学 2008年 第38卷 第12期2045图2 初始的种子特征点(红色)与随机游动得到的特征点(蓝色)图3 光照发生明显变化的情形下人脸特征实时提取效果, 光线变暗(左图), 侧光源(右图)图4 视频目标尺寸明显变化(左图)和受到手部干扰(右图)的情形下人脸特征实时提取效果赵杰煜等: 实时人脸特征提取2046为了深入进行一些高层视觉计算, 如脸部表情识别, 我们有必要进行统计形状分析以获得仿射不变的人脸形状特征, 使人脸特征与平移、旋转、缩放无关. 图5给出了2个人脸特征样本的Procrustes 距离计算的主要步骤. 对于从视频人脸图像提取的任意2个样本, 二者间的Procrustes 形状距离是样本通过平移至中心点、尺寸归一化、旋转拟合后计算向量间夹角得到. 对于眼、眉、鼻、嘴单个特征形状, 也可以同样地进行统计形状分析, 获得各自的仿射不变特征. 大样本量的人脸特征的统计形状分析有待于我们进一步深入开展.图5 人脸特征样本Procrustes 形状距离计算5 小结本文提出了一种新颖的视频人脸特征实时提取方法, 主要运用随机游动获取人脸几何特征点, 结合人脸结构先验知识得到人脸全局特征模式, 并进一步通过统计形状分析获得仿射不变的人脸形状特征. 实验结果表明, 该方法速度快、效率高, 对光线变化、距离变化、头部小角度转动、手部干扰等不敏感, 具有较强的鲁棒性. 整个人脸特征提取过程实时进行, 无需额外的跟踪过程. 今后进一步的工作是对大样本量人脸特征进行统计分析, 开展可靠的人脸表情分析与识别, 开发新的人机交互应用.参考文献1Li S Z, Jain A K. Handbook of Face Recognition. New York: Springer-Verlag, 2004 2Zhao W, Chellappa R. Face Processing: Advanced Modeling and Methods. Oxford: Elsevier, 2006 3Yang M H, Kreigman D J, Ahuja N. Detecting faces in images: a survey. IEEE Trans Pattern Anal Mach Intell, 2002, 24(1): 34—58 [DOI] 4Lin D H, Tang X O. Recognize high resolution faces: from macrocosm to microcosm. In: IEEE Computer Soci-ety Conference on Computer Vision and Pattern Recognition (CVPR 2006), 2006, 2. 1355—1362 5Mumford D, Shah J. Boundary detection by minimizing functions. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 1985), 1985. 22—26 6Tu Z W, Zhu S C. Image segmentation by data-driven Markov chain Monte Carlo. IEEE Trans Pattern Anal Mach Intell, 2002, 24(5): 657—673 [DOI] 7Zhu Z W, Ji Q. Robust real-time face pose and facial expression recovery. In: IEEE Computer Society Confer-ence on Computer Vision and Pattern Recognition (CVPR 2006), 2006, 1. 681—688 8 Barbu A, Zhu S C. Generalizing Swendsen-Wang to sampling arbitrary posterior probabilities. IEEE Trans Pat-中国科学E辑: 信息科学 2008年第38卷第12期tern Anal Mach Intell, 2005, 27(8): 1239—1253 [DOI]9 Biggs N. Algebraic potential theory on graphs. Bull London Math Soc, 1997, 29: 641—682 [DOI]10 Boykov Y, Veksler O, Zabih R. Fast approximate energy minimization via graph cuts. IEEE Trans Pattern AnalMach Intell, 2001, 23(11): 1222—1239 [DOI]11 Grady L. Random walks for image segmentation. IEEE Trans Pattern Anal Mach Intell, 2006, 28(11): 1768—1783 [DOI]12 Kolmogorov V, Zabih R. What energy functions can be minimized via graph cuts?IEEE Trans Pattern AnalMach Intell, 2004, 26(2): 147—159 [DOI]13 Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion. IEEE Trans Pattern Anal MachIntell, 1990, 12(7): 629—639 [DOI]14 Shi J, Malik J. Normalized cuts and image segmentation. IEEE Trans Pattern Anal Mach Intell, 2000, 22(8): 888—905 [DOI]15 Meila M, Shi J. Learning segmentation by random walks. In: Neural Information Processing Systems Conference(NIPS 2000), 2000. 873—87916 Cheng B, Wang Y, Zheng N N, et al. MRF model and FRAME model-based unsupervised image seqmentation.Sci China Ser F-Inf Sci, 2004, 47(6): 697—70517 Dryden I L, Mardia K V. Statistical Shape Analysis. West Sussex: John Wiley & Sons, 199818 Olver P J, Tannenbaum A. Mathematical Methods in Computer Vision. New York: Springer, 200319 Srivastava A, Joshi S H, Mio W, et al. Statistical shape analysis: clustering, learning, and testing. IEEE Trans Pat-tern Anal Mach Intell, 2005, 27(4): 590—562 [DOI]20 Kent J T, Mardia K V. Shape, tangent projections and bilateral symmetry. Biometrika, 2001, 88: 469—485 [DOI]21 Grenander U. General Pattern Theory. Oxford: Clarendon Press, 19942047。
基于人脸特征点和线性回归的3D人脸姿态估计方法
31） Face Pose Estimation Based on Face Feature Points and Linear Regression 作者： 邱丽梅
作者机构： 三明学院物理与机电工程系,福建三明365004
出版物刊名： 三明学院学报
页码： 390-394页
主题词： 人脸姿态估计;活动形状模型;人脸特征点;线性回归
摘要：改进传统的活动形状模型法，准确地提取人脸特征点后，利用人脸特征点初步估计人脸姿态，以初步估计值为初始值，通过线性回归迭代算法，精确估计3D人脸空间姿态。
实验结果表明，本文提出的新方法不仅可以获得稳定和唯一的3D人脸空间姿态．而且与同类方法比较具有较好的姿态估计精确度。
基于面部特征点定位的头部姿态估计
基于面部特征点定位的头部姿态估计闵秋莎;刘能;陈雅婷;王志锋【摘要】头部姿势估计在许多智能系统中是检测身份和理解行为的关键,但其受光照变化、遮挡、分辨率等因素影响较大.针对彩色二维图像的头部姿态估计方法准确率不高的问题,在分析现有的头部姿态估计方法的基础上,提出一种基于面部特征点定位的头部姿态估计方法.将Adaboost算法和椭圆肤色模型相结合,用于检测人脸,并准确获得图片中的人脸区域.利用Hough圆检测方法定位眼睛和鼻孔,利用人眼和鼻孔的位置信息,将眼睛、鼻子定位结果与正脸头部姿态中的眼睛、鼻子进行对比,从而对不同的头部姿态进行粗估计.实验结果表明,该方法能识别正脸以外的6种不同的头部姿态,总体准确率达到93.53％.【期刊名称】《计算机工程》【年(卷),期】2018(044)006【总页数】7页(P263-269)【关键词】人脸检测;人眼定位;头部姿态估计;身份检测;行为理解【作者】闵秋莎;刘能;陈雅婷;王志锋【作者单位】华中师范大学数字媒体技术系,武汉430079;华中师范大学数字媒体技术系,武汉430079;华中师范大学数字媒体技术系,武汉430079;华中师范大学数字媒体技术系,武汉430079【正文语种】中文【中图分类】TP391.410 概述随着计算机技术的飞速发展,头部姿态的研究已经成为计算机视觉领域的一大热点。
通过不同的头部姿态不仅可以表达肯定或否定的意愿,还可以用来显示人脸的朝向和人眼注视的方向,因此,头部姿态检测在交互中成为一种简单自然并且有效的方式,在人机交互领域的研究中发挥着重要的作用。
另外,头部姿态估计是一个典型又复杂的模式识别问题[1],对于头部姿态估计的方法种类很多,依赖数据源的不同可以将头部姿态估计方法分为3类:基于三维图像的方法[2-3],基于深度图像的方法[4-7]和基于二维彩色图像的方法。
文献[2]使用ASM算法与ASEF算法定位人的正脸,运用通用3D人脸模型与二维正面人脸图片建立当前被试者的3D模型,根据模型的姿态判断当前被试者的头部姿态。
人脸识别发展介绍模板之欧阳家百创编
人脸识别的研究历史比较悠久。
高尔顿(Galton)早在 1888 年和 1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。
但当时还不可能涉及到人脸的自动识别问题。
最早的AFR1的研究论文见于 1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。
近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。
尤其是 1990 年以来，人脸识别更得到了长足的发展。
几乎所有知名的理工科大学和主要IT产业公司都有研究组在从事相关研究。
欧阳家百（2021.03.07）表 1 人脸识别发展历史简表人脸识别是一个被广泛研究着的热门问题，大量的研究论文层出不穷，在一定程度上有泛滥成“灾”之嫌。
为了更好地对人脸识别研究的历史和现状进行介绍，本文将 AFR 的研究历史按照研究内容、技术方法等方面的特点大体划分为三个时间阶段，如表1 所示。
该表格概括了人脸识别研究的发展简史及其每个历史阶段代表性的研究工作及其技术特点。
下面对三个阶段的研究进展情况作简单介绍。
第一阶段（1964 年~1990年）这一阶段人脸识别通常只是作为一个一般性的模式识别问题来研究，所采用的主要技术方案是基于人脸几何结构特征（Geometric feature based）的方法。
这集中体现在人们对于剪影（Profile）的研究上，人们对面部剪影曲线的结构特征提取与分析方面进行了大量研究。
人工神经网络也一度曾经被研究人员用于人脸识别问题中。
较早从事 AFR 研究的研究人员除了布莱索（Bledsoe）外还有戈登斯泰因（Goldstein）、哈蒙（Harmon）以及金出武雄(Kanade Takeo)等。
金出武雄于 1973 年在京都大学完成了第一篇 AFR 方面的博士论文，直到现在，作为卡内基-梅隆大学（CMU）机器人研究院的一名教授，仍然是人脸识别领域的活跃人物之一。
基于局部二元模式的面部表情识别研究_应自炉
人脸表情作为形体语言（Body Language）之一，在人与人之间的交流中起着举足轻重的作用。
它不仅有助于增强表达的效果，而且有助于人们准确理解他人所表达的含义。
“察言观色”（《论语·颜渊》）、“喜形于色”（《贞观政要·纳谏》）等成语表明我国古人很早就注意到表情的重要性。
随着计算机科学技术的飞速发展，人工智能长足的进步，传统心理学、生理学与计算机科学的相结合，面部表情识别应运而生。
它融合人机自然交互、计算机视觉、情感计算以及图像处理于一体，广泛应用于心理学、公共安全、消费电子产品、远程教育、游戏互动以及临床医学等领域，因而成为生物特征识别领域的又一研究热点之一。
面部表情识别是一项艰巨的任务。
它因年龄、种族、性别，甚至脸部的毛发、化妆品的使用以及所佩戴的眼镜不同而影响整个识别性能[1]。
在国内外研究人员的不懈努力下，过去的几十年里，人们在面部表情识别方面取得了卓越的成就，结合新的理论知识，提出了许多行之有效的方法。
Panti等人[2]使用多个检测器在空间中定位人脸以及人脸器官（如眼睛，嘴巴等），最后通过提取10个人脸基准点和19个人脸器官基准点特征信息来标识32个面部肌肉运动单元。
对于计算机来说，人脸的形变除了人脸上受各器官影响之外，还受姿势、个人外貌以及环境光照的干扰。
Lanitis等人[3]通过统计分析一系列人脸图像，获得一个人脸外貌简洁参数模型来描述人脸。
Gabor核函数因很好地描述了哺乳动物初级视觉系统中一对简单视觉神经元的感受特性而备受人们的青睐。
Lyons等人[4]利用Gabor小波来编码人脸表情；朱等人[5]通过使用5个尺度、8个方向的Gabor滤波器组来提取人脸表情特征。
图片经过Gabor滤波后，会产生相当多的冗余信息。
以朱等人的为例，将一幅32×32的图片经过5个尺度，8个方向的滤波器组滤波后，得到的图像特征维数高达32×32×5×8=40960维，这大大增加了特征降维的难度。
深度学习--人脸识别
卷积波尔兹曼机（Convolutional RBM）
卷积过程：用一个可训练的滤波器fx去卷积一个输入的 图像（第一阶段是输入的图像，后面的阶段就是Feature Map了），然后加一个偏置bx，得到卷积层Cx。 子采样过程：每邻域n个像素通过池化（pooling）步骤 变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1， 然后通过一个sigmoid激活函数，产生一个大概缩小n倍的 特征映射图Sx+1。
深度信念网络（ Deep Belief Networks ）
深度信念网络是一个包含多层隐层（隐层数大于2） 的概率模型，每一层从前一层的隐含单元捕获高度相关 的关联。
DBNs是一个概率生成模型，与传统的判别模型 的神经网络相对，生成模型是建立一个观察数据和 标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估。 典型的DNBs,可视数据v和隐含向量h的关系可 以用概率表示成如下所示形式：
深度模型(Deep models)
●受限波尔兹曼机RBM ●深度信念网络DBN ●卷积受限波尔兹曼机CRBM ●混合神经网络-受限波尔兹曼机CNN-RBM
…….
“深度模型”是手段， “特征学习”是目的！
深度学习
1.什么是深度学习？ 2.深度学习的基本思想
3.深度学习的常用方法
1）自动编码机(AutoEncoder) 2）稀疏编码（Sparse Coding） 3）受限波尔兹曼机（Restrict Boltzmann Machine , RBM）
(a)LBP：Local Binary Pattern(局部二值模式) (b)LE:an unsupervised feature learning method,PCA (c)CRBM:卷积受限波尔兹曼机 (d)FIP:Face Identity-Preserving
面向非特定表情的加权和稀疏分类方法
面向非特定表情的加权和稀疏分类方法蒋行国;冯彬;李志丰【期刊名称】《计算机系统应用》【年(卷),期】2014(000)007【摘要】针对在非特定人脸表情识别中，表情纹理特征的利用率不高问题，提出了一种改进的加权局部二值模式(LBP)和稀疏表示相结合的人脸表情识别方法。
为了有效利用面部器官的局部纹理信息，采用改进的加权LBP算子提取人脸局部纹理特征，然后用获取的特征值组成训练样本，最后根据稀疏表示理论进行表情分类。
在 JAFFE和CK人脸库上的实验结果表明，该方法对非特定人脸表情的识别效果有了明显提高。
%On the person-independent facial expression recognition, the utilization rate of the facial expression texture is not high. Facing with the problem of the person-independent face, this paper proposes a method about facial expression recognition based on the improved weighted local binary pattern (LBP) and sparse representation. In order to use the local texture information of the facial organs effectively, first it uses the improved weighted LBP operator to extracting the local texture feature, the extracted features to construct the training samples, and classified via the sparse representation last. Experimental results show a better performance on the JAFFE and CK database.【总页数】5页(P190-194)【作者】蒋行国;冯彬;李志丰【作者单位】桂林电子科技大学信息与通信学院，桂林 541004;桂林电子科技大学信息与通信学院，桂林 541004;桂林电子科技大学信息与通信学院，桂林541004【正文语种】中文【相关文献】1.面向人脸表情识别的双模板稀疏分类方法 [J], 蒋行国;冯彬;韦保林2.面向人脸表情识别的多约束稀疏分类方法 [J], 韦宁燕;韦洪浪;王星3.基于非负弹性网稀疏编码算法的图像分类方法 [J], 张勇;张阳阳;程洪;张艳霞4.基于稀疏非负最小二乘编码的高光谱遥感数据分类方法 [J], 齐永锋;杨乐;火元莲5.自适应非负加权约束低秩稀疏表示的跨数据集面部表情识别 [J], 付俊妮因版权原因，仅展示原文概要，查看原文内容请购买。
快速稀疏表示分类的人脸识别算法
快速稀疏表示分类的人脸识别算法范自柱【期刊名称】《计算机工程与应用》【年(卷),期】2017(053)009【摘要】经典的稀疏表示分类(Sparse Representation for Classification,SRC)算法是一种基于L1范数最小化问题,它在很多应用场合都能取得很好的分类效果,是目前备受关注的一类识别算法.然而,传统的SRC算法在求解L1范数最小化问题时,往往计算效率比较低.为有效解决这个问题,提出了一种快速有效的分类算法,它利用坐标下降方法来实现SRC算法.该方法既可以显著地提高计算效率,又可取得较好的分类结果.在不同人脸库上的实验表明,所提的算法具有良好的应用前景.%The typical Sparse Representation for Classification(SRC)based on L1 norm minimization is a very popular pattern recognition method due to its desirable classification performance in many applications. Nevertheless, the tradi-tional SRC method usually suffers from the low computational efficiency. In order to deal well with this problem, this pa-per proposes an efficient and effective approach based on coordinate descent algorithm, which can significantly enhance the computational efficiency and achieve good classification results. The experiments on popular face databases demon-strate that the proposed approach is promising.【总页数】4页(P1-4)【作者】范自柱【作者单位】华东交通大学理学院,南昌 330013【正文语种】中文【中图分类】TP391.4【相关文献】1.一种快速的基于稀疏表示的人脸识别算法 [J], 龙法宁;杨夏妮;2.一种快速的基于稀疏表示的人脸识别算法 [J], 龙法宁;杨夏妮3.Gabor字典及l0范数快速稀疏表示的人脸识别算法 [J], 曾军英;甘俊英;翟懿奎4.改进的局部稀疏表示分类算法及其在人脸识别中的应用 [J], 尹贺峰;吴小俊;陈素根5.基于级联稀疏表示分类器的人脸识别算法 [J], 杨宇因版权原因，仅展示原文概要，查看原文内容请购买。
基于人眼定位的快速人脸检测及归一化算法
是窗内灰度最低的区域O 对窗内区域内的图像做直方图分
析 取出灰度最低的那一部分实验中我们取最低的5 % 像 素 其余部分灰度置为255 O 经过这一步阈值分割后 可以 将眼睛和眉毛明显地分割出来O
然后 将窗内图像作水平投影 投影函数为:
N
< > = ZI <J > J =1
得到一条一维曲线O 曲线上有明显的两个波谷 分别代表
We accuratel y l ocate t he pupils of eyes i n t he f ace i mage accor di ng t o t he proporti onal relati onshi ps of f ace f eat ures and gray i nf or mati on . Then a coor di nate syste mis established . fi nall y 9 We nor malize t he rotati on 9scale and grayscale of t he f ace i mage . The experi mental results sho W t hat t his al gorit h m can detect and nor malize t he f ace i mage effici entl y and accuratel y 9
1. Dexi n Wireless Communications Co . Lt d shanghai 201203 : 2. school of Electronics science and technology National University of Defense technology Changsha 410073 Chi na )