精确局部特征描述的表情识别_胡敏

合集下载

表情识别技术综述分析

------------------------------------------------------------精品文档-------------------------------------------------------- 人类表情识别技术CENTRAL SOUTH UNIVERSITY《脑与认知科学》调研报告人类表情识别技术目题学生姓名何伟峰0918140119 学号1401智能科学与技术专业班级2015/10/27完成时间人类表情识别技术目录人类表情识别技术一．摘要： (3)二前言： (3)三表情识别 (3)人脸检测与定位 (3)图像预处理 (4)面部表情特征的提取方法 (4)表情分类与识别 (5)四应用前景 (5)五面部表情识别的国内外研究情况 (5)六目前存在的难点和问题 (6)参考文献： (6)人类表情识别技术人脸表情识别技术综述一．摘要：一直以来，表情是人类引以为傲的东西，这是我们和机器的一种本质上的区别。

随着计算机的发展，我们更期盼人机之间的沟通交流，尤其是一种带有感情的沟通交流。

计算机在情感方面的成长经历也类似于我们每个人的成长过程——以观察和辨别情感作为最终自然，亲切，生动的交互的开始。

在物联网技术发展的今天，面部识别已经不是什么太大的技术性问题，而对于人类表情识别来说，仍旧是一片空白。

我们希望有一天机器可以读懂我们的语言、知悉我们的表情，更好的为我们服务，或许这才是真正的物联网时代。

表情识别作为一种人机交互的方式，成为研究的热点。

基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法和他的应用前景。

关键词：表情识别；特征提取；表情分类；应用前景。

二前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。

计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。

基于梯度Gabor直方图特征的表情识别方法_胡敏

摘
要：针对传统Ｇ提出一种基于梯度Ｇ特征的表情识别方ａｂｏｒ特征在表情识别上的局限性，ａｂｏｒ直方图（ＧＧＨ）
法．首先对预处理后的人脸图像进行Ｇ然后将相同尺度、不同方向的Ｇａｂｏｒ特征提取；ａｂｏｒ特征按照梯度方向构造再对融合图进行分块并计算每个子块的直方图分布，从而构成人脸的Ｇ最后采用支持Ｇａｂｏｒ特征融合图，ＧＨ特征；向量机对Ｇ在Ｊ在保证较ＧＨ特征进行人脸表情分类．ＡＦＦＥ库与ＰａｉｎＥｘｒｅｓｓｉｏｎｓ库上进行交叉验证的结果表明，ｐ高识别率时，ＧＧＨ特征比传统的Ｇａｂｏｒ特征实时性更高．关键词：表情识别；梯度Ｇ分块直方图；梯度方向Ｇａｂｏｒ特征；ａｂｏｒ直方图；中图法分类号：ＴＰ３９１．４
更人性化的人机交互，对表情识别的深入研究变然、
２］得更为重要［近年来，人脸表情识别仍存在一些问．
收稿日期：修回日期：基金项目：国家 “ 八六三 ” 高技术研究发展计划（；国家自然科学基金－广东－－－－２０１２１１２０；２０１３０５２０．２０１２ＡＡ０１１１０３））；情感计算与先进智能机器安徽省重点实验室、安徽省科技计划项目（胡敏（，女，博联合基金重点项目（Ｕ１１３５００３１２０６ｃ０８０５０３９）．１９６７—）士，教授，硕士生导师，主要研究方向为计算机图形学、图像处理等；朱弘（，男，硕士研究生，论文通讯作者，主要研究方向ＣＣＦ会员，１９９０—）为图像处理等；王晓华（，女，博士，副教授，硕士生导师，主要研究方向为图像处理、计算机仿真等；许良凤（，女，博士，副教授，１９７７—）１９７０—）硕士生导师，主要研究方向为多媒体通信、图像处理等．

常用的特征描绘子

常用的特征描绘子在计算机视觉和图像处理领域，特征描绘子是用于描述图像中的特定属性或纹理信息的数学表示。

特征描绘子对于图像匹配、对象识别和图像检索等任务非常重要。

下面将介绍一些常用的特征描绘子。

1.SIFT（尺度不变特征变换）：SIFT是一种用于在不同尺度上检测和描述局部特征的算法。

它通过应用高斯滤波器来寻找具有高灵敏度的关键点，并使用关键点周围的局部图像区域来构建描述子。

SIFT特征具有尺度不变性和旋转不变性，因此在大规模图像检索和对象识别中广泛应用。

2. SURF（加速稳健特征）：SURF是一种基于Hessian矩阵的局部特征描述子。

它通过计算图像中的灰度变化率来检测特征点，并构建了一种基于梯度直方图的描述子。

SURF特征具有尺度不变性、旋转不变性和光照不变性，且计算速度比SIFT更快，因此适用于实时图像处理任务。

3.ORB（方向鲁棒特征）：ORB是一种结合了FAST角点检测器和BRIEF特征描述子的特征描绘子。

它通过检测图像中的角点，并使用二进制描述子来描述这些角点的特征。

ORB特征具有尺度不变性、旋转不变性和仿射不变性，且计算速度比SIFT和SURF都更快，因此适用于实时图像处理应用。

4.HOG（方向梯度直方图）：HOG是一种用于物体检测和人体姿态估计的特征描述子。

它通过计算图像中局部区域的梯度直方图来描述图像的形状和纹理信息。

HOG特征在人体检测和行人识别等任务中表现出色，并且对于图像的尺度和旋转变化具有一定的鲁棒性。

5.LBP（局部二值模式）：LBP是一种用于纹理分析和表情识别的特征描述子。

它通过将局部图像区域与其周围像素比较，并将比较结果编码为二进制数来描述纹理特征。

LBP特征在纹理分类和人脸识别等任务中表现出色，并且对于光照变化和噪声干扰具有一定的鲁棒性。

除了上述特征描绘子，还有许多其他的常用特征描绘子，如GIST（总体图像特征）、BRISK（加速旋转不变特征）、FREAK（快速稳定特征）等。

基于面部多个局部特征的人脸表情识别算法

基于面部多个局部特征的人脸表情识别算法
贾茜伟;闫娟;杨慧斌;刘向前
【期刊名称】《智能计算机与应用》
【年(卷),期】2022(12)10
【摘要】人脸面部表情通常来说可以显露出人的内心活动变化,目前现有的表情识别方法一般依靠面部的整体特征进行处理,没有考虑面部的一些局部特征,导致面部表情识别的准确度不理想。

人的面部表情进行变化时,面部局部肌肉会随之变化,基于此,提出一种基于面部多个局部特征的人脸表情识别算法。

本文首先对检测到的人脸进行面部分区,分为23个子区域,再将分好的区域输入到卷积神经网络中进行局部特征的提取。

最终使用AM-softmax函数将表情分为中性、愤怒、厌恶、惊讶、高兴、悲伤和恐惧七类。

评估实验在CK+和JAFFE数据集上对本文算法进行验证,得到的平均准确率分别是99.87%和96.72%,均超过S-Patches算法,该结果表明本文算法对表情识别性能有所提高。

【总页数】6页(P144-149)
【作者】贾茜伟;闫娟;杨慧斌;刘向前
【作者单位】上海工程技术大学机械与汽车工程学院
【正文语种】中文
【中图分类】TP183
【相关文献】
1.基于局部特征分块的面部表情识别研究
2.基于2维偏最小二乘法的图像局部特征提取及其在面部表情识别中的应用
3.基于局部特征和整体特征融合的面部表情识别
4.基于人脸局部特征和SVM的表情识别
5.基基于局部特征聚类损失和多类特征融合的面部表情识别
因版权原因，仅展示原文概要，查看原文内容请购买。

基于局部特征Gabor小波的BP神经网络的人脸识别

基于局部特征Gabor小波的BP神经网络的人脸识别作者：范茂志,林秀来源：《科技传播》2012年第01期摘要人脸识别是自动识别领域的一个研究重点。

本文提出了基于Gabor小波局部特征的BP神经网络的人脸识别算法。

该方法在保留了Gabor小波符合人眼的生物特征性的基础上，融合了神经网络的强大学习能力。

该方法采用局部Gabor小波特征作为神经网络输入，最后采用改进的BP神经网络对样本分类，用ORL标准人脸库进行实验，结果数据表明，该算法在提高准确率和减少计算时间方面具有实用价值。

关键词人脸识别；Gabor小波；小波网络；神经网络；特征抽取中图分类号TP39 文献标识码A 文章编号 1674-6708（2012）58-0183-020 引言随着信息技术的发展，人脸识别因在公安、身份验证、安全验证系统、医学、考勤系统等各方面的巨大应用前景而成为当前人工智能和模式识别领域的研究热点。

人脸识别是指利用摄像头捕捉人的面部图片，利用计算机分析比较人脸的生物特征来进行身份识别。

虽然人类能够轻易识别出人脸和表情，但是人脸机器识别却是一个难度极大的课题[1]。

基于Gabor小波弹性图匹配算法作为一种有效的人脸识别方法，虽然方法简单，但是实现复杂、计算量大、耗时多，本文提出了一种改进的基于局部特征Gabor小波的BP神经网络方法，此方法避免了弹性如匹配算法的高计算量，神经网络由于学习和记忆能力，提高了算法容错性。

本文采用Gabor小波特征空间作为神经网络输入空间，然后使用神经网络作为分类器。

1 基于局部特征的Gabor小波1.1 Gabor滤波器数组二维图像的离散Gabor 变换的定义见文献[4]，对特征点图像模板进行离散Gabor 变换的Gabor核函数如下：式中参数描述三角函数的波长,参数描述小波的方向性。

依David S. Bolme 的取值对人脸图像的处理间隔4 个像素,即分别取{4 , ,8, , 16}；对的取值从0到π的区间分别取{0 ,π/ 8 ,2π/8 ,3π/ 8 ,4π/ 8 ,5π/ 8 ,6π/ 8 ,7π/ 8}共8个方向,π到2π区间的方向性由于小波的奇偶对称性而省去。

一种基于局部特征融合的表情识别方法

一种基于局部特征融合的表情识别方法
邓捷方;杨勇;王国胤
【期刊名称】《重庆邮电大学学报（自然科学版）》
【年(卷),期】2011(023)005
【摘要】表情识别是人工智能和模式识别的研究热点,而特征融合方法则是表情识别中重要的技术方法之一.基于嘴部的Gabor小波特征和几何特征对表情识别有重要作用,提出一种仅用嘴部不同特征进行特征融合的表情识别方法.该方法将嘴部的Gabor小波特征和几何特征进行特征融合后再使用最近邻分类器分类.根据不同样本库、不同识别方法的对比实验结果表明,该方法相对于单独的Gabor小波特征和单独的几何特征用于表情识别能得到更好的识别效果,且相对于整幅人脸表情图像的识别具有更好的实时性.
【总页数】5页(P626-630)
【作者】邓捷方;杨勇;王国胤
【作者单位】重庆邮电大学计算机科学与技术研究所,重庆400065;重庆邮电大学计算机科学与技术研究所,重庆400065;重庆邮电大学计算机科学与技术研究所,重庆400065
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于局部特征和整体特征融合的面部表情识别 [J], 刘松;应自炉
2.融合全局和局部特征并基于神经网络的表情识别 [J], 吴晶晶;程武山
3.基基于局部特征聚类损失和多类特征融合的面部表情识别 [J], 王浩; 栗永泽; 方宝富
4.基于多尺度局部特征融合的手指静脉识别方法 [J], 何晶;沈雷;蒋寒琼;何必锋
5.一种基于面部纹理特征融合的人脸表情识别方法 [J], 高婷婷;李航;殷守林
因版权原因，仅展示原文概要，查看原文内容请购买。

基于局部区域LBP特征的人脸识别研究

局部二值模式）取的人脸识别方法。用积分投影法在表情图像上定位出眉毛、睛、子和嘴巴这些特征点的位提眼鼻置，据这些特征点的位置确定这些特征部件所在子区域，后对这些子区域进行不同的分块，取各子区域的局根然提
ｆｍｎ）ｆｍ０Ｓ，ｏＳ）（，一（＋ｘ＋．（）３
将其分别沿水平和垂直方向进行积分投影，而得从
到两个方向上的积分投影向量：水平积分投影
Ｍ
方法首先计算图像中每个像素与其局部邻域点在灰
ＷＡＮＧｎ，ａ－ｕ，ＤＥＮＧＤａＬＩＨｏｒＣｈｕ－ｅｎｗｉ
（ｐｒｍｅｔｏＩｆｒｔｎＥｎｉｅｒｇａｄＣｏｕｅｃｎｌｇｆＨｕｒｉＣｏｌｇ，ＮｏｔｅｓｔｏｅｍＤｅａｔｎｆｎｏｍａｉｇｎｅｉｎｍｐｔｒＴｅｈｏｏｙｏｏｎａｕｌｅｅｒｈａｔＰｅｒｌｕＵｎｖｒｉ，ｉｅｓｔｙ
的权系数２，可以得到一个对应该的唯一的则ＬＰ编码：Ｂ
７
像进行规则分块，整个人脸平均划分为多个大小把
相同、互不重叠的分块，取各个分块的ＬＰ直方提Ｂ
觉、模式识别、心理学、知科学等，中一些学科本认其
身就处于探索阶段，它们的理论和方法仍有待完善；此外，没有统一的表情库，也难于对各种识别方法进行比较和判断。目前，于人脸表情识别的方法有：用

人脸表情识别的研究进展

（ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＭｉｎｚｕＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，ＢｅLeabharlann ｊｉｎｇ１０００８１，Ｃｈｉｎａ）２
ＡｂｓｔｒａｃｔＩｎｒｅｃｅｎｔｙｅａｒｓ，ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｈａｓｂｅｃｏｍｅａｈｏｔｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｉｎｈｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃ－ｔｉｏｎ，ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，ｉｎｔｅｌｌｉｇｅｎｔｃｏｎｔｒｏｌａｎｄｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ．Ａｃｃｏｒｄｉｎｇｔｏｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎａｎｄｆｅａｔｕｒｅｃｌａｓｓｉｆｉｃａ－ｔｉｏｎ，ｒｅｃｅｎｔｄｅｖｅｌｏｐｍｅｎｔｓｏｆｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｗｅｒｅｐｒｅｓｅｎｔｅｄ．Ｆｒｏｍｓｔａｔｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ，ｔｈｅ
ｅｎｃｅ－Ｐｏｓｅ，Ｅｘｐｒｅｓｓｉｏｎ，ＡｃｃｅｓｓｏｒｙａｎｄＬｉｇｈｔｉｎｇ）人脸数据库包［１９］含了１０４０个人的６种面部表情和动作，包括中性、闭眼、皱眉、微笑、惊奇和张嘴。
部分人脸图像库中也包含若干表情图像，比如ＡＲ图像库包［２０］含中性、微笑、生气和尖叫４种表情；Ｙａｌｅ人脸图像库包［２１］含中性、高兴、悲伤、欲睡、惊奇和眨眼６种人脸的表情和动作。另外，纽约州立宾汉姆顿大学建立的ＢＵ－３ＤＦＥ（ＢｉｎｇｈａｍｔｏｎＵｎｉｖｅｒｓｉｔｙ３ＤＦａｃｉａｌＥｘｐｒｅｓｓｉｏｎ）三维人脸表情图像库［２２］，包含了１００个人的２５００个人脸表情模型。

非对称方向性局部二值模式人脸表情识别

非对称方向性局部二值模式人脸表情识别黄丽雯;杨欢欢;王勃【摘要】针对方向性局部二值模式(DLBP)在单尺度下获取图像纹理特征的不足,提出一种非对称方向性局部二值模式(AR-DLBP)多尺度多方向融合的表情识别算法.首先对人脸表情图像进行光照补偿预处理,消除光照、噪声的影响,分割出人脸及眉、眼、嘴局部表情关键区域,并计算出关键区域的贡献度(CM);然后提取人脸及关键区域的异或-非对称方向性局部二值模式(XOR-AR-DLBP)直方图特征信息,并根据CM对关键区域直方图信息进行加权级联再与整幅人脸图像的特征信息进行融合;最后用SVM分类器进行表情分类识别.该算法在JAFFE库、CK库上仿真实验,分别取得95.71％、97.99％的平均识别率及112 ms、135 ms的平均识别时间,实验结果表明,该算法可以有效精确地完成人脸表情的分类识别.通过对表情图像光照补偿预处理及分割出表情的关键区域,并加权融合局部与整体特征,大大提高了特征的鉴别能力,与传统算法的对比实验,也表明该算法无论是在识别率还是在识别时间上,所得效果都是最好的.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)023【总页数】6页(P183-188)【关键词】表情识别;非对称方向性局部二值模式;多特征融合;支持向量机(SVM)【作者】黄丽雯;杨欢欢;王勃【作者单位】重庆理工大学电气与电子工程学院,重庆 400054;重庆理工大学电气与电子工程学院,重庆 400054;重庆理工大学电气与电子工程学院,重庆 400054【正文语种】中文【中图分类】TP3911 引言人脸表情识别是对人脸的表情信息进行特征提取和分析，按照人的认识和思维方式加以归类和理解，利用人类所具有的情感信息方面的先验知识使计算机进行联想、思考及推理，进而从人脸信息中去分析、理解人的情绪的技术[1]。

人脸所反映的视觉信息是人类情感表达和交流最直接最重要的载体，表情作为形体语言，是最自然表现情感的形式，在人际交往中，可以通过对方面部表情的变化，精确地揣测出其所处的情感状态，及时给予恰当的回应，因此表情识别的研究，不仅是实现使计算机理解并表达人类的情感，且是人工智能、计算机图形学、心理学、计算机视觉、人机交互、生理学等多个学科领域研究的基础，已逐渐成为当前学者们研究的热点。

边缘提取文献综述001

关于多角度下表情识别的研究——文献综述湖州师范学院信息与工程学院（信息与工程系）070823 冯云海摘要：本文归纳了人脸表情识别研究中的一些问题，分析了表情识别的研究现状和发展趋势。

在此基础上，对人脸识别的进一步研究进行了展望。

关键词：人脸识别，表情特征提取，人脸表情库1、引言表情是人类用来表达情绪的一种基本方式,是非语言交流中的一种有效手段。

人们可通过表情准确而微妙地表达自己的思想感情,也可通过表情辨认对方的态度和内心世界。

关于表情传递信息的作用,心理学家M e h r a b i a n给出了一个公式:感情表露=7%的言词+38%的声音+55的面部表情。

人脸表情识别(F E R)所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信息。

人们对表情识别的研究可以追溯到20世纪70年代。

1997年,美国M I T媒体实验室得P i c a r d教授出版了一本专著“A f f e c t i v e C o m p u t i n g”[1],书中她定义了情感计算是关于、产生于和影响于情感方面的计算,而面部表情识别则是解决情感计算的一个前提。

同样,1999年,北京科技大学王志良教授提出的人工心理理论[2][3]把面部表情识别作为一个重要研究内容。

通过计算机进行面部表情识别是目前面临的一大挑战,它在和谐人机交换及情感机器人等方面有着广泛应用,目前,国内外学者围绕这一问题作了比较多的研究,提出了一系列面部表情识别算法,识别的面部表情种类基本上都是基于E k m a n[4][5]提出的六种基本表情或其子集,识别算法大致可分为两类:基于静态图像方法和基于动态图像方法。

前者使用的是单一面部表情图像,只考虑图像的空间信息,因此计算相对简单,但识别率普遍不高;后者则采用图像序列,充分考虑了面部表情变化的时间和空间信息,因此识别率相对前者要高,但计算量要大,目前大部分面部表情识别算法属于后者。

研究面部表情其本身就具有重大的意义，它具有广大的应用前景，它可以应用在医学，军事，社会，犯罪等多种领域，可以为人类的生活更为便捷，例如在多模式人机交互界面(M M H C I)中,表情与声音、视线、体态等结合起来可以获得更高效、更人性化的人机交流,在如面部神经瘫痪诊断,人脸图像实时传输,人脸图像合成与动画,智能机器人,智能监控等多个领域,它也有很好的表现。

基于AAM-SIFT特征描述的两级SVM人脸表情识别

基于AAM-SIFT特征描述的两级SVM人脸表情识别黄忠;胡敏;刘娟【摘要】采用AAM定位特征点、尺度不变特征变换(SIFT)描述特征的方式提出一种基于AAM-SIFT的表情特征提取方法.该方法用特征点周围区域梯度方向直方图描述表情特征;同时根据不同子区域对表情的贡献不同,将特征点分组并赋予不同权重,并用两级支持向量机(SVM)对融合的加权特征进行分类识别.在标准表情库和多姿态表情库上的验证结果表明,该方法能有效提高正面人脸表情的识别率,对一定偏转角度的非正面人脸表情也保持较好的鲁棒性.%By means of locating key points by Active Appearance Model(AAM)and describing each key point by Scale-Invariant Feature Transform(SIFT), a new method for facial expression feature extraction is proposed. The gradient direc-tion histogram around these points is used to describe features of expression. Meanwhile, this paper puts the feature points into group and gives them different weights according to their contributions to the expression recognition, and uses the two-level Support Vector Machine(SVM)to classify the category of the fused and weighted features. The experimental results of standard expression databases and multi-pose expression database show that the proposed method not only improves the recognition rates of the frontal face, but also has better robustness for the expression of the non frontal face under some deflection angles.【期刊名称】《计算机工程与应用》【年(卷),期】2016(052)003【总页数】6页(P178-183)【关键词】主动外观模型;尺度不变特征变换;梯度方向直方图;特征分组;多姿态【作者】黄忠;胡敏;刘娟【作者单位】安庆师范学院物理与电气工程学院,安徽安庆 246011;合肥工业大学计算机与信息学院,合肥 230009;合肥工业大学计算机与信息学院,合肥 230009;安庆师范学院物理与电气工程学院,安徽安庆 246011【正文语种】中文【中图分类】TP39随着人工智能和人机交互的快速发展，人脸表情识别已经成为当前研究的热点[1]。

基于局部Gabor二值化特征的实时表情识别系统

基于局部Gabor二值化特征的实时表情识别系统
胡建国
【期刊名称】《信息化研究》
【年(卷),期】2015(0)3
【摘要】文章旨在搭建一个复杂场景中鲁棒的实时表情识别系统。

考虑到实时场景中旋转、光照、尺度等复杂条件,文章选择特征局部Gabor二值化特征(LGBP);同时也将高速的面部特征点检测算法应用到系统中,解决LGBP特征速度过慢的问题。

经过实验数据库和实时测试,本系统在速度、精度以及鲁棒性上都取得了很好结果。

【总页数】4页(P68-71)
【关键词】特征局部;二值化特征;表情识别;实时系统
【作者】胡建国
【作者单位】东南大学学习科学研究中心
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.基于Gabor滤波器的面部表情识别系统 [J], 宋小双
2.用于家庭安保服务型机器人的基于局部二值法和特征脸的实时人脸识别系统 [J], 郑津津;王佳凯琳
3.基于二维多尺度局部Gabor二进制模式特征的表情识别 [J], 张铮;赵政;袁甜甜
4.基于Gabor变换的表情识别系统的设计 [J], 高智勇;王林
5.基于Gabor小波和LBPH的实时人脸识别系统 [J], 张伟;程刚;何刚;阎石
因版权原因，仅展示原文概要，查看原文内容请购买。

基于几何和纹理特征的表情层级分类方法

基于几何和纹理特征的表情层级分类方法胡敏;江河;王晓华;许良凤;黄晓音;程轶红【摘要】In order to strengthen the robustness of the extracted features for individual differences and use the distribution characteristics of the features more effectively,this paper presents a hierarchical classification method of expression based on geometric and texture features.Firstly,a geometric feature extract method is constructed based on the similarity of neutral expression,which automatically matches with the similar neutral expression images of sample images and extract geometric features based on feature points scale factor.Then,texture features are extracted by using sufficient vector triangle pattern.Finally,the facial expression hierarchical classification framework is achieved by using the above features to judge expression categories in the three layers respectively.Experiment results in JAFFE database and CK database show that the proposed method improves the recognition rate compared with the methods based on the typically geometric and texture featares.%针对表情识别,为提取对个体差异鲁棒性更强的特征,并有效利用特征自身分布特性,本文提出基于几何和纹理特征的表情层级分类方法.首先,构建基于中性脸相似度的几何特征提取方法,自动匹配样本相似中性脸,提取特征点比例系数几何特征;然后,利用充分矢量三角形提取纹理特征;最后,给出表情层级分类框架,在三个层级下分别利用提取特征判定表情类别.所提方法在JAFFE库和CK库上的实验结果表明,本文方法取得了比基于一般几何和纹理特征的识别方法更好的效果,证明了本文方法的有效性.【期刊名称】《电子学报》【年(卷),期】2017(045)001【总页数】9页(P164-172)【关键词】表情识别;几何和纹理特征;中性脸相似度;层级分类【作者】胡敏;江河;王晓华;许良凤;黄晓音;程轶红【作者单位】合肥工业大学计算机与信息学院,安徽合肥230009;情感计算与先进智能机器安徽省重点实验室,安徽合肥230009;合肥工业大学计算机与信息学院,安徽合肥230009;情感计算与先进智能机器安徽省重点实验室,安徽合肥230009;合肥工业大学计算机与信息学院,安徽合肥230009;情感计算与先进智能机器安徽省重点实验室,安徽合肥230009;合肥工业大学计算机与信息学院,安徽合肥230009;合肥工业大学计算机与信息学院,安徽合肥230009;情感计算与先进智能机器安徽省重点实验室,安徽合肥230009;合肥工业大学计算机与信息学院,安徽合肥230009;情感计算与先进智能机器安徽省重点实验室,安徽合肥230009【正文语种】中文【中图分类】TP391人脸表情识别是人工智能领域的重要分支，近年来，很多研究者对表情识别进行了研究，主要工作集中于表情特征提取与分类识别[1,2].表情特征提取包括纹理特征提取方法与几何特征提取方法[3].纹理特征主要用来描述图像的局部灰度变化，代表性的方法有Gabor小波[4]、局部二值模式(Local Binary Pattern,LBP)[5]及LBP的改进算法[6].几何特征提取方法一般首先对人脸进行关键点定位，然后测量定位点间的相对距离，最后根据距离定义特征，如：夏海英等人[7]提出了直接表示关键点位置信息的直接几何特征(Direct Geometric Feature,DGF)和间接利用关键点位置信息的间接几何特征(Indirect Geometric Feature,IDGF)，并将DGF和IDGF融合，共同表达几何特征；Anwar Saeed等人[8]在眉部、眼角、嘴部定位8个关键点，计算获得6个归一化几何特征向量作为几何特征，并通过实验论证了几何特征对于表情识别的重要性；Song等人[9]利用主动外观模型(Active Apperance Model,AAM)检测预处理后的人脸表情图像特征点；也有部分研究者首先二值化分割人脸图像，然后根据分割出器官区域的面积、周长等几何信息进行特征提取，最后分类识别[10].上述几何特征提取方法都存在同样的问题，即没有考虑人脸个体差异给表情识别结果造成的不利影响，因此易积政等人[11]提出特征点距离比例系数，一定程度上减少了由人脸个体差异带来的表情特征的差异.然而，该方法是基于已知测试样本中性脸的表情识别方法，对于未知中性脸的表情识别不具有推广意义.故本文提出基于中性脸相似度的面部几何特征提取方法，在测试过程中，首先进行测试样本与训练集中的中性表情样本之间的人脸相似度计算，设定相似度阈值，筛选出与测试样本相似度较高的中性脸样本，然后提取图像的特征点距离比例系数，最后根据中性脸相似度计算权值，从而获得测试样本的自适应加权几何特征，不仅增强了几何特征的个体差异鲁棒性，也提高了算法的推广性.无论是纹理特征还是几何特征都只能从单一方面描述表情图像的特征，而单一的特征往往会使得识别结果具有一定的偶然性，鲁棒性与稳定性不理想，故很多研究者对多特征融合的表情识别方法进行了研究，如魏冉等人[12]通过表情先验知识及大量实验分析，使用不同的特征提取方法分别提取嘴巴、额头和眉毛部位的特征，提高了表情识别的正确率；刘帅师等人[13]针对Gabor特征的全局特性较弱的问题，将Gabor多个方向的特征进行融合，并结合分块直方图进行表情特征提取，获得了较好的效果.在各种多特征融合的表情识别方法中，人脸表情特征的自身分布特点往往被人们忽视，Zheng Zhang等人[14]基于表情特征自身分布特性提出人脸表情识别的多特征分层识别方法，该方法将LBP和Gabor两种特征结合进行表情图像的双层识别，在与人无关的表情识别中取得了较好的效果.但LBP和Gabor特征都属于图像的局部纹理特征，相似性较大，将两者相结合互补性较弱.故本文进一步提出表情图像层级分类方法，将在表情识别中取得良好表现的基于充分矢量三角形的纹理特征[15]与基于中性脸相似度的面部几何特征相结合，分别从全局层级、局部层级以及混合层级出发，利用表情特征的自身分布特性进行表情识别，从而充分发挥单个特征的有效性，获得更加可靠的表情识别结果.2.1 基于中性脸相似度的几何特征提取虽然不同的人类个体具有相同的表情器官，但是不同人类个体相同表情器官的大小、形状以及拉伸程度都各不相同，如图1所示，人在中性表情时眼睛处于正常大小，惊讶时趋于瞪大眼睛，而图1(a)中的个体中性表情时眼睛的大小与图1(b)和图1(c)中个体惊讶时眼睛的大小几乎相同；人在中性表情时眉毛中间高两端低，悲伤时眉毛内角与中部通常平行，而图1(d)中的个体中性表情时眉毛内部与中部也趋于平行.因此，在基于面部表情几何特征的表情识别中，器官的个体差异是导致表情误识别的一个重要因素.本文利用AAM定位面部表情关键点，在面部表情图像中选取对表情识别起关键作用且具有较低错误定位率的23个点作为特征点，特征点选取及定位效果如图2所示.根据定位关键点pi的坐标(xi,yi)，利用式(1)求取特征点两两间的欧式距离：其中,i=1,2,…,23;j=1,2,…,23，特征点两两间相对距离的变化反映了面部表情器官自身的形变以及相对位置的变化.为了减小器官的个体差异在表情识别中造成的不利影响，本文在特征训练过程中将表演者的各种表情图像与自己的中性表情图像的特征点相对距离之比作为该表情的特征点比例系数，在测试过程中，先根据中性脸相似度阈值确定与测试样本相似度较大的中性脸图像，再求取测试样本与相似中性脸的特征点比例系数：式(2)中，表示中性表情图像中的特征点相对距离，表示训练过程中除中性表情外的其他表情图像或测试过程中的未知表情图像特征点间的相对距离.通过提取特征点比例系数作为几何特征可以有效去除个体差异给表情识别带来的不利影响，但是在识别静态图片时，识别图片对应的中性脸图像未知，无法直接提取特征点比例系数.“相似的人具有相似的表情”[16,17]是面部表情合成中被广泛使用的一个假设，故本文从全局出发，通过中性脸相似度计算与面部关键点定位，计算出当前图像和与其相似度较大的中性表情图像间的特征点距离比例系数，从而提取出对个体差异具有一定鲁棒性的几何特征.文献[18]提出的多尺度矢量三角形从不同的尺度空间描述图像特征，增强了特征的表现力.本文选用三层图像金字塔，对于测试样本和训练样本都采用文献[18]的方法进行特征统计，依次产生直方图序列，保存到矩阵中，再求取测试样本与训练样本金字塔对应层中的特征矩阵间欧式距离.由于不同尺度下的图像对于中性脸相似度计算的贡献度不同，所以，对于每层金字塔计算出的特征矩阵求取的欧式距离结果进行加权累加，金字塔从上到下选取权值依次为0.3、0.5、0.2，并对累加处理后的结果进行最大值最小值归一化，从而获得最终的中性脸相似度：式(3)中，sdi表示测试图像与训练集中的第i幅中性脸图像的相似度，di表示测试图像与第i幅中性脸图像特征值间的欧式距离，k表示训练集中的中性脸图像的数目，dmin为k个欧式距离中的最小值，dmax为k个欧式距离中的最大值.在大量实验的基础上，本文选定中性脸相似度阈值0.2，相似度小于0.2的中性脸图像都将作为测试图像的相似中性脸.设每幅测试图像获得m幅相似中性脸图像，利用式(4)计算测试样本与第i幅相似中性表情图像的特征点比例系数权值：获得权值后，计算测试样本与各幅相似中性脸图像的特征点距离比例系数kti，从而利用式(5)获得测试样本的加权几何特征：加权计算中，中性脸图像与测试样本相似度越高，对应的特征点比例系数的权重越大.2.2 基于充分矢量三角形的纹理特征提取本文为充分发挥文献[15]矢量三角形模式优势，将对面部表情影响较大的眉、眼和嘴3个器官进行局部分割，采用如表1所示的不同尺度充分矢量三角形描述局部特征，这样不仅能降低特征维度增加带来的时间消耗，而且能更精确地描述表情信息.本文将基于中性脸相似度的全局几何特征与基于充分矢量三角形的局部纹理特征融合，利用表情特征自身分布特性，分别在三个层级下，对不同的图像特征采用不同的SVM分类器进行表情图像类别判定.3.1 层级分类框架基于中性脸相似度的几何特征和基于充分矢量三角形的纹理特征在JAFFE库和CK 库中各种表情下的平均识别性能分别如表2和表3所示.从表2中可知，全局几何特征对于七种表情鉴别力的强弱依次为惊讶、高兴、生气、恐惧、中性、厌恶及悲伤；从表3中可知，局部纹理特征对于七种表情鉴别力的强弱依次为恐惧、悲伤、中性、高兴、厌恶、惊讶、生气.由于局部纹理特征关注表情图像细节灰度变化，且所提取的特征维度高于全局几何特征，故除生气与惊讶两种表情下的识别率低于全局几何特征之外，在其余五种表情下的平均识别率均高于全局几何特征，且识别效果普遍较好.生气、惊讶表情图像示例分别如图3(a)和图3(b)所示，人处于生气情绪时，特征点互相靠近，相对位置缩小，人处于惊讶情绪时，几何结构拉伸，特征点趋于分散，相对位置增大，故生气与惊讶适合利用全局几何特征描述.全局几何特征对于悲伤表情的识别精度最低，正如图3(c)所示那样，人处于悲伤情绪时，面部表情器官几何结构改变不大，特征点位移较小，因此不适宜利用全局几何特征判别.根据上述分析，本文提出表情图像层级分类框架，如图4所示，首先在局部层中用局部纹理特征区分出悲伤表情，对于判定为其他表情的表情图像暂不做定论，累积到全局层进行二次判别，然后在全局层中利用全局几何特征区分出生气和惊讶两种表情，对于判定为其余表情的表情图像暂不做定论，累积到混合层中进行基于后验概率的类别决策.图4中的“分类器1”表示选用多项式核函数且多项式次数设定为4的SVM分类器，“分类器2”为选用线性核函数的SVM分类器.3.2 基于后验概率的类别决策在全局层和局部层中，根据表情特征自身分布特征已识别出了区分度较高的表情，对于前两个层级中难以判别的表情图像，通过简单的融合规则使用全局特征和局部特征可能不能充分发挥两种特征各自的优势，故本文在混合层中利用两种特征分别训练不同的SVM分类器，再通过基于后验概率的类别决策方法得出图像的表情种类.用R1、R2分别表示分类器1和分类器2的识别结果，Y表示样本图像的类别标签，Ci表示第i个表情所属类别，假设R1与R2互相独立，通过交叉实验验证，可以获得每个分类器的混淆矩阵，从而计算得出：P(R1=Cj|Y=Ci)P(R2=Cj|Y=Ci).假设样本属于七种表情的概率相同，则式(6)成立：P(Y=CK|R1=Ci,R2=Cj) =P(Y=CK,R1=Ci,R2=Cj)/P(R1=Ci,R2=Cj)∝P(Y=CK,R1=Ci,R2=Cj) ∝P(R2=Cj,R1=Ci|Y=CK)P(Y=CK)∝P(R2=Cj,R1=Ci|Y=CK) ∝P(R1=Ci|Y=CK)P(R2=Cj|Y=CK)故P(Y=CK|R1=Ci,R2=Cj)正比于P(R1=Ci|Y=CK)P(R2=Cj|Y=CK).由于单个SVM分类器的性能是可以保证的，即式(7)和式(8)成立：当分类器1与分类器2的识别结果相同时，则无需通过计算，即可直接把两个分类器的识别结果作为最终的分类结果；当分类器1与分类器2的识别结果不同时，通过式(6)计算判定情感类别Kf：Kf=argmaxK[P(Y=CK|R1=Ci,R2=Cj)]=argmaxK[P(R1=Ci|Y=CK) ·P(R2=Cj|Y=CK)]4.1 实验相关参数选取4.1.1 中性脸相似度计算参数选取本文在JAFFE库中每人每种表情选取三幅图像，CK库中选出具有七种表情的十个表演者的表情图像，每人每种表情同样也选取三幅图像进行实验，以确定中性脸相似度计算中的参数值并验证利用多尺度矢量三角形计算中性脸相似度的可靠性，实验步骤如下：① 分别将JAFFE库和CK库中的30幅中性表情图像作为训练图像，剩下的180幅其他表情图像作为测试图像；② 获取正确识别出表情图像对应中性脸最优比率时的矢量三角形尺度与分块大小.不同尺度参数对JAFFE库和CK库识别结果的影响如图5所示，不同分块对JAFFE库和CK库识别结果的影响如图6所示.综合JAFFE库和CK库上的实验结果，选取大小为(8,6)的矢量三角形对4×4分块的表情图像进行中性脸识别，由图6可知，利用多尺度矢量三角形方法正确识别出中性脸的比率在JAFFE库中可达97%以上，CK库中均达98%以上，故利用该方法可进行可靠的中性脸识别.由于JAFFE库中均为日本女性他人脸，相互间差异较小，区分度较低，CK库中同时包含男性和女性，相互间差异较大，区分度较高，故CK库的中性脸识别率普遍高于JAFFE库.4.1.2 纹理特征提取参数选取图7以JAFFE库中实验结果为例，说明使用不同尺度的充分矢量三角形提取嘴部特征对识别率的影响.3维坐标系中，x、y轴表示所选充分矢量三角形两直角边的长度，z轴表示该尺度下的识别率.从图中可以看出，当x、y轴的数值相差较小时，曲面颜色较浅，即用两直角边长度相差较小的充分矢量三角形进行特征提取时，识别率较高.同理可获得适用于提取眼睛子图像和嘴巴子图像特征的充分矢量三角形的尺度.表4为单个器官子图像在2个表情图像库中3次实验的结果，单独使用尺度分别为7×4、5×7、7×7的充分矢量三角形提取眉毛、眼睛、嘴部特征作为图像特征进行测试时，嘴部子图像的识别率远高于眼睛子图像和眉毛子图像，即嘴部变化对表情识别影响更大，故我们采用3种尺度的充分矢量三角形描述嘴部特征，使用两种尺度的充分矢量三角形描述眉毛和眼睛的特征.综上所述，本文在纹理特征提取中选取如表1所示的充分矢量三角形尺度.4.1.3 SVM参数选取利用SVM对样本分类时，常用的核函数有高斯核函数、多项式核函数和线性核函数.高斯核函数局部特性强，具有较好的学习能力，但泛化能力相对较差；多项式核函数全局特性较好，同时具有很强的泛化能力，故本文中“分类器1”选用多项式核函数.图8为不同多项式次数下JAFFE和CK库上三次实验的平均识别结果，横坐标表示多项式次数，纵坐标表示该次数下的平均识别率，由图8可知，多项式次数设为4时在两个库中的平均识别效果最佳，故本文选取4作为分类器1的多项式次数，其他参数使用默认值.由于本文几何特征维度较低，而线性核函数对于低维度的分类识别效果较好，且速度快，故本文中“分类器2”选用线性核函数.该核函数无需专门的参数设置.4.1.4 层级分类框架设定混淆矩阵是监督学习中评估算法性能的有效方法，在JAFEE库和CK库中，全局几何特征在分类器1上的混淆矩阵分别如表5、表6所示.由表5和表6可知，利用全局几何特征进行表情识别时，悲伤表情易被误识别为中性，因为人处于悲伤时器官变化较小，特征点移动不明显，与中性表情的特征点相对距离相似，难以区分，故在层级分类时首先在局部层识别出悲伤表情，不再向下积累.JAFFFE和CK库中，局部纹理特征在分类器2上的混淆矩阵分别如表7、表8所示，由表7和表8可知，利用局部纹理特征进行表情识别时，生气表情易被误识别为厌恶，因为当人处于生气和厌恶情绪时，都会有皱眉、微闭眼睛等面部变化，纹理变化相类似，容易发生误判，故层级分类时，在局部层不进行生气表情判定，将判定累积至全局层.在混合层中通过混淆矩阵可计算出每种表情的最大后验概率，从而当全局层和局部层判别结果不一致时，利用式(9)可得出最终表情类别.基于后验概率的类别决策充分考虑了不同特征在不同分类器下的表现力，有效减少了表情在判别力较弱的特征下的误识别.例如，图9中样本图9(a)、图9(b)为累积到混合层中的识别样本，样本图9(a)在局部纹理特征下被R1识别为生气，在全局几何特征下被R2识别为高兴，真实表情类别为高兴时被R1识别为生气的概率为0.026，真实表情类别为高兴时被R2识别为高兴的概率为0.95，两者乘积大于真实表情为其他表情时的后验概率乘积，故最终结果为高兴，避免了局部纹理特征下的识别错误；样本图9(b)在局部纹理特征下被R1识别为中性，在全局几何特征下被R2识别为悲伤，真实表情类别为中性时被R1识别为中性的概率为0.9772，真实表情类别为中性时被R2识别为悲伤的概率为0.119，两者乘积大于真实表情为其他表情时的后验概率乘积，故最终判别结果为中性，避免了全局几何特征下的识别错误.4.2 算法识别率及运行时间分析本文中全局几何特征提取实验、局部纹理特征提取实验及层级分类实验都基于JAFFE库与CK库，在两个库中分别选取210幅人脸表情图像，其中每个表演者在每种表情下均选取3幅图像，每人每种表情选取1～2幅图像用做训练，剩余的100幅图像用做测试，循环三次验证.4.2.1基于中性脸相似度的几何特征提取方法实验分析单独利用特征点间相对距离作为几何特征进行表情识别将忽略个体差异对表情识别的影响，利用单幅相似中性脸计算特征点比例系数作为几何特征进行表情识别过分依赖于最相似中性脸，本文利用相似度对特征点比例系数进行自适应加权，克服了上述问题，取得了良好的效果.JAFFE库和CK库上的三组实验结果对比如表9和表10所示.实验环境为WINDOWS XP，CPU为奔腾系列，单核2.10GHZ，2.0GB内存.本文几何特征提取算法在JAFFE库上的特征提取时间约为173ms，主要时间消耗为AAM模型建立时间82ms与AAM拟合时间90ms；在CK库上的特征提取时间约为228ms，主要时间消耗为AAM模型建立时间117ms与AAM模型拟合时间110ms.本文几何特征提取算法在JAFFE库上识别时间约为673ms，在CK库上识别时间约为1128ms，主要时间消耗为AAM的建立与拟合以及人脸相似度计算.CK库中图片较大，耗时均高于JAFFE.本文几何特征提取方法虽然识别时间高于一般基于AAM的几何特征表情识别方法，但是也取得了优于一般基于AAM的几何特征表情识别方法的识别效果，该算法与部分具有代表性的几何特征提取方法的识别率对比如表11所示.4.2.2 表情层级分类方法实验分析表情层级分类方法实验结果如表12、表13所示，该方法在JAFFE库上平均识别率为97%，在CK库上的平均识别率为98%，存在部分误识别表情样本，主要是由于局部层或全局层中的直接判定导致的，如JAFFE库中的样本在全局层下进行识别时，厌恶、恐惧、悲伤都可能被判定为生气，导致识别错误；CK库中的样本在局部层下进行识别时，生气、厌恶、中性都可能被判定为悲伤，导致判别错误，但局部层和全局层中的直接判定一定程度上减少了表情识别时间，提高了识别效率. 表14为层级分类与全局几何特征、局部纹理特征的平均识别率在JAFFE库和CK库上的对比，实验结果表明，本文对于局部纹理特征和全局几何特征的融合有效利用了两种特征各自的鉴别能力，提升了识别效果.不同表情在层级分类方法中的识别时间存在差异，若表情识别为悲伤，则只需局部层的决策时间，在JAFFE库上约为12ms，CK库上约为31ms；若表情识别为其他表情，则需要全局层和局部层的决策时间累加和，在JAFFE库上约为685ms，在CK库上约为1160ms，虽然层级分类方法在识别时间上有所增加，但仍维持在可接受的范围内，并且有效的提高了表情识别能力.本文提出了基于纹理和几何特征的人脸表情层级分类方法，该方法将几何特征与纹理特征结合构造了表情图像层级分类框架，从全局层、局部层和混合层三个层级进行表情分类，在各层级中充分利用表情特征自身分布特性，有效发挥各种表情特征的鉴别能力，提高了表情图像识别的正确率：(1)多尺度矢量三角形在中性脸相似度计算中表现良好，根据相似度进行自适应几何特征加权，有效避免了几何特征对于单幅相似人脸图像的过分依赖，使得越相似的人脸几何特征贡献度越大，从而令测试样本的几何特征鲁棒性更强.(2)本文提出的基于中性脸相似度的面部几何特征提取方法一定程度上减少了个体差异给表情识别造成的不利影响，可在未知中性脸样本的静态图片识别中使用. (3)全局几何特征对使面部几何结构发生明显变化的表情具有较好的识别效果，局部纹理特征对面部表情的细节变化具有良好的感知力，充分利用两种特征的自身鉴别能力进行表情识别，可取得良好的识别效果.(4)将表情进行层级分类，首先确定单个特征下鉴别力较好的表情类别，然后将不易判定的表情积累到混合层，通过基于后验概率的类别决策方法进行分析，从而有效避免单个特征下的误识别.江河(通讯作者) 女，1989年7月出生，安徽芜湖人，硕士研究生.主要研究方向：数字图像处理、机器学习等.E-mail:**************。

基于局部特征的三维人脸识别

基于局部特征的三维人脸识别
胡敏艳;孙杳如
【期刊名称】《现代计算机（专业版）》
【年(卷),期】2016(000)006
【摘要】Shape Index和曲度用于构造局部特征,并运用于三维人脸识别中.这种局部特征的提取方法用于人脸识别,不需要预先进行对齐处理,而且对有遮挡的人脸数据具有相对较好的识别效果.这里,局部特征提取的主要步骤如下:在不同的尺度上对三维人脸上的关键点进行检测;再对检测到的关键点确定主方向,然后根据主方向构造关键点在某一邻域内的特征向量.实验所用数据库是Bosphorus Database,是Bogazici大学采集的三维人脸数据库.
【总页数】6页(P33-38)
【作者】胡敏艳;孙杳如
【作者单位】同济大学电子与信息工程学院计算机科学与技术系,上海201804;同济大学电子与信息工程学院计算机科学与技术系,上海201804
【正文语种】中文
【相关文献】
1.基于关键点和局部特征的三维人脸识别 [J], 郭梦丽;达飞鹏;邓星;盖绍彦
2.基于区域分割的表情鲁棒三维人脸识别方法 [J], 桑高丽; 郑增国; 闫超
3.基于分层特征化网络的三维人脸识别 [J], 赵青;余元辉
4.基于Sin-K2DPCA的三维人脸识别 [J], 吴林
5.基于Sin-K2DPCA的三维人脸识别 [J], 吴林
因版权原因，仅展示原文概要，查看原文内容请购买。

人脸表情识别研究

摘要人脸表情识别技术是人工智能领域新兴的一个研究方向，它在智能化的人际交互中具有广阔的应用前景。

同时，该技术还被广泛应用在交通、医疗和公共安全等方面。

近年来，人脸表情识别技术受到了更多学者的关注，成为了人工智能领域的又一研究热点。

因此，对人脸表情识别技术的研究具有重要的理论意义和实际的应用价值。

人脸表情识别技术主要包括图像预处理、特征提取和分类识别。

在人脸表情图像预处理中，针对人眼定位的问题，给出了一种基于Sobel边缘提取的人眼定位新方法。

主要包括眼部粗定位、眉眼分离和精确定位三个步骤。

眼部粗定位是在对图像进行中值滤波和归一化预处理后，根据先验知识来完成。

眉眼分离是利用灰度积分投影曲线来确定眉眼分离线，然后进行分离。

眼睛的精确定位是通过对眼睛区域应用Sobel算子提取边缘后，根据二值图像的边界来确定精确的位置。

该方法与Hough变换圆检测法和传统模板匹配法相比较，在计算时间上具有明显优势，适合应用于实时人脸表情识别系统中。

针对特征提取，给出一种应用Gabor小波变换和非负矩阵分解相结合的特征提取方法。

结合Gabor小波变换的特性，设计了相应的Gabor滤波器组，利用它对面部信息区域进行滤波处理，获取不同的子图信息。

接着，对各个滤波器滤波产生的子图分别进行非负矩阵分解，实现数据的降维及特征的选择。

针对分类识别，设计了基于最近邻思想和概率统计原理的两级分类模式。

从各个滤波器获得的子图信息为输入信息，将其输入作为第一级分类器的最近邻分类器，对第一级分类器的输出结果进行概率统计，以实现第二层分类，第二层分类器的输出结果作为最终的识别结果。

两级分类模式使每幅图像实现了多次判别，降低了错误分类的可能性，提高了算法的鲁棒性。

在MATLAB编程环境下，采用日本女性人脸表情数据库（JAFFE）进行了实验测试。

实验结果表明了本文所给方法的有效性。

除此以外，还将所给出的方法应用于小样本下的人脸识别中，并在Yale人脸库中进行了实验，结果显示该方法也适用于小样本的人脸识别技术中。

局部图像特征描述概述

局部图像特征描述概述樊彬中国科学院自动化研究所模式识别国家重点实验室(CASIA NLPR)局部图像特征描述是计算机视觉的一个基本研究问题，在寻找图像中的对应点以及物体特征描述中有着重要的作用。

它是许多方法的基础，因此也是目前视觉研究中的一个热点，每年在视觉领域的顶级会议ICCV/CVPR/ECCV上都有高质量的特征描述论文发表。

同时它也有着广泛的应用，举例来说，在利用多幅二维图像进行三维重建、恢复场景三维结构的应用中，其基本出发点是要有一个可靠的图像对应点集合，而自动地建立图像之间点与点之间的可靠对应关系通常都依赖于一个优秀的局部图像特征描述子。

又比如，在物体识别中，目前非常流行以及切实可行的方法之一是基于局部特征的，由于特征的局部性，使得物体识别可以处理遮挡、复杂背景等比较复杂的情况。

局部图像特征描述的核心问题是不变性（鲁棒性）和可区分性。

由于使用局部图像特征描述子的时候，通常是为了鲁棒地处理各种图像变换的情况。

因此，在构建/设计特征描述子的时候，不变性问题就是首先需要考虑的问题。

在宽基线匹配中，需要考虑特征描述子对于视角变化的不变性、对尺度变化的不变性、对旋转变化的不变性等；在形状识别和物体检索中，需要考虑特征描述子对形状的不变性。

然而，特征描述子的可区分性的强弱往往和其不变性是矛盾的，也就是说，一个具有众多不变性的特征描述子，它区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。

举个例子，假定我们需要对一个点周围固定大小的局部图像内容进行描述。

如果我们直接将图像内容展开成一个列向量对其进行描述，那么只要局部图像内容发生了一点变化，就会使得它的特征描述子发生较大的变化，因此这样的特征描述方式很容易区分不同的局部图像内容，但是对于相同的局部图像内容发生旋转变化等情况，它同样会产生很大的差异，即不变性弱。

而另一方面，如果我们通过统计局部图像灰度直方图来进行特征描述，这种描述方式具有较强的不变性，对于局部图像内容发生旋转变化等情况比较鲁棒，但是区分能力较弱，例如无法区分两个灰度直方图相同但内容不同的局部图像块。