人脸表情自动识别系统的研究与实现

PCA算法介绍
对特征值按从大到小进行排序，并按下式定义排序后的方差贡献 率
由此可求出前M个主成份分量，使其方差贡献率大于某个阈值ζ， ζ可认为是进行K-L变换后选取的子空间占原空间的比率，即保留 原图像空间的信息量， 一般取0.8。前M 个特征值对应的特征向 量组成M 维子空间，其维数远小于原图像空间的维数，且保留了 原图像的大部分信息。然后便可将待测图片向量投影到M维子空 间中，投影坐标即作为用于分类输入数据。 经PCA处理后的表情图像称为特征表情脸（eigen expression face）。
PCA算法介绍
设训练集中每一幅表情图像对应一个高维向量， 则训练集可表示为S={X1，X2，...，XN}，Xk 表示第k(1<=k<=N)幅表情图像向量。N为训练 图像的总数。则训练集的总体协方差矩阵为:
对该协方差矩阵对角化以获得特征值λ，和对 应的特征向量μ，则所有的特征向量组成一个 标准正交系。
主成分分析PCA算法介绍
• PCA已广泛的运用于人脸识别和表情识别中，PCA是 根据像素间的二阶相关性，利用代数中的子空间法给 图像矩阵大大降维，提取那些能代表所要识别的几种 特征人脸表情的主要特征分量并形成特征识别空间， 利用待识别区域在此特征空间的投影距离来识别。 • PCA基于K-L正交变换，它将一组高维训练图像集进行 K-L正交变换，生成一组新的正交基，以消除原有向 量间的相关性。提取出该正交基中对应较大特征值的 部分特征向量，从而生成低维的表情特征空间，同时 保留原高维空间的主要成份分量。
特征脸方法的不足
• 用训练过的人和未训练过的人分别做测试，实验结果：
本文采用的方法
• 对于人脸先定位眼睛和嘴的区域，然后对眼睛 和嘴的区域分别进行PCA算法，形成特征眼和 特征嘴，然后将测试图片的眼睛和嘴的区域分 别投影到特征空间，得到眼睛和嘴在特征空间 的坐标，然后根据眼睛和嘴对于表情识别的重 要性给与不同的权重，进行分类。
表情识别的3个关键环节
• 自动人脸表情识别系统包括人脸检测，特征提 取和表情分类3个关键环节.
• 在分析人脸表情和抽取特征数据之前，首先要 进行人脸检测。检测到人脸之后将人脸从背景 中分割出来，并进行尺寸，灰度等的归一化。 之后的特征提取可以分为静态和动态图像2种 情况。最后，要定义一些人脸情感类别并且设 计分类的算法来进行人脸的表情分类.
与小波变换相结合
• 对定位后的眼睛和嘴区域先进行小波变 化，然后对不同频带图像分别做PCA， 根据实验结果选取识别率好的频带图像， 作为分类依据，并给不同频带图像以不 同的权重，初步观察，近似图像和水平 高频将对识别有较好效果。
人脸表情识别系统流程图
二值图片 小波变换 眼睛区域 原始图片 高频图像 PCA 小波变换 低频图像 PCA 投影坐标 投影坐标 低频图像 PCA 投影坐标 分配权重 分类 进行分类 结果 高频图像 PCA 投影坐标
整体法与局部法
• 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发， 都是将表情人脸作为一个整体来分析，找出各种表情下的图像差 别。其中典型的方法有：基于特征脸的主分量分析（Principal Component Analysis，PCA）法、独立分量分析法 （Independent Component Analysis，ICA）、Fisher线性判 别法（Fisher’s Linear Discriminants，FLD）、Fisher运动法 （Fisher Actions）、隐马尔科夫模型法（Hide Markov Model， HMM）和聚类分析法。 • 局部识别法就是将人脸的各个部位在识别时分开，也就是说各个 部位的重要性是不一样。比如说在表情识别时，最典型的部位就 是眼睛、嘴、眉毛等，这些地方的不同运动表示了丰富的面部表 情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量 少的对鼻子进行分析，能加快速度和提高准确性。
国内外研究水平
•
•
•
人脸表情识别是人机智能交互的重要基础，该课题涉及图像处理、运动跟踪、模 式识别、生理学、心理学等研究领域，是当前国内外模式识别和人工智能领域的 一个研究热点。 关于表情分类与识别的研究工作可以分为基于心理学的和基于计算机识别的两类， 在心理学方面，1971年，Ekman和Friesen对人类情绪进行了分类，提出6种基本 情绪:高兴(happiness)、悲伤(sadness)、惊奇(surprise)、恐惧(fear)、厌恶 (disgust),、愤怒(anger)，每种基本情绪都对应着一个独特的较为典型的脸部表 情。在此基础上他们又提出了脸部运动编码系统(Facial Action Coding System， FACS)，将脸部肌肉运动划分为不同的运动单元(Action Units, AUs)，每种运动 单元对应了不同的表情状态。;在计算机识别方面，最早是1978年，Suwa曾对选 定的连续录像画面中脸部固定的20个点进行跟踪识别，并与典型模式进行比较以 实现脸部表情识别。 目前在国际上对人脸面部表情的识别及其相关方向的研究主要有美国的麻省理工 大学（MIT）、卡耐基梅隆大学（CMU）、马里兰大学（Maryland）、日本东 京大学（Tokyo）等。在国内，也有很多大学和科研机构从事表情识别研究，主 要有清华大学、哈工大、北京交通大学、中科院自动化所和计算所等。
眼睛和嘴的定位方法
• 对人脸图像进行二值话和滤波去噪处理。然后进行水平灰度投影 通过对投影曲线的分析可知，人脸的主要器官眼睛和嘴巴的位置 分别对应曲线的两个谷值区域，由此可以粗略的检测出眼睛(和 嘴巴)的位置。并结合人脸五官位置的先验知识即可选取眼睛和 嘴的区域
与小波变换相结合
• 小波变换的实质是对原始信号的滤波过程，各尺度时 间内的低频信号和高频信号能够提供原始信号的时频 局部信息。在图像识别领域，应用比较多的是对数字 图像的二维离散小波变换。经过小波分解处理的图像 数据可以得到一系列不同分辨率的子图像，分别刻画 出不同频率的图像信息。一副图像经过一层二维小波 变换后，被分成4个子图：LL，LH，HL，HH。LL频 带保持原图像的内容信息，HL频带保持了原图像的水 平方向上的高频边缘信息;LH频带保持了原图像的垂 直方向上的高频边缘信息;HH频带保持了原图像在对 角线方向上的高频信息
人脸表情识别流程图
表情特征提取的主要技术
• 表情识别的关键在于表情特征提取的准确性和有效性上。 • 目前所用到的识别特征主要有：灰度特征、运动特征和频率特征 三种。 • 灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同 灰度值来得到识别的依据。这种情况下要求图像对光照、角度等 因素要进行充分的预处理，使获得的灰度值具有归一性。 • 运动特征利用了不同表情情况下人脸的主要表情点的运动信息来 进行识别。 • 频域特征主要是利用了表情图像在不同的频率分解下的差别，速 度快是其显著特点。 • 在具体的表情识别方法上，方向主要有三个：整体识别法和局部 识别法、形变提取法和运动提取法、几何特征法和容貌特征法。
几何法和容貌特征法
• 几何特征法是根据人的面部的各个部分的形状和位置 （包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这 个特征矢量来代表人脸的几何特征。根据这个特征矢 量的不同就可以识别不同的表情。重要的方法是：基 于运动单元（AU）的主分量分析法。 • 在容貌特征法中，主要是将整体人脸或者是局部人脸 通过图像的滤波，以得到特征矢量。常用的滤波器是 Gabor 小波。 • 当然，这三个发展方向不是严格独立，它们只是从不 同角度来进行特征提取，都只是提供了一种分析表情 的思路，相互联系，相互影响。有很多种方法是介于 两者甚至是三者之间。
嘴区域
进度安排
• 9月－11月完成算法的理解与研究和程序 的初步编写与调试。 • 12月－2月完成基于JAFFE人脸数据库 的实验，根据实验结果调整算法，完善 识别系统。 • 3月－5月编写论文。
主要参考文献
• • • [1]Essa Irfan A. Coding, Analysis, Interpretation, and recognition of Facial Expressions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997-07, 19(7): 757-763. [2]Calder Andrew J, Burton A Mike, Miller Paul, Young Andrew W. A Principal Component Analysis of Facial Expressions [J]. Vision research,2001, 41: 1179-1208. [3]Baek Kyungim, Draper Bruce A, Beveridge J Ross, She Kai. PCA vs. ICA: A comparison on the [OL].http://www.dodcounterdrug.com/facialrecognition/FRVT2000/frvt2000.htm [4]Havran C, et al. Independent Component Analysis for face authentication [A]. KES’2002 proceedings- knowledge-based intelligent Information and Engineering Systems [C]. Crema (Italy), 2002-09. 1207-1211 [5]Bartlett Marian Stewart, Lades H Martin, Sejnowski Terrence J. Independent component representations for face recognition Proceedings of the SPIE Symposium on Electronic Imaging [A]. Science and Technology; conference on Human Vision and Electronic Imaging Ⅲ [C].California: San Jose, 1998-01. [6]Cohen Ira, Garg Ashutosh, Huang Thomas S. Emotion Recognition From Facial Expressions using Multilevel HMM [OL].http://www.ifp.uiuc.edu/~ashutosh/papers/NIPS_emotion.pdf [7]Lyons Michael J, Budynek Julien, Aukamatsu Shigeru. Automatic Classification of Single Facial Images [J]. IEEE TRANSACTIONS ON PAMI., 1999-12, 21(12). [8]张家树 陈辉等人脸表情自动识别技术研究进展[A] 西南交通大学学报 第40卷第3期 2005-06
形变法与运动法
• 形变提取法是根据人脸在表达各种表情时的各个部位 的变形情况来识别的，主要的方法有：主分量分析法 （PCA）、Gabor 小波、运动模板法（Active Shape Model，ASM）和点分布模型（Point Distribution Model，PDM）法。 • 运动法是跟踪人脸在表达各种特定的表情时一些特定 的特征部位的运动来识别的。典型的识别方法有：光 流法（Optical Flow）和MPEG-4 中的脸部运动参数 法（Face Animation Parameter FAP）
人脸表情自动识别系统的 wenku.baidu.com究与实现
导师：赵政 学生：孙涵
提纲
• • • • • 研究背景及意义 国内外研究水平及存在问题 本文采用的技术及方法 工作进度安排 参考文献
研究背景及意义
• 人类的语言分为自然语言和形体语言两类，面部表情 是形体语言的一部分。在人类交往过程中，言语与表 情经常是相互配合的。一些心理学家研究发现在人类 进行会话交流传递信息时：话语内容占7%；说话时的 语调占38%；而说话人的表情占55%，所以说表情在 人类交往活动中起到了重要的作用。 • 因此对人类面部表情的识别与分析有重要的意义，它 不仅将有利于我们开发更高效的人机交互界面，也是 研究情感机器人，使之能表现、识别和理解人类的情 感的工作起点。