21_人脸表情识别_章毓晋

2005-12-09
第37页
参考文献
©章毓晋
介绍
¾ 章毓晋。中国图象工程：2004。中国图象图形学报， 2005，10(5): 537~560
¾ 章毓晋。中国图象工程及当前的几个研究热点。计算 机辅助设计与图形学学报，2002，14(6): 489~500
原理
¾ Mehrabian A. Communication without Words. Psychology Today, 1968, 2(4): 53~56.
操
目标
作 对
象
数 据 量
象素 大
第5页
介绍
©章毓晋
¾ 图象工程文献综述系列 [章2005]
• 每年《中国图象图形学报》5月那一期 • 已历时 10 年，涉及 15 种刊物，
4032（18819）篇论文
主要目的
(1) 概括我国图象工程发展现状 (2) 帮助读者查阅有关研究文献 (3) 对期刊编者和论文作者提供参考
博士生学科前沿课
2005年秋季学期
人脸表情识别
章毓晋
清华大学电子工程系 100084 北京
大纲
©章毓晋
¾ 介绍（在图象工程中的位置） ¾ 原理（基本特点，应用，类别） ¾ 综述（研究进展，所用技术） ¾ 示例（几个关键步骤的实际图象） ¾ 展望（存在问题，研究方向）
2005-12-09
第2页
介绍
©章毓晋
2005-12-09
第6页
1
介绍
©章毓晋
¾ 图象工程研究文献
• 图象处理（图象 ⇒ 图象）
• 图象分析（图象 ⇒ 数据）
• 图象理解（图象 ⇒ 解释）
• 技术应用（图象处理、分析、理解技
术的工程实现）
• 综述（综合图象处理、分析、理解）
2005-12-09
第7页
介绍
©章毓晋
¾ 图象分析
• 边缘检测，图象分割 • 目标表达、描述、测量 • 目标颜色、形状、纹理、空间和运动分析 • 目标检测、提取、跟踪、识别和分类
2005-12-09
第39页
参考文献
©章毓晋
示例
¾ 谭华春，章毓晋。基于人脸相似度加权距离的非特 定人表情识别. 电子与信息学报，2006
2000年
• 人脸和器官的检测、定位与识别 •人脸表情识别
2005-12-09
第8页
原理
©章毓晋
¾ 人脸和器官的检测、定位与识别
•基本技术 •图象分割，目标检测，模式识别，等等
•主要类别 •人脸检测定位（跟踪和鉴别） •生物特征（器官）识别
•应用背景 •人机交互，以人为中心、友好、人性化 •人（身份）、姿态和行为的识别
2005-12-09
第13页
综述
©章毓晋
¾ 三个步骤/环节 [刘2006] 人脸检测、特征提取、表情分类
c人脸检 测与定位
d 表情特征提取
原特 特 始征 征 特降 分 征维 解 生提 成取
e人脸表 情分类
人脸检测与在人脸识别中类似
2005-12-09
第14页
综述
©章毓晋
¾ 好的表情特征提取结果：
（1）完整的表示出人脸表情的本质特征
¾ 图象
z 用各种观测系统以不同形式和手段观测客观 世界而获得的，可以直接或间接作用于人眼 并进而产生视知觉的实体
z 图象（广义/抽象）⊃ 图像（狭义/具体）
¾ 图象与信息
z 人类从外界（客观世界）获得的信息约有 75%来自视觉系统
2005-12-09
第3页
介绍
©章毓晋
¾
¾
2005-12-09
图象技术
2005-12-09
©章毓晋 第23页
示例
©章毓晋
¾ 人脸检测 ¾ 眼帘和虹膜的检测 ¾ 眨眼过程中的跟踪 ¾ 基于正面和侧面人脸的表情分析 ¾ 非特定人表情特征提取和分类
2005-12-09
第24页
4
示例
©章毓晋
¾ 人脸检测 – 基于SUSAN算子的角点提取 – 利用Hausdorff 距离的匹配 – 建立一个基于边缘的平均人脸模板
不仅可用于特定条件下采集的图象， 而且可用于任意条件下采集的图象 ¾ 过程自动化，避免手工介入
2005-12-09
第36页
6
展望
©章毓晋
¾ 可能的研究方向
¾ 结合多种特征进行分类识别
¾ 将生理学、心理学和解剖学的知识与机器学 习的方法相结合
¾ 三维人脸建模 减少光照、姿态变化，脸部阻挡影响
¾ 表情分类的机制 ¾ 将人脸表情识别技术推广到其他识别工作
2005-12-09
第9页
原理
©章毓晋
¾ 人脸表情分析
人类情感交流中的地位 [Mehrabian 1968]
z 语言内容：7％
7%
z 语音语调：38％
z 脸部表情：55％
55%
38%
表情反映内心
z 测谎（> 95%）
语言 语调 表情
2005-12-09
第10页
原理
©章毓晋
¾ 人脸表情分类
9 人脸是非刚性自然物体 9 人脸表情具有多样性、多义性 9 人脸表情与脸部器官的运动变形有关 9 人类人脸表情的分类是抽象的、综合性的 9 计算机对人脸表情的识别和计算则需要根据
高阶奇异值分解 （相似的人具有相似的表情）
2005-12-09
©章毓晋 第33页
示例
¾ 非特定人表情特征提取和分类
外 观 表 情 特 征
2005-12-09
©章毓晋 第34页
示例
©章毓晋
¾ 非特定人表情特征提取和分类
AU1 AU6 AU1+2 AU1+2+5 AU4+7 AU4+6+7 平均
2005-12-09
z 基于混合特征的方法 许多不同的组合手段
2005-12-09
©章毓晋 第17页
综述
©章毓晋
¾ 原始特征获取的方法 图象序列
z 基于帧内特征的方法 特征点（眼角点，嘴角点）跟踪，模型跟踪
z 基于序列特征的方法 光流，缺点是光照不均匀和脸部非刚性运动 等因素将会影响特征提取的结果
2005-12-09
具体的器官状态来进行
2005-12-09
第11页
原理
©章毓晋
¾ 现代研究开始于上个世纪70年代
主要集中在心理学和生物学方面的分析 不同性别，不同种族的人群中有一致性
¾ 面部表情编码系统（FACS）
用44个运动单元（AU）来描述人脸表情变化
¾ 六种基本表情/情感类别
高兴、悲伤、惊奇、愤怒、厌恶、恐惧
2005-12-09
第18页
3
综述
©章毓晋
¾ 特征降维和提取的方法
主元分析（PCA）法
z 提取了最有代表性的特征
z 可以有效地消除冗余，降低维数
z 但没有考虑不同类别数据之间的区分性
线性判别分析（LDA）法
z 通过最大化数据的类间离散度和最小化类内
离散度来选择合适的投影方向
z 侧重于寻找具有最大分辨力的方向
2005-12-09
HLAC，LBP 混合特征：AAM 序列特征：光流，
运动单元
PCA，LDA， ICA，CDA，
MPPCA， 排序PCA+LDA
双线性分 解，
高阶奇异 值分解
2005-12-09
第16页
综述
¾ 原始特征获取的方法 静态图象
z 基于几何特征的方法 简洁表示宏观结构变化
z 基于外貌特征的方法 侧重提取局部细微变化
第19页
综述
©章毓晋
¾ 特征分解的方法
人脸图象包含了丰富的信息 不同的识别任务所利用的信息各不相同
人脸检测寻找的是人脸图象共有的一致性
人脸识别需要利用表示人脸个体差异的信息
表情识别需要表示各种表情之间差异的信息
把人脸不同的因素， 如表情因素和个体因素分离开来
2005-12-09
第20页
第12页
2
原理
©章毓晋
¾ 面部表情编码系统（FACS）
1978年提出，心理学研究中最常用 人类观察者可借以用面部肌肉的运动来反映 面部表情的变化 面部表情的变化用44个运动单元来描述 每个运动单元从解剖学角度都与某块或某几 块面部肌肉相对应 他们可有7000多种组合，有许多很难从2-D 面部图象中检测出来
广义上各种与图象有关的技术的总称
• 对图象的各种加工 • 基于加工结果的判断决策和行为规划 • 为此进行的硬件设计及制作
图象工程
不同层次图象技术的有机结合及应用 一门新的交叉学科
第4页
介绍
¾ 图象工程三层次
高 高层
抽
象 程
语 义
中层
度
低层 低
图象理解 图象分析 图象处理
2005-12-09
©章毓晋
小 符号
(1) 反差大 (2) 点特征
2005-12-09
©章毓晋
示例
¾ 眼帘和虹膜的检测
©章毓晋
(a)
(b)
(c)
(d)
(e)
(a) 原始图象；(b) 初始参数；(c) 第一步结 果；(d) 第二步结果；(e) 最后结果
第27页
2005-12-09
第28页
示例
©章毓晋
¾ 眨眼过程中的跟踪
z 眼睛的状态（也就是眼睛是睁开还是闭合） z 眼睛模型的详细参数（例如虹膜的位置和半
径，眼角点的位置以及眼睛睁开的程度）
同时利用了虹膜的灰度和边缘信息来构造和 虹膜有关的能量函数
利用眼睛闭合前眼帘中点的模式来预测眼睛 重新睁开后眼帘中点的模式 [Tan 2006]
2005-12-09
第29页
示例
¾ 基于正面和侧面人脸的表情分析
©章毓晋
双摄像机 头部装置 [Pantic 2004]
2005-12-09
第25页
示例
©章毓晋
¾ 眼帘和虹膜的检测
基本模型（可变形模板）
(1) 一个圆 (2) 两条抛物线 (3) 两个眼角交点 z 充分利用眼睛
所提供的信息
(4) 新角点（圆和抛物线的交点）[Tan 2003]
2005-12-09
第26页Baidu Nhomakorabea
示例
¾ 眼帘和虹膜的检测
交/角点检测
虹膜与眼帘的 相交处：
¾ Yang M, Kriegman D J, Ahuja N. Detecting Faces in Images: A Survey. IEEE PAMI, 2002, 24(1):34~58
¾ Fasel B, Luettin J. Automatic Facial Expression Analysis: A survey. Pattern Recognition, 2003, 36(1):259~275
第38页
参考文献
©章毓晋
综述
¾ 刘晓旻，谭华春，章毓晋。人脸表情识别研究的新 进展。中国图象图形学报，2006
¾ Pantic M, Rothkrantz L. Automatic analysis of facial expressions: the state of the art. IEEE PAMI, 2000, 22(12): 1424~1445
空时分析方法
z 隐马尔科夫模型
用HMM方法进行识别需要确定其初始 和结束的状态，因此一般用于单独的表情序 列或分割好的表情序列
2005-12-09
第22页
综述
¾ 图象数据库
算法比较的标准 CMU的Cohn-Kanade数据库
基于AU编码的数据库 脸部活动，包括单个AU或者AU组合 ATR的女性表情数据库（JAFFE） 以7种基本表情为基础的数据库
¾ Tan H C, Zhang Y-J. Techniques for Automatic Facial Expression Analysis. Encyclopedia of Human Computer Interaction, Idea Group, Inc., 2005, 1~8
2005-12-09
2005-12-09
第30页
5
示例
正面人脸 侧面人脸 双视脸像
[Pantic 2004]
2005-12-09
©章毓晋 第31页
示例
¾ 基于正面和侧面人脸的表情分析
©章毓晋
轮廓上的 特征点 （19＋10） [Pantic 2004]
2005-12-09
第32页
示例
¾ 非特定人表情特征提取和分类
特征提取的难点 (1) 姿态、光照 (2) 个体差异
直接分类 40% 85.7% 16.7% 54.6% 66.7% 0% 55.6%
传统方法 80% 92.9% 33% 27.3% 33.3% 66.7% 58.6%
建议方法 100% 78.6% 83.3% 45.5% 66.7% 100% 73.3%
第35页
展望
©章毓晋
¾ 需解决的问题
¾ 提高对人脸和器官定位的精度 ¾ 增强对器官检测的鲁棒性 ¾ 改善识别算法的普适性
（2）去除噪声、光照及其他与表情无关的干扰信息
（3）数据表示形式紧凑，避免过高的维数
（4）不同类别表情的特征之间有较好的区分性
三个步骤：1）原始特征获取
2）特征降维和提取
3）特征分解
2005-12-09
第15页
综述
©章毓晋
¾ 表情特征提取的三个步骤及方法
原始特征获取 特征降维和提取 特征分解
几何特征：基准点 外貌特征：Gabor，
综述
©章毓晋
¾ 表情分类方法
定义一组类别，并设计相应的分类机制 对表情进行识别，归入相应类别
如按照脸部动作分类（FACS），将脸部的 动作分类到44个AUs
或按照情感分类，将表情分类到6种基本情感
方法：基于空间分析 空时结合
2005-12-09
第21页
综述
©章毓晋
空间分析方法
z 基于专家规则（Expert rules）的方法 z 基于机器学习：人工神经网，贝叶斯分类