表情识别

2006-6-5 USTC
Jia XUE
Recognise emotions
Six ‘Universal’ Facial Expressions of Emotions
1. 2. 3. 4. 5. 6.
Happiness Sadness Surprise Fear Anger Disgust
2006-6-5 USTC
悲伤
680/2530
90.00%/85.96%
85.96%/75.44%
2006-6-5 USTC
CS, USTC
Jia XUE
四、总结
1.对面部动作单元的识别方法进行研究。
• 提出使用IGA进行AU识别，避开传统识别方法所 遇到干扰条件的影响； • 提出两种改进识别算法：使用结合SVM的IGA和 基于绝对尺度预测的IGA算法，减轻用户疲劳度。
国内 清华大学、哈尔滨工业大学、中科院、中国科技
大学、南京理工大学、北方交通大学
2006-6-5 USTC
绪论
Jia XUE
图像或图像序列 人脸检测与定位 人脸 人脸特征提取 特征 表情识别
Cohn-Kanade AU-Coded Facial Expression Database
Action Units

Jia XUE
Basic Idea
Inexperienced subjects
X
Detect AU from facial images Recognize facial behavior, open mouse, frown, stare Grasp the similarities and differences between two images
• Darwin，1872年 《人与动物的表情》面部表情在 人类与动物中存在的普遍性和连续性。 • 1971年，Ekman和Friesen提出了6种基本情感 • 1978年，Suwa等人提出了在图像序列中进行面部 表情自动分析。 • 从20世纪90年代开始，由Mase和Pentland提出的 光流法进行面部表情识别之后 ，自动面部表情识 别进入了新的时期。
Parameters Value Parameters Value
Jia XUE
• GA :
Population size Crossover rate Mutation rate
12 GA coding 0.8 Bit length 2006-6-5 USTC 0.01
Binary coding 92
2006-6-5 Uwk.baidu.comTC
面部表情识别
Jia XUE
• 表情识别实验
– 这里使用Cohn_Kanade的面部图像数据库作为训练样 本和测试样本。
表情 高兴 惊讶 训练样本个数 140 120 测试样本个数 61 52
愤怒
恐惧 厌恶 悲伤
160
180 170 230
58
76 53 57
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Jia XUE
有待解决的一些问题：
1、本文AU识别方法的推广：任何AU和AU组合的识别；动 态的图像序列的AU识别。 2、交互和动态的增加样本集。 3、对于情感有关的其他脑部成分进行有益的探索，更好地实 现基于大脑模型的情感识别机制。
2006-6-5 USTC
Jia XUE
2006-6-5 USTC
2006-6-5 USTC
1.2.2 遗传策法的运算过程
选择(复制)： 根据各个个体的适应度，按照一 定的规则或方法，从第t代群体P(t) 中选择出一些优良的个体遗传到下 一代群体P(t+1)中； 交叉： 将群体P(t)内的各个个体随机搭配 成对，对每一对个体，以某个概率 (称为交叉概率）交换它们之间的 部分染色体； 变异： 对群体P(t)中的每一个个体，以 某一概率(称为变异概率)改变某 一个或某一些基因座上的基因值 为其他基因值。
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
研究现状
Jia XUE
国际上 美国、日本、英国、德国、荷兰、法国、印度、
新加坡都有专门的研究组进行这方面的研究。其中MIT、 CMU、Maryland 大学、Standford 大学、日本城蹊大学、 东京大学、ATR 研究所的贡献尤为突出 。
To use human's ability comparing with GA to realize AU detection
2006-6-5 USTC
Method II
Jia XUE
•
Case-Based AU Recognition Using IGA
Fig. 3 Framework of the proposed AU recognition
NBM A SC
2006-6-5 USTC
面部表情识别
Jia XUE
• Taylor的有意识模块的 神经网络进行情感识别 的模型
– 输出为 – 隐层节点
– 中间反馈回路节点
2006-6-5 USTC
面部表情识别
Jia XUE
• 标准函数实验
– 真实函数图与实验结果图：红色曲线大致与绿色 曲线相符。说明该网络适用于非线性数据的训练。
绪论
Jia XUE
面部表情识别方法
• 面部表情识别方法：
– 基于模板的方法 – 基于神经网络的方法 – 基于规则的方法
• 本文从人类大脑结构角度，将人类理解面 部表情的一些生理机能也加入到实验中， 希望能够从心理角度和生理角度来处理计 算机的面部识别问题。
2006-6-5 USTC
面部动作单元识别
Jia XUE
2006-6-5 USTC
面部动作单元识别
Jia XUE
• 比较实验—特征脸算法实验
训练
标准化和主元素分析 图像库
特征脸
图像库中图像在特 征脸空间中的投影
标准化 测试图片 测试
测试图像在特征脸 空间中的投影
前向反馈神经网 络
2006-6-5 USTC
面部动作单元识别
Jia XUE
2006-6-5 USTC
CS, USTC
Jia XUE
2.对面部表情识别方法进行研究。
• 使用Taylor等人提出的基于意识模块的神经网络 结构进行面部表情识别。基于该结构的表情识别 算法更具有人脑的结构特征，这样就可以从一定 程度上更能够体现人脑识别情感的机制。
2006-6-5 USTC
CS, USTC
比较实验总结
简单图像实验单个 AU平均识别率
特征脸（整张脸） 51.4%
简单图像实验AU组合平 均识别率
51.4%
特征脸（上下脸分开）
普通IGA IGASVM AIGA 相对整张脸实验的改进量 （IGA/IGASVM/AIGA）
46.7%
76.48% 82.52% 86.59% 25%/31%/35%
CS, USTC
Jia XUE
面部表情识别若干关键 问题研究
作 者：薛 佳 导 师：王煦法 教授 王上飞 副教授
中国科学技术大学 计算机系
2006-6-5 USTC
CS, USTC
Jia XUE
1.绪论
2.面部动作单元识别 3.面部表情识别 4.总结
2006-6-5 USTC
研究现状
Jia XUE
2006-6-5 USTC
46.7%
80.61% 84.96% 87.11% 30%/33%/36%
面部表情识别
Jia XUE
三、面部表情识别
• Taylor等人提出的情 感识别结构图
人 脸 语 言 韵 律
转换模块控制器
无意识情感
有意识情感
• Taylor等人提出的 有意识模块的神经 网络进行情感识别 的简单模型
1.2 遗传算法简介
优化概率搜索方法。
Jia XUE
遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的一种自适应全局
它最早由美国密西根大学的H.Holland教授提出，起源于60年代对自然和人工 自适应系统的研究； 1967年，Bagley发表了关于遗传算法应用的论文，在其论文中首次使用“遗传 算法（ Genetic Algorithm）”一词。 70年代 De Jong基于遗传算法的思想在计算机上进行了大量的纯数值函数优化 计算实验。 在一系列研究工作的基础上，80年代由Goldberg进行归纳总结，形成了遗传 算法的基本框架。
Jia XUE
二、面部动作单元识别
• 使用交互式遗传算法 IGA进行面部动作单 元识别
2006-6-5 USTC
实际问题参数集 编码 群体t
Jia XUE
用户给出
计算适应度值
运算：复制 交叉 变异 群体t+1 N
群体t+1群体t
满足要求？ Y 解码 改善或解决实际问题
2006-6-5 USTC
Method I
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
ANNA
表情分类
2006-6-5 USTC
绪论
Jia XUE
FACS定义的面部AU编码及其含义
2006-6-5 USTC
绪论
Jia XUE
面部动作单元识别方法
• 纯手工方法：效率低。 • 自动识别方法：特征抽取需要一些受控制 的成像环境，限制了实际应用。 • 本文方法：克服了两种方法的缺点。
2006-6-5 USTC
面部表情识别
Jia XUE
• 表情识别实验结果与分析
– 下图为训练图片在当前权值状态下的识别率
91.80%
高兴 惊讶
76.92%
愤怒
82.76%
82.89%
恐惧 厌恶
75.47%
85.96%
悲伤
2006-6-5 USTC
面部表情识别
Jia XUE
比较实验
• 实验结果
表情 高兴 惊讶 愤怒 恐惧 厌恶 训练次数 （ANNA/NN） 350/700 520/1800 500/1600 480/540 440/680 训练样本平均识别率 （ANNA/NN） 91.80%/92.14% 92.50%/91.67% 90.63%/79.16% 92.22%/82.89% 88.82%/75.47% 测试样本平均识别率 （ANNA/NN） 91.80%/77.04% 76.92%/80.77% 82.76%/78.85% 82.89%/68.42% 75.47%/69.81%
2006-6-5 USTC
Jia XUE
Experiment Interface
Interface of the system
2006-6-5 USTC
Experiment conditions
• Subjects: 3 male ＆ 2 female, 22-29 • Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base: 465 images / 481 images • Test: 16 images/ 10 images
实际问题参数集 编码 群体t 计算适值 运算：复制 交叉 变异
Jia XUE
群体t+1群体t
群体t+1
N
满足要求？ Y
解码
改善或解决实际问题
2006-6-5 USTC
x 输入 无意识情感
y 有意识情感
输出
z 转换模块控制器
2006-6-5 USTC
BASIC BRAIN EMOTION CIRCUIT
• Valence in amygdala & OBFC • Attention in parietal & PFC • Interaction in ACG
Jia XUE
Facial Expression Recognition
Jia XUE
Neutral
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC