表情识别ppt课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2006-6-5 USTC
Jia XUE
Experiment Interface
Interface of the system
2006-6-5 USTC
Experiment conditions
• Subjects: 3 male ＆ 2 female, 22-29 • Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base: 465 images / 481 images • Test: 16 images/ 10 images
Jia XUE
二、面部动作单元识别
• 使用交互式遗传算法 IGA进行面部动作单 元识别
2006-6-5 USTC
实际问题参数集 编码 群体t
Jia XUE
用户给出
计算适应度值
运算：复制 交叉 变异 群体t+1 N
群体t+1群体t
满足要求？ Y 解码 改善或解决实际问题
2006-6-5 USTC
Method I
Jia XUE
表情识别教学
2006-6-5 USTC
CS, USTC
Jia XUE
1. 绪论
2. 面部动作单元识别 3. 面部表情识别 4. 总结
2006-6-5 USTC
研究现状
Jia XUE
• Darwin，1872年 《人与动物的表情》面部表情在 人类与动物中存在的普遍性和连续性。 • 1971年，Ekman和Friesen提出了6种基本情感 • 1978年，Suwa等人提出了在图像序列中进行面部 表情自动分析。 • 从20世纪90年代开始，由Mase和Pentland提出的 光流法进行面部表情识别之后 ，自动面部表情识 别进入了新的时期。
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
To use human's ability comparing with GA to realize AU detection
2006-6-5 USTC
Method II
Jia XUE
•
Case-Based AU Recognition Using IGA
Fig. 3 Framework of the proposed AU recognition
绪论
Jia XUE
面部表情识别方法
• 面部表情识别方法：
– 基于模板的方法 – 基于神经网络的方法 – 基于规则的方法
• 本文从人类大脑结构角度，将人类理解面 部表情的一些生理机能也加入到实验中， 希望能够从心理角度和生理角度来处理计 算机的面部识别问题。
2006-6-5 USTC
面部动作单元识别
Facial Expression Recognition
Jia XUE
Neutral
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
ANNA
表情分类
2006-6-5 USTC
绪论
FACS定义的面部AU编码及其含 义
Jia XUE
2006-6-5 USTC
绪论
面部动作单元识别方法
Jia XUE
• 纯手工方法：效率低。 • 自动识别方法：特征抽取需要一些受控制 的成像环境，限制了实际应用。 • 本文方法：克服了两种方法的缺点。
2006-6-5 USTC
Jia XUE
Basic Idea
Inexperienced subjects
X
Detect AU from facial images Recognize facial behavior, open mouse, frown, stare Grasp the similarities and differences between two images
2006-6-5 USTC
Jia XUE
Recognise emotions
Six ‘Universal’ Facial Expressions of Emotions
1. 2. 3. 4. 5. 6.
Happiness Sadness Surprise Fear Anger Disgust
2006-6-5 USTC
国内 清华大学、哈尔滨工业大学、中科院、中国科技
大学、南京理工大学、北方交通大学
2006-6-5 USTC
绪论
Jia XUE
图像或图像序列 人脸检测与定位 人脸 人脸特征提取 特征 表情识别
Cohn-Kanade AU-Coded Facial Expression Database
Action Units
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006Hale Waihona Puke Baidu6-5 USTC
研究现状
Jia XUE
国际上 美国、日本、英国、德国、荷兰、法国、印度、
新加坡都有专门的研究组进行这方面的研究。其中 MIT、 CMU、Maryland 大学、Standford 大学、日本城蹊大学、 东京大学、ATR 研究所的贡献尤为突出 。
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Parameters Value Parameters Value
Jia XUE
• GA :
Population size Crossover rate Mutation rate
Jia XUE
Experiment Interface
Interface of the system
2006-6-5 USTC
Experiment conditions
• Subjects: 3 male ＆ 2 female, 22-29 • Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base: 465 images / 481 images • Test: 16 images/ 10 images
Jia XUE
二、面部动作单元识别
• 使用交互式遗传算法 IGA进行面部动作单 元识别
2006-6-5 USTC
实际问题参数集 编码 群体t
Jia XUE
用户给出
计算适应度值
运算：复制 交叉 变异 群体t+1 N
群体t+1群体t
满足要求？ Y 解码 改善或解决实际问题
2006-6-5 USTC
Method I
Jia XUE
表情识别教学
2006-6-5 USTC
CS, USTC
Jia XUE
1. 绪论
2. 面部动作单元识别 3. 面部表情识别 4. 总结
2006-6-5 USTC
研究现状
Jia XUE
• Darwin，1872年 《人与动物的表情》面部表情在 人类与动物中存在的普遍性和连续性。 • 1971年，Ekman和Friesen提出了6种基本情感 • 1978年，Suwa等人提出了在图像序列中进行面部 表情自动分析。 • 从20世纪90年代开始，由Mase和Pentland提出的 光流法进行面部表情识别之后 ，自动面部表情识 别进入了新的时期。
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
To use human's ability comparing with GA to realize AU detection
2006-6-5 USTC
Method II
Jia XUE
•
Case-Based AU Recognition Using IGA
Fig. 3 Framework of the proposed AU recognition
绪论
Jia XUE
面部表情识别方法
• 面部表情识别方法：
– 基于模板的方法 – 基于神经网络的方法 – 基于规则的方法
• 本文从人类大脑结构角度，将人类理解面 部表情的一些生理机能也加入到实验中， 希望能够从心理角度和生理角度来处理计 算机的面部识别问题。
2006-6-5 USTC
面部动作单元识别
Facial Expression Recognition
Jia XUE
Neutral
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
ANNA
表情分类
2006-6-5 USTC
绪论
FACS定义的面部AU编码及其含 义
Jia XUE
2006-6-5 USTC
绪论
面部动作单元识别方法
Jia XUE
• 纯手工方法：效率低。 • 自动识别方法：特征抽取需要一些受控制 的成像环境，限制了实际应用。 • 本文方法：克服了两种方法的缺点。
2006-6-5 USTC
Jia XUE
Basic Idea
Inexperienced subjects
X
Detect AU from facial images Recognize facial behavior, open mouse, frown, stare Grasp the similarities and differences between two images
2006-6-5 USTC
Jia XUE
Recognise emotions
Six ‘Universal’ Facial Expressions of Emotions
1. 2. 3. 4. 5. 6.
Happiness Sadness Surprise Fear Anger Disgust
2006-6-5 USTC
国内 清华大学、哈尔滨工业大学、中科院、中国科技
大学、南京理工大学、北方交通大学
2006-6-5 USTC
绪论
Jia XUE
图像或图像序列 人脸检测与定位 人脸 人脸特征提取 特征 表情识别
Cohn-Kanade AU-Coded Facial Expression Database
Action Units
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006Hale Waihona Puke Baidu6-5 USTC
研究现状
Jia XUE
国际上 美国、日本、英国、德国、荷兰、法国、印度、
新加坡都有专门的研究组进行这方面的研究。其中 MIT、 CMU、Maryland 大学、Standford 大学、日本城蹊大学、 东京大学、ATR 研究所的贡献尤为突出 。
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Parameters Value Parameters Value
Jia XUE
• GA :
Population size Crossover rate Mutation rate