表情识别ppt课件
合集下载
表情包PPT幻灯片课件
表情包
1
表情包的流行
• 一、释放压力 • 二、获得共鸣 • 三、调节气氛 • 四、彰显个性
2
Hale Waihona Puke 一、释放压力• 现代社会节奏快，人们往往都经历着各种各样的压力，大部分人 都羞于表达自己的真实感受。而在现实生活中也不像西方人那样 用丰富的表情和肢体语言去表达，网络世界给了人们表达内心情 绪的出发口，而表情包更像是交流的工具。平时文静内向的人可 能会发千奇百怪的表情包，外表冷静的人也有着火热或者中二的 内心世界。而表情包或夸张或反差或讽刺的形式，也给了压抑在 平静面容下的人们一个释放的出口。使用表情包也可以卸掉一定 的责任和羞耻心，不好意思表达的感受、发表的观点都可以借 “表情包之口”大胆地说出来，因而获得了表达的自由。
4
5
三、调节气氛
• 在不直接面对面的网络世界，我们看不到彼此的表情，但是可以 通过表情包卖萌、表达鄙视、尴尬、崇拜、开心、愤怒等等各种 情感，表情包就成了代言人，而人类对表情的识别是非常迅速的， 这或许来源于符号表情与我们认知到的真实面孔表情的高相似性， 或许是受社会文化的影响，表情配上文字，使歧义更少，理解更 快，表达更多样。比如在跟不熟的人聊天时，发表情包就可以很 好的缓解尴尬氛围，有时候情侣间吵架了，发个可爱的表情包， 也许就破涕为笑了
6
四、彰显个性
• 表情包还有一个特点，就是对情绪的表达特别充分，甚至”魔性”， 在使用表情包时会感到非常好玩，也是平庸无趣的日常的一种调 剂。随着网络一代的90后、00后渐渐长大，他们对个性的追求更 加渴求。
7
使用注意事项
• 一、分场合 • 二、分对象
8
一、分场合
• 注意察言观色，不要在错误的场合使用表情包
3
1
表情包的流行
• 一、释放压力 • 二、获得共鸣 • 三、调节气氛 • 四、彰显个性
2
Hale Waihona Puke 一、释放压力• 现代社会节奏快，人们往往都经历着各种各样的压力，大部分人 都羞于表达自己的真实感受。而在现实生活中也不像西方人那样 用丰富的表情和肢体语言去表达，网络世界给了人们表达内心情 绪的出发口，而表情包更像是交流的工具。平时文静内向的人可 能会发千奇百怪的表情包，外表冷静的人也有着火热或者中二的 内心世界。而表情包或夸张或反差或讽刺的形式，也给了压抑在 平静面容下的人们一个释放的出口。使用表情包也可以卸掉一定 的责任和羞耻心，不好意思表达的感受、发表的观点都可以借 “表情包之口”大胆地说出来，因而获得了表达的自由。
4
5
三、调节气氛
• 在不直接面对面的网络世界，我们看不到彼此的表情，但是可以 通过表情包卖萌、表达鄙视、尴尬、崇拜、开心、愤怒等等各种 情感，表情包就成了代言人，而人类对表情的识别是非常迅速的， 这或许来源于符号表情与我们认知到的真实面孔表情的高相似性， 或许是受社会文化的影响，表情配上文字，使歧义更少，理解更 快，表达更多样。比如在跟不熟的人聊天时，发表情包就可以很 好的缓解尴尬氛围，有时候情侣间吵架了，发个可爱的表情包， 也许就破涕为笑了
6
四、彰显个性
• 表情包还有一个特点，就是对情绪的表达特别充分，甚至”魔性”， 在使用表情包时会感到非常好玩，也是平庸无趣的日常的一种调 剂。随着网络一代的90后、00后渐渐长大，他们对个性的追求更 加渴求。
7
使用注意事项
• 一、分场合 • 二、分对象
8
一、分场合
• 注意察言观色，不要在错误的场合使用表情包
3
表情识别ppt课件
比，识别结果如右表所示。对于JAFFE数 据集，如表1-1可示，当参数g=0.5，h=0.5 时，实验提出算法可取得62.29%的平均识 别率，而对比算法CRC也仅获得60.98%的 识别结果。对于KDEF数据集，IFRC算法
同样优于其他对比算法。例如：当参数 g=0.6，h=0.4时，IFRC算法取得最佳识别 率为77.98%。
分类结果
实验方案一
1
基于独立人脸身份的 协同表示识别算法
3
基于低秩稀疏误差字典的 概率协同表示识别算法
5
基于深度子空间特征核映 射的稀疏表示识别算法
2
基于字典学习特征空间 的稀疏表示识别算法
4
基于像素差值表示的区分 性特征学习识别算法
6
基于深度子空间特征的二 步表示识别算法
算法一整体框架
中性 表情集
应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、 互动游戏、社交机器人等
表情自动拍照
表情驾驶系统监控
表情测谎
研究目的和意义
• 理论意义和应用价值：
• 1. 利用新的理论工具，有望取得新的突 破
• 2. 为解决实际生活场景中复杂的表情识 别问题奠定基础；例如：多个体表情识 别
算法总结
算法总结
本节提出的IFRC算法具有以下优点： (1) IFRC算法利用差分字典 (通过从原始空间减去人脸身份信息) 来表征表情变化特征，
缓解了人脸身份对表情特征的影响； (2) 本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，
从而弥补了欠完备样本对识别产生的影响； (3) 该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。
极小部分的采样，而标注信息完备的样本少。
同样优于其他对比算法。例如：当参数 g=0.6，h=0.4时，IFRC算法取得最佳识别 率为77.98%。
分类结果
实验方案一
1
基于独立人脸身份的 协同表示识别算法
3
基于低秩稀疏误差字典的 概率协同表示识别算法
5
基于深度子空间特征核映 射的稀疏表示识别算法
2
基于字典学习特征空间 的稀疏表示识别算法
4
基于像素差值表示的区分 性特征学习识别算法
6
基于深度子空间特征的二 步表示识别算法
算法一整体框架
中性 表情集
应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、 互动游戏、社交机器人等
表情自动拍照
表情驾驶系统监控
表情测谎
研究目的和意义
• 理论意义和应用价值：
• 1. 利用新的理论工具，有望取得新的突 破
• 2. 为解决实际生活场景中复杂的表情识 别问题奠定基础；例如：多个体表情识 别
算法总结
算法总结
本节提出的IFRC算法具有以下优点： (1) IFRC算法利用差分字典 (通过从原始空间减去人脸身份信息) 来表征表情变化特征，
缓解了人脸身份对表情特征的影响； (2) 本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，
从而弥补了欠完备样本对识别产生的影响； (3) 该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。
极小部分的采样，而标注信息完备的样本少。
人脸识别分解课件
05
人脸识别技术的发展趋势
3D人脸识别技术
3D人脸识别技术通过获取人脸的深度信息，提高了人脸识别的
01
准确性和可靠性。
02
3D人脸识别技术能够抵抗光照、角度和面部表情变化等干扰因
素，提供更稳定的识别效果。
3D人脸识别技术可以构建人脸数据库，实现快速检索和比对，
03
提高人脸识别的速度和效率。
动态人脸识别技术
人脸识别的活体检测技术
活体检测是一种重要的技术，用于区分真实的人脸和伪造的人脸，以防止恶意攻击 和欺诈行为。
活体检测技术可以通过分析人脸的纹理、颜色、形状等信息来检测是否为真实的人 脸，或者通过分析人脸动态信息来检测是否为真实的视频流。
活体检测技术可以有效地防止恶意攻击和欺诈行为，保护用户隐私和数据安全。
03
人脸识别关键技术
深度学习在人脸识别中的应用
深度学习在人脸识别中扮演着至关重要的角色， 它能够从大量的数据中自动提取有用的特征， 提高了人脸识别的准确率和鲁棒性。
深度学习技术可以用于人脸检测、特征提取和 比对等各个环节，其中卷积神经网络（CNN） 是最常用的一种深度学习模型。
深度学习技术还可以通过迁移学习和微调来适 应特定场景的人脸识别任务，进一步提高人脸 识别的准确率。
人脸识别的数据增强技术
01
数据增强是一种有效的技术，可以通过对原始图像进行各种变换来生成新的图 像，从而增加模型的泛化能力。
02
在人脸识别中，数据增强技术可以通过对人脸图像进行旋转、缩放、平移、翻 转等操作来生成新的图像，或者通过改变图像的亮度和对比度来增加模型的鲁 棒性。
03
数据增强技术可以有效地解决数据集不平衡和过拟合等问题，提高人脸识别的 准确率和泛化能力。
《微表情大讲堂》课件
怎样提高识别微表情的能力
通过观察、训练和实践，我们可以提高识别微表情的能力。
课程收尾
感谢大家参与《微表情大讲堂》课程，希望你们能从中收获满满的知识和技巧。
《微表情大讲堂》PPT课 件
欢迎来到《微表情大讲堂》！在这堂课中，我们将一起探索微表情的奥秘， 并了解它在生活中的应用。让我们开始的一种微小的 面部表情，揭示出真实的感情和内心状态。
微表情在生活中的应用
了解微表情可以帮助我们更好地理解他人的情感 和意图，从而改善人际关系并取得更好的效果。
微表情的种类
1 七种基本表情
2 微笑的微表情
喜悦、惊讶、恐惧、厌恶、 愤怒、悲伤和蔑视，这是 心理学家保罗·艾克曼早期 研究发现的七种基本表情。
微笑可能是最常见的表情 之一，但微笑的微表情可 能藏着更多的情感，如压 抑、不信任等。
3 焦虑的微表情
焦虑的微表情常常表现为 眉毛紧锁、唇线紧绷等微 小的面部动作。
4 愤怒的微表情
愤怒的微表情可能显示为紧锁的下巴、皱眉 等微妙的表情。
5 伤心的微表情
伤心的微表情可能表现为眼神迷离、嘴角下 垂等微小的变化。
如何识别微表情
1
观察眼神
眼神会透露出大量的情感信息，如目光的方向、眼睛的大小等。
2
观察嘴部
微小的嘴唇动作、咬唇、和笑容的出现和消失等都可以给出关键的提示。
3
观察身体姿态
身体的姿态、微妙的动作变化也为我们提供了识别微表情的线索。
微表情的掩饰和应对
如何掩饰微表情
通过训练你的面部表情，并运用适当的面部表情来 掩饰微表情，以避免被他人察觉。
如何应对他人的微表情
观察他人的微表情并注意到他们可能隐藏的情绪， 有助于建立更好的沟通和理解。
通过观察、训练和实践，我们可以提高识别微表情的能力。
课程收尾
感谢大家参与《微表情大讲堂》课程，希望你们能从中收获满满的知识和技巧。
《微表情大讲堂》PPT课 件
欢迎来到《微表情大讲堂》！在这堂课中，我们将一起探索微表情的奥秘， 并了解它在生活中的应用。让我们开始的一种微小的 面部表情，揭示出真实的感情和内心状态。
微表情在生活中的应用
了解微表情可以帮助我们更好地理解他人的情感 和意图，从而改善人际关系并取得更好的效果。
微表情的种类
1 七种基本表情
2 微笑的微表情
喜悦、惊讶、恐惧、厌恶、 愤怒、悲伤和蔑视，这是 心理学家保罗·艾克曼早期 研究发现的七种基本表情。
微笑可能是最常见的表情 之一，但微笑的微表情可 能藏着更多的情感，如压 抑、不信任等。
3 焦虑的微表情
焦虑的微表情常常表现为 眉毛紧锁、唇线紧绷等微 小的面部动作。
4 愤怒的微表情
愤怒的微表情可能显示为紧锁的下巴、皱眉 等微妙的表情。
5 伤心的微表情
伤心的微表情可能表现为眼神迷离、嘴角下 垂等微小的变化。
如何识别微表情
1
观察眼神
眼神会透露出大量的情感信息，如目光的方向、眼睛的大小等。
2
观察嘴部
微小的嘴唇动作、咬唇、和笑容的出现和消失等都可以给出关键的提示。
3
观察身体姿态
身体的姿态、微妙的动作变化也为我们提供了识别微表情的线索。
微表情的掩饰和应对
如何掩饰微表情
通过训练你的面部表情，并运用适当的面部表情来 掩饰微表情，以避免被他人察觉。
如何应对他人的微表情
观察他人的微表情并注意到他们可能隐藏的情绪， 有助于建立更好的沟通和理解。
最全的微表情图解25162专选课件
当然， 有时候 善意的 谎言还 是很好 的。
有时候，即使看破了谎言
不说出来，反而会更好
《Lie To Me》中的理论是 不能完全应用于我们的生 活中的。首先，电视剧毕 竟是电视剧，肯定是有一 定夸张成分的；其次，美 国人与中国人的生活习惯 大大不同。所以，学习剧 中的理论来测谎，在日常 生活中娱乐一下未必不可，
意拉开距离
说话时一直把手放在裤兜里或抵着 大腿，是紧张的表现
.微笑的时候 眨眼睛说明真 的想到令人幸 福的事。假笑 眼角是没有皱
纹的
.人撒谎时会摸脖子，这是经典的 机械反应。
说话时抚摸双手多半是对自己 表述的不自信
敌意、抵触的表现
惊奇、害怕的表情在脸上超过一秒，表示是假装的
判断对方说“我爱你”是否真心的方法
最全的微表情图解25162
通过微表情来揣测心理 表现
1， 真正的吃惊表情转眼即逝，超过一 秒便是假装的。 2， 你去过他家吗？不，我没去过他家， 对问题的生硬重复是明显的撒谎。 3， 男性鼻子下方有海绵体，抹鼻子代 表要掩饰一些内容。 4， 手放在眉骨附近表示羞愧。 5， 假笑眼角是没有皱纹的。 6， 明知故问的时候眉毛微微上杨。 7， 说话时单肩耸动，表示对说话极不 自信，是说谎的表现。 8， 人在害怕的时候出现生理逃跑的反 应，血液从四肢流向腿部，因此手的体温会 下降。 9， 叙事的时候眼睛通常往下方看，代 表大脑在回忆，而撒谎不需要回忆过程。
关于《lie to me》
中文名：别对我撒谎 外文名：Lie To Me 其它译名：千谎百计 出品公司：FOX 制片地区：美国 编剧：萨穆尔.包姆 主演：蒂姆·罗斯，凯莉·威廉姆斯
• 本剧是根据真人真事改编。 其中提到的一些测谎技术也 是立足于科学研究的 。剧 中最让人感觉贴近生活的便 是一些对美国或世界知名人 士的真实照片的引用。
最全的微表情图解PPT课件
Lie To Me
07级人力资源管理 王海峰 20071217126
关于《lie to me》
中文名：别对我撒谎 外文名：Lie To Me 其它译名：千谎百计 出品公司：FOX 制片地区：美国 编剧：萨穆尔.包姆 主演：蒂姆·罗斯，凯 莉·威廉姆斯
• 本剧是根据真人真事改编。 其中提到的一些测谎技术也 是立足于科学研究的 。剧 中最让人感觉贴近生活的便 是一些对美国或世界知名人 士的真实照片的引用。 • 不过这样的苦心也只有在美 国可以行得通，在中国，就 算广电总局勉强答应此类连 续剧的播出，恐怕也没有人 敢在剧中引用表现领导们正 直之外的照片吧。
摸鼻子代表想要掩饰某些内容
描述一连串发生的 事情，编造都是按 时间顺序进行的， 能否流利准确地进 行倒叙是判断对方 是否说谎的标准之 一。
身体和语言不一致，表示他在撒谎
克林顿I did not have sex relationship with that woman，Ms Lewinsky 而不是 用的 didn‘t，还有that woman，这是为了刻意拉开距 离
说谎者一般语言和 表情相互矛盾。如 果一个人的表情并 非发自内心，他一 般会把脸部的肌肉 运动集中在嘴巴的 部分。如果一个人 皱着眉头对你说 ‘我爱你’，你一 定不要相信。”
对方是否喜欢情人节礼物
通常当一个人收到 喜欢的礼物时，他会 说‘我很喜欢’；如 果是撒谎者，他会在 说‘我很喜欢’之后 才露出一丝高兴的表 情。”
蒂姆罗斯凯莉威廉31第一集中出现的轻视的表情3110311131123113311431153117311831克林顿ididhavesexrelationshipwomanmslewinsky而不是用的didnt还有thatwoman这是为了刻意拉开距离1931203121312231233124312531判断对方说我爱你是否真心的方法说谎者一般语言和表情相互矛盾
07级人力资源管理 王海峰 20071217126
关于《lie to me》
中文名：别对我撒谎 外文名：Lie To Me 其它译名：千谎百计 出品公司：FOX 制片地区：美国 编剧：萨穆尔.包姆 主演：蒂姆·罗斯，凯 莉·威廉姆斯
• 本剧是根据真人真事改编。 其中提到的一些测谎技术也 是立足于科学研究的 。剧 中最让人感觉贴近生活的便 是一些对美国或世界知名人 士的真实照片的引用。 • 不过这样的苦心也只有在美 国可以行得通，在中国，就 算广电总局勉强答应此类连 续剧的播出，恐怕也没有人 敢在剧中引用表现领导们正 直之外的照片吧。
摸鼻子代表想要掩饰某些内容
描述一连串发生的 事情，编造都是按 时间顺序进行的， 能否流利准确地进 行倒叙是判断对方 是否说谎的标准之 一。
身体和语言不一致，表示他在撒谎
克林顿I did not have sex relationship with that woman，Ms Lewinsky 而不是 用的 didn‘t，还有that woman，这是为了刻意拉开距 离
说谎者一般语言和 表情相互矛盾。如 果一个人的表情并 非发自内心，他一 般会把脸部的肌肉 运动集中在嘴巴的 部分。如果一个人 皱着眉头对你说 ‘我爱你’，你一 定不要相信。”
对方是否喜欢情人节礼物
通常当一个人收到 喜欢的礼物时，他会 说‘我很喜欢’；如 果是撒谎者，他会在 说‘我很喜欢’之后 才露出一丝高兴的表 情。”
蒂姆罗斯凯莉威廉31第一集中出现的轻视的表情3110311131123113311431153117311831克林顿ididhavesexrelationshipwomanmslewinsky而不是用的didnt还有thatwoman这是为了刻意拉开距离1931203121312231233124312531判断对方说我爱你是否真心的方法说谎者一般语言和表情相互矛盾
2024版《心理学微表情》PPT课件
目录•微表情概述•微表情识别技巧•常见微表情及其心理含义•微表情在人际交往中应用•微表情识别误区及挑战•总结与展望微表情概述定义微表情是瞬间闪现的面部表情，能揭示人的真实感情和情绪。
难以控制微表情是下意识的反应，难以掩饰或伪装。
持续时间短通常只有1/25秒至1/5秒。
揭示真实情绪微表情能够泄露人试图隐藏的情绪。
定义与特点联系微表情和宏观表情都是情绪表达的方式，但微表情更真实、更难以控制。
区别宏观表情是明显的、持续时间较长的面部表情，而微表情则是瞬间的、不易察觉的表情。
微表情与宏观表情关系01深入了解人类情绪微表情研究有助于更深入地了解人类情绪的复杂性和真实性。
02提高人际交往能力通过识别和理解微表情，可以提高人际交往中的沟通效果和相互理解。
01心理咨询与治疗心理咨询师和治疗师可以通过观察微表情来更准确地了解客户的情绪和内心状态。
02安全与执法在安全检查和执法过程中，通过观察嫌疑人的微表情可以判断其是否在说谎或隐瞒信息。
03市场调研与广告通过观察消费者对广告或产品的微表情反应，可以评估广告效果和产品吸引力。
微表情识别技巧观察面部肌肉运动识别基本表情01通过观察面部肌肉的运动，可以识别出喜、怒、哀、乐等基本表情。
捕捉微妙变化02微表情往往瞬间即逝，需要仔细观察面部肌肉的微妙变化，如眼角上扬、嘴角下撇等。
分析肌肉紧张度03面部肌肉的紧张度可以反映人的情绪状态，如紧张、害怕等情绪会导致面部肌肉紧绷。
分析眼神变化观察瞳孔大小瞳孔大小的变化可以反映人的兴趣和情绪状态，如瞳孔放大表示兴奋、好奇，瞳孔缩小则表示不感兴趣或厌恶。
注意眼神方向眼神的方向可以揭示人的注意力和心理状态，如眼神游离可能表示不诚实或不安。
捕捉眼神闪烁眼神闪烁可能表示人在掩饰真实情感或说谎。
嘴唇的形状和动作可以反映人的情绪状态，如嘴唇紧闭可能表示紧张或不满，嘴唇张开且放松则表示愉悦或兴奋。
观察嘴唇形状口型的变化可以揭示人的言语和情感表达，如嘴角上扬表示开心，嘴角下撇则表示难过或失望。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Jia XUE
表情识别教学
2006-6-5 USTC
CS, USTC
Jia XUE
1. 绪论
2. 面部动作单元识别 3. 面部表情识别 4. 总结
2006-6-5 USTC
研究现状
Jia XUE
• Darwin，1872年 《人与动物的表情》面部表情在 人类与动物中存在的普遍性和连续性。 • 1971年，Ekman和Friesen提出了6种基本情感 • 1978年，Suwa等人提出了在图像序列中进行面部 表情自动分析。 • 从20世纪90年代开始，由Mase和Pentland提出的 光流法进行面部表情识别之后 ，自动面部表情识 别进入了新的时期。
ANNA
表情分类
2006-6-5 USTC
绪论
FACS定义的面部AU编码及其含 义
Jia XUE
2006-6-5 USTC
绪论
面部动作单元识别方法
Jia XUE
• 纯手工方法：效率低。 • 自动识别方法：特征抽取需要一些受控制 的成像环境，限制了实际应用。 • 本文方法：克服了两种方法的缺点。
2006-6-5 USTC
Jia XUE
Basic Idea
Inexperienced subjects
X
Detect AU from facial images Recognize facial behavior, open mouse, frown, stare Grasp the similarities and differences between two images
2006-6-5 USTC
Jia XUE
Recognise emotions
Six ‘Universal’ Facial Expressions of Emotions
1. 2. 3. 4. 5. 6.
Happiness Sadness Surprise Fear Anger Disgust
2006-6-5 USTC
国内 清华大学、哈尔滨工业大学、中科院、中国科技
大学、南京理工大学、北方交通大学
2006-6-5 USTC
绪论
Jia XUE
图像或图像序列 人脸检测与定位 人脸 人脸特征提取 特征 表情识别
Cohn-Kanade AU-Coded Facial Expression Database
Action Units
Jia XUE
二、面部动作单元识别
• 使用交互式遗传算法 IGA进行面部动作单 元识别
2006-6-5 USTC
实际问题参数集 编码 群体t
Jia XUE
用户给出
计算适应度值
运算：复制 交叉 变异 群体t+1 N
群体t+1群体t
满足要求？ Y 解码 改善或解决实际问题
2006-6-5 USTC
Method I
Parameters Value Parameters Value
Jia XUE
• GA :
Population size Crossover rate Mutation rate
2006-6-5 USTC
Jia XUE
Experiment Inter system
2006-6-5 USTC
Experiment conditions
• Subjects: 3 male ＆ 2 female, 22-29 • Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base: 465 images / 481 images • Test: 16 images/ 10 images
To use human's ability comparing with GA to realize AU detection
2006-6-5 USTC
Method II
Jia XUE
•
Case-Based AU Recognition Using IGA
Fig. 3 Framework of the proposed AU recognition
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
Neutral
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
绪论
Jia XUE
面部表情识别方法
• 面部表情识别方法：
– 基于模板的方法 – 基于神经网络的方法 – 基于规则的方法
• 本文从人类大脑结构角度，将人类理解面 部表情的一些生理机能也加入到实验中， 希望能够从心理角度和生理角度来处理计 算机的面部识别问题。
2006-6-5 USTC
面部动作单元识别
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
研究现状
Jia XUE
国际上 美国、日本、英国、德国、荷兰、法国、印度、
新加坡都有专门的研究组进行这方面的研究。其中 MIT、 CMU、Maryland 大学、Standford 大学、日本城蹊大学、 东京大学、ATR 研究所的贡献尤为突出 。
表情识别教学
2006-6-5 USTC
CS, USTC
Jia XUE
1. 绪论
2. 面部动作单元识别 3. 面部表情识别 4. 总结
2006-6-5 USTC
研究现状
Jia XUE
• Darwin，1872年 《人与动物的表情》面部表情在 人类与动物中存在的普遍性和连续性。 • 1971年，Ekman和Friesen提出了6种基本情感 • 1978年，Suwa等人提出了在图像序列中进行面部 表情自动分析。 • 从20世纪90年代开始，由Mase和Pentland提出的 光流法进行面部表情识别之后 ，自动面部表情识 别进入了新的时期。
ANNA
表情分类
2006-6-5 USTC
绪论
FACS定义的面部AU编码及其含 义
Jia XUE
2006-6-5 USTC
绪论
面部动作单元识别方法
Jia XUE
• 纯手工方法：效率低。 • 自动识别方法：特征抽取需要一些受控制 的成像环境，限制了实际应用。 • 本文方法：克服了两种方法的缺点。
2006-6-5 USTC
Jia XUE
Basic Idea
Inexperienced subjects
X
Detect AU from facial images Recognize facial behavior, open mouse, frown, stare Grasp the similarities and differences between two images
2006-6-5 USTC
Jia XUE
Recognise emotions
Six ‘Universal’ Facial Expressions of Emotions
1. 2. 3. 4. 5. 6.
Happiness Sadness Surprise Fear Anger Disgust
2006-6-5 USTC
国内 清华大学、哈尔滨工业大学、中科院、中国科技
大学、南京理工大学、北方交通大学
2006-6-5 USTC
绪论
Jia XUE
图像或图像序列 人脸检测与定位 人脸 人脸特征提取 特征 表情识别
Cohn-Kanade AU-Coded Facial Expression Database
Action Units
Jia XUE
二、面部动作单元识别
• 使用交互式遗传算法 IGA进行面部动作单 元识别
2006-6-5 USTC
实际问题参数集 编码 群体t
Jia XUE
用户给出
计算适应度值
运算：复制 交叉 变异 群体t+1 N
群体t+1群体t
满足要求？ Y 解码 改善或解决实际问题
2006-6-5 USTC
Method I
Parameters Value Parameters Value
Jia XUE
• GA :
Population size Crossover rate Mutation rate
2006-6-5 USTC
Jia XUE
Experiment Inter system
2006-6-5 USTC
Experiment conditions
• Subjects: 3 male ＆ 2 female, 22-29 • Database: final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base: 465 images / 481 images • Test: 16 images/ 10 images
To use human's ability comparing with GA to realize AU detection
2006-6-5 USTC
Method II
Jia XUE
•
Case-Based AU Recognition Using IGA
Fig. 3 Framework of the proposed AU recognition
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
Neutral
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
绪论
Jia XUE
面部表情识别方法
• 面部表情识别方法：
– 基于模板的方法 – 基于神经网络的方法 – 基于规则的方法
• 本文从人类大脑结构角度，将人类理解面 部表情的一些生理机能也加入到实验中， 希望能够从心理角度和生理角度来处理计 算机的面部识别问题。
2006-6-5 USTC
面部动作单元识别
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
Facial Expression Recognition
Jia XUE
2006-6-5 USTC
研究现状
Jia XUE
国际上 美国、日本、英国、德国、荷兰、法国、印度、
新加坡都有专门的研究组进行这方面的研究。其中 MIT、 CMU、Maryland 大学、Standford 大学、日本城蹊大学、 东京大学、ATR 研究所的贡献尤为突出 。