情感计算的研究进展PPT课件

情感计算的研究进展
20.11.2020
重庆邮电大学计算机学院 杨勇
1
1. 概述 2. 情感识别 3. 情感建模 4. 情感推理
20.11.2020
重庆邮电大学计算机学院 杨勇
2
1.1 情感计算研究的意义
目前人工智能的研究发展已经达到了较高的水平， 同时它的研究内容也在逐步扩展和延伸。对人的 情感和认知的研究是人工智能的高级阶段，它的 研究将会大大促进拟人控制理论、情感机器人、 人性化的商品设计和市场开发等方面的进展，为 最终营造一个人与人、人与机器和谐的社会环境 做出贡献。
[1] 王志良. 人工心理与人工情感. 智能系统学报, 2006, 1(1):1-6.
20.11.2020
重庆邮电大学计算机学院 杨勇
13
wk.baidu.com
2.1 多模情感识别概述
语音 图像 姿态
数据预处理 特征抽取
其他传 感器
心理学基础
情感建模
识
特征选择
情感模型 各 种 情
别 结 果
感
识
别
方
法
20.11.2020
20.11.2020
重庆邮电大学计算机学院 杨勇
11
卡内基梅隆大学的机器人接待员Valerie： Valerie的面孔形象出现在一个能够转动方 向的移动屏幕上，向访问者提供一些天气 和方位方面的信息，还可以接电话、解答 一些问题；并且Valerie有自己的性格和爱 好，情感表达较为丰富。
20.11.2020
重庆邮电大学计算机学院 杨勇
14
2.2 情感特征
情感行为识别：
面部表情识别 语音情感识别 姿态识别
生理模式识别：
皮肤电反应 呼吸 心率 体温 脑电波等
20.11.2020
重庆邮电大学计算机学院 杨勇
15
2.3 特征抽取和数据预处理
2.3.1 面部表情识别 特征：
几何特征（ERS：33个几何特征） 局部区域特征 纹理特征 小波特征 …
20.11.2020
重庆邮电大学计算机学院 杨勇
4
中国人工智能学会人工心理与人工情感专业委 员会主任、北京科技大学王志良教授提出了人 工心理理论。
人工心理是利用信息科学的手段，对人的心理 活动（着重是人的情感、意志、性格、创造） 更全面地再一次人工机器（计算机、模型算法 等）模拟，其目的在于从心理学广义层次上研 究人工情感、情绪与认知、动机与情绪的人工 机器实现的问题。
20.11.2020
重庆邮电大学计算机学院 杨勇
5
日本从20世纪90年代就开始了感性工学(kansei engineering)的研究。
所谓感性工学，就是将感性与 工程结合起来， 在感性科学的基础上，通过分析人类的感性， 把人的感性情感加入到商品设计和制造中去， 它是一门从工程学的角度实现给人类带来喜悦 和满足的商品制造的技术科学。日本已经形成 了举国研究感性工学的高潮。
20.11.2020
重庆邮电大学计算机学院 杨勇
6
人工心理学是一门交叉科学，其理论根源来自脑 科学、心理学、生理学、伦理学、神经科学、人 类工学、感性工学、语言学、美学、法律、信息 科学、计算机科学、自动化科学、人工智能等。
应用范围主要是情感机器人的技术支持、拟人机 械、人性化商品设计、感性市场开发、人工心理 编程语言、人工创造技术、人类情感评价计算机 系统(虚拟技术)、人类心理数据库及数学模型、 人际和谐环境技术和人机和谐多通道接口等。
对人的情感和认知的研究必将为计算机的未来应 用展现一种全新的方向。
20.11.2020
重庆邮电大学计算机学院 杨勇
3
1.2 情感计算的概念
MIT媒体实验室Picard教授于1995年提 出了情感计算的概念。
情感计算是与情感相关，来源于情感或 能够对情感施加影响的计算。
情感计算包括情感识别、情感表示、情 感建模、情感交互等四个方面。
重庆邮电大学计算机学院 杨勇
12
1.5 待研究的关键问题[1]
没有符合人类情感规律并适于机器实现的人工情绪自 动生成模型。
在智能推理过程中，如何考虑情绪影响的因素，实现 真正意义上的拟人推理过程。
语音情感信息处理技术和表情识别技术的不成熟，成 为制约人工情感与和谐人机交互技术发展的瓶颈。
如何从多模态的角度进行情感信息融合、识别与理解， 实现自然和谐的人机交互平台环境。
20.11.2020
重庆邮电大学计算机学院 杨勇
7
1.3 国内外研究现状
MIT： CMU 东京大学 早稻田大学 日内瓦大学 情绪研究实验室 伯明翰大学
20.11.2020
重庆邮电大学计算机学院 杨勇
8
中科院计算所：研究带有表情和动作的虚拟人。 中科院自动化所：基于生物特征的身份验证。 中科院心理学所、生物所：情绪心理学、生理学研究 中科院软件所：智能用户界面 浙江大学：虚拟人物、情绪系统构造 北京工业大学：多功能感知机同情感计算的融合研究。 东南大学：语音情感识别 南京航空航天大学：语音情感计算。 中国科技大学：基于内容的交互式感性图像检索的研究
20.11.2020
重庆邮电大学计算机学院 杨勇
9
重庆大学：智能服务、增强现实、环境感知、 智能手表等，注重软件方面的研究。
海南大学：军用无线局域网结构中的可穿戴计 算机。
哈工大：“具有六种面部表情及视觉的类人头 像型机器人及行为研究” ，于2004年研制出 具有八种面部表情的仿人头像机器人系统，并 进行了表情实验，实现了喜、怒、哀、乐、悲 伤、严肃、吃惊、自然(中性)等8种表情。
20.11.2020
重庆邮电大学计算机学院 杨勇
10
1.4 典型应用
索尼公司的AIBO狗 ：第一个实现规模商品化 的宠物机器人（2006年生产6万只，收益10亿 美元）， QRIO、SDR-4X等宠物机器人。为 有情感交互能力的机器人及相关的研究打开了 想象的空间。
它们的共同特点是：对外界刺激有反应能力； 能与人进行生动的交流，这种交流除了语言， 还有面部表情、语凋和身体姿态等。
20.11.2020
重庆邮电大学计算机学院 杨勇
16
特征抽取：
人脸检测 人脸边缘检测 特征点定位
基于样例学习的面部特征点自动标定算法
特征点跟踪
光流跟踪
20.11.2020
重庆邮电大学计算机学院 杨勇
17
预处理
光照不理想 遮挡 侧面人脸