情感计算

22

5.情感表达
前面的研究是从生理或行为特征来推断情感状态。 情感表达则是研究其反过程 即给定某一情感状态，研究如何使这一情感状 态在一种或几种生理或行为特征中体现出来， 例如如何在语音合成和面部表情合成中得以体 现，使机器具有情感，能够与用户进行情感交 流。 情感的表达提供了情感交互和交流的可能，对 于单个用户来讲，情感的交流主要包括人与人、 人与机、人与自然和人类自己的交互、交流。
9
2013-12-17
1.2 情感计算研究的意义

目前人工智能的研究发展已经达到了较高的水平， 同时它的研究内容也在逐步扩展和延伸。对人的 情感和认知的研究是人工智能的高级阶段，它的 研究将会大大促进拟人控制理论、情感机器人、 人性化的商品设计和市场开发等方面的进展，为 最终营造一个人与人、人与机器和谐的社会环境 做出贡献。 对人的情感和认知的研究必将为计算机的未来应 用展现一种全新的方向。
2013-12-17
24
可穿戴计算机
2013-12-17 25
谷歌眼镜
2013-12-17
26
2.1人类的情感分析

人类的情感交流是个非常复杂的过程，不仅受 时间、地点、环境、人物对象和经历的影响， 而且有表情、语言、动作或身体的接触。

因此，在人和计算机的交互过程中，计 算机需要捕捉关键信息，识别使用者的 情感状态，觉察人的情感变化。
20
① ②
③
2013-12-17
3.情感信号的分析、建模与识别



一旦由各类有效传感器获得了情感信号，下一步的任 务就是将情感信号与情感机理相应方面的内容对应起 来，这里要对所获得的信号进行建模和识别。 由于情感状态是一个隐含在多个生理和行为特征之中 的不可直接观测的量，不易建模，部分可采用诸如隐 马尔可夫模型、贝叶斯网络模式等数学模型。 MIT 媒体实验室给出了一个隐马尔可夫模型，可根据 人类情感概率的变化推断得出相应的情感走向。

生理唤醒（情感产生的生理反应）。
2013-12-17
29
情感


从生物进化的角度我们可以把人的情绪分为基 本情绪和复杂情绪。 基本情绪是先天的，具有独立的神经生理机制、 内部体验和外部表现，以及不同的适应功能。
2013-12-17
30
基本情绪
人有五种基本情绪，它们分别是： 当前目标取得进展时的快乐 自我保护的目标受到威胁时的焦虑 当前目标不能实现时的悲伤 当前目标受挫或遭遇阻碍时的愤怒 与味觉（味道）目标相违背的厌恶
2013-12-17
21
4.情感理解



通过对情感的获取、分析与识别，计算机便可了解其 所处的情感状态。 情感计算的最终目的是使计算机在了解用户情感状态 的基础上，做出适当反应，去适应用户情感的不断变 化。 因此，这部分主要研究如何根据情感信息的识别结果， 对用户的情感变化做出最适宜的反应
2013-12-17
35
2.3.1 面部表情识别

特征：
几何特征（ERS：33个几何特征） 局部区域特征 纹理特征 小波特征 …

2013-12-17
36

通过使用特定的仪器，我们可以对面部的微小表 情变化进行研究，甚至可以区分真笑和假笑： 人在真笑时面颊上升，眼周围的肌肉堆起，大 脑左半球的电活动增加； 而人在假笑时仅有嘴唇的肌肉活动，下颚下垂， 大脑左半球的电活动不明显。
2013-12-17
3

中国科学院自动化研究所的胡包刚等人 也通过自己的研究，提出了对情感计算 的定义：“情感计算的目的是通过赋予 计算机识别、理解、表达和适应人的情 感的能力来建立和谐人机环境，并使计 算机具有更高的、全面的智能。
2013-12-17
4
情感计算相关学说


中国人工智能学会人工心理与人工情感专业委 员会主任、北京科技大学王志良教授提出了人 工心理理论。 人工心理是利用信息科学的手段，对人的心理 活动（着重是人的情感、意志、性格、创造） 更全面地再一次人工机器（计算机、模型算法 等）模拟，其目的在于从心理学广义层次上研 究人工情感、情绪与认知、动机与情绪的人工 机器实现的问题。
从人类情感的交流过程来讲，情感计算的研究可分为 4 步，如下图 所示： 首先，通过传感器直接或间接与人接触获得情感信息； 其次，通过建模对情感信息进行分析与识别； 再次，对分析结果进行推理达到感性的理解； 最后，将理解结果通过合理的方式表达出来。
2013-12-17
18
情感计算的研究内容主要应包括以下六方面：
2013-12-17 7


在较长一段时期内，情感一直位于认知科学研 究者的视线以外。 直到20世纪末期，情感作为认知过程重要组成 部分的身份才得到了学术界的普遍认同。
2013-12-17
8


众所周知，人随时随地都会有喜怒哀乐等情感 的起伏变化。那么在人与计算机交互过程中， 计算机是否能够体会人的喜怒哀乐，并见机行 事呢？ 情感计算研究就是试图创建一种能感知、识别 和理解人的情感，并能针对人的情感做出智能、 灵敏、友好反应的计算系统，即赋予计算机像 人一样的观察、理解和生成各种情感特征的能 力。
2013-12-17 33

情感行为识别：


面部表情识别 语音情感识别 姿态识别 皮肤电反应 呼吸 心率 体温 脑电波等
34

生理模式识别：

2013-12-17
2.3面部表情识别

面部表情不仅是人们常用的较自然的表现情感 的方式，也是人们鉴别情感的主要标志。
2013-12-17
2013-12-17 13
1.4 典型应用

索尼公司的AIBO狗 ：第一个实现规模商品化 的宠物机器人（2006年生产6万只，收益10亿 美元）， QRIO、SDR-4X等宠物机器人。为 有情感交互能力的机器人及相关的研究打开了 想象的空间。 它们的共同特点是：对外界刺激有反应能力； 能与人进行生动的交流，这种交流除了语言， 还有面部表情、语凋和身体姿态等。
2013-12-17
19
2.情感信号的获取


情感信号的获取研究主要是指各类有效传感器的研制， 它是情感计算中极为重要的环节，没有有效的传感器， 可以说就没有情感计算的研究。 因为情感计算的所有研究都是基于传感器所获得的信 号。

各类传感器应具有如下的基本特征：
使用过程中不应影响用户(如重量、体积、耐压性等)； 应该经过医学检验对用户无伤害；数据的隐私性、安 全性和可靠性； 传感器价格低、易于制造等。
2013-12-17
27


利用有效的线索选择合适的使用者模型 （依据使用者的操作方式、表情特点、 态度喜好、认知风格、知识背景等构建 的模型）。 对使用者情感变化背后的意图形成预期， 进而激活相应的数据库，及时主动地提 供使用者需要的新信息。
28
2013-12-17
情感
情感具有三种成分： 主观体验（个体对不同情感状态的自我感受） 外部表现（在情感状态发生时身体各部分的动 作量化形式，即表情）
2013-12-17 10

1.3 国内外研究现状


MIT： /projects.php CMU 东京大学 早稻田大学 日内瓦大学 情绪研究实验室 伯明翰大学
2013-12-17 11





中科院计算所：研究带有表情和动作的虚拟人。 中科院自动化所：基于生物特征的身份验证。 中科院心理学所、生物所：情绪心理学、生理学研究 中科院软件所：智能用户界面 浙江大学：虚拟人物、情绪系统构造 北京工业大学：多功能感知机同情感计算的融合研究。 东南大学：语音情感识别 南京航空航天大学：语音情感计算。 中国科技大学：基于内容的交互式感性图像检索的研究
2013-12-17
31

而复杂情绪则是由基本情绪的不同组合派生出 来的。
2013-12-17
32
2.2 情感特征
情感是一种内部的主观体验，但总是伴随着某种 表情。 表情： 面部表情（面部肌肉变化所组成的模式） 姿态表情（身体其他部分的表情动作） 语调表情（言语的声调、节奏和速度等方面的 变化）。 这三种表情也被称为体语，构成了人类的非言语 交往方式。
2013-12-17
37

脸部运动编码系统FACS通过不同编码和运动 单元的组合，可以在脸部形成复杂的表情变化， 其成果已经被应用于人脸表情的自动识别与合 成。
2013-12-17
38
面部表情识别----研究现状

国际上对人脸面部表情识别的研究现在逐渐成 为科研热点。国内外很多机构都在进行这方面 的研究,尤其美国、日本。进入90 年代,对人脸 表情识别的研究变得非常活跃,吸引了大量的研 究人员和基金支持,EI 可检索到的相关文献就 多达数千篇。美国、日本、英国、德国、荷兰、 法国等经济发达国家和发展中国家如印度、新 加坡都有专门的研究组进行这方面的研究。其 中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究 所的贡献尤为突出 。
2013-12-17
23
6.可穿戴计算机
可穿戴计算机是情感计算实现的最佳平台。 主要研究可穿戴计算机的传感器、输入、输出装臵。 可穿戴计算机的研究体现在软、硬件两个方面，难点 在于结构的设计。 可穿戴计算机应具有如下特征：结构轻便，满足一定 的强度和韧性；不影响使用者的正常生活；具有隐秘 性、安全性和可靠性；价格低，便于大规模生产；设 计应具有个性化、美感等。可穿戴计算机的发展必将 推动情感计算的研究。同样，没有情感计算理论的武 装，可穿戴计算机很难最大限度地发挥其潜能和优势。
2013-12-17 5


日本从20世纪90年代就开始了感性工学(kansei engineering)的研究。 所谓感性工学，就是将感性与 工程结合起来， 在感性科学的基础上，通过分析人类的感性， 把人的感性情感加入到商品设计和制造中去， 它是一门从工程学的角度实现给人类带来喜悦 和满足的商品制造的技术科学。日本已经形成 了举国研究感性工学的高潮。
1.情感机理的研究


情感机理的研究主要是情感状态判定及与生理和行为 之间的关系，涉及到心理学、生理学、认知科学等， 为情感计算提供理论基础。 人类情感的研究已经是一个非常古老的话题，心理学 家、生理学家已经在这方面做了大量的工作。 任何一种情感状态都可能会伴随几种生理或行为特征 的变化； 而某些生理或行为特征也可能起因于数种情感状态。 因此，确定情感状态与生理或行为特征之间的对应关 系是情感计算理论的一个基本前提，这些对应关系目 前还不十分明确，需要作进一步的探索和研究。

2013-12-17
14
AIBO狗
2013-12-17
15

卡内基梅隆大学的机器人接待员Valerie： Valerie的面孔形象出现在一个能够转动方 向的移动屏幕上，向访问者提供一些天气 和方位方面的信息，还可以接电话、解答 一些问题；并且Valerie有自己的性格和爱 好，情感表达较为丰富。
2013-12-17
16


当代的认知科学家们把情感与知觉、学习、记忆、 言语等经典认知过程相提并论。 关于情感本身及情感与其他认知过程间相互作用 的研究成为当代认知科学的研究热点，情感计算 （ affective computing ）也成为一个新兴研究领 域。
2013-12-17
17
1.5情感计算研究的内容
情感计算
2013-12-17
1
1.1 情感计算的概念


情感计算是与情感相关，来源于情感或 能够对情感施加影响的计算。 情感计算包括情感识别、情感表示、情 感建模、情感交互等四个方面。
2013-12-17
2
1.2 情感计算历史

情感计算的概念是在1997年由MIT媒体实验室 Picard教授提出，她指出情感计算是与情感相 关，来源于情感或能够对情感施加影响的计算。
2013-12-17
6

人工心理学是一门交叉科学，其理论根源来自脑 科学、心理学、生理学、伦理学、神经科学、人 类工学、感性工学、语言学、美学、法律、信息 科学、计算机科学、自动化科学、人工智能等。

应用范围主要是情感机器人的技术支持、拟人机 械、人性化商品设计、感性市场开发、人工心理 编程语言、人工创造技术、人类情感评价计算机 系统(虚拟技术)、人类心理数据库及数学模型、 人际和谐环境技术和人机和谐多通道接口等。
2013-12-17 12

重庆大学：智能服务、增强现实、环境感知、 智能手表等，注重软件方面的研究。 海南大学：军用无线局域网结构中的可穿戴计 算机。


哈工大：“具有六种面部表情及视觉的类人头 像型机器人及行为研究” ，于2004年研制出 具有八种面部表情的仿人头像机器人系统，并 进行了表情实验，实现了喜、怒、哀、乐、悲 伤、严肃、吃惊、自然(中性)等8种表情。