情感计算现状与挑战

PR
National Laboratory of Pattern Recognition
P 语音和面部通道融合的情感识别结果（示例）R
Neutral Neutral Happy Sad Angry Fear Surprise 78% 14% 0% 0% 0% 0% Happy 6% 81% 2% 0% 0% 1% Sad 6% 2% 82% 0% 5% 0% Angry 0% 0% 0% 83% 0% 6% Fear 8% 0% 13% 0% 82% 0% Surprise 6% 0% 0% 0% 0% 79%
没有情感理解会是什么样？
女：我从火车站怎么到你那？ 男：我到火车站接你。（正常，Level 0）。 女：不，谢谢。告诉我去的路就行。 男：我到火车站接你。（有点不高兴，Level 1）。 女：只要告诉我去的路，我自己能去。 男：我到火车站接你！（有点急躁，Level 2）。 女：我自己去。 男：我到火车站接你！！（生气，Level 3）。 女：你真要来接我呀？ 男：我到火车站接你！！！（愤怒，Level 4）。
期刊会议
§ IEEE Transac(ons on Affec(ve Compu(ng （IF3.466） § Interna(onal Journal of synthe(c Emo(ons
PR
§ Journal on Mul(modal User Interfaces § IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE § Interna(onal Conference on Affec(ve Compu(ng and Intelligent Interac(on § Interna(onal Conference on Intelligent Virtual Agents § Interna(onal Conference on Mul(modal Interac(on
National Laboratory of Pattern Recognition
1997
情侦宝
§ 中科院自动化所 § 话务员和用户情绪监测
PR
National Laboratory of Pattern Recognition
情感计算的应用
§ 国外研究现状 – 大场景虚实融合的多模态对话仿真研究
PR
National Laboratory of Pattern Recognition
情感计算研究的现状与挑战
陶建华 中国科学院自动化研究所 模式识别国家重点实验室
National Laboratory of Pattern Recognition
机器人Pepper
PR
National Laboratory of Pattern Recognition
PR
生理反
National Laboratory of Pattern Recognition
+周
境 à情感感
+行
LeDoux理论(LeDoux, 1995)
PR
National Laboratory of Pattern Recognition
情感的三种成分
§ 主观体验（subjec(ve experience）
National Laboratory of Pattern Recognition
14
情感计算的应用
PR
National Laboratory of Pattern Recognition
情感研究获得大量关注
PR
National Laboratory of Pattern Recognition
§ 标准
- W3C Emo(on Markup Language (Emo(onML) 1.0
National Laboratory of Pattern Recognition
EmoEonML示例
PR
National Laboratory of Pattern Recognition
内容
National Laboratory of Pattern Recognition
降维
PR
§ 采用fisher准则进行特征评价，选择前10个最 佳特征。
of Pattern Recognition 16/5/29
National Laboratory
可拒判的识别方法
PR
§ 拒判：实际环境中情感具有模糊和不确定性，存在不属 于任何一种情感的情况。 § 方法：GMM+似然概率模糊熵 § 采用GMM对烦躁、喜悦和平静3种情感进行建模，每种 情感对应一个GMM模型，通过最大后验概率准则判决。 § xi表示第i条语句样本，λj表示情感类别j，最大后验概率可 以表示为： § P(xi|λj)通过每个情感的GMM模型得到。 § P(λj)=1/C，1≤j≤C § 待识别的样本判决为：
情感特征
§ 情感计算通常体现在下面几个通道：
- 面部特征（面部肌肉变化所组成的模式） - 行为特征（身体其他部分的表情动作） - 言语特征（语音的语气、嗓音和说话内容等） - 生理特征（心跳等）
PR
前三种特征也被称为体语，构成了人类的言 语和非言语交往方式。
National Laboratory of Pattern Recognition
- 个体对不同情感状态的自我感受
PR
§ 外部表现，即表情（emo(onal expressions）
- 在情感状态发生时身体各部分的动作量化形式
• 面部表情：面部肌肉变化所组成的模式 • 姿态表情：身体其他部分的表情动作 • 语调表情：言语的声调、节奏和速度等方面的变化
§ 生理唤醒（physical arousal）
National Laboratory of Pattern Recognition
特征提取
wk.baidu.com
PR
§ 特征37-66：第1、第2、第3共振峰及其一阶差 分的均值、最大值、最小值、中值、方差； § 特征67-69：250 Hz以下谱能量百分比、650 Hz以下谱能量百分比、4 kHz以上谱能量百分 比。 § 特征70-74：谐波噪声比(HNR)的均值、最大 值、最小值、中值、方差。谐波噪声比用来做 为反映情感变化的音质特征。
National Laboratory of Pattern Recognition
可拒判的识别方法
PR
§ 待识别的样本到达时，分别通过C种情感的 GMM模型，得到C个GMM似然概率密度值， 以GMM似然概率密度值映射到0到1之间作为 第i个样本归属于第j个情感类别的隶属度µj(xi)：
of Pattern Recognition 16/5/29
National Laboratory of Pattern Recognition
James-Lange 情感理论(1800末)
生理反应 à 产生评价
PR
“我的心跳的厉害，所以我一定是害怕了。”
National Laboratory of Pattern Recognition
PR
National Laboratory of Pattern Recognition
内容
PR
National Laboratory of Pattern Recognition
内容
PR
National Laboratory of Pattern Recognition
情感计算研究历史
PR
§ 在较长一段时期内，情感一直位于认知科学 研究者的视线以外。 § 直到20世纪末期，情感作为认知过程重要组 成部分的身份才得到了学术界的普遍认同。
The Royal Institute of Technology (KTH)、 University of Nagoya(UON)、 University of Bielefeld、USC
PR
目前该项目受到美国军 方的大力支持，用于测 试和培训军队士兵的心 理训练、军队指导员的 作战指挥能力。对防止 士兵因精神压力大出现 的“情绪低落”、“抑 郁”或者“临时崩 溃”等战场心理非正常 症状，起到了非常积极 的效果。
通常的情绪分析只是一个模式 分类问题
1. 2. 3. 4. 5. 6. 7. 8. 9. PCA 决策树 ANN K近邻 GMM VQ、DTW、HMM 朴素贝叶斯 SVM
PR
集成学习算法：多个子分类器组合成一个模型，如BoosEng，Bagging
10. EA、GA 11. 半监督学习
National Laboratory
实验测试和结果
PR
of Pattern Recognition 16/5/29
National Laboratory
采用语音通道的情感识别结果（不同的 测试库）
Neutral Neutral Happy Sad Angry Fear Surprise 70% 10% 22% 0% 20% 0% Happy 12% 72% 6% 0% 8% 4% Sad 4% 2% 40% 0% 32% 2% Angry 0% 2% 0% 73% 0% 32% Fear 8% 0% 30% 0% 40% 0% Surprise 6% 8% 2% 6% 0% 62%
National Laboratory of Pattern Recognition
组织
§ 学会
PR
- AAAC-- Associa(on for the Advancement of Affec(ve Compu(ng - 中国人工智能学会人工心理和人工情感专业委员会
§ 比赛
- Emo(on Challenge（分别依托ACM MM，ICMI）
Cannon-Bard 情感理论 (1920s)
评价 à 生理反应
PR
“我感到害怕，所以我的心跳的厉害。.”
National Laboratory of Pattern Recognition
Schachter 两因素理论 (Schachter and Singer, 1962)
- 复杂情绪（complex emo(on）
• 是由基本情绪的不同组合派生出来的
National Laboratory of Pattern Recognition
三级情感模型
PR
§ 按照情感中表现的主动和被动的程度，由粗到 细。
National Laboratory of Pattern Recognition
National Laboratory of Pattern Recognition
特征提取
PR
§ 使用了74个全局统计特征，前36个为韵律特征，后38个特征为音 质特征。韵律特征主要和激活度的相关性较大，音质特征与愉悦 度的相关性较大 § 特征1-10：短时能量及其差分的均值、最大值、最小值、中值、 方差； § 特征11-25：基音及其一阶、二阶差分的均值、最大值、最小值、 中值、方差； § 特征26：基音范围； § 特征27-36：发音帧数、不发音帧数、不发音帧数和发音帧数之 比、发音帧数和总帧数之比、发音区域数、不发音区域数、发音 区域数和不发音区域数之比、发音区域数和总区域数之比、最长 发音区域数、最长不发音区域数；
- 情感产生的生理反应，是一种生理的激活水平，有不同 的反应模式
National Laboratory of Pattern Recognition
情感计算的提出
PR
MIT 。
§ MIT的Minsky教授在1985年的专著《The Society of Mind》中指出：问题不在于智能机器能否有任何情 感，而在于机器实现智能时怎么能够没有情感。 § Picard § 现在定义：情感计算的目的是通过赋予计算机识别、 理解、表达和适应人的情感的能力来建立和谐人机 环境，并使计算机具有更高的、全面的智能。
PR
National Laboratory of Pattern Recognition
基本情绪与复合情绪
§ 从生物进化的角度看，人的情绪可分为
PR
- 基本情绪（basic emo(on）（Oatley & Johnson-Laird (1987) 早期理论）
• 快乐 (happiness)：当前目标取得进展 • 焦虑 (anxiety)：自我保护的目标受到了威胁 • 悲伤 (sadness)：当前目标不能实现 • 愤怒 (anger)：当前目标受挫或遭遇阻碍 • 厌恶 (disgust)：与味觉（味道）目标相违背