语音情感识别资料
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
语音情感识别（SER）
1. SER背景 2. SER应用 3. SER发展与现状 4. SER流程
目录
5. 情感理论和语音情感分类 6. 情感语音数据库 7. 情感语音特征 8. SER方法
9. SER研究举例 10. SER存在的问题及思考 11. 主要参考文献
2020/11/12
2
1、 SER背景
❖ Speech Communication， JCR-4
❖ Signal Processing，JCR-3
Βιβλιοθήκη Baidu
❖ COMPUTER SPEECH AND LANGUAGE，JCR-3
❖ IEEE Transactions on Audio Speech and Language Processing，JCR-3
❖ 情感计算包括3部分：情感识别、情感理解、表示和计算、 情感表达。 其中，SER：计算机通过语音判断人的情感
信号获取
分析识别
情感理解
情感表达
2020/11/12
4
语音情感识别
为什么研究语音情感识别呢？ ❖ 语音是人与人之间沟通的重要手段，也是传递情感的重要媒
介，因而也就成为智能人机交互中人们期待的最为方便、自 然的交互方式之一。研究热点
2020/11/12
15
4、SER流程
2020/11/12
16
❖ 语音情感数据库
SER流程
❖ 预处理：A/D转换，高频部分预 加重（使信号频谱变得平滑）
❖ 用窗函数分帧，如汉明窗
❖ 在每一个语音分析帧上提取瞬时 特征，具体分为时域分析和变换 域分析。特征太多则需要降维。
❖ 训练，可看成分类器，模式分类
能感知人类情感的❀：KOTOHANA
2020/11/12
13
国内
❖ 普通话和西方语系有地域、文化差异，不能完全照搬。要研究普通话SER
1. 东南大学无线电工程系
赵力教授的实验小组在国内率先开展了普通话语音情感识别的研究，2001，采用PCA 南航电子工程系钱向民教授
2. 清华大学计算机科学与技术系
蔡莲红教授领导的人机语音交互实验室
3. 模式识别国家重点实验室
以陶建华博士为主的研究小组
4. 台湾大同大学资讯工程学系
包苍龙教授领导的数据通讯与信号处理实验室
❖ 其他：中科院自动化所、中国社科院语言研究所、哈工大、浙大、华南理工、 中科大、江苏大学等等
2020/11/12
14
期刊会议
❖ 国际语音通信协会(ISCA)每两年举办一次Eurospeech和Interspeech国际会议。
❖ 医学：情感虚拟人，情感交流
❖ …只要能够想到的地方
2020/11/12
7
❖ 小Q ❖ http://www.boyso.net.cn/show/214.html
2020/11/12
8
❖ 中科院自动化所 ❖ 联通增值业务
情侦宝
2020/11/12
9
3、 SER发展与现状
2020/11/12
10
2. 美国MIT媒体实验室情感计算研究所 （http://affect.media.mit.edu）
Picard教授领导的情感计算组是世界上第一个大规模研究情感及其 计算的科研机构。
3. 美国南加州大学语音情感组 （http://sail.usc.edu/emotion/index.php）Narnyana教 授，情感语音的声学分析、合成和识别，以及有关笑声的 合成研究。
2020/11/12
12
国外
4、以色列Nemesysco公司 (http://www.nemesysco.com)
实际应用：以分层声音分析技术(LVA)在安全、 商业和个人娱乐领域为客户提供解决方案。
5、日本SGI研究院 (http://www.sgi.co.jp/solutions/bbu/ST/in dex.html)
2020/11/12
3
背景
主要用于逻辑推理的计算机是否应该具有情感智能？
❖ MIT的Minsky教授在1985年的专著《The Society of Mind》 中指出：问题不在于智能机器能否有任何情感，而在于机器 实现智能时怎么能够没有情感。
❖ 情感计算：1997年MIT媒体实验室的Picard教授， 《Affective Computing》，定义：与情感有关、由情感引 发或刻意影响情感的计算。现为研究热点。中国：王志良
❖ 其他会议：ICASSP，ICSLP，ISCSLP
期刊： ❖ pattern recognition，JCR-2
❖ IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE， JCR-1
❖ JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA， JCR-3
发展与现状
SEC是怎么发展起来的？谁在研究它？
❖ 80年代末90年代初，根据韵律控制人机 会话的过程。
❖ 90年代中后期开始快速发展。
2020/11/12
11
国外
1. 英国贝尔法斯特女王大学的情感语音组
收集并创建了第一个大规模的高自然度声音情感数据库，R Cowie, E Douglas-Cowie 教授，2000年。重点研究心理学和语音分析。
1. 基本情感和复合情感 2. 情感空间模型 3. 情感轮 4. 三级情感模型
2020/11/12
19
1、基本情感和复合情感
一般认为有六大类基本情感： 恐惧(fear) 生气(anger) 高兴(happiness) 悲伤(sadness) 吃惊(surprise) 厌恶(disgust)
2020/11/12
5
2、 SER应用
2020/11/12
6
应用
为什么我们需要SER呢？ ❖ 服务业：电话通讯（呼叫中心）
❖ 安全检测：受害人呼救
❖ 教育业：远程教学中的人文关怀，提高学习效率
❖ 娱乐业：玩具（AIBO狗，PLEO恐龙，小Q）、游戏
❖ 工业：汽车（车载监控，安全性），手机，家电，情感香水喷射 器
❖ 识别，模式匹配，分类
2020/11/12
17
5、情感理论和语音情感分类 —— SER的前提
2020/11/12
18
情感理论和语音情感分类
什么是情感？如何划分情感类型？
❖ 情感属于人类经验的一个基本方面，它在人类使 用文字符号前就早已存在，因此很难给出情感定 义，因此划分情感类型也颇有争论。主要有以下 分类方法：
1. SER背景 2. SER应用 3. SER发展与现状 4. SER流程
目录
5. 情感理论和语音情感分类 6. 情感语音数据库 7. 情感语音特征 8. SER方法
9. SER研究举例 10. SER存在的问题及思考 11. 主要参考文献
2020/11/12
2
1、 SER背景
❖ Speech Communication， JCR-4
❖ Signal Processing，JCR-3
Βιβλιοθήκη Baidu
❖ COMPUTER SPEECH AND LANGUAGE，JCR-3
❖ IEEE Transactions on Audio Speech and Language Processing，JCR-3
❖ 情感计算包括3部分：情感识别、情感理解、表示和计算、 情感表达。 其中，SER：计算机通过语音判断人的情感
信号获取
分析识别
情感理解
情感表达
2020/11/12
4
语音情感识别
为什么研究语音情感识别呢？ ❖ 语音是人与人之间沟通的重要手段，也是传递情感的重要媒
介，因而也就成为智能人机交互中人们期待的最为方便、自 然的交互方式之一。研究热点
2020/11/12
15
4、SER流程
2020/11/12
16
❖ 语音情感数据库
SER流程
❖ 预处理：A/D转换，高频部分预 加重（使信号频谱变得平滑）
❖ 用窗函数分帧，如汉明窗
❖ 在每一个语音分析帧上提取瞬时 特征，具体分为时域分析和变换 域分析。特征太多则需要降维。
❖ 训练，可看成分类器，模式分类
能感知人类情感的❀：KOTOHANA
2020/11/12
13
国内
❖ 普通话和西方语系有地域、文化差异，不能完全照搬。要研究普通话SER
1. 东南大学无线电工程系
赵力教授的实验小组在国内率先开展了普通话语音情感识别的研究，2001，采用PCA 南航电子工程系钱向民教授
2. 清华大学计算机科学与技术系
蔡莲红教授领导的人机语音交互实验室
3. 模式识别国家重点实验室
以陶建华博士为主的研究小组
4. 台湾大同大学资讯工程学系
包苍龙教授领导的数据通讯与信号处理实验室
❖ 其他：中科院自动化所、中国社科院语言研究所、哈工大、浙大、华南理工、 中科大、江苏大学等等
2020/11/12
14
期刊会议
❖ 国际语音通信协会(ISCA)每两年举办一次Eurospeech和Interspeech国际会议。
❖ 医学：情感虚拟人，情感交流
❖ …只要能够想到的地方
2020/11/12
7
❖ 小Q ❖ http://www.boyso.net.cn/show/214.html
2020/11/12
8
❖ 中科院自动化所 ❖ 联通增值业务
情侦宝
2020/11/12
9
3、 SER发展与现状
2020/11/12
10
2. 美国MIT媒体实验室情感计算研究所 （http://affect.media.mit.edu）
Picard教授领导的情感计算组是世界上第一个大规模研究情感及其 计算的科研机构。
3. 美国南加州大学语音情感组 （http://sail.usc.edu/emotion/index.php）Narnyana教 授，情感语音的声学分析、合成和识别，以及有关笑声的 合成研究。
2020/11/12
12
国外
4、以色列Nemesysco公司 (http://www.nemesysco.com)
实际应用：以分层声音分析技术(LVA)在安全、 商业和个人娱乐领域为客户提供解决方案。
5、日本SGI研究院 (http://www.sgi.co.jp/solutions/bbu/ST/in dex.html)
2020/11/12
3
背景
主要用于逻辑推理的计算机是否应该具有情感智能？
❖ MIT的Minsky教授在1985年的专著《The Society of Mind》 中指出：问题不在于智能机器能否有任何情感，而在于机器 实现智能时怎么能够没有情感。
❖ 情感计算：1997年MIT媒体实验室的Picard教授， 《Affective Computing》，定义：与情感有关、由情感引 发或刻意影响情感的计算。现为研究热点。中国：王志良
❖ 其他会议：ICASSP，ICSLP，ISCSLP
期刊： ❖ pattern recognition，JCR-2
❖ IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE， JCR-1
❖ JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA， JCR-3
发展与现状
SEC是怎么发展起来的？谁在研究它？
❖ 80年代末90年代初，根据韵律控制人机 会话的过程。
❖ 90年代中后期开始快速发展。
2020/11/12
11
国外
1. 英国贝尔法斯特女王大学的情感语音组
收集并创建了第一个大规模的高自然度声音情感数据库，R Cowie, E Douglas-Cowie 教授，2000年。重点研究心理学和语音分析。
1. 基本情感和复合情感 2. 情感空间模型 3. 情感轮 4. 三级情感模型
2020/11/12
19
1、基本情感和复合情感
一般认为有六大类基本情感： 恐惧(fear) 生气(anger) 高兴(happiness) 悲伤(sadness) 吃惊(surprise) 厌恶(disgust)
2020/11/12
5
2、 SER应用
2020/11/12
6
应用
为什么我们需要SER呢？ ❖ 服务业：电话通讯（呼叫中心）
❖ 安全检测：受害人呼救
❖ 教育业：远程教学中的人文关怀，提高学习效率
❖ 娱乐业：玩具（AIBO狗，PLEO恐龙，小Q）、游戏
❖ 工业：汽车（车载监控，安全性），手机，家电，情感香水喷射 器
❖ 识别，模式匹配，分类
2020/11/12
17
5、情感理论和语音情感分类 —— SER的前提
2020/11/12
18
情感理论和语音情感分类
什么是情感？如何划分情感类型？
❖ 情感属于人类经验的一个基本方面，它在人类使 用文字符号前就早已存在，因此很难给出情感定 义，因此划分情感类型也颇有争论。主要有以下 分类方法：