语音情感识别

人机交互中的语音情感识别

一．研究内容及其意义

随着信息技术的高速发展和人类对计算机的依赖性不断增强，人机交互(Human-Computer Interaction)能力越来越受到研究者的重视。如何实现计算机的拟人化，使其能感知周围的环境和气氛以及对象的态度、情感的内容，自适应地为对话对象提供最舒适的对话环境，尽量消除操作者和机器之间的障碍，已经成为下一代计算机发展的目标。显然，人的大脑所表现出来的心智现象不仅仅体现在“智”的方面，而且还体现在“心”的方面。人工智能已经不仅仅把研究重点放在对人脑智能实现上，而且也开展了对情感和意识方面的研究。一般认为情感是通过语言、姿态、音乐和行为等表达模式来进行交流的，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视。

包含在语音信号中的情感信息是一种很重要的信息资源，它是人们感知事物的必不可少的部分信息。例如，同样一句话，由于说话人表现的情感不同，在听着的感知上就可能会有较大的差别。然而传统的语音信号处理技术把这部分信息作为模式的变动和差异噪声通过规则化处理给去掉了。实际上，人们同时接受各种形式的信息，怎样利用各种形式的信息以达到最佳的信息传递和交流效果，是今后信息处理研究的发展方向。

语音之所以能够表达情感,是因为其中包含能体现情感特征的参数。研究认为,某种特定的情感状态所引起的语音参数变化在不同的人之间是大致相同的,仅有微小差别。因而，情感的变化能够通过语音的特征参数来反映，研究从语音中提取这些情感参数就显得非常重要。通常认为情绪所引起的生

理上的变化会对语音带来直接的影响，而与人的生理唤醒程度相关的特征参数(声学参数如音强、平均基音、语速等)能够更好地反映语音中的情感 ,如恐惧和生气所引起的生理颤动会带来相应的基频摆动;不高兴会导致声道的紧张从而引起语音信号频谱发生变化。另外，语音情感识别中所采用的识别方法也会对结果产生影响。

目前，关于情感信息处理的研究正处在不断的深入之中，而其中语音信号中的情感信息处理的研究正越来越受到人们的重视，如美国、日本、欧洲、韩国等许多国家的一些研究单位都在进行情感语音处理研究工作。语音情感识别有着非常广泛的应用前景。比如，用于自动远程电话服务中心，及时发现客户的不满情绪；用于远程教学和婴儿教育，及时识别学生的情绪并做出适当的处理，从而提高教学质量；也可以用于刑事侦察中自动检测犯罪嫌疑人的心理状态以及辅助测谎等。

二．国内外的研究现状

语音情感识别是语音信号处理领域崛起的新秀，相关研究至今已有二十余年的研究历史，对提升智能人机交互水平和丰富多媒体检索方式有着重要的实际意义。

在1972年Williams发现人的情感变化对语音的基因轮廓有很大的影响，这是国外最早开展的语音情感方面的研究之一。1990年MIT多媒体实验室构造了一个“情感编辑器”对外界各种情感信号进行采样，如人的语音信号、脸部表情信号等来识别各种情感[1]。1996年日本东京Seikei大学提出情感空间的概念并建立了语音情感模型。2000年，Maribor大学的Vladimir Hozjan研究了基于多种语言的语音情感识别[2]。2009年4月，日本产业技术综合研究所(AIST)研制

一个具有丰富表情的新型女性机器人“HRP-4C”。通过对主人语音信号的识别，机器人可以做出喜、怒、哀、乐和惊讶的表情等[3]。

在国内，语音情感识别的研究起步较晚。2001年，东南大学赵力等人提出语音信号中的情感识别研究。2003年，北京科技大学的谷学静等人将BDI Agent 技术应用与情感机器人的语音识别技术研究中。另外，2003年12月中科院自动化所等单位在北京主办了第一届中国情感计算及智能交互学术会议。2005年10月又在北京主办了首届国际情感计算及智能交互学术会议。

三．采用的研究方法

语音情感识别关注语音中的隐层情感信息，是一门涉及心理学、生理学、信号处理和模式识别等领域的交叉学科，主要任务是通过对语音信号的感知和分析，剥离出情感表达相关的声学特征，进而识别出话者所处的情感状态。整个识别系统中，对情感特征数据的处理能至关重要。通常地，语音情感特征向量少则数十维多则上百维，且随着语料数量的增多，特征数据的数量将变得十分可观。而我们受到所处的三维物理空间的限制，对高维空间中的数据的理解已经十分困难。因此，面对这批数量庞大的高维数据，如何找出相同情感类别的特征数据之间的共性和不同情感类别的特征数据之间的差异变成一项复杂的工程。目前常用的特征处理方法实际上是对传统模式识别手段的沿用（如支持向量机、神经网络、隐马尔可夫模型等），然而由此得到的非特定人语音情感识别性能并不理想。下面从几个方面对语音情感识别的研究方法加以说明。

⒈情感的分类

要研究语音信号的情感，首先需要根据某些特性标准对语音情感做一个有效合理的分类，然后在不同类别的基础上研究特征参数的性质。人类的情感是相当复杂的，常见的是喜、怒、哀、乐等．目前语音情感识别研究中对于情感

的分类没有一个统一的标准，研究者一般针对研究对象而做出不同的分类。目前使用较多的是四种基本情感类型：愤怒、高兴、悲伤、惊奇。在心理学领域被普遍接受的是Robert Plutchik教授提出的八种原型情感模型，八种情感为：恐惧、惊奇、悲伤、厌恶、愤怒、期望、高兴、接受。对于情感的分类，研究者始终没有达成共识。

⒉情感语音库的建立

情感语音库是语音情感识别研究的基础，如何建立一个有效的情感语音库对于提高语音情感识别率具有重要影响。语音库的建立大体上分为三种形式．第一种数据库来自专业或业余演员的表演，朗读预先准备的句子或段落。由于这种方法操作简单，目前大部分情感语音数据库都是用这种方法获得的。第二种数据库是让录音者置身于一个虚拟场景，从虚拟环境中诱引出语音。第三种数据库来自现实生活，是人们在现实生活中表现出最真实情感的语音，但要用这种方法获得情感语音数据库非常困难。

用三种方法获取的数据库其自然度各不相同，文献[4]通过试验发现，在使用同样特征参数的情况下，用不同方法获得的数据库其情感识别率不同。Batliner 等人使用线性判别分析(LDA)法结合韵律特征，对三种不同自然度的情感语音数据库进行了分类试验，结果表明，情感语音的自然度越高，识别率越低。

⒊语音信号的情感特征提取

一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。语音情感的变化通常可以体现为语音特征参数的变化。统计分析表明，高兴时，通常是语速较快，音量较大；悲伤时，通常是语速缓慢，音量较小。基音是最常用的判定情感的语音特征，它反映了超音段的信息。在语音情感识别中使用的特征参数有基频（Pitch），其次才是能量（Energy）、语速（Speech Rate）、共振峰