多粒度特征融合的维度语音情感识别方法

基金项目：国家自然科学基金资助项目（ ６ １ １ ７ １ １ ８ ６ ， ６ １ ２ ７ １ ３ ４ ５ ， ６ １ ６ ７ １ １ ８ ７ ） ；深圳市基础研究项目（ Ｊ Ｃ Ｙ Ｊ ２ ０ １ ５ ０ ９ ２ ９ １ ４ ３ ９ ５ ５ ３ ４ １ ） ；语言语音教育部－ 微软 重点实验室开放基金资助项目（ Ｈ Ｉ Ｔ Ｋ Ｌ Ｏ Ｆ ２ ０ １ ５ ０ Ｘ Ｘ ， Ｈ Ｉ Ｔ Ｋ Ｌ Ｏ Ｆ ２ ０ １ ６ ０ ｘ ｘ ） ；中央高校基本科研业务费专项资金（ Ｈ Ｉ Ｔ Ｎ Ｓ Ｒ Ｉ Ｆ ２ ０ １ ２ ０ ４ ７ ）
Ｍｕ ｌ ｔ ｉ ｇ ｒ ａ ｎ ｕ ｌ ａ ｒ ｉ ｔ ｙＦ ｅ ａ ｔ ｕ ｒ ｅＦ ｕ ｓ ｉ ｏ ｎｆ ｏ ｒＤ ｉ ｍｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ Ｓ ｐ ｅ ｅ ｃ ｈＥ ｍｏ ｔ ｉ ｏ ｎＲ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ
Ｃ Ｈ Ｅ ＮＪ ｉ ｎ ｇ Ｌ Ｉ Ｈ ａ ｉ ｆ ｅ ｎ ｇ Ｍ ＡＬ ｉ ｎ Ｃ Ｈ Ｅ ＮＸ ｉ ａ ｏ Ｃ Ｈ Ｅ ＮＸ ｉ ａ ｏ ｍ ｉ ｎ
［ ３ ７ ］ 一的答案。Ｏ ｒ ｉ ｇ ｌ ｉ ａ 认为目前特征提取方法是基于
固化在人类神经自主系统中的基本情感， 以及由基 本情感不同程度修改和组合而成的次级情感。离 散模型简 单 直 观， 但不可避免地存在只能刻画单 一、 有限种类情感的问题， 很难精确描述自发情感。 维度模型把情感看作是情感属性逐渐的、 平滑的转 变， 属性维度组成的空间包括了人类所有的情感， 不同情感则映射成高维空间上的不同点。代表性
多粒度特征融合的维度语音情感识别方法
陈 婧 李海峰 马 琳 陈 肖 陈晓敏
（ 哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨 １ ５ ０ ０ ０ １ ） 摘 要：针对传统维度语音情感识别系统采用全局统计特征造成韵律学细节信息丢失以及特征演化规律缺失的问 题，本文提出了一种基于不同时间单元的多粒度特征提取方法，提取了短时帧粒度、中时段粒度以及长时窗粒度 Ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ Ｉ ｎ ｓ ｐ ｉ ｒ ｅ ｄＲ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ 特征，并提出了一种可以融合多粒度特征的基于认知机理的回馈神经网络（ ｗ ｏ ｒ ｋ ，Ｃ Ｉ Ｒ Ｎ Ｎ ） 。该网络模拟了人脑处理语音信号时 “ 循序渐进”的过程，通过融合多粒度特征，使得不同时间单 元的特征均参与网络训练，既突出了情感的时序性，也保留了全局特性对情感识别的作用，实现多层级信息融合。 该网络同时模拟大脑运用以往经验模式进行对比的过程，在网络中引入记忆层，用于记忆上文情感特征，强化了 Ａ Ｍ 维度语料库的维度情感识别，分别从 Ａ ｃ ｔ ｉ ｖ ａ ｔ ｉ ｏ ｎ 、Ｄ ｏ ｍ ｉ 上下文信息对识别的影响作用。本文将该方法用于 Ｖ 、Ｖ ａ ｌ ｅ ｎ ｃ ｅ 三个维度进行测试，平均相关系数为 ０ ６ ６ ，识别结果明显优于传统 Ａ Ｎ Ｎ和 Ｓ Ｖ Ｒ的识别结果。 ｎ ａ ｎ ｃ ｅ 关键词：维度语音情感识别；多粒度特征融合；基于认知机理的回馈神经网络；认知机理 中图分类号：Ｔ Ｐ ３ ９ １ ． ４ ２ 文献标识码：Ａ Ｄ Ｏ Ｉ ： １ ０ ． １ ６ ７ ９ ８ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ３ ０ ５ ３ ０ ． ２ ０ １ ７ ． ０ ３ ． ０ １ ８
三种类型。这些特征常常以帧为单位进行提取， 却以
３ ６ ］ 全局特征统计值的形式参与情感的识别［ ， 常用的统
计指标有极值、 极值范围、 方差、 峰度、 偏斜度等。 情境上下文对情感的识别具有关键性作用， 然而 全局特征统计特征会缺失上下文信息， 这是导致情感 识别率较低的原因之一。目前已有少量文献尝试选 取不同窗长来提高情感识别率， 但存在的文献没有统
第３ ３卷 第 ３期 ２ ０ １ ７年 ３月
文章编号： １ ０ ０ ３ － ０ ５ ３ ０ （ ２ ０ １ ７ ） ０ ３ － ０ ３ ７ ４ － ０ ９
信
号
ห้องสมุดไป่ตู้
处
理
Ｊ Ｏ Ｕ Ｒ Ｎ Ａ ＬＯ ＦＳ Ｉ Ｇ Ｎ Ａ ＬＰ Ｒ Ｏ Ｃ Ｅ Ｓ Ｓ Ｉ Ｎ Ｇ
Ｖ ｏ ｌ ． ３ ３ Ｎ ｏ ． ３ Ｍ ａ ｒ ． ２ ０ １ ７
整个语音信号， 没有考虑语音内容的变化， 这与韵律 研究的理论基础是矛盾的。并以此提出一种基于音 节的特征提取办法， 同时考虑音节核， 可以减少信息
［ ３ ８ ］ 的处理量。Ｓ ｅ ｔ ｈ ｕ 认为帧特征和全局统计特征不足
以全面的表征情感的时序信息， 因此提出以段为单位 的特征提取， 可通过基音频率和前三个共振峰的轮廓 进行提取， 将该特征与短时帧特征和全局统计特征融 合可以提高情感识别率。 本文针对全局统计特征引起的时序信息丢失 问题， 研究了合适的情感表达时长， 提出基于不同 时间单元的多粒度情感特征提取方法， 包括短时帧 特征、 中时段特征和长时窗特征， 并提出了可以融 合多粒 度 特 征 的 基 于 认 知 机 理 的 回 馈 神 经 网 络 （ Ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ Ｉ ｎ ｓ ｐ ｉ ｒ ｅ ｄＲ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ，Ｃ Ｉ Ｒ Ｎ Ｎ ） 用于维度语音情感识别， 实现了时序信息对情 感识别的补充作用。 本文的组织结构如下： 第 ２部分介绍了多粒度 情感特征的提取方法， 第 ３部分提出了基于认知机 理的回馈神经网络的构建与学习方法， 第 ４部分在 Ｖ Ａ Ｍ 维度情感数据集上进行实验， 通过与当前研究 效果进行对比， 验证了本文方法较传统方法的维度 情感识别效果具有明显提高， 最后对本文做了总结。
［ ４ ］ Ｐ ｌ ｕ ｔ ｃ ｈ ｉ ｋ 抛 物 锥 情 感 空 间 模 型、 的维度 理 论 有： ［ ５ ］ ［ ６ ］ Ｗｕ ｎ ｄ ｔ 情感三度说、 Ｓ ｃ ｈ ｌ ｏ ｓ ｂ ｅ ｒ ｇ 倒圆锥三维情感 ［ ７ ］ ［ ８ ］ 空间、 Ｒ ｕ ｓ ｓ ｅ ｌ ｌ 愉快度和强度环形模型、 Ｐ Ａ Ｄ 情感
１ 引言
语音情感识别技术是让机器有足够的智能， 从 语音中提取有用的情感信息， 使得人与机器之间能
收稿日期：２ ０ １ ６ － １ ０ － ２ ６ ；修回日期：２ ０ １ ７ － ０ １ － １ ７
像人与人之间自然、 友好的交流。由于人类情感极 其复杂， 不同研究者对情感的定义存在很大的争 议， 直到现在研究者们也没有得出情感的公认定义。 情感描 述 模 型 是 语 音 情 感 识 别 实 现 的 基 础。
第 ３期
陈 婧 等： 多粒度特征融合的维度语音情感识别方法
３ ７ ５
语音情感识别领域常用的情感模型分为离散情感 模型和维度情感模型， 尽管目前并没有形成统一模 型， 但也明显地呈现出了由离散情感模型发展到维
１ ３ ］ 度情感模型的总体趋势 ［ 。离散模型把情感分为
２ ９ ３ １ ］ ３ ２ ３ ３ ］ ３ ４ ３ ５ ］ 、 基于谱的相关特征［ 和音质特征［ 学特征［
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅａ ｎ ｄＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｈ ａ ｒ ｂ ｉ ｎＩ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｈ ａ ｒ ｂ ｉ ｎ ，Ｈ ｅ ｉ ｌ ｏ ｎ ｇ ｊ ｉ ａ ｎ ｇ １ ５ ０ ０ ０ １ ，Ｃ ｈ ｉ ｎ ａ ） Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｉ ｎｏ ｒ ｄ ｅ ｒ ｔ ｏ ｒ ｅ ｄ ｕ ｃ ｅ ｔ ｈ ｅ ｐ ｒ ｏ ｓ ｏ ｄ ｉ ｃ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｌ ａ ｃ ｋ ｉ ｎ ｇ ｉ ｎ ｄ ｕ ｃ ｅ ｄｂ ｙｕ ｔ ｔ ｅ ｒ ａ ｎ ｃ ｅ ｔ ｅ ｒ ｍｇ ｌ ｏ ｂ ａ ｌ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｗ ｈ ｉ ｃ ｈｗ ｅ ｒ ｅ ｗ ｉ ｄ ｅ ｌ ｙ ｕ ｓ ｅ ｄｂ ｙ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｓ ｐ ｅ ｅ ｃ ｈｅ ｍ ｏ ｔ ｉ ｏ ｎｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ，ａ ｎ ｏ ｖ ｅ ｌ ｍ ｕ ｌ ｔ ｉ ｇ ｒ ａ ｎ ｕ ｌ ａ ｒ ｉ ｔ ｙ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎｍ ｅ ｔ ｈ ｏ ｄｉ ｓ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ．Ｔ ｈ ｉ ｓ ｍ ｅ ｔ ｈ ｏ ｄｉ ｓ ｂ ａ ｓ ｅ ｄｏ ｎｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｔ ｉ ｍ ｅ ｕ ｎ ｉ ｔ ｓ ｗ ｈ ｉ ｃ ｈｉ ｎ ｃ ｌ ｕ ｄ ｅ ｓ ｈ ｏ ｒ ｔ ｔ ｅ ｒ ｍｆ ｒ ａ ｍ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ， ｍ ｉ ｄ ｔ ｅ ｒ ｍｆ ｒ ａ ｇ ｍ ｅ ｎ ｔ ｓ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ａ ｎ ｄ ，ｗ ｅ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ａｃ ｏ ｇ ｎ ｉ ｔ ｉ ｖ ｅ ｉ ｎ ｓ ｐ ｉ ｒ ｅ ｄｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｌ ｏ ｎ ｇ ｔ ｅ ｒ ｍｗ ｉ ｎ ｄ ｏ ｗ ｉ ｎ ｇ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ．Ｔ ｏ ｆ ｕ ｓ ｅ ｔ ｈ ｅ ｓ ｅ ｍ ｕ ｌ ｔ ｉ ｇ ｒ ａ ｎ ｕ ｌ ａ ｒ ｉ ｔ ｙ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｗ ｏ ｒ ｋ（ Ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ Ｉ ｎ ｓ ｐ ｉ ｒ ｅ ｄＲ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ ｗ ｏ ｒ ｋ ，Ｃ Ｉ Ｒ Ｎ Ｎ ） ．Ｃ Ｉ Ｒ Ｎ Ｎａ ｓ ｓ ｅ ｍ ｂ ｌ ｅ ｓｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｔ ｉ ｍ ｅ ｌ ｅ ｖ ｅ ｌ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓｔ ｏｓ ｉ ｍ ｕ ｌ ａ ｔ ｅ ｔ ｈ ｅ ｈ ｕ ｍ ａ ｎｂ ｅ ｉ ｎ ｇ ’ ｓ ｓ ｔ ｅ ｐｂ ｙ ｓ ｔ ｅ ｐｐ ｒ ｏ ｃ ｅ ｓ ｓ ｏ ｎａ ｕ ｄ ｉ ｏ ｓ ｉ ｇ ｎ ａ ｌ ｓ ａ ｎ ｄｉ ｔ ｒ ｅ ａ ｌ ｉ ｚ ｅ ｓ ｔ ｈ ｅ ｍ ｕ ｌ ｔ ｉ ｌ ｅ ｖ ｅ ｌ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｆ ｕ ｓ ｉ ｏ ｎｂ ｙ ｈ ｉ ｇ ｈ ｌ ｉ ｇ ｈ ｔ ｉ ｎ ｇ ｂ ｏ ｔ ｈ ｔ ｈ ｅ ｔ ｉ ｍ ｅ ｓ ｅ ｑ ｕ ｅ ｎ ｃ ｅ ｏ ｆ ｅ ｍ ｏ ｔ ｉ ｏ ｎａ ｎ ｄｔ ｈ ｅ ｒ ｏ ｌ ｅ ｏ ｆ ｃ ｏ ｎ ｔ ｅ ｎ ｔ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ．Ｔ ｈ ｅｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄｍ ｅ ｔ ｈ ｏ ｄ ｓ ａ ｒ ｅｆ ｕ ｒ ｔ ｈ ｅ ｒ ｅ ｘ ａ ｍ ｉ ｎ ｅ ｄｏ ｎｔ ｈ ｅＶ Ａ Ｍ ，ｖ ａ ｌ ｅ ｎ ｃ ｅ ，ａ ｎ ｄ ｄ ａ ｔ ａ ｂ ａ ｓ ｅ ｔ ｏ ｅ ｓ ｔ ｉ ｍ ａ ｔ ｅ ｃ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ ｅ ｍ ｏ ｔ ｉ ｏ ｎｐ ｒ ｉ ｍ ｉ ｔ ｉ ｖ ｅ ｓ ｉ ｎａｔ ｈ ｒ ｅ ｅ ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｆ ｅ ａ ｔ ｕ ｒ ｅｓ ｐ ａ ｃ ｅｓ ｐ ａ ｎ ｎ ｅ ｄｂ ｙａ ｃ ｔ ｉ ｖ ａ ｔ ｉ ｏ ｎ ｄ ｏ ｍ ｉ ｎ ａ ｎ ｃ ｅ ａ ｎ ｄｔ ｈ ｅ ａ ｖ ｅ ｒ ａ ｇ ｅ ｃ ｏ ｒ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎｃ ｏ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ ｉ ｓ ０ ６ ６ ． Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗｔ ｈ ａ ｔ ， ｔ ｈ ｅ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄｓ ｙ ｓ ｔ ｅ ｍｈ ａ ｓ ａ ｓ ｉ ｇ ｎ ｉ ｆ ｉ ｃ ａ ｎ ｔ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｍ ｅ ｎ ｔ ｆ ｏ ｒ ｓ ｐ ｅ ｅ ｃ ｈｅ ｍ ｏ ｔ ｉ ｏ ｎｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｏ ｎｃ ｏ ｍ ｐ ａ ｒ ｅ ｄｗ ｉ ｔ ｈｔ ｈ ｅ ｃ ｏ ｍ ｍ ｏ ｎ ｌ ｙ ｕ ｓ ｅ ｄＡ Ｎ Ｎａ ｎ ｄＳ Ｖ Ｒａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ｅ ｓ ． Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ ： ｄ ｉ ｍ ｅ ｎ ｓ ｉ ｏ ｎ ａ ｌ ｅ ｍ ｏ ｔ ｉ ｏ ｎｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ； ｍ ｕ ｌ ｔ ｉ ｇ ｒ ａ ｎ ｕ ｌ ａ ｒ ｉ ｔ ｙ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｆ ｕ ｓ ｉ ｏ ｎ ； ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ ｉ ｎ ｓ ｐ ｉ ｒ ｅ ｄｒ ｅ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ； ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｖ ｅｍ ｅ ｃ ｈ ａ ｎ ｉ ｓ ｍ