基于协方差描述子和黎曼流形的语音情感识别

到均值点处的切空间上, 我们还需定义该切空间的
正交坐标系, 将切空间中的向量用正交坐标表示, 以
此作为传统分类器的输入, 实现情感分类. 位于切空 间 S 中的向量 V 的正交坐标为 [ 10]
其中令
vec ( V) =
vecI (
V -
1 2
-
1 2
),
V -
1 2
K ey W ord s Speech Emo tion Recogn ition, Covar iance Descriptor, R iem ann ian M an ifo ld, N o isy Env ironm en,t Support V ecto rM ach ine ( SVM )
语音情感识别过程主要包括两个步骤: 1) 对输 入语音信号进行分析, 提取其中的各种声学特征构 造语音 特征 向 量; 2) 训 练 分类 器, 如 支持 向 量机 ( SVM ) 、隐马尔可夫模型等, 用于语音情感识别. 目 前在语音情感识别中常用的声学特征包括: 基音频 率、短时过零率、对数能量、共振峰、线性预测倒谱系 数、M el频率倒谱系数 ( M e l F requency C epstra l Coe-f ficients, MFCC )、线谱对 ( L ine Spectrum P air, LPS) 、 感知线性预测倒谱系数 ( Perceptua l L inear P red ict ion Cepstra l Coefficients, PLPCC )等 [ 4- 5] . 传统的识别方 法首先将语音信号分帧, 提取每帧数据的声学特征. 然后在句子层面计算声学特征的多项统计量, 如均 值、中间值、方差、最大值、最小值等, 得到一个多维 统计特征向量表征情感信息. 最后, 根据这些统计特 征向量训练语音情感分类器. 目前这类方法能取得 70% ~ 90% 的识别准确率 [ 1, 6- 7] . 然而, 由于语音情 感空间实际上是由一系列声学特征向量所张成的高
( n + 1) /2维线性空间中的一个凸锥. 由于语音存
在波动性, 每句语音提取的 n 个声学特征序列 [ F 1,
F 2, , Fn ] 的方差皆为非零, 所以我们只需考虑协
方差矩阵非奇异 (对称且正定 ) 的情形. 该对称正定
矩阵对应上述凸锥的内部. 凸锥内部是一个微分流
形, 在该流形上进行分类仍欠缺一个有效的度量. 度
成. 出于对分类的考虑, 可将流形上的 平面 看作 n
维切空间中一组 n - 1维向量的任意线性组合在指 数映射下的像. 因此, 对于给定的度量, 计算出指数
映射和对数映射, 问题便迎刃而解. 但是, 算法中还
需考虑两处细节.
1) 流形 M 上的每一点处都有一个切空间, 那么 用于映射的切空间应该如何选取. 直观想象, 对于流 形 M 上的一簇点 (X 1, X 2, , XN ), 应当在这一簇点 的均值处作一个切空间, 才能得到最优逼近. 也就是 说, 我们需要计算流形上的均值 . 文献 [ 10] 提出
生, 教授, 博士生导师, 主要研究方向为图形图像处理、语音分析、嵌入式系统. 叶承羲, 男, 1985年生, 硕士 研究生, 主要研究 方向为模式识别、图像处理. 李娜, 女, 1978年生, 博士后, 主要研 究方向为 模式识别. 卜佳 俊, 男, 1973年 生, 教 授, 博 士生导 师, 主要研究方向为嵌入式系统、语音和图形图像处理.
exp(X -
1 2
VX -
1 2
)X
1
2.
指数映射的逆映射, 即对数映射, 则将流形上的点 X
到点 Y的测地线映射为切空间 SX 中等长同向的向
量 V:
V=
logX
( Y)
=
1
X2
log(X -
1 2
Y将该仿射不变度量用于协方差矩阵构成的
凸锥上, 使其满足黎曼流形的要求, 然后构建语音情 感分类框架. 在线性空间中, 平面可由一组基向量张
维空间, 利用上述传统统计向量直接进行分类的方 式显然难以反映情感语音的高维特性, 从而导致识 别效果参差不齐, 系统的稳定性和鲁棒性较差.
考虑到传统的语音情感识别方所存在的问题, 本文提出一个基于协方差描述子和黎曼流形的语音
情感特征表征和度量方法. 在前述常用的声学特征 的基础上, 计算这些特征的协方差矩阵, 作为句子层 面的统计量, 并且利用黎曼流形的相关理论, 解决协 方差矩阵空间的度量问题. 与利用传统统计量进行 语音情感识别相比, 基于协方差描述子的语音特征 表达能够更好地反映情感信号的高维特性, 更便于 分类和识别. 实验证明, 在进行语音情感识别, 尤其 是噪声环境下语音情感识别时, 本文方法能够有效
存在一个小邻域, 与欧氏空间上的一个小邻域微分
同胚.
度量是附加于流形之上的一种结构. 同一流形
上可以有许多不同的度量. P ennec等人在文献 [ 10]
中, 提出微分流形上的一种仿射不变度量. 该度量的
主要思想是, 对于黎曼流形 M 上的任意一点 X, 均可
作一个切空间 SX , 并构造切空间 SX 和流形 M 的微分
同胚. 对切空间 SX 中的向量 V, 可通过指数映射将 V 映射为流形 M 上从点 X 出发的等长同向的测地线.
5期
刘 佳 等: 基于协方差描述子和黎曼流形的语音情感识别
6 75
测地线 即是线性 空间中 直线的 推广. 该指 数映射
expX ( V ) 定义如下:
Y=
expX ( V )
=
X
1 2
Speech Em otion Recogn ition B ased on Covariance Descriptor and R iemannian M anifold
L IU Jia, CHEN Chun, YE Cheng-X,i L I Na, BU Jia-Jun (K ey Laboratory of Service R obot T echnique, C ollege of Computer Science and T echnology,
* 国家自然科学基金 项目 ( N o. 60873124) 、国家科技支撑计划项目 ( N o. 2008BAH 26B02)资助 收稿日期: 2008- 10- 27; 修回日期: 2009- 03- 31 作者简介 刘佳, 女, 1981年生, 博士研究 生, 主要研 究方 向为语 音情 感识别. E-ma i:l liujia@ zju. edu. cn. 陈 纯, 男, 1955年
Zhejiang Un iversity, H angzhou 310027)
ABSTRACT
An a lgorithm for speech em otion recognition is proposed based on covariance descr iptor and R iem annian m an ifo ld. A ccord ing to the extracted acoustic features, covariance m atrices are com puted as the em ot ion descriptors of sentences. W ith the consideration of h igh dim ensional characteristic of the space constructed by non- singu lar covariance m atrices, an affine invariance m etric is adopted to m ake the space m eet the requirem ent of R iem annian m an ifo ld. W ith d ifferent ial geom etry, the speech em otion recogn ition is perform ed on the m anifold. T he experim enta l results show a sign if icant improvem en t in recogn ition accuracy, especia lly under no isy env ironm ents.
的语音帧. 假设每句语音可以分成 T 帧, 对于 t时刻
( 1 t T ) 的帧数据 I( t ), 提取 n个语音声学特征,
标记为 [ F 1 ( t), F2 ( t ), , Fn ( t ) ] . 基于每句语音所 提取的 n 个特征序列, 可构建协方差矩阵 COVn n,
以此作为对应语音的特征描述子. 协方差矩阵
COVn n 中的各元素为
CO Vij
=
T
1 -
T
1 t= 1
(F i ( t)
- m i ) (F j ( t)
-
mj ),
其中, m i 和 m j 分别是编号为 i的声学特征和编号为
j的声学特征的平均值.
协方差矩阵自身具有对称、半正定的结构属性.
文献 [ 9] 指出, n n 的对 称半正定 矩阵构成 n
量是分类算法的基础, 所有分类相关的计算都必须
在度量空间中进行. 因此, 我们赋予该微分流形一个
可计算的度量, 使其满足黎曼流形的要求, 进而运用
微分几何方法, 给出分类在流形上的算法架构.
2. 2 黎曼流形
黎曼流形 M 是一个局部欧氏的拓扑空间, 是有
着连续黎曼度量的微分流形. 流形 M 上的每个点都
2 协方差描述子和黎曼流形
2. 1 协方差描述子
最先采用协方差矩阵进行特征描述和表征是在
纹理识别和物体检测等研究领域 [ 8] . 考虑到语音情
感信号也具有类似的高维空间分布特征, 我们将其