人脸表情动画与语音的典型相关性分析

人脸表情动画与语音的典型相关性分析*范懿文1,2+, 柳学成1,2, 夏时洪11(中国科学院计算技术研究所前瞻研究实验室北京100190)2(中国科学院研究生院北京100049)The Canonical Correlation Analysis of Facial Expression Animation and Speech FAN Yi-wen1,2+, LIU Xue-cheng1,2, XIA Shi-hong11(Advanced Computing Research Laboratory, Institute Of Computing Technology, Chinese Academy Of Sciences, Beijing 100190, China)2(Graduate University of Chinese Academy of Sciences, Beijing 100049, China)+Correspondingauthor:E-mail:***************.cnReceived 2004-00-00; Accepted 2004-00-00Abstract: Speech driven facial animation technique is an approach to synthesize the corresponding facial animation according to the speech input. The lips motion, as a component of the speech driven facial animation, has already been developed to a relatively mature extent. The facial expression animation, as another component, which plays a very important role of enhancing the realism of facial animation, becomes increasingly valued by researchers recently. Some previous works proposed methods of speech driven facial motion which reached certain achievement, but they didn’t quantitatively analyze the relationship between facial expression motion and speech, that resulted in the poor expansibility of these methods. In order to solve this problem, this article adopts Canonical Correlation Analysis (CCA) to quantitatively analyze the correlations between facial expression motion and speech, and reaches the intuitive and quantitative conclusions of them. The analysis result shows that the two are strongly correlated and reveals the specific internal relations between the components of facial expression motion and the acoustic features. This article can be used as theoretical reference and judging criterion for speech driven facial animation technique. Key words: Facial Expression Animation; Canonical Correlation Analysis (CCA)摘要: 语音驱动的人脸动画技术是以语音为输入，合成与之匹配的人脸动画的技术。

唇形动画作为语音驱动人脸动画的一个组成部分，发展至今已较为成熟。

而表情动画作为另外一个组成部分，在增加人脸动画逼真性方面起着重要的作用，在近来受到了越来越多的重视。

一些工作提出了语音驱动人脸表情动画的方法，并取得了一定的成果。

但它们没有定量分析人脸表情动画与语音之间的关系，导致这些方法的拓展性差。

针对此问题，本文研究人脸表情动画与语音的相关性，采用典型相关性分析方法（Canonical Correlation Analysis, CCA）定量分析两者之间的内在联系，得出这些关系直观的量化的结论。

分析结果表明两者具有强相关性，*Supported by the National Natural Science Foundation of China under Grant No.60970086, (体现性格特征的语音驱动人脸动画合成新方法); the National Natural Science Foundation of China under Grant No.U0935003, (三维戏曲动画合成技术研究) 作者简介: 范懿文(1986-),女, 硕士研究生, 主要研究领域为计算机图形学, 虚拟现实; 柳学成(1981-)，男，博士研究生, 主要研究领域为计算机图形学, 虚拟现实; 夏时洪(1974-),男, 博士, 副研究员, 博士生导师, 主要研究领域为人体动画、人体运动捕获、人体运动分析以及用户接口等.2并揭示了人脸表情动画各成分与语音声学特征之间的具体内在联系。

本文成果可为语音驱动人脸动画技术提供理论参考及结果评价依据。

关键词: 人脸表情动画，典型相关性分析（CCA）中图法分类号: TP391.41文献标识码: A1 介绍语音驱动的人脸动画合成是计算机图形学研究的热点与难点之一，其成果可广泛应用于虚拟现实、影视特效、人机交互、电脑游戏等众多领域。

随着计算机图形学的发展和市场需求的增大，语音驱动人脸动画技术因其应用价值和广阔前景而倍受重视。

鉴于语音和唇部动作之间存在直观的确定性的关系，语音驱动的唇形动画合成已较为成熟。

而在现实的人际交流中，除了语音和唇形包含语言内容信息外，人脸表情也包含了丰富的交流信息。

例如，它能够展现人的心理感受，有着表达情绪、暗示亲和或者抗拒态度的作用，甚至在一定程度上也传达了一定的语言内容信息。

心理学家Albert Mehrabian通过实验得出结论：人们在交流中趋向于相信非语言信息，例如音调和表情，尤其是当语言表达和非语言表达不一致时[1]。

人们可以通过说话人的表情猜测说话人是否在撒谎，而如果我们单纯根据唇部和语音做判断就十分困难了。

因此人脸表情动画合成是语音驱动的人脸动画技术的重要组成部分。

一些研究语音驱动人脸表情动画的工作取得了较好的成果。

这些工作定性分析了人脸表情动画与语音之间的关系，但这些关系往往隐含在它们的方法模型当中，没有被抽取出来并提炼成直观的量化的结论，从而导致这些方法的拓展性较差。

针对此问题，本文运用典型相关性分析方法，对采集的人脸表情动画数据及其同步语音音频进行定量分析。

首先衡量出人脸表情动画与语音的相关程度，然后定量分析两者各分量之间的关系，通过实验数据总结得出两者内在联系直观的量化的结论。

这些结论可为语音驱动的人脸表情动画合成技术提供理论参考及结果评价依据。

2 相关工作关于语音驱动人脸表情动画的研究，前人的工作有一定的结果。

Carlos Busso等[2], [3] 研究在特定情绪下语音和人脸表情的关系，然后用线性的方法由语音特征估计出对应的人脸表情动画。

Zhigang Deng等[4] 提出一种使用加权分解方法合成表情人脸动画的系统。

Erika S. Chuang等[5]提出一种将视频数据分割为表现特征和对应台词的技术，可以使表现高兴情绪的原始视频修改成表现生气或者中性的表情，同时保持说话内容不变。

Cao等[6] 提出一种运动编辑技术，对录制的表情人脸运动捕获数据采用独立成分分析方法（ICA），分为表情和语音成分，提供了更多的编辑操作。

Brand等[7] 成功创造表情语音合成voice puppetry。

它很大程度依靠音频特征的选择。

正如Brand所说，表情语音最优的音频特征组合仍然是一个开放性的难题。

关于典型相关性分析CCA的工作，自1936年Hotelling [8] 首创提出后发展起来至今，其理论已经比较完善，主要应用于相关性分析和预测分析。

文献[9]中首次将典型相关分析用于特征融合中。

另外CCA的非线性版本KCCA还被广泛地应用在模式识别的工作上，如[10]、[11]、[12]等。

鉴于本文的求得直观联系的目标与以上工作不同，本文不使用非线性分析方法。

3 典型相关性分析CCA是分析两组随机变量之间相关性的一种统计分析方法，其目的是寻找两组随机变量各自的线性组合，使线性组合后的两个随机变量的相关性达到最大。

范懿文，柳学成，夏时洪:人脸表情动画与语音的典型相关性分析 33.1 CCA 模型设有两组样本集12[,...,]p n n X x x x R ⨯=∈，12[,...,]q n n Y y y y R ⨯=∈，并设样本已经中心化，即110ni n i x x ===∑，110ni ni y y ===∑。

CCA 的目标是分别为X 和Y 寻找两组线性组合，px w R ∈和q y w R ∈，使得随机变量T can x x w x =和T can y y w y=之间的相关性达到最大。

（其中x w 和y w 称为典型系数(Canonical Coefficients)，can x 和can y 称为典型变量(Canonical Variances)。

）具体可表述为求如下相关系数的最大值问题：[]T TT E w xy w w C w ρ===(1)这里[]E ⋅表示数学期望，[]T T p p xx n C E xx XX R ⨯==∈和[]T T q qyy n C E yyYY R ⨯==∈表示集合内协方差(within-set covariance)矩阵，[]T T p qxy n C E xy XY R ⨯==∈表示集合间协方差(between-set covariance)矩阵，且有[T T q pyx xy C E yx C R ⨯=∈]T T q p yx xy C E yx C R ⨯==∈。