朗读语气韵律可变性分析及韵律自动评价初探

第八届中国语音学学术会议 1 朗读语气韵律可变性分析及韵律自动评价初探贾惠彬 陶建华摘要韵律评价是语音评价的一个重要组成部分。

迄今为止，基于频谱分析的发音质量评价已取得了长足的进步，然而对于韵律质量评价的研究甚少。

对于朗读语气的韵律模式，本文在详细分析了说话人间的声调、基频走势和句子节律组织的可变性的基础之上，提出了一种自动韵律评价方法，通过从声调、基频走势和节律组织三个方面计算待测语句与它的多个标准参考韵律模式间的相似度，来预测待测语句的韵律等级。

该方法在本文收集的数据库上进行了测试，取得了很好的人机评分相关度。

1引言近年来，计算机辅助教学系统在语言学习中发挥出越来越重要的作用[3]，这些系统不仅能评价学习者的发音质量，而且也能指出他们的发音错误。

对于普通话水平考试系统而言，要测试考试者的普通话流利水平。

当前大多数系统是通过整合自动语音识别技术来评价学习者或考试者的发音质量[5，6]的。

实际上，韵律评价也是语音评价的一个重要方面。

对于汉语学习者来说，如果他们能掌握地道的汉语韵律模式，通常认为他们的普通话达到了一个很高的水平。

虽然当前许多计算机辅助教学系统能够指出学习者发音中的声调错误，然而没有一个系统能够评价发音者的韵律质量。

对于语音合成系统评测而言，它的评测内容包括合成语音的可懂度和自然度。

然而当前语音合成系统的可懂度达到了一个很高的水平而自然度并没有达到理想的程度。

定期举行语音合成系统评测对促进合成系统的发展起到了极大的推进作用，然而组织一次评测需要花费巨大的人力和物力，且评测结果不能重复利用。

对于系统的开发者来说，每次算法和系统的改变不可能都进行正式的评测。

通常来说，通过直接计算韵律错误来评价韵律质量是非常困难的，因为很难清楚的定义正确的韵律。

而且即使说话人的韵律特征一定程度上偏移了它的理论标准也不一定会影响句子的自然度，并且韵律复杂变化的本质让韵律质量评价成为一项非常困难的任务。

迄今为止，这方面的研究成果甚少。

对于朗读语气的韵律模式，在基于语料库的语音合成系统中对单一说话人的韵律参数进行了分析和建模工作，并取得了很好的语音合成自然度[25，26]。

而对于韵律评价工作而言，不同于语音合成的单一说话人的韵律分析和建模，而需要的是对多个说话人间的韵律可变性的分析和建模，这方面的研究工作也非常少。

朗读语气的韵律模式，从音系层来讲，可以分成句子的声调、基频走势和句子的节律组织三个组成部分。

本文详细分析了说话人间的声调、基频走势和句子的节律组织的可变性。

基于对说话人间韵律可变性的分析，提出了一种自动韵律评价方法，通过计算待测语句与多个标准参考韵律模式间的相似度，来评价待测语句的韵律质量。

最后，该方法在本文收集的试验数据库上进行了测试，试验结果表明该方法取得了很好的人机评分相关度。

本文的组织结构如下：第二部分描述了实验所需的数据库。

第三部分详细介绍了韵律建模方法，并进行了韵律可变性分析。

第四部分介绍了自动韵律评价方法，并对实验结果进行了详细的分析。

最后是文章的结论部分。

2试验数据库在本试验中，我们构建了两个数据库，一个是标准语音库，它由多个标准发音人录制而成，包括200个句子的8遍录音（由6个女播音员和2个男播音员录制）；另一个是韵律评价库，它来源于多个语音合成系统，它包括相同的200个句子的5遍语音。

这些句子的文本选自人民日报，句子的平均长度为15个音节。

当前语音合成系统所合成的语音为朗读风格。

为了保持标准语音库和韵律评价库中语音风格的一致性，在录制标准语音库时，都采用朗读风格，并且发音人没有通过刻意改变节律模式和增加句重音来表达特殊的语意。

标准语音库用于分析说话人间韵律的可变性，同时它也作为自动韵律评价时的标准参考。

韵律评价库中包含各种韵律错误，如不适当的声调变化，不合适的句子基频走势，错误的停延方式，并且专家对句子的整体韵律质量进行了评分。

对于语音库的标注，我们分别采用Praat软件和HTK工具包对这两个语音库进行了基频提取和自动切分，最后进行了人工校正。

3 韵律可变性分析韵律组织在言语交流中起着非常重要的作用，它不仅是清楚表达语义的关键，还能直接反映讲话人的态度、意向、情绪以及对听话人的期望等信息。

人在讲话时，总是先将意识层的信息转化成音系层的表达手段，如选择怎样的声调、语调、轻重模式和节律模式等，最后再通过控制发音器官来实现相应的声学目标[9]。

言语的韵律组织是一个相当复杂的过程，是语义的、语法的、词法的、音段的、生理的以及心理的等不同层次约束的充分协调。

通常来讲，说话人发音时不得不服从某些约束，比如声带的振动频率，发音器官的运动速度等等的约束，这些约束导致了即使是不同的说话人在表达相同的说话内容时也会表现为不同的韵律形式。

对于朗读风格的韵律表现可以分成音节的声调、句子的节律组织和句子的基频走势三个方面，它并不包括句子的重音信息。

这三个方面是相辅相成，很难独立的来分析和处理，它们共同表达了句子的语意信息。

由于全面研究韵律的可变性和不变性是非常困难的，本文首先在一个相对严格的条件下对这些现象进行一定的初步分析，即研究对于朗读风格的相同说话内容不同说话人之间的韵律差异，包括：节律组织、音节调型、基频走势等内容。

在韵律参数中，基频是最重要的参数，为了去除说话人本身音域范围的影响，对提取的基频首先按照如下公式进行规一化：ffffμσ−=(1)其中，f表示规一化后的基频值，fμ和0fσ分别表示基频的均值和方差。

3.1 节律组织可变性分析节律组织的外在表现是将语句划分成“许多段落，就是所谓的意群；每个节落又可分成许多小段落，就是所谓节拍群。

节落和节落之间有长短不等的间歇，句子里的词或词里的音节又各有不同的高低轻重和快慢不等速度”（罗常培和王均，1957：147）。

传统观点认为停顿是节奏单元之间的分隔标记（郭锦桴，1993：178），但越来越多的研究结果证明“音延”也可以用来分割节奏单元（吴洁敏，1990；谢军，2000：196）。

用“停延”代替“停顿”作为节奏单元间的分割标记的观点已经被普遍接受。

在本实验所研究的语料库中，节律层级标注也是以“停延”的知觉强度作为依据的。

初敏[10]等在研究普通话节律组织的局部语法约束和长度约束时，对于语调平稳、语速适中的录音，对句子的节律组织采用四级标注标准，分别是韵律词、复合韵律短语、韵律短语和语调短语，其中韵律词边界没有明显可感知的停延标记。

而对人耳能感知到的弱、中、强三级停延分别用复合韵律词，韵律短语和语调短语进行标注。

本文中，我们采用了与初敏等采用的相同的标注标准。

但并不对韵律词进行标注。

为了韵律可变性分析的方便，本文中采用数字序列的方式把句子的节律组织进行量化，如{}0,1,2,3...2,1...表示一个句子的节律组织。

在这个数字序列中，0代表音节间没有停延，1代表音节间的复合韵律词停延，2代表音节间的韵律短语停延，3代表音节间的语调短语停延。

不同说话人在表达相同的说话内容时可能会选择不同的节律组织模式。

不同节律模式的差异主要存在于两个方面，一是停延位置的不同，二是停延等级的不同。

如下面的例子，它们来自于标准语音库。

亚洲|金融风暴$把东南亚经济|搞跨了。

亚洲金融风暴|把东南亚经济|搞跨了。

亚洲金融风暴$把|东南亚经济搞跨了。

亚洲金融风暴|把东南亚经济|搞跨了。

亚洲金融风暴$把东南亚经济|搞跨了。

亚洲金融风暴|把东南亚经济|搞跨了。

在上例中，“”代表复合韵律词停延，“|”代表韵律短语停延，“$”代表语调短语停延。

从上例中可以看出不同的说话人在选择不同的节律模式时，停延位置和停延类型的差异。

本实验中，我们从标准语音库中选取4个说话人的语音进行分析，其中包括两男两女，分别用“A”、“B”、“C”和“D”来表示。

下面我们将详细分析四个说话人两两之间的节律组织的差别，如下表所示。

在表1中表示了说话人A出现不同停延的位置处，说话人B出现的停延等级，如在说话人A出现为复合韵律词停延的位置，说话人B选择没有停延的比例为8.0%，选择复合韵律词停延的比例为84.3%，选择韵律词停延的比例为7.7%，而在这些位置处说话人B没有选择语调短语停延。

表1 说话人A与B间的节律差异表2 说话人A与C间的节律差异表3 说话人A与D间的节律差异表4 说话人B与C间的节律组织差异表5 说话人B与D间的节律差异表6 说话人C与D间的节律组织差异通过以上的分析发现，对于表达相同的说话内容，虽然受到特定的上下文和语义表达的约束，然而在选择节律模式时存在较大的灵活性和随机性，具体表现在停延位置的不同和停延等级的不同，然而这种差异并没有导致句子自然度的下降。

3.2基频走势可变性分析汉语中以超音段上的音高（及时长）来体现的语调，一直以来是国内外学者的研究重点，其目的在于从基频曲线上分离出什么属于语调。

Eva Gauding [29-30]提出汉语语调“栅格”结构，定量地标记随时间变化的音高范围。

在这个模型中，疑问语调和陈述语调具有不同的栅格。

沈炯[31-32]首先用实验看到音高音域的实际表现，他说“语调是由一连串声调音域组织起来的音高调节形式，语调是在声调音域中滑动的曲线。

”。

曹建芬[34]认为语调存在于声调之中，必须通过各个声调的沉浮而得以实现。

这些学者认为汉语的语调跟语句的音高范围，音高的高低线，“调子”以及各个音节声调等密切相关。

有些学者则认为汉语的语调是句末调问题[21, 22, 23]。

林茂灿[35]认为汉语语调体现于两个独立变量：音高重音和边界调。

音高重音的作用是传递话语中语言学内容那部分更重要，而边界调的作用是传递话语的语气，如陈述句和疑问句。

迄今为止，并没有一个完整的语调描述模型。

而语调是与话语的基频变化紧密相关，反映了语句的音高范围，音高的高低线等因素。

鉴于建立完整的语调模型是非常困难的，本文中我们将采用基频走势来近似语调模型的功能，用基频走势来反映句子基频曲线随时间的高低变化。

基频走势，可以用句中音节基频曲线的最大值、均值和最小值来组成的三条曲线来表征。

图1表征了句子的基频走势和真实的基频曲线。

FValue图1 基频走势根据上述基频走势的建模方法，本文中分析了200个句子的四遍录音的基频走势的相关度。

句子基频走势的相关度采用计算一个句子的三条基频走势曲线的相关系数而得到。

图2表示了200句语音的四遍录音的相关度的均值和方差。

四遍录音的基频走势的平均相关度为0.81。

图 2 句子基频走势相关度的均值和方差从上图中可以看出，虽然试验中都采用的是朗读风格的语音，然而句子间的基频走势仍具有一定的可变性。

3.3 音节调型可变性分析普通话中的音节具有稳定的调型，它的形状依赖于声调的类型，是不能被任意改变的。

然而在连续语句中，由于受到发音风格和上下文的约束，调型的变化非常复杂。