汉语文语转换系统中停顿指数的自动标注

汉语文语转换系统中停顿指数的自动标注﹡赵永贞，刘挺，王志伟，陈惠鹏，邵艳秋（哈尔滨工业大学计算机学院信息检索研究室 150001）（哈尔滨工业大学计算机学院语音处理研究室 150001）摘要：本文采用了一个基于C-TOBI的停顿指数标注的语料库，利用有指导的学习方法对自动停顿指数标注方面做了一些有益的探索。

本文共实现了三种方法：基本的马尔科夫模型，引入了词长信息的马尔科夫模型，引入词长信息的马尔科夫模型结合基于转换的错误驱动的学习方法。

然后通过对3000句的真实文本进行开放测试，以基本的马尔科夫模型的结果作为基准，实验结果不断改进，最终达到了78.6%的准确率，错误代价降低了14.5%。

关键词：文语转换；停顿指数；马尔科夫模型；基于转换的错误驱动的学习中图分类号：TP391Assigning Break Indices for unrestricted texts in Mandarin Textto Speech SystemZhao Yong-zhen, Liu Ting, Wang Zhi-wei, Chen Hui-peng ,Shao Yan-qiu(Information Retrieval Laboratory, Department of computer, HIT, Harbin 150001, China)(Speech Processing Laboratory, Department of computer, HIT, Harbin 150001, China)Abstract: This paper uses a corpus with break indices based on C-TOBI. Applying supervised learning method, some useful attempts are made in the field of automatic break indices intonation. Three approaches, namely, the basic Markov model approach, the Markov model using word length approach, and the Markov model using word length combining Transformation-Based Error-Driven Learning approach, are presented. After implementing these three approaches, open tests are made on a corpus of 3,000 sentences. The performances are getting better and the last approach produces the highest accuracy, 78.5%, and results in 14.5% decrease in error-cost taking the result of Markov Model as baseline.Key Words: Text to Speech; Break Indices; Markov Model; Transformation-Based Error-Driven learning1引言在汉语的文语转换系统中，要想得到流畅自然的合成语音，除了采用恰当的语音合成技术之外，还必须有能准确地体现人类语音特征的韵律控制参数，比如重音、停顿、音调、语调等。

停顿指数[1]反映了人所能感知到的音节之间以及音节和无声段边界处的音联程度。

本文的任务就是从任意输入的汉语文本中预测出停顿指数。

文语转换系统中自动的韵律分析器一直不能产生高质量的韵律，一个主要的难点就是﹡本文受到国家自然科学基金项目(60203020)资助。

赵永贞（1981－），女，硕士生，主要研究方向为语音合成。

刘挺（1972－），博士，副教授，主要研究方向为自然语言处理和信息检索。

王志伟（1980－），男，硕士生，主要研究方向为语音合成。

陈惠鹏（1965－），男，博士生，主要研究方向为语音合成。

邵艳秋（1970－），女，博士生，主要研究方向为语音合成。

不能自动从文本中识别出韵律成分[2]，其中就包括自动停顿指数的标注一直不尽如人意的问题。

针对这个问题，国内外已经有不少关于这方面的研究，这些研究从标注的等级到研究方法，以及所采用的信息上各有不同。

首先：停顿指数的层级。

关于这个问题，国外有具体的划分标准TOBI[3]；而国内尚无统一标准，其中常见的有以下几种。

最简化的即是二级分类法[4][5]：无停顿和韵律词边界；稍微复杂一点的四级分类法[4]：无停顿、韵律词、语调短语、直接短语。

台湾郑秋豫教授还提出了一种M-TOBI[6]标注体系，停顿指数分为6级：退化的音节边界、正常的音节边界、较小的短语停顿边界、较大的短语停顿边界、呼吸群边界、韵律组边界。

本文采用了中国社会科学院语音研究室提出的C-TOBI[7]的韵律标注体系，在该体系中停顿指数分五级：韵律词内音节边界，韵律词边界，次要韵律短语边界，主要韵律短语边界，语调组边界。

为了方便起见，我们在下文中分别用0、1、2、3、4来代表这五个等级。

其次：和标注相关的信息。

和停顿指数标注相关的信息[8]主要包括词性[9]、词长、语法结构[10]、句子重音、声学特征[11]等。

其中语法结构信息要依赖于所用的语法分析器的精度；重音本身就是一个需要预测的信息；而声学特征信息不能直接从文本获得，所以，词性和词长信息就是最容易被采用的。

再者：分析方法。

早期主要使用规则的方法，后来随着计算机的发展，大规模的语料库的盛行，随机统计模型成为了主流，其中主要有马尔科夫模型[5]和决策树[2][4][12]的方法。

此外由于汉语自身的特点，也有利用虚词[13]和结构助词[14]的规则法。

本文的第二部分介绍了用作训练和测试的样本库；第三部分介绍了实验所采用的三种方法；第四部分给出了实验评价准则及评测结果；第五部分对实验结果进行了分析；第六部分是结束语。

2样本库本实验所使用的样本库是一个包含有12000个句子的大样本库，每一句话都有对应的语音，文本中停顿等级的标注是由人工一边看文本一边听音来进行标注的。

格式如例句1。

一句话中每一个字后都是一个标注点，如果该标注点处停顿等级为0，则不予标出；否则打上‘#’号，然后标上停顿等级。

为了方便起见，本文只把等级大于0的标注点处称作为停顿边界。

平日里#4他#2性格#1内向、#3孤言#1寡语、#4形单#1影只。

#4 （例句1）本文采用的学习方法是有指导的学习方法，进行了完全开放测试，所以将语料库分为训练集和测试集。

训练集9000句，占整个语料库的75%，其余的归入测试集。

在众多的亚洲语言中，文本中看不到有关词语的边界划分的明确的信息，因此分词是文本分析的基本需求。

分词得到的结果是语法意义上的最小的分割单位，所得到的词长从一到十甚至更多，并以单音节词居多。

但在自然的口语中，韵律意义上的词主要是二字词，所以停顿的边界并不完全和分词的边界重合。

有一部分停顿边界在分词所得到的词的内部。

因为我们所采用的模型都是利用分词和词性标注后的结果来进行的，所以标注都是在分词的边界处进行，而分词内部的标注只能靠其他方法来进行修正。

本实验无论训练还是测试所采用的都是机器自动分词和词性标注，没有经过任何人工的校正，所采用的词性标注系统标注集的大小为53。

经过分词后的训练集中句子如例句2，经过分词后的测试集中的句子如例句3。

平日/t 里/f #4/sym 他/r #2/sym 性格/ng #1/sym 内/f 向/vg 、/wd #3/sym 孤/a 言/ng #1/sym 寡/a 语/ng 、/wd #4/sym 形/ng 单/k #1/sym 影/ng 只/d 。

/wj #4/sym（例句2） 平日/t 里/f 他/r 性格/ng 内/f 向/vg 、/wd 孤/a 言/vg 寡/a 语/ng 、/wd 形单影只/i 。

/wj （例句3）3 标注模型本文首先实验了一个仅利用词性信息的马尔科夫模型，然后建立一个引入词长信息的马尔科夫模型，最后在上述实验的基础上结合了基于转换的错误驱动的学习算法作为模型的后处理，不断地细化模型，改善实验结果。

3.1 马尔科夫模型由于我们的标注是针对的是一个句子，在此我们假设一个句子经过分词和词性标注后得到的词的个数为S L ，其词性分别为，（0-4）表示和之间的停顿指数。

L c c c ......,21i j i c 1+i c 对我们的模型来说，观察序列即为词性标注序列：；状态序列为停顿指数序列：。

问题就转化为寻找最优序列使得概率最大。

L c c c ......,21121......,−L j j j 121......,−L j j j )......,|......,(21121L L c c c j j j P −利用贝叶斯公式：)......,()......,|......,()......,()......,|......,(2112121121......,21121......,121121L L L L j j j L L j j j c c c P j j j c c c P j j j P c c c j j j P argmax argmax L L −−−⋅=−− （1）对于来说，是固定的，对于求极值没有帮助，所以我们不予考虑。

为了简化公式，在此作如下假设：S )......,(21L c c c P 1．每一个标注点的间隔指数，只和前一个标注点的间隔指数相关，与其它间隔数无关。

2．前后两个词的词性组合（为方便起见，将这样的组合简称为一个Pair ）只与二者之间的停顿指数相关，且Pair 之间是相互独立的。

根据上述假设，我们可以将公式（1）中的概率作如下形式的等价：（2） )|()......|()|()......,(211201121−−−⋅=L L L j j P j j P j j P j j j P ))|,()......|,()|,()......,|......,(1123212112121−−−⋅=L L L L L j c c P j c c P j c c P j j j c c c P （3） 公式（2）中代表句子的开始。

由公式（2）和公式（3）可得：0j )|,()|()......,|......,(1111......,21121......,121121i i L i i i i j j j L L j j j j c c P j j P c c c j j j P argmax argmax L L +−=−−∏⋅=−− （4）对公式（4）右端取对数：（5）))|,(log()|((log(1111......,121i i i L i i i j j j j c c P j j P argmax L +−=−+∑−公式（5）即是利用马尔科夫模型的方法进行标注的最终公式。