大词汇量连续语音识别探讨

２００７年８月技术Ｖｏｌ．１５Ｎｏ．４Ａｕｇ．２００７语音识别［１］技术是研究如何使得机器能够听懂人的话语的技术。

这项技术一般分为连续语音识别和孤立词语音识别。

本文探讨的就是大词汇量连续语音识别技术，重点是这项技术在中文和英文上的发展。

随着８０年代初隐马尔可夫模型引入到语音识别这个领域，语音识别技术得到了突飞猛进的发展，语音识别也从小词汇量孤立词发展到大词汇量连续语音。

为了进行大词汇量连续语音识别，各研究机构均提出了许多新颖的方法，并且大多数方法在某个任务上都取得了成功。

但是，有些方法可能在Ａ机构的任务集上能够取得很好的效果，但是在Ｂ机构的任务集上却难以取得好的效果。

如何能够知道这个算法的优劣呢？显然，我们需要一个共同的任务集，大家都在这个任务集上工作，在同一参考标准下来评估算法的优劣。

在这方面，英文的连续大词汇量语音识别走在了前列。

也正如此，现在国际上英文的语音识别技术代表着该领域的最高水平。

１英文大词汇量连续语音识别美国的ＤＡＲＰＡ（ＤｅｆｅｎｓｅＡｄｖａｎｃｅｄＲｅｓｅａｒｃｈＰｒｏｊｅｃｔｓＡｇｅｎｃｙ）从１９８９年开始举行ＬＶＣＳＲ的比赛，每年一次。

参加的机构既有像ＩＢＭ这样的公司，也有Ｃａｍｂｒｉｄｇｅ这样的学校研究机构。

比赛的任务也从最开始的简单的听写机的比赛，发展到之后的ＢｒｏａｄｃａｓｔＮｅｗｓ和ＴｅｌｅｐｈｏｎｅＣｏｎｖｅｒｓａｔｉｏｎ这样难度的比赛。

ＤＡＲＰＡ的比赛大力推动了ＬＶＣＳＲ技术的发展。

这１０多年来，涌现出了许多新颖的技术，其中一些技术已经被人们广泛的使用。

可以这么说，这些年来ＬＶＣＳＲ技术的发展与ＤＡＲＰＡ的贡献是密不可分的。

１．１ＤＡＲＰＡ的ＬＶＣＳＲ任务的历史回顾首当其冲的是１９８９年开始的ＲｅｓｏｕｒｃｅＭａｎａｇｅ－ｍｅｎｔ任务，它分别在１９８９、１９９０、１９９１和１９９２举行了４次比赛。

训练集是１０９个人的３９９０句话，内容是一些信息查询。

测试集是１０个人的３００句话。

词典总共有９９７个词。

在今天看来，ＲＭ是一个非常小的任务，但是它的设计机制为今后的ＬＶＣＳＲ的比赛打下了一个很好的基础。

１９９２年开始了著名的ＷａｌｌＳｔｒｅｅｔＪｏｕｒｎａｌ评测，ＷＳＪ的语料来自华尔街日报，属于新闻类型。

１９９２年和１９９３年ＷＳＪ任务的词典的大小分别是５ｋ和２０ｋ。

ＷＳＪ任务的训练语音数据是非常大的，而且还提供训练语言模型的语料［２］。

１９９４年ＷＳＪ被扩展，引入了ＮｏｒｔｈＡｍｅｒｉｃａｎＢｕｓｉｎｅｓｓ的语料，词典发展到６５ｋ。

这个任务也被叫做ＷＳＪ／ＮＡＢ，有时也称为ＨＵＢ１。

从这个时候起，ＤＡＲＰＡ的比赛很多时候被冠以ＨＵＢ，这是由于一种特殊的测试机制。

１９９５年发展出ＨＵＢ３任务，在这个任务中，已经第１５卷第４期２００７年８月电脑与信息ＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ文章编号：１００５－１２２８（２００７）０４－００５４－０３大词汇量连续语音识别探讨阮玲英，陈立万（重庆三峡学院应用技术学院，重庆４０４０００）摘要：文章探讨了中文和英文的大词汇量连续语音识别，讨论了如何设计数据库进行不同识别技术的评测，采用何种评测方法，以及一些代表性的语音识别技术。

关键词：大词汇量连续语音识别；任务；评估中图分类号：ＴＮ９１２．３４文献标识码：ＡＴｈｅＲｅｓｅａｒｃｈｏｎＬａｒｇｅＶｏｃａｂｕｌａｒｙＣｏｎｔｉｎｕｏｕｓＳｐｅｅｃｈＲｅｃｏｇｎｔｉｏｎＲＵＡＮＬｉｎｇ－ｙｉｎｇ，ＣＨＥＮＬｉ－ｗａｎ（ＳｃｈｏｏｌｏｆＡｐｐｌｉｅｄＴｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＴｈｒｅｅＧｏｒｇｅｓＵｎｉｖｅｒｓｉｔｙ，４０４０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＴｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｄｔｈｅＣｈｉｎｅｓｅａｎｄＥｎｇｌｉｓｈｌａｒｇｅｖｏｃａｂｕｌａｒｙｃｏｎｔｉｎｕｏｕｓｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎ．Ｉｔｄｉｓｃｕｓｓｅｄｈｏｗｔｏｄｅｓｉｇｎｔｈｅｄａｔａｂａｓｅｔｏｅｖａｌｕａｔｅｄｉｆｆｅｒｅｎｔｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓ，ａｎｄｈｏｗｔｏｅｖａｌｕａｔｅｔｈｅｍ．Ｓｏｍｅｓｔａｎｄａｒｄｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｏｌｏｇｉｅｓａｒｅｇｉｖｅｎ．Ｋｅｙｗｏｒｄｓ：ＬＶＣＳＲ；ｔａｓｋ；ｅｖａｌｕａｔｉｏｎ收稿日期：２００７－０４－２７作者简介：阮玲英（１９７６－），女，重庆，讲师，研究方向：语音合成；陈立万（１９６４－），男，重庆人，副教授，研究方向：语音信号处理。

第１５卷第４期不是只考虑干净语音的ＬＶＣＳＲ，而是考虑各种实际的情况。

所以引入了噪声和不同麦克风的不匹配问题。

１９９６年开始推出ＨＵＢ４任务，在此之后ＨＵＢ４任务一直存在直到１９９９年。

在此之前的任务目标都是一个听写机的测试。

而ＨＵＢ４任务是针对广播新闻（ＢｒｏａｄｃａｓｔＮｅｗｓ）语料来进行识别的，在ＢｒｏａｄｃａｓｔＮｅｗｓ这样的任务里，有着各种情况，比如说背景有音乐等，这个任务的难度远高于ＲｅａｄＳｐｅｅｃｈ任务的难度。

ＤＡＲＰＡ１９９８年正式推出了电话语音识别的评比。

这个任务又称为ＨＵＢ５，以后每年都举行，到２００１年结束。

这个任务的语料是在Ｓｗｉｔｃｈｂｏａｒｄ上录制的电话的交谈语料，所以，有时这个任务也称为Ｈｕｂ５－Ｓｗｉｔｃｈ－ｂｏａｒｄ任务。

这个任务也是非常难的，一个是由于电话信道的变化，不同说话人的电话特性也是不同的。

另外，由于是交谈，很多时候，内容与书面语也是不一样的。

在２００２年，ＤＡＲＰＡ又推出了ＲｉｃｈＴｒａｎｓｃｒｉｐｔｉｏｎＥｖａｌｕａｔｉｏｎ任务来取代Ｈｕｂ５－Ｓｗｉｔｃｈｂｏａｒｄ任务。

１．２比赛评估机制显然，比赛评估机制最直接的方法就是评估错误率。

所以，ＤＡＲＰＡ以及现在绝大多数研究机构都将ＷＥＲ（ＷｏｒｄＥｒｒｏｒＲａｔｅ）作为评判的标准。

将识别结果与该句子正确的ｔｒａｎｓｃｒｉｐｔｉｏｎ对齐，就可以得到三种类型的错误：替换错误（Ｓ），插入错误（Ｉ）和删除错误（Ｄ）。

则：ＷＥＲ＝Ｓ＋Ｄ＋ＩＮ＊１００％其中Ｎ是该句子含有的词的个数。

关键问题是如何对齐。

现在采用的也是标准的策略，是一个动态规划的方法，为每种错误赋予相应的错误代价。

这里有个原则，插入错误和删除错误的代价相同：ＰＤ＝ＰＩ，而插入错误和删除错误的代价之和大于替代错误的代价：ＰＤ＋ＰＩ＞ＰＳ．在评估的时候，这三个代价的取值一般是：ＰＳ＝４，ＰＤ＝ＰＩ＝３．但是这种对齐方法也有一定的问题，如下面这个例子：ＲＥＦ：ＨｅＣａｌｌｅｄＦｏｒＡＮｅｗＳｔａｒｔ（Ａ）ＨＹＰ：ＨｅＣａｌｌｅｄＦｏｒｅｉｇｎＮｅｗｓＴｈｅＡｒｔ（Ｂ）ＨＹＰ：ＨｅＣａｌｌｅｄＦｏｒｅｉｇｎＮｅｗｓＴｈｅＡｒｔ在这个例子中，（Ａ）ＨＹＰ是根据传统方法对齐的结果，我们可以看到４个替代错误。

而（Ｂ）ＨＹＰ是另一种对齐方式，出现了３个替代错误，以及１个插入错误和１个删除错误。

但是，我们的直觉告诉我们，（Ｂ）ＨＹＰ的对齐效果更好。

所以，有一种方法提出使用ｐｈｏｎｏ－ｌｏｇｉｃａｌｌｙ－ｂａｓｅｄ策略，基于每个音素之间的距离来对识别结果对齐。

另外，还有人提出将识别结果打上时间标签，然后去对齐。

还有一些方法根据任务的不同，采用自适应的ｔｒａｎｓｃｒｉｐｔｉｏｎ。

这些方法都存在着实现复杂的缺点，所以最终都没有被ＤＡＲＰＡ正式采用。

图１是１９８９年到１９９９年的ＤＡＲＰＡ比赛的最优性能图，从图中可以看到在ＲｅａｄＳｐｅｅｃｈ任务上，最好的技术已经取得了错误率小于或接近１０％的效果，而对于ＨＵＢ４和ＨＵＢ５来说，错误率仍然居高不下。

１．３主要技术所有这些语音识别系统，最核心的技术都是采用隐马尔可夫模型。

我们搭建的系统模型，由于参数非常多，但是训练数据有限，就会出现分配到每个参数的训练数据非常少的现象。

这将导致对模型参数的估计出现极大的偏差。

而决策树［３］方法可以通过决策树对参数进行绑定，一些参数共用相同的训练数据，解决了数据稀少的问题。

在具体的系统中，使用ｔｒｉｐｈｏｎｅ模型作为参数模型。

由于ｔｒｉｐｈｏｎｅ的数目巨大，而且需要预测不可见的ｔｒｉｐｈｏｎｅ，所以引入了决策树。

决策树对ｔｒｉ－ｐｈｏｎｅ状态的绑定是对ＬＶＣＳＲ技术的一个非常大的贡献，在此之后的ＬＶＣＳＲ系统，无论是使用ｔｒｉｐｈｏｎｅ还是ｑｕｉｎｐｈｏｎｅ，最终都要求助于决策树。

Ｔｒｉｐｈｏｎｅ等基于Ｃｏｎｔｅｘｔ的模型单元的引入使得识别器能够模拟更细致的语言现象，这可以说是９０年代语音识别的一个具有深远意义的技术。

在ＨＵＢ中，这些系统都是非常庞大的，在一个大的系统中，关注的是如何使系统性能最优，所以不断地进行参数模型的优化。

在这些不断优化的过程中使用的方法，最大似然线性回归（ＭＬＬＲ）［４］是一个非常优秀的方法。

ＭＬＬＲ自适应是９０年代语音识别的另一个非常重要的技术，可以用该方法调整高斯分布的均值。

这个方法就是使用一个变换矩阵来变换模型的均值，这个变换矩阵应该是采用无监督方法获得。

采用的策略图１ＤＡＲＰＡ比赛的最优性能图１９８８１９８９１９９０１９９１１９９２１９９３１９９４１９９５１９９６１９９７１９９８１９９９２０００２００１２００２２００３１００％１０％１％ＷＯＲＤＥＲＲＯＲＲＡＴＥＣｏｕｎｔｅｓｙＮＩＳＴ１９９９ＤＡＲＰＡＨＵＢ－４Ｒｅｐｏｒｔ，Ｐａｌｌｅｔｔｅｔａｌ．ＭａｎａｇｅｍｅｎｔＲｅｓｏｕｒｃｅ１ｋＮｏｉｓｙ５ｋＮＡＢｆｏｒｅｉｇｎＳｐｅｅｃｈＢｒｏａｄｃａｓｔＭｉｃｒｏｐｈｏｎｅＶａｒｉｅｄ２０ｋＡＴＩＳＳｐｅｅｃｈＳｐｏｎｔａｎｅｏｕｓＷＳＪＳｐｅｅｃｈＲｅａｄｆｏｒｅｉｇｎＳｐｅｅｃｈＣｏｎｖｅｒｓａｔｉｏｎａｌＳｗｉｔｃｈｂｏａｒｄ阮玲英等：大词汇量连续语音识别探讨・５５・２００７年８月电脑与信息技术是使用一棵回归树，当可获得的自适应数据很少时，只获得树的根节点的变换矩阵；而当可以用来求取自适应参数的数据越来越多时，这颗回归树就开始向下生长，而使用叶子节点对应的自适应变化矩阵。

简而言之，如果训练数据稀少时，所有的模型都采用同一个变换矩阵来变换均值，而当训练数据比较多时，不同类的模型可以采用不同的变换矩阵。

最后一种极端情况（一般不会发生）就是训练数据十分充足，每一个模型可以采用一个变换矩阵。

２中文大词汇量连续语音识别中文大词汇量连续语音识别采用的是１９９８年录制的８６３汉语连续语音数据库［５］来作为评测的数据库。

这个库是高质量的、在语音学和语言学知识指导下设计的科学合理、简洁有效的连续语音数据库。

８６３数据库语料是朗读语言的语料，着重考虑的是音段方面的语音学问题。

为了描述语流中的音变现象，考虑了如下语音单元：（１）无声调的音节４０１个；（２）音节间的双音子４１５个；（３）音节间的三音子３０３５个；（４）所有音节间过渡段的韵母－声母结构７８１个。