语音识别外文翻译

第一部分语音识别与理解的研究进展和方向。

为了推进研究，找出有前途、有希望的研究方向，特别是那些在过去没有得到充分的探求或者资助的研究方向是非常重要的。

研究小组写的这篇文章引出了人类语言技术组织（HLT）的一系列经过深思熟虑的研究方向，对今后的研究，可能会成为在自动语音识别（ASR）和理解领域的主要转换范例。

在过去的几十年里，已经对信号处理和人类语言技术（HLT）有很大的兴趣和积极性。

作为第一步，这个组织回顾了此领域主要的发展情况和能引领他们成功的环境，然后专注于他们认为对未来研究特别有用的领域。

这篇文章的第一部分会集中焦点在自动语音识别领域（ASR）历史上有重要意义的发展上，包括几个被不同资金组织资助的主要的成就，并建议在其的中重点研究领域。

第二部分将详细探讨几个保持项目前景以能很大改善ASR的新途径。

这些涉及跨学科的研究和具体办法，以应对三至五年巨大挑战，旨在通过广受关注的现实任务处理以促进先进的研究
第二部分语音识别与理解的重大发展
自20世纪70年代中期期间见证了ASR的多学科领域继续处于起步阶段，其时代的到来，到实际应用和商业市场的数量迅速增长。

然而，尽管它的许多成就，ASR的仍然是一个远未解决的问题。

在过去，我们希望进一步的研究和发展，将使我们能够建立一个世界性的基础上日益强大的系统。

本节简要回顾了ASR的主要发展重点在五个方面：基础设施，知识表示，模型和算法，搜索，和元数据。

这些领域更广泛和更深入的讨论，可以发现在[12], [16], [19], [23], [24], [27], [32], [33], [41], [42], and [47].读者还可以参考以下网站：t he IEEE History Center’s Automatic Speech Synthesis和Recognition section、the Saras Institute’s History of Speech Language Technology Project在t .
基础设施
摩尔定律指出计算机发展的长期进展和预测，每12到18个月，计算实现一个给定的成本的费用会翻倍，以及同等萎缩的内存成本。

这些事态发展已使ASR的研究人员在足够短的时间框架运行的日益复杂的算法，使自1975年以来取得伟大进步。

常见的语音语料库语音训练，发展和评价的可用性一直是关键，让创造能力不断增加的复杂系统。

讲话是高度可变的信号，多参数的特点，因此大型语料库在自动化系统的建模不够好以达到熟练的水平。

多年来，这些语料库已被创建及注释，并分发由国家科学和技术研究所的全球组织（NIST），语言数据联盟（LCD），和其他组织。

录制的讲话字符已取得进展，从有限的制约发言材料，以逐步现实自发的讲话。

已经通过由NIST和其他机构制定的严格的评估基准和标准，关键是一直在发展中日益强大和有能力的系统。

许多实验室和研究人员受益于共同的研究工具的可用性，如Carnegie-Mellon University Language Model (CMULM) toolkit ,Hidden Markov Model Toolkit (HTK), Sphinx, and Stanfor Research Institute Language Modeling(SRILM).广泛研究的支持与车间相结合,任务定义,和国防部高级研究计划局（DARPA）和其他组织赞助的评价系统成为对今天的系统发展所必不可少的
知识表示
在语音信号表示的重大进展，包括感性动机的MEL频率倒谱系数，(MFCC) [10], [29]和感知线性预测（PLP）系数[21]以及通过倒谱归意味着减法（CMS）[16][44]相对光谱（RASTA）过滤[20]和声道长度正常化(VTLN) [13].
建筑，最重要的发展一直搜索统一的图形表示，允许多个来源的知识被纳入到一个共同的概率框架。

非成分方法包括多个语音流，多个概率在假设层面相结合的估计，多重识别系统水平和多通道统增加约束（大-RAM与四克，依赖赖关系与跨字在Word，等等）最近，使用多种算法，同时适用于并行顺序，已证明是富有成效的，有基于特征的，如转换异方差的线性判别分析
(HLDA) [31],功能空间的最低电话错误(fMPE) [40]和神经基于网络的功能[22]。

模型和算法
在20世纪70年代初[38],语音识别进步的最显着的范式转变，已经出台了统计方法，尤其是随机处理隐马尔可夫模型（HMM模型）[3]，[25]。

超过30年后，这种方法仍然占主导地位.一些模型和算法已被有效地纳入在此框架内。

期望最大化（EM）算法[11]和向前或向后Baum-Welch算法[4]已经是HMM模型从数据中训练的主要手段。

尽管其简单的N-gram 语言模型已经证明是非常强大和灵活的。

决策树[8]已被广泛应用于套的功能，如从训练数据的发音。

统计差别性的训练技术通常是基于利用最大互信息（MMI）和最小误差模型参数。

确定性方法包括纠正训练和一些神经网络技术[1] [5]，[35]。

适应是至关重要的，以容纳多种渠道，环境，扬声器，词汇，主题域等变量条件。

流行的技术，包括最大后验概率（MAP）估计[17]，[38]，[51]，最大似然线性回归（MLLR）[34]，本征声音[30]。

培训可以采取少量的新任务或提供额外的培训材料，以及“一次性”学习或“无监督”培训测试时间域数据的基础上进行。

搜索
关键解码或搜索策略，原本在非语言应用开发，都集中在堆栈解码（A*搜索）[26]和Viterbi 或N-最好的搜索[50]。

从通信和信息理论推导，堆栈解码随后应用于语音识别系统[25]，[37]。

维特比搜索，广泛应用于搜索替代假说，来自动态规划在20世纪50年代[6]，随后被用在语音应用程序，从20世纪60年代至80年代及以后，从俄罗斯和日本，美国和欧洲[3] [7]，[9]，[36] [45]，[46]，[48] [49]。

元数据
句子和扬声器分割以及自动测定标点符号已成为一些处理系统的主要功能。

在20世纪90年代初开始，已启用音频索引和采取高性能主题自动检测和跟踪，以及申请语言和说话人识别[18]。

大挑战：主要的潜在研究计划
大的挑战是本小组所谓的雄心勃勃，但实现三至五年的研究计划的举措，将大大推进在国家最先进的语音识别和理解。

大挑战以前由国家和国际倡议发起，一些机构和其他团体在很大程度上为今天的ASR和应用能力的成就负责。

下面描述了六个这样的潜在方案。

每个方案已经确定，可衡量的目标，包括重要的功能复杂，应该大大推进该领域，使其能够满足重大的应用。

这些丰富的任务域，可以使在不同的层次几个有前途的研究领域取得进展。

正如下文所述，这些方案倡议，每年也可以在多学科或跨区域的研究方法中受益，或提供的好处.
日常音频
这是一种长期的，代表了广泛的语音、扬声器、通道、环境条件下，人们通常会遇到常规的适应语音信号的响应和确认。

目前，当他们最初的开发和培训时遇到从有限的条件下不同的音频信号，ASR系统提供了显着的性能下降。

在许多情况下，这是真正的差异，即使是
轻微的。

此重点研究领域将集中在创建和发展系统，这将是变异和变化对声学环境，混响，外部噪声源，沟通渠道（例如，远场麦克风，手机），扬声器的特性（如更健壮，说话风格，外来口音，情绪状态），和语言的特点（例如，正式/非正式的风格，方言，词汇，主题域）。

新技术和新架构建议探索不同环境如会议室演示和非结构化对话的关键问题。

主要的焦点将自动适应不断变化的条件，在多个层面探索的替代品，甚至同步。

我们的目标是在环境和多样化的情况下，提供更多的准确和有用的演讲稿，不同情况比现在是可能的，从而满足更多的应用。

这个具有挑战性的问题，可以高效地用上的专业知识和相关学科的知识，包括自然语言处理，信息检索，认知科学。

快速移植到新兴外语
今天的国家的最先进的ASR系统提供最高的性能，通过建立复杂的声学和语言模型使用的特定于域的语音和文本的例子大集合。

对于许多语言，这种语言资源集往往不是现成的。

这项研究计划的目标是创建口语语言的技术，是迅速便携式。

为了准备这样的口语语言系统的快速发展，需要一个新的范例学习，多语言通用的语言，具体的手机的语音和声学单位。

三个具体研究的问题需要解决：1）声学建模为一个新的目标语言的跨语言的语音和声学单位，2）跨语言的单词发音的词汇建模新的语言，和3）跨语言的语言模型。

通过探索这些新兴的语言和充分的语言研究，跨语言的功能，如语言聚类和普遍的声学建模之间的相关性，可以利用声学和语言模型，以便快速适应。

引导技术也从少量标记的话语首先建立初步的系统，使用这些系统的多标签的钥匙话语的例子，在无人监督的方式，纳入新的标签数据，标签集和迭代，以改善系统，直到他们达到的性能水平与今天的高精确度的系统相媲美。

许多研究成果可以扩展到新兴语言的机器翻译，自然语言处理，信息检索系统设计。

预期这种日益增长的需求，一些语言资源和基础设施需要建立能够快速的可移植性设施。

研究还需要研究的名目，需要引导的目的，以创造一个合理的制度监督信息的最低金额。

自适应的语言能力
国家的最先进的语音转录，扬声器核查，语言识别系统都是基于统计的标记训练数据模型，如转录讲话，并从人类提供的知识，如发音字典。

这种内置知识往往成为过时的系统后，很快部署在一个真实世界的应用程序，需要重大和经常性的人为干预和再培训，以维持系统的实用形式。

这与人类的讲话设施形成鲜明对比，这是不断更新的一辈子，会经常获得新的词汇和惯用表达式，以及巧妙地处理前所未见的外来口音和一些语言的地方方言。

特别是，人类表现出一个显着的学习一个新的域或应用程序的子语言的倾向，且没有明确的监管。

这项研究计划的目标是创建自适应（或自学）语音识别技术。

需要有在语音和语言处理的各个层次的学习，以应付不断变化的环境，非语音，扬声器，发音，方言，口音，言语，意义，主题，但部署系统的周期变化超过几个来源。

相对于人类，系统会进行自动模式发现，主动学习和适应。

在这方面的研究必须解决学习新模型，将此类模型集成到已经存在的知识源中。

因此，学习的一个重要方面是能够辨别东西已经学到和如何应用这个结果。

学习来自多个并发的方式，例如，新的文本和视频也可能是必要的。

例如，ASR系统可能会遇到在其语音输入新的专有名词，可能需要检查匹配的上下文来确定名称的拼写。

无标签或标记的部分数据的开发利用将对这种学习有其必要性。

投资于这类研究的一个动机是模仿机器学习领域有不断增长的积极性。

在这一努力下，成功延长已部署系统的寿命，并直接推动我们无标记讲话的繁重的要求，在新的语言和域的语
音系统的开发能力中，基本上是通过创建系统，随着时间的推移自动学习和改善。

自然语言处理，信息检索，认知科学将受益于这项研究领域的交叉部分。

稀有，关键事件的检测
当前的ASR在处理意外时系统有困难，因而往往是最丰富的词汇信息项目。

在讲话中包含感叹词或外国或外的词汇和语言有相对较少的数据，建立系统的词汇和发音词典，这是特别的问题。

在这种情况下，一个常见的结果是高价值的其他一些常见的发音相似的单词作为过分自信不当确认。

然而，这样的发言事件的关键任务，如口语长期检测和语音信息提取。

他们的准确登记，因此是至关重要的。

这一计划的目标是要建立系统的可靠检测时，他们不知道一个有效的单词。

一个线索，以这样的错误事件的发生是一个纯粹的感官信号的先验知识，如不受约束的手机识别，更高层次的知识为基础的一个单词或词组的假设支配的分析之间的不匹配，往往编码一个语言模型。

这个研究一个重要组成部分，像是是小说的发展，系统信任措施和精确模型的不确定性，基于感官的证据和先验信仰之间的差异。

检测到此类事件的自然续集将抄写他们的发音，当系统有信心，其字的假设是不可靠的，就制定纠错计划。

一个直接的应用，这种检测将使子字（例如，音译）的索引和搜索系统怀疑存在错误言论区域。

拼音容易出错区域还将能使自学语音系统的下一代系统的发展可能是能够检查新文本，确定未知单词的身份。

这项研究有自然语言处理和信息检索的研究自然的协同。

认知衍生的语音和语言系统
人类认知的一个关键特点是学习能力和适应新的模式和刺激。

这个项目的重点是了解和借鉴有关的人的能力和自动语音系统纳入这些战略。

因为它是无法预测和收集的讲话，主题域等任何和所有类型的单独的数据，重要的是使自动化系统的学习和推广从单一实例（偶发学习）或有限样本数据，甚至，从而使新的或变更的信号（例如，重音的语音，噪声适应）可以正确理解。

它已经得到了很好的证明，在自动语音系统的适应是非常有益的。

为寻找在大脑处理语音和语言在过去几年取得的显着改善提供了额外的推动力在脑和认知科学领域，尤其是关于语音和语言处理的皮质成像。

现在可以即时遵循不同的路径和皮质激发课程，为不同的语音和语言刺激的功能。

这里的主要目标是了解如何取得显着的皮层信息处理能力超出信号处理和利用，在我们的自动语音和语言系统的知识。

这种认识的后果可能是非常深远的。

这一研究领域将借鉴相关学科的脑和认知科学，自然语言处理，信息检索。

英语语言理解（模仿平均语言能力，在第一至第三级的水平）
今天的状态，最先进的系统设计抄写口语言论。

言语理解能力，实现了广泛的层面上，它是必不可少的语音研究界探讨建筑语言理解系统，可以通过逐步积累知识和语言技能的提高。

一个有趣的方法是比较ASR系统和小于10岁儿童，在听力理解技能的表现。

就像一个孩子学习一门新的学科，系统在一个学习阶段中可以接触到广泛的学习材料。

在测试阶段，系统和儿童将给予书面质询，首先要得到一些想法，看什么样的信息在测试通道。

理解测试，可能是在口头和书面形式。

这项研究计划的目标是帮助开发新技术，使其能理解语言。

很清楚，这样的评价，强调信息轴元素在讲话，而不是基本的字错误率的准确检测。

自然语言理解需要一些有限的领域知
识四个重点研究课题，需要加以探讨：1）片面理解的口头和书面材料，重点关注与信息轴承组件; 2）从给定的测试和名称项提取的句子分割通道; 3）中获得的知识来源的信息检索学习阶段;和4）的代表和数据库知识的组织来源。

语音和语言处理社区之间的合作是这样一个程序的潜在成功的一个关键因素。

这项研究的成果可以提供一个特定于域的语言理解系统建设模式的转变，显着影响着组织教育和学习。

改善基础设施为未来的ASR研究
创造高品质的注释语料
单一的简单，目前对于国家最先进的识别系统，提高性能上最好的办法是把给定的任务增加任务相关的训练数据模型构建。

系统功能的进步直接与语音库提供的数量相关，以捕捉在讲话中固有的巨大变异。

尽管到目前为止已很大程度利用语音数据库，但提供更多的有关数据，系统性能仍不断提高。

这种情况清楚地表明，语音信号捕捉到关键信息，需要更多的数据。

增加设施，我们可以学习，了解，随后自动识别各种语言，这一点尤为重要。

这种能力将是一个的重要组成部分，在改善不仅对转录在任何特定的语言，但也表现为口语语言的机器翻译，跨语言信息检索等。

如果我们希望我们的系统更加强大和理解演讲本身的性质，我们必须收集和标注它。

以及标记的语音库已经成为今天的系统已经开发和发展的基石。

常见的语音库的可用性已经并将继续以严格的由美国NIST和其他机构比较系统评估和进行竞争分析。

大多数语音数据库标签通常是在文字水平。

然而，一些注释（例如，音节，手机的功能，所以在更细的级别上）对于成功理解和解释的语言是很重要的。

事实上，最流行的语言数据联盟（“公司”）提供的语音库是论文利用TIMIT，由麻省理工学院和德州仪器的讲话，其中一个子字（音译）的转录创建一个非常紧凑的声音数据库。

多年来，许多重大的语音语料库，如给家里打电话，总机，“华尔街日报”，最近的七叶树，已广泛提供不同程度和类型的注释。

这些语料库和其他的，从根本上推动我们目前关于语音识别的理解和不断增长的能力，如转录，发现和跟踪等等。

如今有一个迫胁的需要，关于理解讲话的基本要素，更大有代表性的语音库，无论是在英语还是其他语言。

为了探索重要的现象“上面的字”数据库需要标记，以表明情感方面，对话的行为和语义（例如，帧网通[14]和Propbank [28]）。

人类语言理解的前提是这些因素。

以便系统能够认识到这些重要的特性，必须有适当的标记与语音数据来训练他们。

它也有可能，一些新的研究可能需要探讨，并确定标签本身和未来的发展和评价方法，以适应标签技术和做法的细微差别，至少一致的公约和惯例。

我们必须设计出对ASR系统标签错误的宽容。

新型大容量数据源
很大程度上要归功于互联网，现在有大量容易获得的日常用语，反映了最近各种材料和环境。

它们中有些常常是质量很差，如用户从YouTube发布的材料。

更高质量的音频材料，反映在不同的组织，如StoryCorps（在提供）记录的口述历史。

大学课程讲座，研讨会，和类似的材料弥补另一种来源丰富，被放置在网上源源不断。

所有这些材料反映了一个不太正式的，比现今系统的讲话更自发的，自然的形式，通常被承认。

“弱”的成绩单（如封闭字幕和字幕）可为这些音频提供一些材料。

像这样的材料的工作的好处是，该系统将成为更能够因此增加鲁棒性和扩大范围的材料，可广泛的条件下准确地转录重要的发展。

这里据悉大部分也是可能的好处是在抄录休闲英语以
外的语言的日常用语
收集和处理大量的语音数据的工具
多年来，双方开源的可用性（例如，卡内基·梅隆大学的债务工具中央结算系统CMU Sphinx）和商业言论的工具（例如，熵系统剑桥大学的HTK）一直非常有效，迅速地将优质的语音处理功能带给许多实验室和研究人员。

新的基于Web的工具，可以收集，注释，然后在多国语言处理相当数量的讲话非常符合成本效益。

卯足了万维网上有兴趣的人士（在开源软件和Wikipedia的方式）的协助下，可能会产生大量的语言资源的数量，在较小的代价可以非常有效。

贫困的语言创造显着的新功能可能是特别有价值的资源。

尽管目前严重的资金不足，还是有些新的举措，包括数字库技术，以扫描大量的文字（例如，百万册图书项目[44]）和大规模语音语料库的建立（如，数万小时的演讲语料库[2]）旨在收集多小时的演讲，用许多世界性语言。

如果成功的话，这些项目将大大推进国家的艺术，在世界语言语音理解和熟练的自动化。

他们还提供了雄厚的科研资源丰富的语音和语言本身的根本性质。

致谢
这篇文章是更新版本的“MINDS2006-2007年的言语理解工作组报告书”，名为“MINDS 会议”工作组的五个报告中的一个人类语言技术的未来发展方向，由美国突破性技术办公室（DTO）赞助。

（头脑是机器、翻译、信息检索、自然语言处理、数据资源，言语理解的缩写；更多信息，请参阅 / iaui/894.02/minds.html）。

作者确认了与几位同事有重要的信息讨论，他们的意见反映在以上的文章中。

我们要感谢AndreasAndreou, James Baker, Donna Harman,Mary Harper, Hynek Hermansky,Frederick Jelinek, Damianos Karakos,Alex Park, Raj Reddy, Richard Schwartz,and James West.
作者
Janet M. Baker （janet_baker@）是龙系统的创始人之一和萨拉斯研究所的创始人，在西马萨诸塞州牛顿市。

她的讲座包括学术和商业上的语音技术，战略规划及创业。

李邓（deng@）的是在微软研究院首席研究员，在华盛顿州雷德蒙，附属于美国华盛顿西雅图大学教授。

他是IEEE和美国声学学会院士，IEEE信号处理学会理事局成员。

James Glass（glass@）是在麻省理工学院计算机科学与人工智能实验室的首席科学家，在那里他负责口语系统集团，并且是哈佛 - 麻省理工卫生科学与技术部讲师。

Sanjeev Khudanpur（khudanpur@）是在马里兰州巴尔的摩Johns Hopkins 大学工程学院电气和计算机工程的副教授。

他的作品在信息理论和统计方法，人类语言的技术，包括自动语音识别，机器翻译，信息检索中的应用。

Chin-Hui Lee（chl@）自2002年以来，是佐治亚理工学院的电气工程和计算机学院的教授。

在加入学术界之前，他花了20年在工业系统，包括15年在新泽西州美利山的贝尔实验室，在那里他是对话系统研究总监。

Nelson Morgan（morgan @ IC ）是加州大学伯克利分校下属的独立的非盈利研究实验室主任和语音组组长。

他也是在美国加州大学伯克利分校EECS部教授，语
音和音频信号处理教科书的合著者，IEEE院士。

Douglas O’Shaughnessy （dougo@emt.inrs.ca）是INRS-EMT的教授（魁北克大学），IEEE和声学学会院士，美国音频组织（ASA），EURASIP语音杂志的编辑，总编辑，音乐处理者。

参考文献
[1] L. R. Bahl, P. F. Brown, P. V. de Souza, and R. L.Mercer，“估计隐马尔可夫模型的参数，以便最大限度地提高语音识别的准确性”，硕士论文。

讲话音频处理，第一卷。

第一节，第77-83页，1993年。

[2] JK Baker，“语言的数字图书馆：百万小时的演讲项目，”在PROC. Int.Conf。

通用数字图书馆，邀请文件，亚历山大，埃及，2006年。

[3] JK Baker，“随机建模的自动语音识别，语音识别，DRReddy，埃德。

纽约：学术，1975年。

[4]L. Baum，“不平等和相关的最大化技术统计估计发生概率的马尔可夫过程的功能，”不等式，第一卷。

3，第1-8，1972。

[5]F.Beaufays，H. Bourlard，H.Franco，N.Morgan，“语音识别技术”，在脑和神经网络理论，第二版，2006 Arbib，埃德手册。

剑桥，MA：麻省理工学院出版社，2002。

[6]R. E. Bellman Programming.Princeton，新泽西州普林斯顿大学。

出版社，1957。

[7] H. Bourlard, Y. Kamp, H. Ney, and C. Wellekens，“扬声器依赖动态规划和统计方法，通过连接语音识别，语音和说话人识别（Bibliotheka Phonetica，第12卷），M. Schroeder, Ed. Basel:Kargers, 1988.
[8] L. Breiman, J. Friedman, R. Olshen, and C.Stone，C.Stone，分类与回归树。

Pacific Grove, CA: Wadsworth & Brooks, 1984.
[9] J.Bridle, M. Brown, and R. Chamberlain，“一个连字识别的通算法”。

IEEE ICASSP，1982年，第899-902页。

[10] S.Davis and P. Mermelstein，“比较单音节词识别参数表示在不间断口语句子”，硕士论文。

音乐器语音信号处理，第一卷。

28，第四节，1980年8月，第357-366页。

[11]A. Dempster, N. Laird, and D. Rubin，“通过EM算法的数据不完整最大的可能性”皇家统计协会。

第 39卷，第一节，第1-21页，1977。

[12] L. Deng and D. OíShaughnessy，语音处理：一个充满活力和面向优化的方法。

纽约：Marcel Dekker，2003。

[13] E. Eide and H. Gish，“参数的方法来歌唱道长度正常化”，IEEE ICASSP，1996年，第346-349页。

[14]：C. J. Fillmore, C. F. Baker, 和 H. Sato，“框架网络数据库和软工具”Proc.Int.CONF。

语言资源与评价（LREC），加那利群岛拉斯帕尔马斯，西班牙，2002年，第1157至1160页。

[15] J. Fiscus，后期处理系统，产量降低字错误率减少错误识别器输出率（罗孚）PROC.IEEE的ASRU研讨会，圣巴巴拉分校，加利福尼亚，1997年，第3477-3482页。

[16] S. Furui，数字语音处理，合成和识别，第二版。

纽约：Marcel Dekker，2001年。

[17] J.-L. Gauvain and C.-H. Lee，“最大后验估计多元高斯混合观测马尔可夫链，”IEEE跨音频处理，第一卷。

第二节，第291-298页，1994年4月。

[18] L. Gillick, J. Baker, J. Baker, J. Bridle, M. Hunt,Y. Ito, S. Lowe, J. Orloff,
B. Peskin, R. Roth, and F.Scattone，“大词汇量连续语音识别主题和扬声器使用电话语音识别中的应用”PRO
C. IEEE ICASSP，1993年4月，第一卷，第二节，471-474页。