语音信号处理第3版——第1讲
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
课程简介
语音信号处理是一门综合性学科，涉及的领域非常广泛： 声学、语音学、信号处理、数学、人工智能、模式识别，甚至 心理学、生物学等。 总学时：48，理论课学时：38，实验课学时：10，学分：3 适用于通信工程、电子信息工程等专业 先修课程：信号与系统、数字信号处理、概率统计
课程考核方式
其研究不为学术界的广大研究者所知道 1980年代，学术界才知道Vintsyuk 当初的工作； 而DTW已广为人知
第1章 绪论
1.2 语音识别发展概况
1970年代末，基于矢量量化码本生成的LBG算法被
提出，矢量量化技术广泛应用于语音识别、语音编 码和说话人识别中 LBG算法通过训练矢量集和一定的
大学和东海岸的林肯实验室间进行，数码率为 9.6kb/s
1975年1月，美国实现使用LPC声码器的分组语音电
话会议
1980年代，集中在局域网上的语音通信，最早的实
验是由英国剑桥大学于1982年在10Mb/s的剑桥环形 网上进行的
第1章 绪论
1.3 语音编码发展概况
1988年，美国公布了一个4.8kb/s的码激励线性预测编
期末考试 （开卷，占80%） 实验考核（实验完成情况、实验报告撰写情况，占10%） 平时考核（课堂表现、自主学习情况，占10%）
教材及主要参考资料
教材：赵力. 语音信号处理（第3版）, 北京：机械工业出版社, 2016.5 主要参考资料：
张雪. 数字语音处理及MATLAB仿真, 北京：电子工业出版社, 2010 何强 何英. MATLAB扩展编程, 北京：清华大学出版社, 2002
第1章 绪论
1.4 语音合成发展概况
20世纪末，提出了可训练的语音合成方法——基 于HMM 的合成方法 目前，语音合成系统具有了很高的可懂度，但自 然度还不尽人意
第1章 绪论
1.5 语音处理的其他分支
说话人识别
Speaker Diarization ，主要解决：“谁在说 说话人日志 Speaker Recognition ，又称声纹识别、话者识别。通过对 Language Identification ，通过分析
贝尔和格雷早10多年。由于经济困窘等原因，19世纪70年代，梅乌奇并 权的法律诉讼。格雷与贝尔在同一天申报了专利，由于比贝尔 谁是电话的真正发明者？ 对于大多数人来说，每当提到电话的发明，一定会联想到贝尔。 没有赢得与贝尔的电话机专利争夺战。在其逝世 113年后，美国议会认定 晚一点申报（只晚了2个小时左右），最终败诉。 梅乌奇为电话机的发明者。真理得以昭然，梅乌奇实至名归。
1970年代末至80年代初，Baker等将隐马尔可夫模
迭代算法来逼近最优的再生码本
型(Hidden Markov Model )技术应用到语音识别中
1985年IBM公司研制了5000词英语听写机Tangora-5 Andrei 能识别的词汇达到了 A. Markov ，80年代末完成的Tangora-20 Russian statistician 20000，识别率达到了 94.6% 1856 – 1922
第1章 绪论
1.2 语音识别发展概况
Kaifu完成的非特定人连续语 音识别系统SPHINX是最有代表性的，它能识别997个词 汇的连续语音，识别率达到95.8% 1997年，IBM推出的汉语听写机Viavoice为语音识别 在汉字输入方面的实际应用开辟了新的道路 1999年，Intel推出语音识别软件开发包Spark3.0 1988年，李开复获卡内基梅隆大学计算机学博士学位。他的博 Microsoft Voice及基于.net的语音识别引擎 士论文是世界上第一个“非特定人连续语音识别系统”。 1988 目前，在语音识别的系统框架方面并没有什么重大突 破。但是，在语音识别技术的应用及产品化方面出现 年，《商业周刊》授予该系统“最重要科学创新奖”。在校期 了很大的进展
码（CELP）语音编码标准算法 进入1990年代，随着Internet的兴起和语音编码技术的 发展，IP分组语音通信技术获得了突破性的进展。如网 络游戏，语音聊天，IP电话技术 1990年代中期，出现了很多被广泛使用的语音编码国际 标准，如数码率为5.3/6.4kb/s的G.723.1、数码率为 8kb/s的G.729等 目前，主要集中在4kbit/s码率以下的高音质、低延迟 的声码器，提高在噪声信道中低码率编码器的性能
中。美国国防部ARPA组织了有CMU等五个单位参加 的一项大规模语音识别和理解研究计划
1970年代中，日本学者Sakoe提出的动态时间弯折
算法对小词表的研究获得了成功，从而掀起了语 音识别的研究热潮
第1章 绪论
1.2 语音识别发展概况
谁先提出动态时间弯折（DTW）算法？
是采用动态规划技术将一个复杂的全局 1960年代末期，苏联学者 Vintsyuk提出了采用动 最优化问题转化为许多局部最优化问题， 态规划方法解决两个语音的时间对准问题 一步一步地进行决策
1960年代以后，随着计算机技术的发展，语音信号处
理技术获得了长足的进步，计算机模拟实验取代了硬 件研制的传统做法。各种突破性的思想不断涌现
第1章 绪论
1.2 语音识别发展概况
1960年，Denes等人用计算机实现自动语音识别，
引入了时间归正算法改进匹配性能
1970年代起，人工智能技术开始引入到语音识别
为相应的文本或命令的技术。主要包括特征 语音编码 Speech Coding 利用计算机和一些专门装置模拟人，制 语音识别和语音合成是实现人机语音通信，建 提取、模式匹配及模型训练技术。 造语音的技术。 TTS （文语转换）技术 对模拟的语音信号进行编码，将模拟 立一个有听和说能力的口语系统所必需的两项 隶属于语音合成。 信号转化成数字信号，从而降低传输
主要软件及工具箱
MatLab, Cool Editor, Visual Studio 2008/2010 Voice Box, HTK, Speech SDK 等工具箱
主要研究机构
国外：卡耐基梅隆大学，剑桥大学，爱丁堡大学，谢菲尔 德大学，华盛顿大学，加州大学，哥伦比亚大学，麻省理工 学院，帝国理工学院，IBM，微软、Nuance等 国内：科大讯飞，清华大学，中科院声学所和自动化所， 哈工大，东南大学，华南理工大学等
1.1 概述
为什么要学习和研究语音信号处理技术？
语音是最自然、最有效、最方便的人机（人与人）交互手段
国内外各大公司（研究机构）一直从事语音信号处理研究
语音信号处理技术用途非常广泛 卡耐基梅隆大学、剑桥大学、爱丁堡大学、华盛顿大学、 语音信号处理技术远未成熟，需进一步改进 车载语音：汽车导航、空调、车窗、影音等的语音控制 清华大学、中科大、中科院 等一直从事语音处理研究 语音信号处理技术始终与当时信息科学中最活跃的前沿学科保 呼叫中心： 交互式语音应答的补充、服务质量评估、增强安全性等 噪声环境下语音处理系统性能急剧下降 2011 年苹果公司推出 Siri (Iphone4S的语音控制功能) 移动终端： 语音秘书、语音播报、语音输入法、语音听写系统 说话人发音方式、口音变化等将导致系统性能下降 持密切的联系，并且一起发展 2010 年科大讯飞推出新一代 “语音云”平台 教育和娱乐： 语音教具、语音（普通话）评测、智能语音家电和玩具 2011 训练和测试数据差异较大时，系统性能将下降 年腾讯公司推出 QQ云语音面板 比如：机器学习、小波分析、模式识别、神经网络、人 公共安全及服务： 语音监听与跟踪、家庭服务、宾馆服务、旅行社 …… Nuance, Google, 微软 , IBM, 百度, 盛大,华为等也投入巨资 工智能等
B.H. Juang# & Lawrence R. Rabiner. Automatic Speech Recognition – A Brief History of the Technology Development, 2004
第1章 绪论
1.1 概述
1942年，Bell实验室发明了语谱仪 1948年，美国Haskin实验室研制成功“语图回放机” 1952年，Bell实验室研制成识别十个英语数字识别器 1956年，Olson和Belar等人研制出语音打字机
服务系统、订票系统、医疗服务、银行服务、股票查询服务等
第1章 绪论Байду номын сангаас
1.1 概述
人的言语过程
想说 计算机
说出
传输
语音编码
接收
理解
语音合成
语音识别 说话人识别
第1章 绪论
1.1 概述
语音信号处理的主要分支
语音识别 Speech Recognition
让机器通过识别和理解过程把语音信号转变 语音合成 Speech Synthesis
间，李开复还开发了“奥赛罗”（黑白棋）人机对弈系统，因
1990年代初，CMU的Lee
为1988年击败了世界团体冠军美国队的一名成员而名噪一时。
第1章 绪论
1.3 语音编码发展概况
1970年代起，国外就开始研究计算机网络上的语音
通信，主要是基于ARPANET网络平台进行研究
1974年，首次分组语音实验是在美国西海岸南加州
关键技术。使电脑具有类似于人一样的说话能
力，是当今时代信息产业的重要竞争市场。 语音识别 参量编码（音源编码）和混合编码。 原理框图
码率并进行数字传输。分为波形编码、
1.1 概述
语音信号处理发展概况：起步很早、尚未完全成熟
1791年，Wolfgang
von Kempelen构建了语音机器 1835年，Charles Wheatstone 改进了语音机器
第1章 绪论
1.1 概述
1939年，H.Dudley研制成功第一个声码器
打破了以前的“波 形原则”，提出了一 种全新的语音通信技 术，即提取参数加以 传输，在收端重新合 成语音。 其后，产生“语音 参数模型”的思想
A block schematic of Homer Dudley’s VODER
B.H. Juang# & Lawrence R. Rabiner. Automatic Speech Recognition – A Brief History of the Technology Development, 2004
第1章 绪论
1.1 概述
1870年代，电话发明之争
安东尼奥· 梅乌奇 伊莱沙· 格雷 亚历山大· 格拉汉姆· 贝尔 Antonio Meucci Elisha Gray Alexander Graham Bell 事实上，梅乌奇于 1860年代就已对电话机进行了原创性的发明创造，比 (1808 – 1889 ) 1835-1901 (1847-1922) 然而，一个叫伊莱沙· 格雷的人就曾与贝尔展开过关于电话专利
第1章 绪论
1.4 语音合成发展概况
1939年，贝尔实验室利用共振峰原理制作出第一 个电子语音合成器 1960年，G.Fant系统地阐述了语音产生的理论， 推动了语音合成技术的进步 1968年，第一个完整的TTS系统得以实现 1980年，D. Klatt设计出串/并联混合型共振峰 合成器 1980年代，基音同步叠加的波形拼接方法PSOLA 被提出
话”和“在什么时候说话”两个问题。前者 语种辨识 语音信号的分析和处理，提取代表说话人个性信息的特征， 处理一个语言片段从而判别其属于哪 Voice Conversion，将A话者的语音 计 算机就能够自动 地种语言。 鉴 别 Hiding 说话人 的身份。主要分为： 语音转换 转换为具有 B 话者发音特征的语音， Speech ，利用语音信号中存在的 分割和说话人聚类技术来检测。 Speaker Identification 和Speaker Verification。 语音隐藏 且保持语音内容不变。 冗余及人类感知系统的特性，在不影响原
本课程的主要内容
绪论 2 语音增强
语音识别 说话人识别 语音编码 语音合成与转换
4
4 4 4 4
语音信号处理基础知识 2 矢量量化技术 语音信号分析 2 4
语音信号特征提取技术 4
语音信息隐藏
4
第1章 绪论
1.1 概述 1.2 语音识别发展概况 1.3 语音编码发展概况 1.4 语音合成发展概况 1.5 语音处理的其他分支
语音信号处理是一门综合性学科，涉及的领域非常广泛： 声学、语音学、信号处理、数学、人工智能、模式识别，甚至 心理学、生物学等。 总学时：48，理论课学时：38，实验课学时：10，学分：3 适用于通信工程、电子信息工程等专业 先修课程：信号与系统、数字信号处理、概率统计
课程考核方式
其研究不为学术界的广大研究者所知道 1980年代，学术界才知道Vintsyuk 当初的工作； 而DTW已广为人知
第1章 绪论
1.2 语音识别发展概况
1970年代末，基于矢量量化码本生成的LBG算法被
提出，矢量量化技术广泛应用于语音识别、语音编 码和说话人识别中 LBG算法通过训练矢量集和一定的
大学和东海岸的林肯实验室间进行，数码率为 9.6kb/s
1975年1月，美国实现使用LPC声码器的分组语音电
话会议
1980年代，集中在局域网上的语音通信，最早的实
验是由英国剑桥大学于1982年在10Mb/s的剑桥环形 网上进行的
第1章 绪论
1.3 语音编码发展概况
1988年，美国公布了一个4.8kb/s的码激励线性预测编
期末考试 （开卷，占80%） 实验考核（实验完成情况、实验报告撰写情况，占10%） 平时考核（课堂表现、自主学习情况，占10%）
教材及主要参考资料
教材：赵力. 语音信号处理（第3版）, 北京：机械工业出版社, 2016.5 主要参考资料：
张雪. 数字语音处理及MATLAB仿真, 北京：电子工业出版社, 2010 何强 何英. MATLAB扩展编程, 北京：清华大学出版社, 2002
第1章 绪论
1.4 语音合成发展概况
20世纪末，提出了可训练的语音合成方法——基 于HMM 的合成方法 目前，语音合成系统具有了很高的可懂度，但自 然度还不尽人意
第1章 绪论
1.5 语音处理的其他分支
说话人识别
Speaker Diarization ，主要解决：“谁在说 说话人日志 Speaker Recognition ，又称声纹识别、话者识别。通过对 Language Identification ，通过分析
贝尔和格雷早10多年。由于经济困窘等原因，19世纪70年代，梅乌奇并 权的法律诉讼。格雷与贝尔在同一天申报了专利，由于比贝尔 谁是电话的真正发明者？ 对于大多数人来说，每当提到电话的发明，一定会联想到贝尔。 没有赢得与贝尔的电话机专利争夺战。在其逝世 113年后，美国议会认定 晚一点申报（只晚了2个小时左右），最终败诉。 梅乌奇为电话机的发明者。真理得以昭然，梅乌奇实至名归。
1970年代末至80年代初，Baker等将隐马尔可夫模
迭代算法来逼近最优的再生码本
型(Hidden Markov Model )技术应用到语音识别中
1985年IBM公司研制了5000词英语听写机Tangora-5 Andrei 能识别的词汇达到了 A. Markov ，80年代末完成的Tangora-20 Russian statistician 20000，识别率达到了 94.6% 1856 – 1922
第1章 绪论
1.2 语音识别发展概况
Kaifu完成的非特定人连续语 音识别系统SPHINX是最有代表性的，它能识别997个词 汇的连续语音，识别率达到95.8% 1997年，IBM推出的汉语听写机Viavoice为语音识别 在汉字输入方面的实际应用开辟了新的道路 1999年，Intel推出语音识别软件开发包Spark3.0 1988年，李开复获卡内基梅隆大学计算机学博士学位。他的博 Microsoft Voice及基于.net的语音识别引擎 士论文是世界上第一个“非特定人连续语音识别系统”。 1988 目前，在语音识别的系统框架方面并没有什么重大突 破。但是，在语音识别技术的应用及产品化方面出现 年，《商业周刊》授予该系统“最重要科学创新奖”。在校期 了很大的进展
码（CELP）语音编码标准算法 进入1990年代，随着Internet的兴起和语音编码技术的 发展，IP分组语音通信技术获得了突破性的进展。如网 络游戏，语音聊天，IP电话技术 1990年代中期，出现了很多被广泛使用的语音编码国际 标准，如数码率为5.3/6.4kb/s的G.723.1、数码率为 8kb/s的G.729等 目前，主要集中在4kbit/s码率以下的高音质、低延迟 的声码器，提高在噪声信道中低码率编码器的性能
中。美国国防部ARPA组织了有CMU等五个单位参加 的一项大规模语音识别和理解研究计划
1970年代中，日本学者Sakoe提出的动态时间弯折
算法对小词表的研究获得了成功，从而掀起了语 音识别的研究热潮
第1章 绪论
1.2 语音识别发展概况
谁先提出动态时间弯折（DTW）算法？
是采用动态规划技术将一个复杂的全局 1960年代末期，苏联学者 Vintsyuk提出了采用动 最优化问题转化为许多局部最优化问题， 态规划方法解决两个语音的时间对准问题 一步一步地进行决策
1960年代以后，随着计算机技术的发展，语音信号处
理技术获得了长足的进步，计算机模拟实验取代了硬 件研制的传统做法。各种突破性的思想不断涌现
第1章 绪论
1.2 语音识别发展概况
1960年，Denes等人用计算机实现自动语音识别，
引入了时间归正算法改进匹配性能
1970年代起，人工智能技术开始引入到语音识别
为相应的文本或命令的技术。主要包括特征 语音编码 Speech Coding 利用计算机和一些专门装置模拟人，制 语音识别和语音合成是实现人机语音通信，建 提取、模式匹配及模型训练技术。 造语音的技术。 TTS （文语转换）技术 对模拟的语音信号进行编码，将模拟 立一个有听和说能力的口语系统所必需的两项 隶属于语音合成。 信号转化成数字信号，从而降低传输
主要软件及工具箱
MatLab, Cool Editor, Visual Studio 2008/2010 Voice Box, HTK, Speech SDK 等工具箱
主要研究机构
国外：卡耐基梅隆大学，剑桥大学，爱丁堡大学，谢菲尔 德大学，华盛顿大学，加州大学，哥伦比亚大学，麻省理工 学院，帝国理工学院，IBM，微软、Nuance等 国内：科大讯飞，清华大学，中科院声学所和自动化所， 哈工大，东南大学，华南理工大学等
1.1 概述
为什么要学习和研究语音信号处理技术？
语音是最自然、最有效、最方便的人机（人与人）交互手段
国内外各大公司（研究机构）一直从事语音信号处理研究
语音信号处理技术用途非常广泛 卡耐基梅隆大学、剑桥大学、爱丁堡大学、华盛顿大学、 语音信号处理技术远未成熟，需进一步改进 车载语音：汽车导航、空调、车窗、影音等的语音控制 清华大学、中科大、中科院 等一直从事语音处理研究 语音信号处理技术始终与当时信息科学中最活跃的前沿学科保 呼叫中心： 交互式语音应答的补充、服务质量评估、增强安全性等 噪声环境下语音处理系统性能急剧下降 2011 年苹果公司推出 Siri (Iphone4S的语音控制功能) 移动终端： 语音秘书、语音播报、语音输入法、语音听写系统 说话人发音方式、口音变化等将导致系统性能下降 持密切的联系，并且一起发展 2010 年科大讯飞推出新一代 “语音云”平台 教育和娱乐： 语音教具、语音（普通话）评测、智能语音家电和玩具 2011 训练和测试数据差异较大时，系统性能将下降 年腾讯公司推出 QQ云语音面板 比如：机器学习、小波分析、模式识别、神经网络、人 公共安全及服务： 语音监听与跟踪、家庭服务、宾馆服务、旅行社 …… Nuance, Google, 微软 , IBM, 百度, 盛大,华为等也投入巨资 工智能等
B.H. Juang# & Lawrence R. Rabiner. Automatic Speech Recognition – A Brief History of the Technology Development, 2004
第1章 绪论
1.1 概述
1942年，Bell实验室发明了语谱仪 1948年，美国Haskin实验室研制成功“语图回放机” 1952年，Bell实验室研制成识别十个英语数字识别器 1956年，Olson和Belar等人研制出语音打字机
服务系统、订票系统、医疗服务、银行服务、股票查询服务等
第1章 绪论Байду номын сангаас
1.1 概述
人的言语过程
想说 计算机
说出
传输
语音编码
接收
理解
语音合成
语音识别 说话人识别
第1章 绪论
1.1 概述
语音信号处理的主要分支
语音识别 Speech Recognition
让机器通过识别和理解过程把语音信号转变 语音合成 Speech Synthesis
间，李开复还开发了“奥赛罗”（黑白棋）人机对弈系统，因
1990年代初，CMU的Lee
为1988年击败了世界团体冠军美国队的一名成员而名噪一时。
第1章 绪论
1.3 语音编码发展概况
1970年代起，国外就开始研究计算机网络上的语音
通信，主要是基于ARPANET网络平台进行研究
1974年，首次分组语音实验是在美国西海岸南加州
关键技术。使电脑具有类似于人一样的说话能
力，是当今时代信息产业的重要竞争市场。 语音识别 参量编码（音源编码）和混合编码。 原理框图
码率并进行数字传输。分为波形编码、
1.1 概述
语音信号处理发展概况：起步很早、尚未完全成熟
1791年，Wolfgang
von Kempelen构建了语音机器 1835年，Charles Wheatstone 改进了语音机器
第1章 绪论
1.1 概述
1939年，H.Dudley研制成功第一个声码器
打破了以前的“波 形原则”，提出了一 种全新的语音通信技 术，即提取参数加以 传输，在收端重新合 成语音。 其后，产生“语音 参数模型”的思想
A block schematic of Homer Dudley’s VODER
B.H. Juang# & Lawrence R. Rabiner. Automatic Speech Recognition – A Brief History of the Technology Development, 2004
第1章 绪论
1.1 概述
1870年代，电话发明之争
安东尼奥· 梅乌奇 伊莱沙· 格雷 亚历山大· 格拉汉姆· 贝尔 Antonio Meucci Elisha Gray Alexander Graham Bell 事实上，梅乌奇于 1860年代就已对电话机进行了原创性的发明创造，比 (1808 – 1889 ) 1835-1901 (1847-1922) 然而，一个叫伊莱沙· 格雷的人就曾与贝尔展开过关于电话专利
第1章 绪论
1.4 语音合成发展概况
1939年，贝尔实验室利用共振峰原理制作出第一 个电子语音合成器 1960年，G.Fant系统地阐述了语音产生的理论， 推动了语音合成技术的进步 1968年，第一个完整的TTS系统得以实现 1980年，D. Klatt设计出串/并联混合型共振峰 合成器 1980年代，基音同步叠加的波形拼接方法PSOLA 被提出
话”和“在什么时候说话”两个问题。前者 语种辨识 语音信号的分析和处理，提取代表说话人个性信息的特征， 处理一个语言片段从而判别其属于哪 Voice Conversion，将A话者的语音 计 算机就能够自动 地种语言。 鉴 别 Hiding 说话人 的身份。主要分为： 语音转换 转换为具有 B 话者发音特征的语音， Speech ，利用语音信号中存在的 分割和说话人聚类技术来检测。 Speaker Identification 和Speaker Verification。 语音隐藏 且保持语音内容不变。 冗余及人类感知系统的特性，在不影响原
本课程的主要内容
绪论 2 语音增强
语音识别 说话人识别 语音编码 语音合成与转换
4
4 4 4 4
语音信号处理基础知识 2 矢量量化技术 语音信号分析 2 4
语音信号特征提取技术 4
语音信息隐藏
4
第1章 绪论
1.1 概述 1.2 语音识别发展概况 1.3 语音编码发展概况 1.4 语音合成发展概况 1.5 语音处理的其他分支