第一章语音信号处理的基础知识
语音信号处理(C++) 课件 第1章 绪论
STOP
• 纯英文语音合成系统
STOP
第 1 章 绪论
EmotionTTS
✓ 在现在陈述语气合成的基础上实现感叹，疑问，强调的 效果
✓ 在正常情绪合成的基础上增强系统在高兴，生气，悲伤 等多种情绪方面的表现能力
中立合成 情感合成 生气 难过
第 1 章 绪论
语音合成发展情况
年份 1995年 1998年 1999年 2001年 2003年
自然度 <3.0 3.0
3.5
3.8
4.3
STOP
粤语合成系统
STOP
中文男声系统
STOP
纯英文语音合成系统
STOP
第 1 章 绪论
Trainable TTS
20世纪末，可训练的语音合成方法基于统计建模和 机器学习的方法，根据一定的语音数据进行训练并 快速构建合成系统。这种方法可以自动快速的构建 合成系统，系统尺寸很小，很适合嵌入式设备上的 应用以及多样化语音合成方面的需求。
第 1 章 绪论
应用——索尼公司的AIBO狗
第一个实现规模 商品化的宠物机 器人（收益10亿 美元），为有情 感交互能力的机 器人及相关的研 究打开了想象的 空间。
第 1 章 绪论
应用——载人航天
第 1 章 绪论
应用——服务质量评估
非特定说话人
声学特征
服务质量考评
特征规整化 情感识别模型
第 1 章 绪论
智能语音技术：使信息时代的各种信息机器像人一样“能听会 说”的技术。
可以将任意的文字信息转化为自然流畅的 语音,相当于给机器装上了人工嘴巴
可以将语音中内容、说话人、语种等信息 识别出来，相当于给机器装上了人工耳朵
语音信号处理
第一部分语音信号处理第一章·绪论一···考核知识点1·语音信号处理的基本概念2·语音信号处理的发展概况二···考核要点一·语音信号处理的基本概念1．识记：（1）语音信号对人类的重要性。
（2）数字语音的优点。
（3）语音学的基本概念。
（4）语音信号处理的应用领域。
二·语音信号处理的发展概况1.识记：（1）语音信号处理的发展历史。
（2）语音编码、语音合成、语音识别的基本概念。
语音编码技术是伴随着语音的数字化而产生的，目前主要应用在数字语音通信领域。
语音合成的目的是使计算机能象人一样说话说话，而语音识别使能够听懂人说的话。
第二章·基础知识一···考核知识点一·语音产生的过程二·语音信号的特性三·语音信号产生的数字模型四·人耳的听觉特性二···考核要求一·语音产生的过程1.识记：声音是一种波，能被人耳听到，振动频率在20Hz~20kHz之间。
自然界中包含各种各样的声音，而语音是声音的一种，它是由人的发音器官发出的，具有一定语法和意义的声音。
2.领会：（1）语音产生的过程与人类发声的基本原理。
（2）清音、浊音、共振峰的基本概念。
语音由声带震动或不经声带震动产生，其中由声带震动产生的音统称为浊音，而不由声带震动而产生的音统称为清音。
声道是一个分布参数系统，它是一个谐振腔，有许多谐振频率，称为共振峰，它是声道的重要声学特征。
二·语音信号的特性1.识记：（1）语音的物理性质，包括音质、音调、音强、音长等特性。
语音是人的发音器官发出的一种声波，具有声音的物理属性。
其中音质是一种声音区别于其它声音的基本特征。
音调就是声音的高低，取决于声波的频率：频率高则音调高，频率低则音调低。
响度就是声音的强弱，又称音量。
一文学好语音信号处理的基础知识
一文学好语音信号处理的基础知识1、声音是一种波，能被人耳听到，它的振动频率在20～20 000 Hz之间。
2、语音产生的过程语音的形成过程:空气由肺部排入喉部，经过声带进入声道，最后由嘴辐射出声波，形成语音。
3、声音的分类（概念：理解+记忆）浊音：声带绷紧，气流通过时会使得开口变成一开一闭的周期性动作，造成周期性的激发气流，如a，o；(由声带震动产生的音)，包括所有的元音和一些辅音。
清音：声带完全舒展，声道某部位收缩形成一个狭窄的通道，产生空气湍流，如t，d；(不由声带震动产生的音)爆破音：声带完全舒展，声道的某部位完全闭合，一旦闭合点突然开启，空气压力快速释放，如b，p。
4、语音的两个重要声学特性——基音频率和共振峰（记忆）基音频率(F0)：由声带的尺寸、特性和声带所受张力决定，其值等于声带张开和闭合一次的时间的倒数（此处去掉就是基音周期的定义）。
人类基音频率的范围在80～500 Hz左右。
共振峰(Fn , n=1,2,...)：声道是一个谐振腔，它放大声音气流的某些频率分量而衰减其他频率分量，被放大的频率我们称之为共振峰或共振峰频率。
5、共振峰特性：（理解）共振峰是声道的重要声学特性。
声道对于一个激励信号的响应，可以用一个含有多对极点的线性系统来近似描述。
每对极点都对应一个共振峰频率。
这个线性系统的频率响应特性称为共振峰特性，它决定信号频谱的总轮廓，或称谱包络。
语音的频率特性主要是由共振峰决定的。
而声道的共振峰特性决定所发声音的频谱特性，即音色。
元音的音色和区别特征主要取决于声道的共振峰特性。
共振峰特性可以从语音信号频谱分析得到的幅频特性观察到。
6、完整的语音信号产生的数字模型：（会画图+解释各部分模型原理特点）。
语音信号处理-第01章 声音信号的分类与数字化
WAV：数字音频波形格式，微软公司开发 MIDI：数字乐器合成器，多用于合成音乐
目前遇到的多数为.wav和.mid文件
• 微软公司与IBM公司共同制定的WAV格式文件 的第一个四字节是RIFF，它用来指明文件属 于多媒体资源交换文件 (Resource Interactive File Format，RIFF)的一种。 • RIFF文件的基本结构是块，第一个块为WAVE 类型，指定文件为波形数字音频文件，第二 个块为fmt块，定义文件中其它数据的格式。
typedef struct_WaveFmt { WORD wFormatTag; // 编 码 方 式 的 标 记 ； PCM时为1 WORD nChnnels; //信道数；单声道等于0， 立体声等于2 WORD nSamplesPerSec; //每秒采样数 WORD nAvgBytesPerSec; //每秒平均字节数 WORD nBlockAlign; //数据块的偏移量 }fmt
• 加窗语音：
Sω ( n ) = s ( n ) ⋅ ω ( n )
3
语音信号加窗分帧处理
帧移时间关系为： • 语音信号帧长与帧移 • 当Fs = 8kHz时，取 20ms 为一帧，则帧长=160个样 值；取25ms为一帧，则帧 长=200个样值。 • 帧移处理：前后两帧的交 叠部分称为帧移，帧移与 帧长比值为0~1/2. §1.5 声音信号的数字存储格式
存储一分钟声音信号所需要的存储容量
2
§1.4 语音信号采集与处理系统 结构
系统参数及各模块的主要功能
• a．语言信号宽带为0.3~3.6kHz，根据采样 定理要求采样频率为最高信号频率的2倍， 采样频率fs>7.2kHz，一般取fs=8k样/s。为 防止50Hz电源干扰，抗混叠带限滤波器带 通取fl = 60~100Hz，fh = 3400Hz，采样频率 Fs = 8kHz。 • b．对于语音识别和电话用户语音编译码器 参数同a；对高质量语音要求场合fl = 60Hz，fh = 4500Hz，采样频率Fs = 1020kHz。
语音信号处理第一章绪论
语⾳信号处理第⼀章绪论第⼀章绪论1、语⾳信号？语⾳信号是具有声⾳的语⾔，⼈类表⽰信息的常⽤媒体，⼈类通信的有效⼯具。
2、语⾳信号包含的信息？1）说话内容，说什么；2）说话⼈⾝份，谁说的；3）说话⼈说话时的状态，⽣理状态、⼼理状态、情绪等。
（语⾳信号处理主要关⼼前两项）3、为什么要学习和研究语⾳信号处理技术？答：1）语⾳是⼈类最重要、最有效、最常⽤和最⽅便的交换信息的⽅式；2）让计算机能够理解⼈类的语⾔，是⼈类⾃计算机诞⽣以来就梦寐以求的想法；随着计算机的便携化，⼈们渴望摆脱键盘的束缚⽽代之以语⾳输⼊的⽅式。
⽐如苹果公司的iphone⼿机，在其最新版本4s中，推出了siri功能-即语⾳助⼿，可以通过语⾳输⼊，让其充当闹钟，⽐如还可以让它为你找出最近的咖啡厅，另外找出⾏路线往往需要输⼊不少⽂字，省事的话，报出地点，它可以调⽤google地图来找出出⾏⽅案，还可以让它播放⾳乐，发送短信等等。
3）语⾳信号技术始终与当时信息科学最活跃的前沿科学保持密切联系，并且⼀起发展。
语⾳信号处理是以语⾳语⾔学和数字信号处理为基础的涉及多⽅⾯的综合性学科，它与⼼理学、⽣理学、计算机科学、通信与信息科学以及模式识别和⼈⼯智能等学科都有着密切的关系。
对于语⾳信号处理的研究⼀直是数字信号处理技术发展的重要推进⼒量，⽽数字信号处理许多新⽅法的提出，⼜是⾸先在语⾳信号处理中获得成功，⽽后再推⼴到其他领域的。
⽐如，语⾳信号处理算法的复杂性和实时处理的要求，促进了⾼速信号处理器的设计。
⽽这些产品产⽣之后，⼜是⾸先在语⾳信号处理中得到最有效的应⽤的。
4、语⾳信号处理的发展情况1）语⾳信号处理的发展标志是在1940年产⽣的通道声码器技术，该技术打破了以往的“波形原则”，提出了⼀种全新的语⾳通信技术，即从语⾳中提取参数加以传输，在接收端重新合成语⾳。
其后，产⽣了“语⾳参数模型“的思想。
2）40年代后期，研制成功了“语谱仪”，为语⾳信号分析提供了有⼒的⼯具。
《语音信号处理》讲稿第1章
05 语音信号处理的挑战与展 望
语音信号处理的挑战
噪声干扰
语音信号在采集、传输和处理过程中容易受到各种噪声的干扰，如 环境噪声、设备噪声等，导致语音质量下降。
多变性
语音信号具有极大的多变性，不同人的发音、语速、语调等差异较 大，给语音信号处理带来很大的挑战。
实时性要求
许多语音信号处理应用需要实时处理，如语音识别、语音合成等，对 算法的复杂度和处理速度要求较高。
语音信号的基本特征
01 02
时域特征
语音信号在时域上表现为振幅随时间变化的波形。时域特征包括短时能 量、短时过零率、短时自相关函数等，用于描述语音信号的幅度、频率 和周期性等特性。
频域特征
语音信号在频域上表现为不同频率成分的分布。频域特征包括频谱、功 率谱、倒谱等，用于描述语音信号的频率结构、共振峰和声学特性等。
倒谱分析
对语音信号的频谱进行对数运算后， 再进行傅里叶反变换，得到倒谱系 数，用于语音合成、说话人识别等。
倒谱分析方法
线性预测倒谱系数（LPCC）
01
基于线性预测模型的倒谱系数，用于描述语音信号的声道特性。
梅尔频率倒谱系数（MFCC）
02
基于人耳听觉特性的倒谱系数，具有较好的抗噪性和鲁棒性，
广泛应用于语音识别、说话人识别等领域。
基音周期和基音频率
反映语音信号的周期性特征，是语音信号处理中 的重要参数。
语音信号的识别技术
模板匹配法
将待识别语音与预先存储的模板 进行比较，选取最相似的模板作
为识别结果。
随机模型法
利用统计模型来描述语音信号的 特征，通过模型参数的训练和识
别来实现语音信号的识别。
人工智能方法
包括神经网络、支持向量机、深 度学习等方法，通过训练和学习 来建立语音信号与语义之间的映 射关系，实现语音信号的智能识
《语音信号处理》课程笔记
《语音信号处理》课程笔记第一章语音信号处理的基础知识1.1 语音信号处理的发展历程语音信号处理的研究起始于20世纪50年代，最初的研究主要集中在语音合成和语音识别上。
在早期，由于计算机技术和数字信号处理技术的限制，语音信号处理的研究进展缓慢。
随着技术的不断发展，尤其是快速傅里叶变换（FFT）的出现，使得语音信号的频域分析成为可能，从而推动了语音信号处理的发展。
到了20世纪80年代，随着全球通信技术的发展，语音信号处理在语音编码和传输等领域也得到了广泛应用。
近年来，随着人工智能技术的快速发展，语音信号处理在语音识别、语音合成、语音增强等领域取得了显著的成果。
1.2 语音信号处理的总体结构语音信号处理的总体结构可以分为以下几个部分：（1）语音信号的采集和预处理：包括语音信号的采样、量化、预加重等操作，目的是提高语音信号的质量，便于后续处理。
（2）特征参数提取：从预处理后的语音信号中提取出能够反映语音特性的参数，如基频、共振峰、倒谱等。
（3）模型训练和识别：利用提取出的特征参数，通过机器学习算法训练出相应的模型，并进行语音识别、说话人识别等任务。
（4）后处理：对识别结果进行进一步的处理，如语法分析、语义理解等，以提高识别的准确性。
1.3 语音的发声机理和听觉机理语音的发声机理主要包括声带的振动、声道的共鸣和辐射等过程。
声带振动产生的声波通过声道时，会受到声道形状的影响，从而产生不同的音调和音质。
听觉机理是指人类听觉系统对声波的感知和处理过程，包括外耳、中耳、内耳和听觉中枢等部分。
1.4 语音的感知和信号模型语音的感知是指人类听觉系统对语音信号的识别和理解过程。
语音信号模型是用来描述语音信号特点和变化规律的数学模型，包括时域模型、频域模型和倒谱模型等。
这些模型为语音信号处理提供了理论基础和工具。
第二章语音信号的时域分析和短时傅里叶分析2.1 语音信号的预处理语音信号的预处理主要包括采样、量化、预加重等操作，目的是提高语音信号的质量，便于后续处理。
1 语音信号处理绪论
从音波的产生上看，造成不同音质的发音条件有三种： 发音体不一样，口琴和笛子的音质不同，因为口琴 的发音体是金属簧片，笛子的发音体是竹膜。 发音方法不一样，拍手掌发出的是“啪啪”声，两 手掌来回搓发出的是“擦擦”声。 共鸣器形状不同。共鸣器有自己的振动频率，它会 同跟自己频率相同或相近的音波产生共振，把它加 强，其它频率的音波就会被抑制或消耗。不同形状 的共鸣器频率不一样，即使是对同一束复合音波， 产生的共振结果也不一样。对于语音来说，口鼻腔 就是共鸣器，一个人不断改变口形就会发出不同的 音。
4.3音长
音长指声音的长短，也就是声波延续的长 度，它取决于发音体振动持续的时间。 在语音中，再长的音实际上也很短，音长 一般决定于发音动作持续的时间。
4.4音质
音质又叫音色，是一个声音能区别于其他声音 的本质特点。声波的振动方式与共鸣器的共振 作用，都决定着音质的差别。 世界上的声音很少是只有一种单纯频率的纯音， 绝大多数声音都是由许多个频率和振幅不同的 音波组成的复合音。复合音的各成分波之间频 率和振幅相互影响，形成了特定的波形，产生 出特定的音质。
语音合成与传统的数字录音技术不同
数字录音技术需要人工录音，语音合成可以利 用有限的系统资源将大量的、无限的文本信息 转换为语音。 就工作量而言，录音需要大量的人力，语音合 成的大部分工作由计算机完成，只需要给出文 本信息即可 对于一些动态特别是要求实时性的信息，语音 合成能够进行实时转换 录音信息的存储、查询、维护、修改不如语音 合成方便。
舌头是口腔中最活跃的部件，舌头多变的 动作是口腔形状能出现丰富变化的重要条 件。 鼻腔不像口腔那样可以变动，它是个形状 固定的共鸣腔，但当它与口腔连通时，口 腔动作的改变也可以发出不同的鼻音。
《语音信号处理》讲稿第1章
1.语音信号处理的基本概念
（1）语音信号处理的研究范围 （2）语音信号处理的研究目标 （3）语音信号处理与前沿ห้องสมุดไป่ตู้科的结合 （4）语音信号处理与计算机技术的结合
1.语音信号处理的基本概念
语音信号处理研究重点： ①语音分析。 ②语音编码与压缩。 ③语音合成。 ④语音识别与理解。 ⑤语音增强。
2.语音信号处理的发展概况
语音处理研究的历史可以追溯到1876年 Bell发明电话，那是首次采用声电、电声转换 技术实现远距离语音通信。
2.语音信号处理的发展概况
在国内，语音处理方面有代表性的研究单 位有：清华大学、中国科学院声学所、西安电 子科技大学、四达公司、中国科学院自动化所、 微软中国研究院等。部分研究成果已经商品化。
2.语音信号处理的发展概况
国内有关语音技术的产品分为两大类：语 音合成技术和语音识别技术。
2.语音信号处理的发展概况
我国语音处理研究的起步比先进国家晚一 点，但在跟踪国外先进技术基础上，进步很快。 尤其在语音识别方面，成果突出，如研制成功 汉语听写机产品。这是因为，由于汉语音节种 类较少，结构很规则，便于以音节为基础实现 无限词汇识别，因而很快获得了可与国际先进 水平相比拟的成果。在语音合成方面，有限词 汇的语音合成器已在自动报时、报警、报站、 电话查询服务、玩具等方面得到了广泛的应用。
语音信号处理的基础知识
语音信号处理的基础知识语音信号处理是一门涉及到声音录制、分析、编码、识别等多个学科的交叉领域，其在现代通信技术、人机交互等领域中发挥着重要作用。
本文将介绍语音信号处理的基础知识，包括语音的参数表示、语音的数字化、语音的编码和解码等方面。
一、语音的参数表示语音信号的参数表示是指将语音信号表示为具有物理意义的、易于处理的数学参数。
在语音信号的参数表示中，常用的方法包括时域参数和频域参数两种。
时域参数是指将语音信号分段，然后对每一段信号进行时域特征分析，将其表示为均值、方差、能量、过零率等参数。
时域参数的优点是对信号的采样率没有要求，因此对于不同采样率的语音信号都可以进行处理。
但是，时域参数的缺点是对于语音信号中的高频成分无法处理，因此无法反映语音信号的高频特性。
频域参数是指将语音信号进行傅里叶变换，将信号变换到频域后，对于每个频率分量进行幅度、相位等特征参数提取。
频域参数的优点在于可以反映语音信号的高频特性，因此在语音识别、声码器设计等方面有重要应用。
但是频域参数的缺点在于对于信号的采样率有一定要求，因此需要进行抽样和重构处理，这样会引入一定的误差。
二、语音的数字化语音的数字化是指将模拟语音信号转换为数字信号的过程，其目的在于便于存储和处理。
在数字化语音信号中，一般采用脉冲编码调制（PCM）技术进行采样和量化。
脉冲编码调制是一种通过改变脉冲宽度、位置和幅度等参数来表示信号的方法。
在语音数字化中，采用的是线性脉冲编码调制，即将模拟语音信号进行采样、量化后转换为数字信号。
采样是指将模拟信号在时间轴上离散化，量化是指将采样信号的振幅幅度量化为离散的数值。
采样和量化的具体实现可以采用多种算法，如最近邻量化、线性量化、对数量化和均衡限制量化等。
三、语音的编码和解码语音信号编码是指将语音信号转换为适合传输和存储的码流。
在语音信号编码中，常用的方法包括线性预测编码（LPC）、自适应差分编码（ADPCM）、快速傅里叶变换编码（FFT）、线性预测离散余弦变换编码（LPDCT）等。
语音信号处理实用教程-PPT课件第01章 绪论
22
60 -- 70年代发展
• 1960年 • 60年代中期 – 1965年 – 1968年 – 70年代中 – 70年代末 • 70年代初 Fant发表的开创性工作“语音产生的声学理论” 数字信号处理算法的突破 快速傅里叶（FFT）算法 同态处理(Homomorphic Processing) 线性预测分析(LPC) 矢量量化； 动态时间规整(Dynamic Time Warping，简称 DTW) ，隐马尔科夫模型(Hidden Markov Modeling．简称HMM)． • 70年代初 美国国防部先进技术研究项目管理局（DARPA） 启动语音理解系统研究计划 • 开始应用数字计算机， 60年代出现了第一台以数字计算机为基础 的孤立词语音识别器和有限连续语音识别器；
1
教材目录
第01章 绪论：2学时 第02章 语音信号处理的基础知识：2学时 第03章 语音信号的时域分析：4学时 第04章 语音信号的频域分析：4学时 第05章 语音信号的同态处理：6学时 第06章 语音信号的线性预测分析：6学时 第07章 语音信号的矢量量化：2学时 第08章 隐马尔可夫模型(HMM)：2学时 第09章 语音信号检测分析：2学时 第10章 语音编码：8学时 第11章 语音合成：2学时 第12章 语音识别：2学时 第13章 说话人识别：1学时 第14章 语音增强：4学时 第15章 语音处理的实时实现：1学时
课程内容
• 语音处理基本原理 – 语音信号及其特征 – 语音产生与感知机理 – 汉语语音学 • 语音处理的基本技术 – 时间域与频率域方法，STFT，同态处理，LPC分析…. – 统计分类与模式识别 • 语音编码的基本概念 – 波形编码与参数编码 – 近代编码技术 • 应用专题 – 语音合成，TTS – 语音识别
语音信号处理--第一章
在保证一定语音质量的前提下，尽可能降低编码
比特率，以节省频率资源。
14
语音信号处理 胡航 编著
1.2.2 语音编码
语音编码与文本到语音转换两个主要区别
一、前者是人与人之间的话音交流，要保留 说话人的声音特征。后者是文本到声音的转换即 计算机发声。它可以是标准播音员或其它声音。 二、前者不仅对压缩率和音质有要求，而且 要求较低的编、解码延迟。而后者对处理帧长没 有什么太严格的限制。
16
语音信号处理 胡航 编著
语音识别研究领域包括：
（1）根据对说话人说话方式的要求，可以分 为孤立字语音识别系统，连接字语音识别系统以 及连续语音识别系统。
（2）根据对说话人的依赖程度可以分为特定 人和非特定人语音识别系统。 （3）根据词汇量大小，可以分为小词汇量、 中等词汇量、大词汇量以及无限词汇量语音识别 系统。
参考模式库 识别结果
识别 模式匹配
图1.2
语音处理过程的结构框图
27
语音信号处理 胡航 编著
1.5 MATLAB在数字语音信号 处理中的应用
数字语音信号处理是将数字信号处理与语音学 相结合，解决现代通信领域中人与人、人与机器之 间的信息交流的学科。 MATLAB是一种功能强大、效率高、交互性 好的计算机高级语言。
9
语音信号处理 胡航 编著
1.2 语音信号处理的发展
1 1876年 贝尔电话 的发明 2 1939年 第一个 声码器
3
19世纪60年代
用声学方法对元音和 歌唱进行了研究
4 20世纪40年代 5
语谱图仪问世
7
1948年 6 20世纪50年代 语谱图 系统论述语言 语音，语音合成 产生的声学理论
突破进展
第一章：语音信号的基本理论
声带每开启和闭合一次的时间就是基调周期,其倒数称为基 调频率.
语音信号的产生模型
激励模型 辐射模型 共振峰模型
浊音激励信号
激励模型
AV E (Z ) = 1 z 1
U ( Z ) = E ( Z )G ( Z )
1 G(Z ) = (1 g1 z 1 )(1 g 2 z 1 )
语音信号的产生模型—激励模型
系数的作用是调整浊音信号的幅度或能量清音情况下激励信号是一个随机噪声发生器可以设其均值系数的作用是调节清音信号的幅度或能量声道模型将声道作为一个变截面积的声管来研究大多数情况下是一个全极点函数p为阶数实际应用中取812激励源的修正模型周期脉冲发生器声门脉冲模型随机噪声发生器auav将语音信号截然分为周期脉冲激励和噪声激励两种情况与实际情况不相符将激励源进行修正激励源可以是两种激励按照任意比例进行叠加一种更精确的域音产生模型周期脉冲发生器随机噪声发生器avfnavf1f2f3f4fnaufk1fk2ak鼻音分支口腔分支擦音分支
当气流在声道中受到阻碍时,产生湍流,此时生成清音. 清音在时域类似随机噪声,在频域具有宽带特征;
混合音(Mixed Speech )
浊音的能谱由精细的谐波结构和共振峰结构刻画.
共振峰结构,即谱包络(Spectral Envelope) 共振峰(Formant)就是谱包络的峰值. 共振峰反应了声道的共振特性,一般人的声道有3到5个 低于5kHz的共振峰.
受用语谱图
瀑布 语谱图(SPECTROGRAM)
时间,频率,幅值三维坐标, 频谱帧随时间变化
彩色语谱图
发 "ah."时的单元音 /a/ ah."
发 "eye"时的双元音 /ai/
语音信号处理基础知识
第八页，共57页。
2.2 语音和语言
❖ 人的说话的过程：
第九页，共57页。
❖ 语音学(Phonetics)是研究言语过程的一门科 学。
它考虑的是语音产生、语音感知等的过程以 及语音中各个音的特征和分类等问题。
现代语音学发展成为三个主要分 支： 发音语音学 声学语音学 听觉语音学
第十页，共57页。
语音和语言
❖ 调音方式等的不同可以把辅音分成如下几类： 塞音、摩擦音、塞擦音、鼻音、边音、颤音、 通音。
❖ 根据发辅音时声带有无振动，可以把辅音分类 成浊辅音和清辅音。
❖ 根据辅音除阻后是否紧跟着送出一股气来，可 以把辅音分类成送气辅音和不送气辅音。
第十七页，共57页。
2.1概述 2.2语音和语言 2.3汉语语音学 2.4语音生成系统和语音感知系统 2.5语音信号生成的数学模型 2.6语音信号的特性分析
节的一半以上，所以汉语语音听感上有清亮、高扬和舒服、柔 和的感觉。
❖ 有鲜明的轻重音和儿化韵，所以字词分隔清楚，语言表达准确而丰 富。
第二十页，共57页。
汉语的拼音方法
❖ 汉语由音素构成声母或韵母。有时，将含有声调（汉语通常
认为有五个声调）的韵母称为调母。由单个调母或由声母 与调母拼音成为音节。
❖ 汉语的一个音节就是汉语一个字的音，即音节字。由音节字
❖ 每个汉字是一个音节，如将同音字合一处理，则汉语中共有 1332个有调音节，其中可以单念的有1268个。
❖ 汉语中一般有五个声调，即阴平、阳平、上声、去声以及轻声。如 果不考虑声调，则汉语中无调音节共有407个。
❖ 汉语音节的一般结构，由9个部分组成。其中1～4段属于声母 （辅音），6～9段属于韵母（元音），第5段是二者的过渡段。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
二. 语音信号的数字处理方法
1 语音信号的特点—短时平稳性 2 短时时域处理方法—短时能量、短时平均过零 率以及短时自相关函数计算 3 短时频域分析—短时傅立叶分析 4 线性预测技术—本质上属于时域分析方法，但其 结果可以是频域参数 5 倒谱和同态分析、矢量量化和隐马尔可夫模型
10
语音信号的特点—短时平稳性
6
声音: 语音和非语音 语音是语言的声学表现，是人类交流信息最自 然、最有效、最方便的手段，是人类进行思维 的依托。 人的言语过程
想说 说出 传输 语音编码 接收 理解
语音合成
语音识别 说话人识别
7
语音信息的重要性
其它信息 20% 图像信息 语音信息 其它信息
语音信息 20%
图像信息 60%
人类从大自然获取信息的分布图
13
二.语音文件格式之WAV格式
WAVE文件是由若干个Chunk组成的。按照在文件中的出 现位置包括：RIFF WAVE Chunk, Format Chunk, Fact Chunk( 可选), Data Chunk。每个chunk由“辨别码”、“数据大小” 及“数据”所组成。 每个Chunk有各自的ID，位于Chunk最开始位置作为标示，而 且均为4个字节。并且紧跟在ID后面的是Chunk大小(去除ID和 Size所占的字节数后剩下的其他字节目),4个字节表示
16
④wav数据bit位置安排方式
Data Chunk是真正保存wav数据的地方，以'data'作为该 Chunk的标示。然后是数据的大小。紧接着就是wav数据。根据 Format Chunk中的声道数以及采样bit数，wav数据的bit位置可以分 成以下几种形式：
单声道 | 取样1 | 取样2 | 取样3 | 取样4 | ---------------------------------------------------------------------------------------------------| 8bit量化 | 声道0 | 声道0 | 声道0 | 声道0 ----------------------------------------------------------------------------------------------------------------------| 双声道 | 取样1 | 取样2 | ---------------------------------------------------------------------------------------------------| 8bit量化 | 声道0(左) | 声道1(右) | 声道0(左) | 声道1(右) ----------------------------------------------------------------------------------------------------------------------| | 取样1 | 取样2 | 单声道 --------------------------------------------------------------------------------------------------| 16bit量化 | 声道0 | 声道0 | 声道0 | 声道0 | | (低位字节) | (高位字节) | (低位字节) | (高位字节) -----------------------------------------------------------------------------------------------------------------------| | 取样1 | 双声道 -- --------------------------------------------------------------------------------------------------| 16bit量化 声道0(左) | 声道0(左) | 声道1(右) | 声道1(右) | (低位字节) | (高位字节) | (低位字节) | (高位字节) ------------------------------------------------------------------------------------------------------------------------
11
1.2 语音文件格式
计算机中最常见的存放声音格式就是WAV （WAVEFORM）文件格式，其扩展名是 .wav。 WAVE文件作为最经典的Windows多媒体音频格式， 它使用三个参数来表示声音：采样位数、采样频率和 声道数。 声道有单声道和立体声之分，采样频率一般有 11025Hz（11kHz）、22050Hz（22kHz）和44100Hz （44kHz）三种。 WAVE文件所占容量=（采样频率×采样位数×声道） ×时间/8（1字节=8bit）。
1)格式详解 ①RIFF WAVE Chunk
| |所占字节数| 具体内容 ======================== | ID | 4 Bytes | 'RIFF' ---------------------------------| Size | 4 Bytes | ---------------------------------| Type | 4 Bytes | 'WAVE' ----------------------------------
14
②Format Chunk
======================================================== | | 字节数 | 具体内容 ======================================================== | ID | 4 Bytes | ‘fmt ’ ---------------------------------------------------------------------------------------| Size | 4 Bytes | 数值为16或18，18则最后又附加信息 -------------------------------------------------------------------- -----------------| FormatTag | 2 Bytes | 编码方式，一般为0x0001 --------------------------------------------------------------------------------------| Channels | 2 Bytes | 声道数目，1--单声道；2--双声道 -------------------------------------------------------------------------------------| SamplesPerSec | 4 Bytes | 采样频率 ---------------------------------------------------------------------------------------| AvgBytesPerSec| 4 Bytes | 音频数据传送速率 其值为声道数×每秒数据位数(采样频率 )×每样本的数据位数/8。 -----------------------------------------------------------------------------------------| BlockAlign | 2 Bytes | 数据块对齐单位(每个采样需要的字节数) 其值为声道数×每样本的数据位值/8 -----------------------------------------------------------------------------------------| BitsPerSample | 2 Bytes | 每个采样需要的bit数 ------------------------------------------------------------------------------------------| | 2 Bytes | 附加信息（可选，通过Size来判断有无） ------------------------------------------------------------------------------------------
4
课程安排
第一章 语音信号处理的基础知识 第二章 语音信号分析 第三章 矢量量化技术 第四章 隐马尔可夫模型 第五章 语音编码 第六章 语音合成 第七章 语音识别 第八章 语音增强
5
第一章 语音信号处理的基础知识
1.1 1.2 1.3 1.4 1.5 数字语音处理研究的内容 语音文件格式 人类的语言器官 语音产生过程 语音信号产生的数学模型
语音信号处理
1
课程考核方式
闭卷、笔试。
成绩评定方式： 考试成绩占80% ，实验成绩占10% ，平 时成绩占10%。
2
教材
胡航 .《语音信号处理》（第3版） 哈尔滨工业大学出版社
3
参考书
韩纪庆，张磊，郑铁然.语音信号处理. 北京：清华大学出版社.2004 赵力.语音信号处理.北京：机械工业出版 社，2003
12
二.语音文件格式之WAV格式
WAVE文件作为多媒体中使用的声波文件格式之一，它是以 RIFF (resource interchange file format)（资源互换文 件格式 ）格式为标准的，WAV文件是以RIFF 的档案格式储 存，每个WAVE文件的头四个字节便是“RIFF”。 RIFF可以看做是一种树状结构，其基本构成单位为chunk， 犹如树状结构中的节点，每个chunk由"辨别码"、"数据大小" 及"数据"所组成。 辨别码由4个ASCII码所构成，数据大小则标示出紧跟其后 数据的长度(单位为Byte)，而数据大小本身也用掉4个Byte， 所以事实上一个chunk的长度为数据大小加8。 Window目前仅提供WAVE_FORMAT_PCM一种数据格式