语音信号处理复习华南理工

语音信号处理复习

第二章语音信号处理基础知识

1，定义：

（1）语音是指人们讲话时发出的话语，它是一种声音，具有声学特征的物理特性。而它又是一种特殊的声音，是人们进行信息交流的声音，是组成语言的声音。因此语音是语言和声音的组合体。

（2）语音是由人的发声器官发出的一种声波，它具有音色、音调、音强和音长。

①音色：是一种声音区别于另一种声音的基本特征

②音调：指声音的高低，取决于声波的频率

③音强：指声音的强弱，取决于声波的振幅

④音长：指声音的长短，取决于发音时间的长短

（3）任何语言都有语言的元音和辅音两种音素：

元音：当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇腔出去时，这些声腔完全开放，气流顺利通过。一个重要的声学特性是共振峰。

辅音：由于通路的某一部分封闭起来或者受到阻碍，气流被阻不能畅通。包括清音和浊音。

①浊音：声带振动

②清音：声带不振动

（4）人的听觉系统有两个重要的特性：

①时频分析特性：人的耳蜗就像一个频谱分析仪，将复杂的信号分解成各种频率分量。

②听觉掩蔽效应：心理声学中的听觉掩蔽效应指在一个强信号附近，弱信号将变得不可闻，被掩蔽掉了。掩蔽效应分为同时掩蔽和短时掩蔽。

2，语言信号生成的数学模型：

①激励模型：在声门（声带）以下，称为“声门子系统”，它负责产生激励振动，是激励系统

②声道模型：从声门到嘴唇的呼气通道是声道，是声道系统

③辐射模型：语音从嘴唇辐射出去，则嘴唇以外是辐射系统

3，语音信号的特性分析：

（1）语音信号的时域波形和频谱特性：

①时域波形：周期性，周期对应声带振动的频率，即基音频率。

②频谱特性：共振峰特性。元音频谱有明显的几个凸起点，它们出现的频率就是共振峰频率。清辅音频谱

峰点之间的间隔是随机的，没有周期分量。

（2）语谱图：

语谱图是一种三维图谱，它是表示语音频谱随时间变化的图形，其纵轴为频率，横轴为时间，任一给定频率成分在给定时刻的强弱用相应点的灰度或色调的浓淡来表示。语谱图中显示了大量的与语音的语句特性相关的信息，它综合了频谱图和时域波形的特点，明显地显示出语音频谱随时间的变化情况，或者说是一种动态的频谱。记录这种谱图的仪器就是语谱仪。

语谱图中的花纹有横杠、竖直条和乱纹等。

①横杠：与时间轴平行的几条深黑色带纹，它们相应于短时谱中的几个凸点，也就是共振峰。

②竖直条：与时间轴垂直的一条窄黑带，每个竖直条相当于一个基音，条纹间的距离表示基音周期。

③乱纹：清擦音从语谱图上看表现为乱纹，乱纹的深浅和上下限反映了噪声能量在频域中的分布。

4，语音信号的统计特性：

语音信号的统计特性可以用它的波形振幅概率密度函数和一些统计量（如均值和自相关函数）来描述。

第三章语音信号分析

1，概述：

语音信号的特性及表征其本质特征的参数均是随时间变化的，所以它是一个非平稳过程。虽然它具有时变特性，但是从一个短时间范围（10~30ms）内，其特性基本保持不变，即相对稳定，可以将其看作一个准稳态过程，也就是短时平稳过程。

2，语音信号的预处理：

①预加重：通常语音信号的高频分量很小，预加重目的是提升高频部分，使信号频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱，以便于频谱分析或声道参数分析。

②加窗分帧：分帧通过可移动的有限长度窗口进行加权的方法实现。

3，语音信号的时域分析：

（1）语音信号的时域分析就是分析和提取语音信号的时域参数：短时能量、短时过零率、短时自相关函数和短时平均幅度差函数。

①短时能量：

②短时过零率：表示一帧语音中语音信号波形穿过横轴（零电平）的次数。浊音具有较低的过零率，而清

音具有较高的过零率。

③短时自相关函数：

④短时平均幅度差函数：

4，语音信号的频域分析：

分析语音信号的频域特征，使用短时傅立叶变换对语音信号的频谱进行分析。

5，语音信号的倒谱分析：

（1）同态信号处理：指将非线性问题转换成线性问题的处理方法。由于语音信号可以视为声门激励信号和声道冲激响应的卷积，因此可以通过卷积——乘积——加法的方法来处理。

（2）倒谱与复倒谱：倒谱是语音信号的对数幅度谱的傅里叶逆变换，得到的是频域信息。复倒谱是语音信号对数频谱的傅立叶逆变换，得到的是时域信息。

6，MFCC特征提取流程：

①对输入语音进行预加重、加窗、分帧处理

②FFT变换

③取绝对值或者平方

④Mel滤波：

⑤取对数

⑥离散余弦变换DCT：

⑦动态特征MFCC，输出特征向量

7，语音信号的线性预测：

线性预测的基本思想是用过去的p个样点值来预测现在或未来的样点值。

8，基音周期的估计：

基音是指发浊音时声带振动所引起的周期性，而基因周期是指声带振动频率的倒数。主要包括以下三种方法：①自相关法②平均幅度差法③倒谱法。

9，共振峰估计：

声道可以看成一根具有非均匀截面的声管，在发音时起共鸣器的作用。当准周期脉冲激励进入声道时会引起共振特性，产生一组共振频率，称为共振峰。共振峰参数包括共振峰频率和频带宽度。共振峰信息包含在语音频谱包络中，因此共振峰频率提取的关键是估计自然语音频谱包络，并认为谱包络中的最大值就是共振峰。主要包括倒谱法和LPC法。

第四章矢量量化技术

1，矢量量化基本原理：

将若干个标量数据组成一个矢量在多维空间给予整体量化，从而可以在信息量损失较小的情况下压缩数据量。矢量量化有效地应用了矢量中各元素之间的相关性，因此可以比标量量化有更好的压缩效果。2，矢量量化参数：

3，矢量量化的两个基本问题：

（1）设计一个好的码本

（2）未知矢量的量化

4，矢量量化的失真测度：

失真测度是将输入矢量X用码本重构矢量Y来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模型矢量间的相似程度。失真测度的选择好坏将直接影响到聚类效果和量化精度，进而影响到语音信号矢量量化处理系统的性能。主要包括欧氏距离测度、线性预测失真测度、识别失真测度。

5，矢量量化器的最佳码本设计：最近邻准则、LBG算法

第五章隐马尔可夫模型

1，概述：

（1）隐马尔可夫模型（HMM）是语音信号的一种统计模型。HMM是一个输出符号序列的统计模型，具有N个状态，它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号。转移到哪个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。因为只能观测到输出符号序列，而不能直接观测到状态转移序列（即模型输出符号序列时，是通过了哪些状态路径无法得知），所以称为隐藏的马尔可夫模型。

（2）HMM用于语音信号建模时，是对语音信号的时间序列结构建立的统计模型，它是数学上的双重随机过程：一个是具有有限状态数的Markov链来模拟语音信号统计特性变化的隐含的随机过程，另一个是与Markov链每一个状态相关联的观测序列的随机过程。

2，HMM的基本元素：M={S、O、A、B、π、F}

①S——模型中状态的有限集合③A——状态转移概率的集合⑤π——系统初始状态概率的集合

②O——输出的观测值符号的集合④B——输出观测值概率的集合⑥F——系统终了状态的集合

3，隐马尔可夫模型的基本算法：

（1）识别问题：

给定观察符号序列O和模型M={A，B，π}，如何快速有效地计算观察符号序列的输出概率P（O/M）？。可通过前向-后向（F-B）算法解决。

（2）状态转移估计（路径选择）问题：

给定观察字符序列和输出该序列的模型后，如何有效地确定与之对应的最佳的状态序列，即估计出模型产生观察字符序列时最可能经过的路径。可通过维特比算法解决。

（3）模型训练问题：

实际上是一个模型参数估计问题，即对于初始模型和给定用于训练的观察符号序列，如何调整模型M 的参数，使得输出概率P最大？。可通过Baum-Welch算法解决。

第七章语音编码

1，概述：

（1）语音编码主要针对信源编码，解决有效性问题，通过对信源的压缩、扰乱、加密等一系类处理，力求