第一章 语音信号的时域及频域特征(幻灯讲义)_554406537

4.2.1. 时域上的基音检测方法
（1）AMDF 法： 定义平均幅度差函数
γ (l ) =
N − l −1 n =0
∑S
w
( n + l ) − S w ( n)
在这里 S w(n) 是加窗截取的一段语音信号。 假设 T 为语音信号的基音周期，当 l = n ⋅ T ， n = 1,2 ,L 时， γ (l ) 函数接近局部极小值。
1） 基音的周期就是声带振动的周期。 基音周期的倒数就是 基音频率。 2）基音是与人的声带长度、质量等物理量有关。因此与人 的年龄、性别、情绪等生理状态有关。
[注意]：音高(Pitch)与基音的关系。音高是听觉量，基音是物理 量。正如冷热与温度的关系一样。
22
图 4.
基音周期示意图
23
4.2. 基音的检测
jω
)=
m = −∞
∑ x(m) ⋅ w(n − m) ⋅ e
∞
− jω m
对信号 x (n) 进行调制， 将频谱搬移到低端， 然后用 w(n ) 滤 波器进行滤波分析。
x(n)
w(n)
X n (e jω )
e − jωn
15
实现形式二： X n (e
jω
) = e − j ωn
m = −∞
∑ x(n − m) ⋅ w(m) ⋅ e ω
ˆ f w (ω ) |t0 =
∞
−∞
∫ f (t ) ⋅ w(t − t
− t2 4a
0
) ⋅ e − jωt ⋅ dt
例如，如果选择窗的形式为一个高斯函数
w(t ) =
1 2 πa
e
这个窗函数有如下性质：
8
∞
−∞
∫ w(t − t 0 ) ⋅ dt 0 =
∞
∞
−∞
∫ w(t ) ⋅ dt = 1
∞ ∞
所以有
−∞ ∞
∫
ˆ f w (ω ) |t0 ⋅dt0 =
∞
− ∞− ∞
∫ ∫ f (t ) ⋅ w(t − t ) ⋅ e
0
− j ωt
⋅ dt ⋅ dt0
=
−∞
∫
ˆ f (t ) ⋅ e − jωt ∫ w(t − t0 ) ⋅ dt0 ⋅ dt = f (ω )
−∞
ˆ ˆ 这说明 f (ω ) 可以被加窗后的短时谱 f w (ω ) | t0 所精确地分解。
1
2. 语音信号的时域波形
图 1.
语音信号的波形（shi4）
2
图 2. 语音信号波形（shi4）的局部细节
3
2.1. 语音时域信号特征
2.1.1. 语音时域信号的特点
1）清音段：能量低，过零率高，波形特点有点像随机的噪 声。这部分信号常与语音的辅音段对应。 2）浊音段：能量高，过零率低，波形具有周期性特点。所 谓的短时平稳性质就是处于这个语音浊音（元音）段中。 3） 过渡段： 一般是指从辅音段向元音段信号变化之间的部 分。信号变化快，是语音信号处理中最复杂、困难的部分。
N −1 ⎧ 2n ,0 ≤ n ≤ ⎪ N −1 2 w(n) = ⎨ 2n N −1 ⎪2 , < n ≤ N -1 2 ⎩ N −1
11
布莱克曼（Blackman）窗：
w( n) = 0.42 − 0.5 cos(
2πn 4πn ) + 0.08 cos( ) N −1 N −1
0 ≤ n ≤ N −1
4.4. 汉语孤立字的基音调式
汉语的声调起着辨字、辨义的作用。
4.4.1. 汉语孤立字的四声
阴平-------一声 阳平--------二声 上声--------三声 去声--------四声
34
4.4.2. 汉语四声与基音频率的关系
对于孤立字音节的声调轨迹，一般可以分成三段： （1）弯头段：对应于音节发音开始时的过渡段。 （2）调型段：对应于音节的饱满发音过程。 （3）降尾段：对应于音节结束时的过渡段。
4
2.1.2. 语音的短时能量、短时平均幅度和短时过零率
（1）短时能量:
E = ∑ s 2 ( n)
n =0
3）短时过零率:
∑ s (n)
n =0
N −1
⎧ N −1 ⎫ Z = 1 ⎨∑ sgn[ s (n)] − sgn[ s (n − 1)] ⎬ 2 ⎩ n =0 ⎭ ⎧1 x≥0 其中sgn[n] = ⎨ ⎩− 1 x < 0
18
图 3. 浊音信号的傅立叶分析谱 19
3.3.3. 元音三角形图
所谓的元音三角形图就是指不同元音的 F1、F2 共振峰频 率在平面图上的关系。
20
3.4.
清音谱特征
清音的频谱无明显的规律，比较平坦。在语音识别中使用 统计模型的方法加以解决。
21
4. 基音与四声
4.1. 基音周期与基音频率
6
手段在应用上就会受到限制。同时我们也希望能够通过观测到 的局部时域信号的频谱信息来了解（构造）整个 f (t ) 的频谱信 息。为此我们引入了所谓的短时傅立叶谱分析技术。 有许多技术都可以用来完成信号的短时谱分析。最典型的 就是小波变换和我们现在常采用的傅立叶短时谱分析技术。
7
傅立叶短时谱分析与窗的形状和位置有关（与时刻有关） 。 假设窗函数为 w(t ) ，那么信号 f (t ) 的短时傅立叶变换为
37
4.5. 语音信号的端点检测
在实验室较为安静的环境下，利用短时能量和过零率特征 可以得到较为满意的语音端点检测结果。
38
5. 作业与复习内容
（1）复习语音信号在时域和频域上的特点 （2）了解汉语四声与基音周期的关系。 （3）编写语音端点检测算法程序。
39
26
图 5. 语音（浊音）的自相关函数和 AMDF 曲线
27
（3）中心削波法 在计算语音信号的自关函数时， 为了提高效率， 减少干扰， 可以先对语音信号进行中心削波，然后再计算自相关函数。 根据实验观察， 自相关函数 R (l ) 的局部峰值点位置与语音幅度 的峰值点位置重合。根据这个特点，在自关法中只需要计算这 些峰值点位置的自关函数 R (l ) ， 然后再搜索比较即可得到信号 的基音周期。
第一章 语音信号的时域及频域特征
1. 语音信号的主要特点
1.1. 语音信号带宽
语音信号的带宽约为 5KHz ，主要能量集中在低频段。
1.2. 语音信号是典型的随机信号
1） 人的每次发音过程都是一个随机过程。 很难得到两次完 全相同的发音样本。 2） 在信号处理中， 通常假设语音信号是短时平稳的。 例如， 可以认为在语音的浊音段部分，语音的二阶矩统计量是平稳的 (在 5~10mS 内)，即二阶矩平稳，或称为宽平稳。
谱线结构是与浊音信号中的周期信号密切相关的。具有与 基音及其谐波相对应的谱线。
3.3.2. 浊音谱的共振峰结构
频谱包络中有几个凸起点，与声道的谐振频率相对应。这 些凸起点称为共振峰（Formant） 。其频率称为共振峰频率。按 频率由低到高依次为第一共振峰、第二共振峰…。相应频率用 F1、F2、F3…来表示。
28
29
4.2.2. 频域上的基音检测方法
在频域中，常常是用谐波分析法，即对浊音信号的谱线结 构进行分析来计算得到基音周期。
[注意] 在频域上可能不存在与基频对应的谱线。
30
4.3. 基音的平滑
由于在基音的提取过程中不可避免地要产生误差，主要是 基音周期减半或加倍的现象（根据方法的不同，误差的现象会 有所不同） 。一般情况下 90%左右的基音周期都会被准确提取， 但是总有少部分的基音是提取不准确的。因此需要采取平滑的 方法去掉这些奇异点。 在语音编码和汉语四声识别中，基音平滑直接影响到系统 的性能。
5
3. 语音信号的短时谱特征
3.1. 短时傅立叶谱分析
对于能量受限的时域信号 f (t ) ， 它的傅立叶变换可以写成
∞
ˆ f (ω ) =
−∞
∫ f (t ) ⋅ e
− j ωt
⋅ dt
以上这个傅立叶变换， “宏观上” 在 给出信号 f (t ) 的频谱信息， 但是却无法确定某个“局部”时间段频谱的确切信息。在语音 信号中，信息是按照特定的时间序列方式出现的。如果谱分析 不能确定这种时间序列的次序 （即位置） 那么这种信号分析的 ，
这正是我们所希望的性质。
9
对于时域离散信号 x (n) ，短时傅立叶变换定义：
X n ( e jω ) =
m = −∞
∑ x(m) ⋅ w(n − m) ⋅ e
⎧1, 0 < n < N − 1 n = 其它 ⎩0,
∞
− jω m
这里 w(n ) 为窗函数。例如，常用的窗函数有 矩形窗： w(n) = ⎨
25
信号处理器中有专门的硬件指令来快速完成（只要一个周期） 这种乘-累加运算。因此这种算法在 DSP 中得到了普遍的应用。 无论是使用 AMDF 法或是自关法求语音信号的基音周期， 都要在基音周期 T 的范围内 [Tmin , Tmax ] 搜索 γ (l ) 或 R(l) 的极 值点位置。一般取 0.5 ⋅ Tmin < l < 1.5 ⋅ Tmax ，先计算所有的 γ (l ) 或 R(l) 值，然后再搜索得到基音。
31
几种常用基音平滑方法： （1）非线性平滑 例如：采用中值平滑。
5点 中值平滑 3点 中值平滑
（2）线性平滑 例如：采用 FIR 滤波器进行低通滤波平滑
FIR 滤波平滑
32
（3）组合平滑 例如： （1）和（2）方法的组合
中值平滑
线性平滑
中值平滑
线性平滑
−
延迟
+ +
+
延迟