基音及提取方法

小波变换法
组合方法
❖ 贺前华，Sam Kwong, 高性能基音检测新方 法，华南理工大学学报（自然科学版）， Vol.27, No.1,1999.
❖ 时频域基音检测很少同时出错，时域快，频 域慢、准确性高
❖ 性能优于大多数流行的基音检测器，比倒谱 法快8倍
组合方法：基音计算流程
s(n) LPF 0-900Hz
❖ 正如在3.5小节介绍的，语音s(n)是由声门脉冲激励e(n)经 声道响应v(n)滤波而得。即： s(n)=e(n)*v(n)
❖ 设三者的倒谱分别为s^(n)、e^(n)及v^(n)，则有： s^(n)=e^(n)+v^(n)
❖ 可见，倒谱域中基音信息与声道信息可以认为是相对分离的。 采取简单的倒滤波方法可以分离并恢复出e(n)和v(n)，根据 激励e(n)及其倒谱的特征可以求出基音周期。
❖ 应用广泛：语音识别、说话人识别、语音分析与综 合以及低码率语音编码、发音系统疾病诊断、听觉 残障者的语言指导等
❖ 声调：基音的变化模式。携带着非常重要的具有辨 意作用的信息，有区别意义的功能
基音周期？
PK1
pitch period PK2
80
60
40
20
0
-20
-40
-60
-800
50
100
150
❖ 与短时自相关函数一样，对周期性的浊音语音，Fn(k)也呈 现与浊音语音周期相一致的周期特性
❖ Fn(k)在周期的各个整数倍点上具有谷值特性而不是峰值特 性，因而通过Fn(k)的计算同样可以来确定基音周期。
❖ 对于清音语音信号，Fn(k)却没有这种周期特性。利用Fn(k) 的这种特性，可以判定一段语音是浊音还是清音，并估计出 浊音语音的基音周期。
合各类人群、各类应用和不同环境
典型基音周期估计方法
❖ 半自动基音检测器（SAPD）
Carol A. McGONEGAL, Lawrence R. Rabiner, and Aaron E. Rosenberg. A Semiautomatic Pitch Detector (SAPD). IEEE Transactions on Acoustics, Speech and Signal Processing ,Vol. ASSP.23, No. 6, 1975
简化逆滤波法（SIFT）
❖ 简化逆滤波器的原理框图如图3-26所示。其工作过程为：
❖ ①语音信号经过10kHz取样后，通过0-900Hz的数字低通 滤器，其目的是滤除声道谱中声道响应部分的影响，使峰值 检测更加容易。然后降低取样率5倍（因为激励序列的宽度 小于1 kHz，所以用2kHz取样就足够了)；当然，后面要进 行内插。
❖ ②提取降低取样率后的信号模型参数（LPC参数），检测出 峰值及其位置就得到基音周期值。
❖ ③最后进行有/无声判别。此处与倒谱法类似，有一个无声 检测器，以减少运算量。
简化逆滤波法（SIFT）
小波变换法
❖ 一个信号的小波变换具有这样的性质：信号小波变换的极值 点对应于信号的锐变点或不连续点。语音的产生过程实际上 是气流通过声门再经声道响应后变成声音。对于浊音语，它 是由气流冲击声门，使声门发生周期性的开启或闭合，这种 周期性的气流经声道响应就形成了浊音语音。声门的这种开 启与闭合，在语音信号中引起一个锐变。对语音信号作小波 变换则其极值点对应于声门的开启或闭合点，相邻极值点之 距离就对应着基音周期。因而，采用音信号的小波变换可以 检测基音周期。
N k 1
Rn (k) Sn (m)Sn (m k) m0
❖ Rn(k)不为零的范围为是k=(-N+1)～(N—1)，且为偶函数。 ❖ 浊音信号的自相关函数在基音周期的整数倍位置上出现峰值；
而清音的自相关函数没有明显的峰值出现。因此检测是否有 峰值就可判断是清音或浊音，检测峰值的位置就可提取基音 周期值。
yes unvoiced
基音检测的后处理
❖ 无论采用哪一种基音检测算法都可能产生基音检测错误，使 求得的基音周期轨迹中有一个或几个基音周期估值偏离了正 常轨迹（通常是偏离到正常值的2倍或1/2），此情况如图 3-18所示。并称这种偏离点为基音轨迹的“野点”。
为了去除这些野点，可以采用各种平滑算法，其中最常用的 是中值平滑算法和线性平滑算法。
的冲激，差值为负，输出为0 ❖ m4(n):在每一个谷点处产生一个等于谷值的绝对值冲激 ❖ m5(n):在每一个谷点处产生一个谷值绝对值加前一峰值的冲
激 ❖ m6(n):在每一个谷点处产生一个等于谷值绝对值加前一谷值
点的冲激，若为负，输出0
6个冲激产生示意图
倒谱（CEP）法
❖ 倒谱法是传统的基音周期检测算法之一，它利用语音信号的 倒频谱特征，检测出表征声门激励周期的基音信息。
简化逆滤波法（SIFT）
❖ 简化的逆滤波跟踪(SIFT)算法是相关处理法进行基音提取的 一种现代化的版本。该方法的基本思想是：先对语音信号进 行LPC分析和逆滤波，获得语音信号的预测残差，然后将残 差信号通过自相关滤波器滤波，再作峰值检测，进而获得基 音周期。语音信号通过线性预测逆滤波器后达到频谱的平坦 化，因为逆滤波器是一个使频谱子坦化的滤波器，所以它提 供了一个简化的（亦即廉价的）频谱平滑器。预测误差是自 相关器的输入，通过与门限的比较可以确定浊音，通过辅助 信息可以减少误差。
estim ated p itch
period P pk
no
P pk-P ref
P ref/5
ye s
s(n )
re-calculate the pitch period P c by cepstrum w ith the orignalsignal
sile n ce
pitch selection logic
no
voiced yes
Is the section periodic ?
no
unvoiced
time-domain periodicity
analysis by finding all
principle cycles in the no processed section
PK1-PK2 > Td4
3．组合平滑处理
❖ 为了改善平滑的效果可以将两个中值平滑串接，图3-29a所 示是将一个5点中值平滑和一个3点中值平滑串接.另一种方 法是将中值平滑和线性平滑组合,如图3-29b所示。为了使平 滑的基音轨迹更贴近，还可以采用二次平滑的算法，全部算 法的框图如图3-29c所示。由于中值平滑和线性平滑都会引 入延时，所以在实现上述方案时应考虑到它的影响。3-29d 是一个采用裣延时的可实现二次平滑方案。其中的延时大小 可由中值平滑的点数和线性平滑的点数来决定。
2.线性平滑处理
❖ 线性平滑是用滑动窗进行线性滤波处理，即：
L
y(n) s(n m) (m) mL
❖ 其中{ω(m)，m = -L，-L+1，…，0，1，2，…，L}为 2L+1点平滑窗，满足：
L
(m) 1
mL
❖ 例如三点窗的权值可取为{0.25，0.5，0.25}。线性平滑在 纠正输入信号中不平滑处样点值的同时，也使附近各样点的 值做了修改。所以窗的长度加大虽然可以增强平滑的效果， 但是也可能导致两个平滑段之间阶跃的模糊程度加重。以上 两种平滑技术可以结合起来使用。
基音及提取方法
2014.3
内容提要
❖ 概念列表 ❖ 基音（基音周期）概念 ❖ 基音周期估计的难点 ❖ 基音周期估计方法 ❖ 基音周期估计后处理
❖ 基音 ❖ 基频 ❖ 基音周期 ❖ 声调
概念列表
基音周期
❖ 基音是指发浊音时声带振动所引起的周期性 ❖ 基音周期是指声带振动频率的倒数
语音信号最重要的参数之一，描述了语音激励源的一个 重要特征
1．中值平滑处理 ❖ 中值平滑处理的基本原理是：设x(n)为输入信号，y(n)为中
值滤波器的输出，采用一滑动窗，则n0处的输出值y(n0)就 是将窗的中心移到n0处时窗内输入样点的中值。即在n0点的 左右各取L个样点。连同被平滑点共同构成一组信号采样值 (共(2L+1)个样值)，然后将这(2L+1)个样值按大小次序排 成一队，取此队列中的中间者作为平滑器的输出。L值一般 取为1或2，即中值平滑的“窗口”一般套住3或5个样值， 称为3点或5点中值平滑。中值平滑的优点是既可以有效地去 除少量的野点，又不会破坏基音周期轨迹中两个平滑段之间 的阶跃性变化。
并行处理技术（PPROC）方法
❖ 基本思想：对经过预处理的语音信号实施一系列的基音初步 检测，或分别对原始信号和经处理后的信号实施系列检测， 然后根据系列检测的初步结果，综合判定基音周期。
❖ 图3-21所示的是一个并行处理法的实现框图，它是一种时域 方法，检测器找出语音波形的六个测度，而这六个测度应用 于六个独立的基音检测器。由六个检测器驱动“服从多数” 逻辑电路而进行最终的基音判决。
❖ 自相关函数(ACF)法 ❖ 平均幅度差函数(AMDF)法 ❖ 峰值提取算法(PPA) ❖ 并行处理技术 ❖ 倒谱法：精度较高 ❖ 数据缩减法（DARD）：速率最快 ❖ 小波法 ❖ 组合方法 ❖ ……
自相关法
❖ 语音信号s(m)经窗长为N的窗口截取为一段加窗语音信号 Sn(m)后，定义Sn(m)的自相关函数(ACF)Rn(k)(亦即语音信 号s(m)的短时自相关函数)为：
vo ice -
u n vo ice
d e cisio n
T0
lo g ic
清浊音判断流程
Voiced yes
Pk1>Td1 and Pk2>Td2
unvoiced yes
no
PK2<Td3
Calculate R[0] and R[Ppre]
voiced yes
R[Ppre]/R[0] > 0.3
❖ 找出的基音测度与经过检验确定的基音测度相当吻合，而且 处理过程具有抗噪声能力。
并行处理技术（PPROC）方法
基音周期并行处理法
❖ m1(n):在每一个峰点处产生一个等于峰值的冲激 ❖ m的2冲(n激):在每一个峰点处产生一个等于峰值减去前一个谷值点 ❖ m3(n):在每一个峰点处产生一个等于峰值减去前一个峰点值
pitch detection
T0
帧基音计算
F ind tw o co n se cu tive
p rin cip le cycles near to the m iddle
o f th e p ro ce sse d
se ctio n
sile n ce d e te ctio n
ca lcu la te th e
倒谱（CEP）法
❖ 然而，反应信息的倒谱峰，在过渡音和含噪语音中将会变得 不清晰甚至完全消失。其原因当然主要是因为过渡音中周期 激励信号能量降低和类噪激励信号干扰或含噪语音中的噪声 干扰所致。对于一帧典型的浊音语音的倒谱，其倒谱域中基 音信息与声道信息并不是完全分离的，在周期激励信号能量 较低的情况下，声道响应(特别是其共振峰)对基音倒谱峰的 影响就不可忽略。如果设法除去语音信号中的声道响应信息， 对类噪激励和噪声加以适当抑制，倒谱基音检测算法的检测 结果将有所改善，特别对过渡语音的检测结果将有明显改善。
200
250
300
cycle
40
30
the ending section
20
10
0
-10
-20
-300
100
200
300
400
500
600
精确基音周期估计困难
❖ 声门激励信号并不是完全的周期信号 ❖ 声道共振峰的影响 ❖ 变化范围广：50Hz(老人)~450Hz（女性、
小孩） ❖ 环境噪声的影响 ❖ 目前已有上百种，但没有一个完善的方法适
自相关法—需要考虑的问题
❖ 矩形窗 ❖ 窗长：至少两个基音周期 ❖ 声道共振峰特性造成的“干扰”
低通滤波：高端900Hz 中心削波：低幅度部分包含大量共振峰信息 残差信号的ACF
平均幅度差函数法（AMDF）
❖ 语音信号的短时平均幅度差函数(AMDF) Fn(k)定义为：
N k 1
Fn (k) Sn (m k) Sn (m) m0
syllable detection
源自文库
section into 40 msec sections
(right to left)
pitch detection
T0
calculate pitch period s(n) of a voiced section
by cepstrum
(left to right)