第三章 语音信号的特征分析讲解
第三章-语音信号的特征分析讲解讲解学习
Magnitude (dB)
40 20
0 -20 -40 -60 -80 -100
0 50
Frequency domain
0.2
Fre0q.u4ency do0m.6ain
0.8
Normalized Frequency ( rad/sample)
0
-50
-100
-150 0
40 30 20 10
0 -10 -20
1 0.8 0.6 0.4 0.2
0 0
rectangular hamming hanning bartlett
50
100
150
200
250
❖ 几种不同的窗函数波形与频谱的比较
1
Hamming 0.8 哈明窗 0.6
Amplitude
0.4
0.2
0
1
Hanning 0.8
汉宁窗
0.6
Amplitude
0.4
0.2
0
1
矩形窗
0.8
Amplitude
0.6
0.4
0.2
0
Time domain
10
20 Tim3e0domain40
50
60
Samples
10
20 Tim3e0domain40
50
60
Samples
10
20
30
40
50
பைடு நூலகம்
60
Samples
Magnitude (dB)
Magnitude (dB)
帧和加窗的概念
❖ 短时分析将语音流分为一段一段来处理，每一段称 为一“帧”；
语音信号处理(杨震)
清音：Rn（0）较大，衰减很快
静默：Rn（0）小，衰减很快
语音信号短时自相关函数
3
1.00 0.75 0.50 0.25 0.00 -0.25 -0.50
0 50 100 150 200 250
2
1
度 幅
-1
-2
-3
-4
度 幅
0
-0.75 0 50 100 150 20
H1
A2 随机噪声 激励模型
H2 混 合 语 辐射模型 音
Gv
A3
H3
A4 A5
H4 H5
混合型共振峰模型
第二章 语音信号的产生、特征与人耳的 听觉特性
§2.4 人耳的听觉特征－掩蔽效应与临界频带
人耳的掩蔽(masking)作用指的是耳朵对一个 声音的听觉感受，受到另一个声音影响的现象。 Fletcher和Munson 1937年发现，一个音调(tone) 可被一个以音调频率为中心频率的宽带噪声掩盖而 听不见，并且，如果该宽带噪声能量不变而改变其 带宽的话，这种掩盖现象不受噪声带宽变化的影响， 除非噪声带宽超过一个临界值，这个临界值即称为 临界频带(critical band)。换言之，人耳对一个 临界频带里的音不易分清。
60 50
强度SPL（dB）
40
30
20
后向屏蔽区
10
前向屏蔽区
0 -100
-50
0
50
100
150
200
时间（ms）
非同时掩蔽（时间掩蔽）：纯音的非同时掩蔽现象
第二章 语音信号的产生、特征与人耳的 听觉特性
§2.5 人耳的其它各种听觉效应
（1）哈斯（Hass）效应（延时掩蔽） （2）双耳效应（灵敏度、定位）
语音信号处理课件__第03章时域分析
x
xmax
)
(3-11)
3.1 语音信号的短时处理方法 脉冲编码调制
若是xmax取为4倍方差(δx)
SNRdB 6.02B 7.27
取样之位数 8 16 24
(3-12)
数字信号的信噪比 41 dB 89 dB 137 dB
3.1 语音信号的短时处理方法 脉冲编码调制
一个数字信号取样之后，变成离散时间信号，接下来就是要用数字 方式来表示这个离散时间信号上的每个取样值。 一个电位波形会有固定的电压范围，一个取样值可以是在此电压范 围内的任何电位。如果只能用固定数目的位来表示这些取样值，那 么这些二进数字就只能代表固定的几个电位值，这个转换就是量化 (quantization)，而转换之后只允许存在的几个电位值就是量化阶 数(quantization level)。 执行量化转换的硬件电路，就是量化器（quantizer)。以二进数字 表示的信号就是数字信号(digital signal)，而这种将信号波形转 变成二进数字的方法，就叫脉冲编码调制(pulse code modulation, PCM)。
3.1 语音信号的短时处理方法
预处理 平滑滤波器：D/A后面的低通滤波器是平滑滤 波器，对重构的语音波形的高次谐波起平滑 作用，以去除高次谐波失真。 预加重：
现象:由于语音信号的平均功率谱受声门激励和口 鼻辐射的影响，高频端大约在800 Hz以上按6dB/ 倍频程跌落，为此要在预处理中进行预加重。 目的:提升高频部分，使信号的频谱变得平坦，以 便于进行频谱分析或声道参数分析。 位置:预加重可在A/D变换前的反混叠滤波之前进行， 这样不仅能够进行预加重，而且可以压缩信号的动 态范围，有效地提高信噪比。
语音信号分析与处理方法综述
语音信号分析与处理方法综述语音信号是人类交流中重要的组成部分，语音信号分析与处理是一项非常重要的研究方向。
语音信号分析与处理技术可以被应用于语音识别、语音合成、语音增强、语音鉴别等领域，为人类提供更高效、高质量的语音交流体验。
本文将综述语音信号分析与处理的方法，包括基本概念和基础知识，语音信号的预处理、特征提取与分类等技术，以及目前应用较广泛的语音识别和语音合成技术。
本文还将介绍这些技术的理论基础、算法和应用案例。
一. 语音信号的基本概念和基础知识语音信号是人类通过声音来进行交流的信号，包含语音的各种音节和声调信息。
在语音信号分析与处理中，需要掌握语音信号的基本概念和基础知识。
在语音信号中，有许多不同的声音成分和噪声成分，语音信号预处理技术采取一系列措施来消除这些噪声，提高语音信号的质量。
例如，预处理技术包括消噪、滤波、去混响等技术。
二. 语音信号的预处理技术语音信号预处理技术包括噪声去除、滤波、去混响等技术。
这些技术可以帮助清除语音信号中的杂音和噪声，提高语音信号的可读性和质量。
噪声去除技术是预处理语音信号中最常用和最简单的技术。
这种技术采用滤波器、降噪器等设备或软件来消除语音信号中的杂音和噪声。
滤波技术是在语音信号中过滤特定频率成分的一种技术，这可以将一些不必要的频率成分去除，使语音信号更加清晰。
滤波依据的原理是，去除不相关信号的频率成分，使有用信号能够更好地被保留。
去混响技术是将混响（残留回响）去除的技术。
在语音信号分析与处理中，经常需要去除混响，因为混响会导致语音信号的低频部分（主要是语音信号中的音节）发生失真，降低语音信号的质量。
三. 语音信号特征提取语音信号的特征提取是将语音信号转化为一种易于分析和识别的数据结构或特征向量的过程。
一些常用的语音信号特征提取方法包括短时能量、过零率、梅尔倒谱系数等。
短时能量是一种用于计算语音信号能量的技术。
通过计算语音信号每个短时间内的总能量，可以得出一个很好的特征向量。
语音信号
基音频率(F0)：由声带的尺寸、特性和声带所受张力决定，其值等于声带张开和闭合一次的时间的倒数（此 处去掉就是基音周期的定义）。人类基音频率的范围在80～500Hz左右。
共振峰(Fn,n=1,2,...)：声道是一个谐振腔，它放大声音气流的某些频率分量而衰减其他频率分量，被放大 的频率我们称之为共振峰或共振峰频率。
元音的音色和区别特征主要取决于声道的共振峰特性。共振峰特性可以从语音信号频谱分析得到的幅频特性 观察到。
完整的语音信号产生的数字模型
我们可将语音信号看成准周期序列或随机噪声序列作为激励的线性非移变系统的输出，此模型可分为三个部 分：激励模型、声道模型、辐射模型。
模型
声道模型
激励模型
辐射模型
a.浊音激励：气流在通过绷紧声带时，冲激声带产生振动，使声门处形成周期性的脉冲串，并用它去激励声 道。由于脉冲串类似于斜三角形的脉冲，故以基音周期为周期的单位取样序列串作为激励。
基本概念
语音产生的过 1
程
2
声音的分类
3 语音的两个重
要声学特性
4
共振峰特性
5 完整的产生的
数字模型
语音的形成过程：空气由肺部排入喉部，经过声带进入声道，最后由嘴辐射出声波，形成语音。
1、浊音：声带绷紧，气流通过时会使得开口变成一开一闭的周期性动作，造成周期性的激发气流，如a，o； (由声带震动产生的音)，包括所有的元音和一些辅音。 2、清音：声带完全舒展，声道某部位收缩形成一个狭窄的通道，产生空气湍流，如t，d； (不由声带震动产生的音) 3、爆破音：声带完全舒展，声道的某部位完全闭合，一旦闭合点突然开启，空气压力快速释放，如b，p。
b.清音激励：声带松弛而不振动，气流通过声门直接进入声道。由于发清音时，声道被阻碍形成湍流，可将 激励模拟成随机白噪声。
语音信号处理PPT_第三章_语音信号分析
3.2 数字化和预处理
➢ 语音信号的数字化一般包括放大及增益控制、反混叠滤波、
采样、A/D变换及编码（一般就是PCM码）；如下图：
语音信号
带通滤 波器
自动增益控制 （AGC）
模/数转换 （A/D）
脉冲编码 调 制 （ PCM ）
存入计算机
➢ 预处理一般包括预加重、加窗和分帧等。 ➢ 分析和处理之前必须把要分析的要分析的语音信号部分从输
② R n (是k )偶函数 ，即 Rn(k)Rn(k)
③ 当k=0时，自相关函数有最大值，即 Rn(0)Rn(k)
并且 等R于n (确0 ) 定性信号序列的能量或随机序列的平均功率。
短时相关分析
右图中：N=401， Fs=8kHz a、b是浊音信号，c位清 音信号，由图可以看出浊 音信号的自相关函数具有 一定得周期性，而清音信 号的自相关函数缺乏周期 性。
但是在一个短时间范围内（一般认为在10-30ms的短时间内）， 其特性基本保持不变即相对稳定，因而可以将其看作是一个准稳 态过程，即语音信号具有短时平稳性。
不论是分析怎么样的参数以及采用什么分析方法，在按帧进 行语音分析，提取语音参数之前，有一些经常使用的、共同的短 时分析技术必须预先进行，如语音信号的数字化、语音信号的端 点检测、预加重、加窗和分帧等，这些也是不可忽视的语音信号 析的关键技术。
语音信号分析在语音信号处理中具有举足轻重的地位。
分类:
参数性质
时域分析 频域分析 倒谱域分析
分析方法
模型分析方法 非模型分析方法
简单、计算量小、 物理意义明确
感知特性 较好，更 为重要
依据语音信号 产生的数学模 型来分析和提 取表征这些模 型的特征参数
不进行模型化 分析
第3讲语音信号处理第3
其中，
xn (m) (m)x(n m), (0 k K )
(m)
1, 0,
m 0 ~ (N 1) m 其它值
x'n (m) '(m)x(n m), (0 k N 1 K)
'
(m)
1, 0,
m 0 ~ (N 1 K) m 其它值
2．修正的短时自相关函数
图3-7 修正短时自相关函数计算中窗口长度的说明
N 1
M n xn (m) m0
❖ Mn也是一帧语音信号能量大小的表征，它与En的区别在于 计算时小取样值和大取样值不会因取平方而造成较大差异， 在某些应用领域中会带来一些好处。
短时过零率分析
❖ 短时过零率表示一帧语音中语音信号波形穿过横轴(零电平) 的次数。过零分析是语音时域分析中最简单的一种。对于连 续语音信号，过零即意味着时域波形通过时间轴；而对于离 散信号，如果相邻的取样值改变符号则称为过零。过零率就 是样本改变符号的次数。
3.1 概述
❖ 语音信号分析 分析出可表示语音信号特征参数
进行高效的语音通信、语音合成和语音识别的基础 时域特征 频率特征
❖ 短时分析技术：贯穿于语音分析全过程 语音信号从整体来看其特征及表征其本质特征的参数均是
随时间而变化的，所以它是一个非平衡态过程，不能用处理 平衡信号的数字信号处理技术对其进行分析处理。
(m)
1, 0,
m 0 ~ (N 1) m 其它值
❖ 其中，n=0,1T,2T,…,并且N为帧长，T为帧移长度。
❖ 设第n帧语音信号xn(m)的短时能量用En表示，则其计算公 式如下：
N 1
En xn2 (m) m0
短时能量及短时平均幅度分析
❖ En是一个度量语音信号幅度值变化的函数，但它有一个缺陷， 即它对高电平非常敏感（因为它计算时用的是信号的平方)。 为此，可采用另一个度量语音信号幅度值变化的函数，即短 时平均幅度函数Mn，它定义为：
语音信号处理_3_特征分析
窗函数对频率分析的影响
窗函数带宽or主瓣宽度为B，不同窗函数相对于矩形窗
具有不同的等效窗长。
fs
B
N 2 fs
N
矩形窗 海明窗
时域取样率
Xn(e j )为低通w(n)的输出，带宽为B Xn(e j ) 分析窗的采样率（时域取样率）大于等于2B
矩形窗，帧移为N/2 海明窗，帧移为N/4
短时傅里叶变换
标准傅里叶变换的解释
短时功率谱是短时自相关函数的傅里叶变换 信号谱与窗函数傅里叶变换的卷积 测不准原理：信号的等效时长与其等效频率
带宽之积大于二分之一。
(x) (X ) 1 2
短时傅里叶变换
标准傅里叶变换的解释
短时功率谱是短时自相关函数的傅里叶变换 信号谱与窗函数傅里叶变换的卷积 窗函数的作用
理论完善 计算方便 概念易于理解
短时傅里叶变换
滑动的窗口w(n)选取一帧数据进行傅里叶变换
短时傅里叶变换
定义：短时傅里叶变换是窗选语音信号的傅里叶变换
X n (e j ) x(m)w(n m)e jm
理解：
m
一帧时间序列在以复变函数e j 为基函数的正交分解
一帧时间序列在各个频段的分解
数量级为10ms时段，将语波形分段进行分析 客观现实：时变过程，短时基本稳定
特点
直观 计算量，一般较小 重要参数：能量energy, 音长duration, 音强pitch等
0.7663
0
-0.6245 0
Time (s)
0.0530159
短时能量
作用
0.7663
区分浊音和清音 0
短时傅里叶变换
滤波器的解释，用滤波器组实现频谱分析
低通滤波器，输入端将x(n)的频谱从w 移到零
声学信号的特征提取与分析算法
声学信号的特征提取与分析算法声学信号是指通过声波传播而产生的信号，它在我们日常生活中无处不在，如语音、音乐、环境声等。
对声学信号的特征提取与分析是一项重要的研究课题，它可以帮助我们理解声学信号的本质，从而应用于语音识别、音乐分析、环境声场建模等领域。
一、声学信号的特征提取声学信号的特征提取是指从原始声学信号中提取出能够反映信号特性的参数。
常见的声学信号特征包括时域特征和频域特征。
时域特征是指对声学信号在时间上的变化进行分析，常用的时域特征包括短时能量、过零率和短时自相关函数等。
短时能量反映了信号的能量大小，过零率表示信号波形穿过零点的次数，短时自相关函数描述了信号在不同时间延迟下的相似性。
频域特征是指对声学信号在频率上的变化进行分析，常用的频域特征包括功率谱密度、频谱包络和谱熵等。
功率谱密度表示信号在不同频率上的能量分布，频谱包络描述了信号频谱的整体形状，谱熵反映了信号频谱的复杂程度。
二、声学信号的特征分析算法声学信号的特征分析算法是指通过对声学信号的特征进行提取和分析，来揭示信号的内在规律和特点。
常用的声学信号特征分析算法包括时域分析和频域分析。
时域分析是指对声学信号在时间上的变化进行分析，常用的时域分析算法包括自相关函数法、短时傅里叶变换法和小波变换法等。
自相关函数法可以用来计算信号的过零率和短时自相关函数，短时傅里叶变换法可以将信号从时域转换到频域，并提取出频率信息，小波变换法可以对信号进行多尺度分析。
频域分析是指对声学信号在频率上的变化进行分析，常用的频域分析算法包括傅里叶变换法、功率谱估计法和谱减法等。
傅里叶变换法可以将信号从时域转换到频域，并提取出频率成分，功率谱估计法可以计算信号的功率谱密度，谱减法可以通过减去噪声谱来增强信号的清晰度。
三、声学信号特征提取与分析的应用声学信号的特征提取与分析在许多领域都有广泛的应用。
在语音识别领域，通过提取语音信号的特征参数，可以将语音信号转化为数字特征向量，用于识别不同的语音单元。
语音信号处理——课件
物联网环境下的新型 语音信号处理技术
为了满足物联网环境下的需求，研究 者们正在探索新型的语音信号处理技 术，如基于深度学习的低延迟语音编 码、基于人工智能的噪声抑制和基于 硬件优化的低功耗语音识别等。
物联网环境下语音信 号处理的挑战与机遇
虽然物联网环境为语音信号处理带来 了新的机遇，但也面临着许多挑战， 如数据安全和隐私保护、设备间的协 同交互以及跨领域的应用推广等。随 着技术的不断进步和应用需求的不断 增长，相信这些挑战将逐步得到解决 ，并推动语音信号处理在物联网领域 的应用和发展。
语音情感识别的挑战
语音情感识别是一个具有挑战性的任务，因为人类的情感表达非常复杂，且受到多种因素 的影响，如说话人的情感状态、语言背景和文化背景等。
新型语音情感识别方法
为了提高语音情感识别的准确率，研究者们不断探索新型的语音情感识别方法，如基于深 度学习的情感识别方法、基于迁移学习的情感识别方法和基于集成学习的情感识别方法等 。
04
语音识别与合成
语音识别的基本原理
语音识别技术
语音信号预处理
利用计算机自动识别和解析人类语音的技 术。
对原始语音信号进行降噪、滤波、压缩等 处理，以提高语音识别的准确率。
特征提取
模式匹配与分类
从语音信号中提取出具有代表性的特征参 数，如梅尔频率倒谱系数（MFCC）。
将提取出的特征参数与预先训练好的模型 进行匹配和分类，以实现语音识别。
02
语音信号的采集与预处理
语音信号的采集
01
02
03
采集设备
使用专业的麦克风、录音 设备等采集语音信号，确 保信号质量。
环境噪声控制
在采集过程中，应尽量减 少环境噪声的干扰，如关 闭门窗、使用隔音材料等 。
语音信号特征提取研究
语音信号特征提取研究语音信号特征提取是语音信号处理的基础，它是将语音信号中的重要特征提取出来，以便进行后续的处理和分析。
语音信号特征提取研究的主要目标是找出最具代表性的特征，并确保这些特征对语音识别的准确性和稳定性有很大的贡献。
一、语音信号的基本特征语音信号是一种时间变化的声音信号，它的基本特征包括语音信号的幅度、频率、相位、声调、共振、辅音、韵律和音调等。
这些特征在语音信号的处理和分析中都有着重要的作用。
语音信号的幅度，是指声音波形在某一时刻的振幅大小。
频率是声音波形的周期性，它是指声音波形重复出现的次数。
相位是声音波形在某一时刻的相对位置，它是指声音波形在某一时刻的起始位置。
声调是语言的基本音型，它是由声音的频率、相位和幅度组成的。
共振是一种声音的特殊质量，它是由声音波形在共振器内的特殊响应属性产生的。
辅音是语音信号中的非元音部分，它是由尽量关闭口腔或喉咙里，而使气流通过的产生摩擦和爆炸声音所形成。
韵律是指语音信号的声调、节奏、音位长短和强弱，它是语音信息的基本组成部分。
音调是指在语音信号中重音词的高低、声音的急缓和语气的不同等。
二、语音信号特征提取方法语音信号特征提取方法通常分为时域分析和频域分析两种方法。
1. 时域分析时域分析是指对声波信号在时间轴上的分析，它的特点是能够反映出信号在时间上的特征。
时域分析常用的方法包括自相关分析、汉明窗分析、线性预测分析、声门周期分析、短时傅立叶变换分析等。
其中，自相关分析通过计算信号与自身的相关性，可以获得信号的周期性信息；汉明窗分析通过对信号进行加窗操作，可以获得信号的短时功率谱信息；线性预测分析通过提取信号中的线性预测系数，可以获得信号的共振特征；声门周期分析通过提取语音信号中声道共振的谐波周期，可以获得声音的基频、共振品质和共振峰等信息；短时傅立叶变换分析通过对帧内信号进行傅立叶分析，可以获得信号的频率谱信息。
2. 频域分析频域分析是指对声波信号在频率轴上的分析，它的特点是能够反映出信号在频率上的特征。
语音信号处理-第03章 语音信号的时域分析方法
1 2 − 3x 2σ x
PL ( x) =
− 1 e 2σ x 2σ x
2x
二、零均值 三、非平稳时变信号；短时平稳：10～30ms
§3.2语音信号短时分析方法
语音信号的开窗分析技术： （1）均匀窗： （2）非均匀窗：各种国际标准 （3）重叠窗（Overlap） 设：语音信号为S(n)，加窗语音记为 Sw(n) = W[S(n)] = S(n) w(n-m)，n=0~(N-1) 则语音处理系统可表示为
5
基于能量和过零率的双门限法检测法
首先用短时能量做第一次判断，然后在此基础上 用短时平均过零率做第二次判断。 这种方法端点的确定与以后的判决无关，因此称 为显式法。
三、短时相关分析
短时自相关函数性质 • 1. R w( −l ) = R w(l ) 为偶函数； • 2. 在-N+1~N-1之间有值； • 3. R ( 0 ) = ∑ s ( n ) ≥ R ( k ) 为最大值。 • 4.当时域信号为周期信号时，自相关函 数也是周期性函数，两者周期相同。 浊音：呈现‘准’周期性、逐渐衰减
300
350
400
450
女声汉语拼音a的一帧信号（在采样频率为 22050Hz的情况下，取20ms作为一帧），短 时过零率为46。
0 .3
0 .2
0 .1
0
-0 . 1
-0 . 2
-0 . 3
-0 . 4
0
50
100
150
200
250
300
350
400
450
男声汉语拼音s的一帧信号（在采样频率为 22050Hz的情况下，取20ms作为一帧），短 时过零率为183。
第2篇语音信号分析
第2篇语音信号分析第3章时域分析3.1 概述语音信号处理包括语音通信、语音合成、语音识别、说话人识别和语音增强等方面，但其前提和基础是对语音信号的分析。
只有将语音信号分析成表示其本质特性的参数，才有可能利用这些参数进行高效的语音通信，才能建立用于语音合成的语音库，也才可能建立用于识别的模板或知识库。
而且，语音合成的音质好坏、语音识别率的高低，都取决于对语音信号分析的准确性和精度。
语音信号是非平稳、时变、离散性大、信息量大的复杂信号，处理难度很大。
语音信号携带着各种信息。
在不同应用场合下，人们感兴趣的信息是不同的。
那些与应用目的的不相干或影响不大的信息，应当去掉；而需要的信息不仅应当提取出来，有时还需要加强。
这涉及到语音信号中各种信息如何表示的问题。
语音信息表示方法的选择原则是使之最方便和最有效。
语音信号可以用语音的抽样波形来描述，也可以用一些语音信号的特征来描述。
提取少量的参数有效地描述语音信号，即语音信号的参数表示，是语音处理领域共用性的关键技术之一。
根据所分析的参数不同，语音信号分析可分为时域、频域、倒谱域等方法。
时域分析具有简单、运算量小、物理意义明确等优点；但更为有效的分析多是围绕频域进行的，因为语音中最重要的感知特性反映在其功率谱中，而相位变化只起着很小的作用。
另一方面，按照语音学观点，可将语音的特征表示和提取方法分为模型分析法和非模型分析法两种。
其中模型分析法是指依据语音产生的数学模型，来分析和提取表征这些模型的特征参数；共振峰模型分析及声管模型(即线性预测模型)分析即属于这种分析方法。
而不进行模型化分析的其他方法都属于非模型分析法，包括上面提到的时域分析法、频域分析法及同态分析法等。
基于语音产生模型的多种参数表示法已在语音识别、合成、编码和说话人识别研究的大量实践中证明是十分有效的。
贯穿于语音分析全过程的是“短时分析技术”。
语音信号特性是随时间而变化的，是一个非平稳的随机过程。
但是，从另一方面看，虽然语音信号具有时变特性，但在一个短时间范围内其特性基本保持不变。
语音信号处理31
3.短时平均幅度函数和能量函数的作用 短时平均幅度函数和能量函数的作用 (1)区分清/浊音： (1)区分清/浊音： 区分清 对应浊音； 对应清音。 En、Mn大，对应浊音； En、Mn小，对应清音。 (2)在信噪比高的情况下，能进行有声/ (2)在信噪比高的情况下，能进行有声/无声判决 在信噪比高的情况下 无声时，背景噪声的E 无声时，背景噪声的En、Mn小； 有声时， 显著增大。判决时可设置一个门限。 有声时，En、Mn显著增大。判决时可设置一个门限。 (3)大致能定出浊音变为清音的时刻，或反之。 (3)大致能定出浊音变为清音的时刻，或反之。 大致能定出浊音变为清音的时刻
2.采样： ： xa(t) 将时间连续信号 变成时间离散信号。 变成时间离散信号。 采样频率通常为 xa(nT) 8kHz。 fs＝8kHz。 n t
• Ideal sampling and real sampling
3. A/D转换
对离散时间信号进行量化，在每一时刻对x (nT)独 对离散时间信号进行量化，在每一时刻对xa(nT)独 立进行量化， 立进行量化，把给定的幅度连续的信号变成为有限 多个幅度的集合中某个幅度值的过程。 多个幅度的集合中某个幅度值的过程。 xa(t)
• A/D of some common audio signals
Frequency scope Telephone 200200-3400 Sampling frequency 8 khz Quantizati on bits 8 bits
Wide band
5050-7000
16 khz
16 bits
量化噪声的信噪比：SNR=δ 量化噪声的信噪比：SNR=δx2/δe2 语音信号序列的方差， 噪声序列的方差， δx2语音信号序列的方差， δe2噪声序列的方差， 用分贝表示，SNR=10log(δx2/δe2） 用分贝表示，SNR=10log(δ SNR = signal’s energy / noise’s energy
语音信号的特征分析讲解课件
语音信号的频谱特征
语音信号的动态特性
语音信号具有时变特性，即语音信号 的特性随时间而变化。这种动态特性 使得语音信号具有丰富的信息，如语 调、语速等。
语音信号具有特定的频谱特征，包括 基频、共振峰和噪声等。这些特征决 定了语音信号的音质、音调和音色。
语音信号的传播
01
语音信号的传播方式
语音信号可以通过空气传播、固体传播和液体传播等多种方式进行传播
。在日常生活中，我们主要通过空气传播的方式接收到语音信号。
02
语音信号的传播速度
在标准大气条件下，语音信号的传播速度约为343米/秒。这意味着在开
放空间中，声音可以在一秒钟内传播约343米。
03
语音信号的衰减
随着距离的增加，语音信号的强度会逐渐减弱。此外，障碍物、温度梯
度等因素也会影响语音信号的传播，导致信号衰减或失真。
HTK语音识别工具包
01
HTK (Hidden Markov Model Toolkit)
用于语音识别的开源工具包，基于隐马尔可夫模型和声学 模型，支持连续语音识别和语音合成。
02 03
特征提取
HTK支持多种特征提取方法，如MFCC（Mel-frequency cepstral coefficients）、PLP（Perceptual Linear Prediction）等。
人机交互
语音识别
通过特征分析，将输入的语音信号转 化为机器可识别的语言，实现人机交 互。例如，语音助手、智能客服等。
语音合成
将文本信息转化为人类可识别的语音 信号，实现人机交互。例如，语音导 航、语音播报等。
语音识别
声纹识别
通过特征分析，提取出说话人的声音特 征，进行身份识别。例如，手机解锁、 门禁系统等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电话语音（固网电话通信频带为300-3400Hz) 可以基本保持语义，不影响人对语音的感知 质量不是很好，有时候会有变音
宽带语音信号：fs =16000Hz
一般对语音质量要求较高的场合 再提高采样频率也不会对语音质量有太多贡献
量化精度
量化所用比特越大，声音质量越好 声音质量也跟量化算法有关，比如同样用8bit量化， 非均匀量化（µ-律或A-律）就比均匀量化好很多
对于语音识别系统而言，用于电话用户时要求技术指标与语音编码器相 同，如果对于更高的要求场合，则fH=4500Hz或8000Hz, fL=60Hz，
fs=10KHz或20KHz
帧和加窗的概念
短时分析将语音流分为一段一段来处理，每一段称 为一“帧”； 帧长：10～30； 帧移：0～1倍帧长，帧与帧之间的平滑过渡； 语音识别中常用的帧长为20~30ms,帧移为10ms
几种常见的窗函数的波形
Matlab中，可以通过help window命令来查看怎么产生不同的窗
1
0.8
rectangular hamming hanning bartlett
0.6
0.4
0.2
0
0
50
100
150
200
250
几种不同的窗函数波形与频谱的比较
Time domain 40 Frequency domain 1 20 0.8 0
1
Hanning
Amplitude
0.8
0
汉宁窗
0.6
Magnitude (dB)
Time domain 30 40 Samples
-50
0.4
-100 0.2
0
10
20
50
60
-150
40 30
0
0.2
Frequency domain 0.4 0.6
0.8
Normalized Frequency ( rad/sample)
Hamming
Amplitude
Magnitude (dB)
10 20 30 40 Time domain Samples 50 60
哈明窗
0.6
-20 -40 -60
0.4
0.2
-80 -100
0
0
50
0.2 0.4 0.6 0.8 Frequency domain Normalized Frequency ( rad/sample)
固网电话语音量化就是用的非均匀量化
声音的质量与数据率（采样频率和量化精度）的关系
质量 电话 采样频率 (kHz) 8 样本精度 (bit/s) 8 单道声/ 立体声 单道声 数据率(kB/s) (未压缩) 8 频率范围 300～3400 Hz
AM
FM CD DAT
11.025
22.050 44.1 48
首先是窗的长度，无论什么形状的窗，长度N将起决定 性的作用。
N选得太大，不能保证每一帧的语音的平稳特性 N太小，不能保证信号的统计特性，容易产生统计噪声 对于频域分析而言，窗长N还直接决定了信号频谱的分辨率
对于语音信号，通常帧长应选择为一个语音帧包含有至少2个基音
周期为好。人的语音的基音周期值是变化的，从女性小孩的2ms到 老年男子的14ms（即基音频率为500Hz至70Hz），所以N的选择 是比较困难的。通常折衷的选择N为20~30ms。若采用频率为 10KHz，则相当于每帧的长度（即窗口序列的长度）约为200~300 点为宜。若采样频率为8KHz，相当于160~240点
其次是窗口的形状，不同的窗，其频率特性是不一样的，这 在短时频域分析时尤为重要。
窗口的形状和长度对分析影响很大，不同的分析方法对窗函数 的要求不尽一样。
窗函数频谱的主瓣与旁瓣 主瓣:
主瓣宽度控制频谱分析的频率分辨率，主瓣越窄，频率
分辨率越高
矩形窗的主瓣宽度 = fs/N hamming窗的主瓣宽度 约为 2fs/N
第三章 语音信号的特征分析
语音信号的数字化 语音信号的短时分析与短时处理的概念 语音信号的时域特征分析 语音信号的频率特征分析 语音信号的同态解卷与倒谱分析
端点检测、语音分割与基频估计
3.1 语音信号的数字化
通过电脑或者其它数字录音设备采集的语音信号都已 经经过数字化了，一般不需要用户再进行数字化处理。 尽管如此，有必要简单了解一下语音信号的数字化过 程与原理。
为了减小语音帧的截断效应，需要加窗处理；
sw (n) s(n)w(n)
矩形窗
w(n) 1, 0 n N 1
w(n) 0.54 0.46 cos( 2 n ), 0 n N 1 N 1
哈明窗 (Hamming)
汉宁窗 (Hanning)
n w(n) 0.5(1 cos( 2 )), 0 n N 1 N 1
语音是一个时变信号 语音的短时平稳特性，在10～30ms时间段内相对平稳
预滤波
预滤波的目的
防止混叠干扰 抑制50Hz的电源干扰
预滤波实际上是一个带通滤波器，其上下截止频 率分别为fH和fL 。 对于电话语音编码器而言，要求fH=3400Hz, fL=60~100Hz， fs=8KHz.
1
矩形窗
Amplitude
0.8
0.6
Magnitude (dB)
10 20 30 40 Samples 50 60
20 10 0 -10 -20
0.4
0.2
0
பைடு நூலகம்
0
0.2
0.4
0.6
0.8
Normalized Frequency ( rad/sample)
不同的窗选择，将决定短时语音分析结果的好坏
声音信号的数字化
模拟语音信号在时间与幅度上的二重连续性
时间上离散化：每秒钟需要采集多少个声音样本， 也就是采样频率(fs)是多少， 幅度上离散化：每个声音样本的位数(bit per sample，bps) 应该是多少，也就是量化精度。
语音信号的采样频率
奈奎斯特采样定理：fs> 2 fmax 窄带语音信号： fs =8000Hz
8
16 16 16
单道声
立体声 立体声 立体声
11.0
88.2 176.4 192.0
20～5000 Hz
50～7000 Hz 20～20000 Hz 20～20000 Hz
3.2 语音信号的短时分析
语音分析是语音信号处理的前提和基础； 分析的目的是提取需要的信息，获取特征表示参数； 短时分析