语音信号处理短时傅立叶分析和综合和听觉特征

掩蔽效应分为同时掩蔽(频域掩蔽)和短时
掩蔽（时域掩蔽）。同时掩蔽是指存在一个弱
信号和一个强信号，当其频率接近时，强信号
会提高弱信号的阈值，就会导致弱信号变得不 可闻。
图形描述
4dB
20dB
3dB
1dB 1kHz的听阈 可闻声 不可闻声
数学描述 同时出现的A声和B声，若原来A声的阈值为
50dB,由于另一个频率不同的B声的存在使得A声
部充满了淋巴液。 基底膜
镫骨
前庭窗
★ 作用：将振动变换为神经冲动。当声音传入中耳 时，镫骨的运动经过前庭窗引起耳蜗内液体压强的 变化，从而引起行波沿基底膜的传输，引起基底膜
的振动。不同频率的声音产生不同的行波，其峰值 出现在基底膜的不同位臵上。基底膜的振动导致沿
基底膜分布的毛细胞的电位发生改变，引起神经冲
正常人的听觉系统是极为灵敏的，可听声的范围 为0.02Hz-20kHz。 可听声的最小声压级(dB)称为听阈。-5 130dB，
对低频和高频是不敏感的，听阈为60dB，在1kHz附
近最敏感。
声源 飞机附近 织布车间 地铁 繁华街道 普通谈话
安静房间 耳语 树叶沙沙声 农村静夜
声压/Pa 200 20 0.63 0.063 0.02
接收器对编码信号进行解码；按信号选择一定位 臵的电极，刺激耳蜗内的听神经纤维，使其产生 兴奋，将信号传入大脑，产生听觉。
2.声音传入内耳的途径
由空气传导，称为气导，其过程为： 声波 耳廓 鼓膜 听骨 内耳 基底膜上
毛细胞电位改变
神经冲动
由骨传导，称为骨导，其过程为： 声波 颅骨 外淋巴振动 神经冲动 内耳 基底膜上毛细
使谐振频率附近的频率成分有某些放大作用，导 致声音有某些失真。
外耳道
外耳道的长度为2.5cm，对波长为其4 倍作用的声波能起到较好的放大作用，即 有：42.5=10cm， 3000-4000Hz声波的波
长为8.5cm-11.41cm，因此外耳道对这部
分频率的信号有扩音作用，10dB左右。
中耳
★ 结构：总容量为2立方厘米，内含三块听小骨，
胞电位改变
3. 人耳的两个重要特性
（1）耳蜗对声信号的时频分析特性
（2）人耳的掩蔽效应 人耳的掩蔽（masking phenomenon）效应:
在一个强信号附近弱信号将变得不可闻，被掩
蔽掉了。
掩蔽阈值
被掩蔽掉的不可闻信号的最大声压级称为
掩蔽门限和掩蔽阈值（masking threshold）,
在这个掩蔽阈值以下的声音将被掩蔽掉。
人耳感知原理
SDTFT的两种解释
1.滤波解释
2.调制解释
（1）
滤波观点 （2）
（3）
可解释为x(n)调制到频率ω 0
调制观点
（3）式改写为
（4）
信号调制
1.载波
特点：频率较高
2.被调制信号
一般来说，频率远低于载波
调制后的信号
语音信号的调制解释
语音可看作多个信号被调制到多个载波后叠
短时掩蔽
前向掩蔽和后向掩蔽
前向掩蔽：若被掩蔽声A出现后，相隔 (0.05s,2s)之内出现了掩蔽声B，对A起掩蔽作用， 因为A声尚未被人所反应接收而强大的B声已来临。 后向掩蔽：掩蔽声B即使消失后，其掩蔽作用 仍将持续一段时间，约(0.5s,2s)，这时由于人耳 的存储效应所致。
频域掩蔽
ω0
耳蜗的恒Q特性
加的结果
二、语音听觉系统（一个十分巧妙的音频信号处理器）
人类接收语音由人耳来完成，空气振动由耳廓
收集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓
室中的空气和听骨链也பைடு நூலகம்生振动，听骨链的振动经
前庭窗（卵圆窗）激励前庭淋巴，变为液波，液波
使位于基底膜上的螺旋器受到刺激，将神经冲动经 听神经传到中枢而产生听觉。
动，传递给大脑，产生听觉。
如果信号是一个多频率的信号，则产生 的行波将沿着基底膜在不同的位臵产生最大 幅度，从这个意义上讲，耳蜗就像一个频谱 分析仪，将复杂信号分解成各种频率分量， 这种作用称为人耳的时频分析特性。耳蜗在 语音接收过程起着重要的作用。
人工耳蜗
人工耳蜗是一种电子装置，能帮助重度及极重
度耳聋患者获得或重新恢复听觉。它代替病变受损 的听觉器官，把声音转换成编码的电信号传入内耳 耳蜗，刺激分布在那里的听神经，再由大脑产生听 觉。
人工耳蜗的工作原理
麦克风接收声音，并通过导线将其传至言语
处理器；言语处理器对声音进行数字化、滤波编
码等处理，并将编码信号经导线传至传输线圈；
传输线圈将编码信号通过耦合传至皮下的接收器；
0.002 0.00063 0.0002 0.000063
声压级/dB 140 100 90 70 60
40 30 20 10
1. 耳的结构（外耳、中耳和内耳）和功能
外耳：对声源定位和对声音放大的作用，由耳廓和
外耳道组成。
☆耳廓呈漏斗型，其作用是收集声音。
☆外耳道直至鼓膜，其中充满空气，是一谐振腔，
锤骨、砧骨、镫骨，其中锤骨与鼓膜相接触，镫骨
则与内耳的前庭窗相接触。 ★ 作用：进行阻抗变换，将中耳两端的声阻抗匹配
起来；保护内耳。在一定声强范围内，听小骨实现声
音的线性传递，而在特强声时，实现非线性传递。
内耳
★ 结构：主要部分是耳蜗，耳蜗长约3.5cm，呈
螺旋状盘绕2.5-2.75圈，是一个密闭的管子，内
10ms
美尔（MEL)频率
的阈值提高了68dB,则B声称为掩蔽声，A声称为
被掩蔽声。掩蔽量为68dB－50dB＝18dB。
掩蔽效应的作用
当只有A声时，必须将声压级在50dB以上的声音 信号传送出去，50dB以下的声音是听不到的。当同 时出现了B声，由于掩蔽效应，使得A声中的68dB以 下的声音是听不到了，可以不予传送，只是传送 50dB以上的信号。 同时掩蔽时，掩蔽声越强，掩蔽作用越大；掩 蔽声和被掩蔽声的频率越接近，掩蔽效果越明显， 当频率相同时，掩蔽效果最大。