第二章语谱图分析共42页文档
第二章语谱图分析
特性中又没有语音信号随时间的变化关系。
因此人们致力于研究语音的时频分析特性，把和时序相关 的傅里叶分析的显示图形称为语谱图。
语谱图在1941年由贝尔实验室研究人员发明，它试图用三 维的方式显示语音频谱特性， 纵轴表示频率，横轴表示 时间，颜色的深浅表示特定频带的能量大小，语谱图的发 明是语音研究的一个里程碑，它将语音的许多特征直观的 呈现出来。
语谱图中显示了大量的与语音的语句特性有关的信息，它
综合了频谱图和时域波形的特点，明显地显示出语音频谱
随时间的变化情况，或者说是一种动态的频谱。
A
3
语谱图产生流程
语音录制
数据读入程序 信号分帧加窗
能量密度谱计算
功率谱伪彩色显示
语谱图显示
A
4
一、语谱图的分类
语谱图分为宽带语谱图和窄带语谱图两种。
宽带语谱图：带宽约为300Hz，具有良好的时 间分辨率，但是频率分辨率较差；
宽带语谱图能给出语音的共振峰频率及清辅 音的能量汇集区，在语谱图里共振峰呈现为 黑色的条纹。
窄带语谱图：带宽约为45Hz,具有良好的频率 分辨率，但是时间分辨率较差。
有利于显示基音频率及其各次谐波，不利于 观察共振峰的变化。
每个竖直条相当于一个基音，条纹的起点相
当于声门脉冲的起点，条纹之间的距离表示
基音。条纹越密表示基音频率越高。
A
8
A
9
Every salt breeze comes form the sea
Wide band
narrow band
A
10
Matlab 命令：specgram
specgram computes the windowed discrete-time Fourier transform of a signal using a sliding window. The spectrogram is the magnitude of this function.
语音信号处理PPT_第二章 语音信号处理基础知识
把从肺部呼出的直流气流变为音源，即变为交流的断续 流或乱流； 喉对音源起共振和反共振的作用，使它带有音色； 从嘴唇或鼻孔去空间辐射的作用；
肺把气流送入喉；喉将来自肺的气流调制为周期性脉冲或类 似随机噪声的激励声源，并送入声道；声道对频谱进行润色 后在嘴唇处的气压变化形成可以传播的声波。 肺相当于动力源，喉相当于调制器，声道相当于滤波器和扩 音器。
3.
韵母
38个韵母：8个单韵母，14个复韵母，16个鼻韵母。 单韵母是由单元音构成的，如：a、o、e、i、u、u。 复韵母是由复合元音构成的韵母，如：ai、ei、ao、ou等。 鼻韵母是由鼻辅音“n”或“ng”收尾的韵母，如：an、en、 uan、ang、eng、iang等。 韵母发音时声带是振动的，音强也较大，波形上可以看到大 的振幅，而且呈现周期性。 注意：元音不等同于韵母，元音、辅音是按音素的发音特征 来分的；而声母、韵母则是按音节结构来分的。
2.5.2 语音信号的语谱图
声纹：语谱图上其不同的黑白程度， 形成的不同的纹路。不同的人有不同的 声纹，利用声纹进行说话人识别。 横杆：与时间轴平行的几条深黑色 条纹，对应共振峰。语谱图中有无横杆 是判断是否是浊音的标志。 竖直条：与时间轴垂直的窄黑条， 每个竖直条相当于一个基音，条纹间隔 表示基音周期。 元音在语谱图上对应横杆（共振峰的存在） 噪声和清擦音表现为乱纹。
2.1 语音和语言 一、语音的定义
语音是由一连串的音组成语言的声音。
语言
语音
声音
对语言的研究分为两方面： 语言学：各个音的排列规则及其含义的研究。 语音学：各个音的物理特性和分类的研究。考虑的是语 音的产生、感知等过程。三个主要的分支：发音语音学、 声学语音学、听觉语音学。
语谱图
基于信号分析与处理的语谱图显示1 语谱图语音的发音过程中, 声道通常都是处于运动状态的, 因此它的共振峰特性也是时变的。
不过这个时变过程比起振动过程来说要缓慢得多, 因此一般可以假定它是短时平稳的, 每一时刻我们都可以用这时刻附近的一短段( 例如15ms) 语音信号分析得到一种频谱。
对语音信号连续地进行频谱分析就可以得到一种二维图谱, 其横坐标表示时间, 纵坐标表示频率, 而每像素的灰度值大小反映相应时刻和相应频率的信号能量密度。
这种时频图称为语谱图( Sonogram 或Spectrogam), 这种反映语音信号动态频谱特性的时频图在语音分析中有重要实用价值, 被视为可视语言。
从语谱图上不仅能看出任一时刻发音器官的共振峰特征,而且可以看出语音的基音频率, 是否清音、爆破音等。
语谱分析在语音识别、合成及编码中很有意义。
1.1 语谱图的产生基理语音信号是一种典型的非平稳信号, 但是其非平稳性是由发音器官的物理运动过程而产生的, 此过程与声波振动的速度相比较缓慢, 可以假定在10～30ms这样的短时间内是平稳的。
傅立叶分析是分析线性系统和平稳信号稳态特性的强有力的手段, 而短时傅里叶分析, 也叫时间依赖傅立叶变换, 就是在短时平稳的假定下, 用稳态分析方法处理非平稳信号的一种方法。
设离散时域采样信号为x(n), n=0,1,⋯,N- 1, 其中n 为时域采样点序号, N 是信号长度。
然后对信号进行分帧处理, 则x(n)表示为xn(m), n=0,1,⋯,N- 1, 其中n 是帧序号, m 是帧同步的时间序号, N 为帧长( 一帧内的采样点数) 。
信号{x(n)}短时傅里叶变换为:其中{w(n)}为窗序列, 则信号x(n)的离散时域傅里叶变换(DTFT) 为:采用离散傅里叶变换（DFT）得：则P(n,k)是二维的非负实值函数, 并且不难证明它是信号x(n)的短时自相关函数的傅里叶变换。
用时间n 作为横坐标, k 作纵坐标, 将P(n,k)的值表示为灰度级所构成的二维图像就是语谱图。
第二章语谱图分析
语谱图分析
语谱图中的花纹有横杠、乱纹和竖直条等 横杠是与时间轴平行的几条黑色带纹，它们 是共振峰，从横杠对应的频率和带宽可以确 定相应的共振峰频率和带宽 在一个语音段的语谱图中，有没有横杠出现 是判断它是否是浊音的重要标志。 竖直条（又叫冲直条）是语谱图中出现与时 间轴垂直的一条窄黑条。 每个竖直条相当于一个基音，条纹的起点相 当于声门脉冲的起点，条纹之间的距离表示 基音。条纹越密表示基音频率越高。
Wideband spectrogram：给出共振峰频率 Narrowband spectrogram：基音周期及其谐波
11
12
13
600
500
400
300
200
100
0
0
10
20
30
40
50
60
70
N=1024 hamming window 幅度谱
600
500
400
300
200
100
0
语谱图产生流程
语音录制
数据读入程序
信号分帧加窗
能量密度谱计算
功率谱伪彩色显示
语谱图显示
4
一、语谱图的分类
语谱图分为宽带语谱图和窄带语谱图两种。 宽带语谱图：带宽约为300Hz，具有良好的时 间分辨率，但是频率分辨率较差； 宽带语谱图能给出语音的共振峰频率及清辅 音的能量汇集区，在语谱图里共振峰呈现为 黑色的条纹。 窄带语谱图：带宽约为45Hz,具有良好的频率 分辨率，但是时间分辨率较差。 有利于显示基音频率及其各次谐波，不利于 观察共振峰的变化。 在不同的语谱图上所表现的语音特征也不同。
0
数字语音信号处理教案
数字语音信号处理实验指导书前言语音信号处理是研究用数字信号处理技术和语音学知识对语音信号进行处理的新兴的学科，是目前发展最为迅速的信息科学研究领域的核心技术之一。
通过语音传递信息是人类最重要、最有效、最常用和最方便的交换信息形式。
同时，语言也是人与机器之间进行通信的重要工具，它是一种理想的人机通信方式，因而可为信息处理系统建立良好的人机交互环境，进一步推动计算机和其他智能机器的应用，提高社会的信息化程度。
语音信号处理是一门新兴的学科，同时又是综合性的多学科领域和涉及面很广的交叉学科。
虽然从事这一领域研究的人员主要来自信号与信息处理及计算机应用等学科，但是它与语音学、语言学、声学、认知科学、生理学、心理学等许多学科也有非常密切的联系。
20世纪60年代中期形成的一系列数字信号处理的理论和算法，如数字滤波器、快速傅立叶变换（FFT）等是语音信号数字处理的理论和技术基础。
随着信息科学技术的飞速发展，语音信号处理取得了重大的进展：进入70年代之后，提出了用于语音信号的信息压缩和特征提取的线性预测技术（LPC），并已成为语音信号处理最强有力的工具，广泛应用于语音信号的分析、合成及各个应用领域，以及用于输入语音与参考样本之间时间匹配的动态规划方法；80年代初一种新的基于聚类分析的高效数据压缩技术—矢量量化（VQ）应用于语音信号处理中；而用隐马尔可夫模型（HMM）描述语音信号过程的产生是80年代语音信号处理技术的重大发展，目前HMM已构成了现代语音识别研究的重要基石。
近年来人工神经网络(ANN)的研究取得了迅速发展，语音信号处理的各项课题是促进其发展的重要动力之一，同时，它的许多成果也体现在有关语音信号处理的各项技术之中。
为了深入理解语音信号数字处理的基础理论、算法原理、研究方法和难点，根据数字语音信号处理教学大纲，结合课程建设的需求，我们编写了本实验参考书。
本本参考书针对教学大纲规定的四个研究设计型实验，每个实验给出了参考程序，目的是起一个抛砖引玉的作用，学生在学习过程中，可以针对某一个实验进行延伸的创新学习，比如说，语音端点的检测、语音共振峰提取、基于HMM或DTW的有限词汇或大词汇的特定人、非特定人的语音识别、识别率的提高（如何提高有噪环境下的识别率）、以及编码问题等，同时在学习中还可深入思考如何将有关的方法在嵌入式系统或DSP 下的实现问题等。
第二章语谱图分析.
语谱图在1941年由贝尔实验室研究人员发明，它试图用三 维的方式显示语音频谱特性， 纵轴表示频率，横轴表示 时间，颜色的深浅表示特定频带的能量大小，语谱图的发 明是语音研究的一个里程碑，它将语音的许多特征直观的 呈现出来。
（3）时间分辨率高，可以清楚的看 到浊音共振峰时变过程
N=256
你 好 ” 窄 带 语 谱 图 灰 度 显 示 图
特点：（1）窗长长，可以 获得较高的频率分辨率。 （2）滤波器的带宽能在浊 音区分辨出每个谐波。（3） 语谱的谐波形式的结构在频 率方向清晰可见，并能看到 基音频率的时变过程。 22
N=2048
5
二、宽带语谱图的典型谱型
宽带语谱图的典型谱型： 宽横杠（Bar）：代表元音的共振峰位置，表现为 图中与水平时间轴平行的较宽的黑杠，不同元音的 共振峰位置不同，根据宽带语谱图上各横杠的位置 可以区分不同的元音，不同人发音的第一共振峰位 置会不同，但其分布结构是相似的。
竖直条（spike）代表塞音（b,d,g,p,t,k）或塞 擦音（z,zh,j,c,ch,q）,表现为图中与垂直频率轴 平行的较宽的黑条，在时间上持续时间很短，在频 率轴上集中区位置随不同的辅音而不同
Wideband spectrogram：给出共振峰频率 Narrowband spectrogram：基音周期及其谐波1112 13600500
400
300
200
100
0 0
10
20
30
40
50
60
70
N=1024 hamming window 幅度谱
600 500 400 300 200 100
第二章 人的听觉感知与声音信号-现代多媒体通信技术-阮秀凯-清华大学出版社
L 33.33lgN 40
图2-4 响度级和响亮的关系
• 2.2.2 听阈与痛阈
听阈即人耳能感受的声音频率和强度的范围，人耳刚 好能感觉到其存在的声音的声压就是听阈，听阈对于不同 频率的声波是不相同的。听阈是由某声音信号在多次实验 中能引起的听觉的最小有效声压，听阈应根据许多正常常 青年的耳朵测试结果求平均。试验求得的等响曲线中最低 的一条零方（Phon）曲线就是听域曲线，它是纯音的最低 可听声压的频率响应。
2.2 人耳的听觉特性
3 2.2.3 听觉定律
（2）听觉驻留
研究表明，人听到一个脉冲不是和它的强度有关，而 是和强度与时间的乘积有关。直到时间相当长了（几 十毫秒或一百多毫秒以上），才感觉声音还是那样响， 只是时间延长而已。例如，一个短促的脉冲声，若强 度不变，长度由1ms变为2ms，人昕起来不是长度变 了，而是更响了。国际上已根据这个现象规定了测量 脉冲声的电表响应应具有35ms的时间常数。
1距声源1m处的平均声压级65691520语言扩声演唱8011008080003040管风琴的频率范围更宽名族乐器的基频范围为1002000hz乐器1640003016000单个乐器0011003050交响乐能量集中范3020000大型交响乐10w1518件乐器乐队演出离乐队10m处的平均声压级951054060件大型交响乐队为100听觉2020000痛阈值1wm痛阈值120120hifi系统40160005055数字音频系统2020000709023声音信号表22语言和音乐的一些重要特性23声音信号图215其它声信号及其谱图24声音质量评价方法图215声质量涉及的因素
2.2 人耳的听觉特性
1 2.2.1 声强级和响度 2 2.2.2 听阈与痛阈 3 2.2.3 听觉定律 4 2.2.4 人耳的听觉效应
语言学知识系统图解
4句法学范畴之间的关系---一致与支配
句子的种类---简单句、并列句和复合句
组合和聚合关系
结构语法直接成分分析
内向结构和外向结构
生成语法（略）
功能语法（略）
语义学的定义
命名论
概念论
意义理论语境论
使用论
行为论
利奇的意义七分法
意义的分类
其他意义分类法
同义关系
互补反义词
英语语言学各章节系统图解
语言的定义及定义的理解
语言的甄别性特征
语言语言的功能
语言的起源
1语言和语言学
语言学的定义及定义的理解
语言学普通语言学及其研究范围
常见的重要区别性概念
语音学的定义
听觉语音学
声学语音学
语音学分类（清辅音、浊辅音）
辅音描述（发音部位、发音方式、清浊性）
标音（宽式标音、严式标音）
发音语音学
分类（前、中、后元音）
元音描述（唇、舌位、开口度/舌高度、紧/松）
标音（宽式标音、严式标音）
2语音学
音系学最小对立体
音位、音位变体
音位理论自由变异
音位对立、区别性特征
音位分布、互补分布
音系学
序列规则
音系规则同化规则（顺同化、逆同化）
省略规则
超切分音位特征（音节、重音、声调、语调）
定义
形态基本模块：词素、形素、词素变体
5语义学反义关系等级反义词
词之间的意义关系关系反义词
上下义关系
一词多义
同音/同形异义
蕴含
预设
矛盾
句子之间的意义关系不一致
同义关系
语义异常
语义成分分析
基于语谱图的声乐分析
技术创新《微计算机信息》(管控一体化)2010年第26卷第7-3期360元/年邮局订阅号：82-946《现场总线技术应用200例》博士论坛基于语谱图的声乐分析Analysis of vocality on Spectrogram(上海理工大学)陈青龚乾张鸣CHEN Qing GONG Qian ZHANG Ming摘要:语谱图通常从时域信号中用短时傅里叶变换计算得到,并表示成灰度图像。
为了得到更高的分辨率和更好的视觉效果来进行语音信号的处理与分析,本文利用MATLAB 的编程算法和函数库,对运算得到的语谱图使用伪彩色映射算法来观察能量分布,并对声音作进一步谐波跟踪研究,做到对不同素材的音乐性判定。
关键词:时频分析;语谱图;伪彩色映射;谐波跟踪中图分类号:TP391文献标识码:AAbstract:Spectrogram is usually calculated from the time-domain signal by short-time Fourier transform and displayed in gray scale images.In this paper,with the programming and library of MATLAB,the spectrums of speech energy distributions are mapped to pseudo-color images in order to get higher resolution and better visual effects for speech signal processing and some analysis for har -monic tracking are used to these signals from music.At last,the conclusion can contact to musical identification.Key words:Time-frequency Analysis;Spectrogram;Pseudo-color;Harmonic track文章编号:1008-0570(2010)07-3-0006-03引言语谱图是一种在语音分析以及语音合成中具有重要实用价值的时频图,它可以反映语音信号动态频谱特性,被视为语音信号的可视语言。
实验一显示语音信号的语谱图
实验一显示语音信号的语谱图一、实验目的综合信号频谱分析和滤波器功能，对语音信号的频谱进行分析，并对信号含进行高通、低通滤波，实现信号特定处理功能。
加深信号处理理论在语音信号中的应用；理解语谱图与时频分辨率的关系。
二、实验原理语谱图分析语音又称语谱分析，语谱图中显示了大量的与语音的语句特性有关的信息，它综合了频谱图和时域波形的优点，明显的显示出语音频谱随时间的变化情况。
语谱图实际上是一种动态的频谱。
窄带语谱图有良好的频率分辨率及较差的时间分辨率；而宽带语谱图具有良好的时间分辨率及较差的频率分辨率。
三、实验内容实验数据为工作空间ex3M2.mat中数组we_be10k是单词“we”和“be”的语音波形（采样率为10000点/秒）。
1、听一下we_be10k（可用sound）2、使用函数specgram_ex3p19.显示语谱图和语音波形。
对比调用参数窗长20ms（200点）、帧间隔1ms（10点）和参数窗长5ms（50点）、帧间隔1ms（10点）；再对比窗长>20ms或小于5ms，以及帧间隔>1ms时的语谱图说明宽带语谱图、窄带语谱图与时频分辨率的关系及如何得到时频折中。
3、生成高通和低通滤波器，观察其频谱；对语音信号we_be进行滤波，听一下对比其效果。
四、实验结果实验程序语谱图和语音波形低通滤波器频谱高通滤波器频谱结论：1、因频率分辨率随窗口宽度的增加而提高，但同时时间分辨率降低；如果窗口取短，频率分辨率下降，但时间分辨率提高。
由以上图可知：窄带语谱图有良好的频率分辨率及较差的时间分辨率，而宽带语谱图具有良好的时间分辨率及较差的频率分辨率。
窄带语谱图中的时间坐标方向表示的基因及其各次谐波；而宽带语谱图给出语音的共振峰平率及清辅音的能量汇集区。
2、因加窗的目的是要限制分析的时间以使其中的波形特性没有显著变化，因此想要得到时频折中，选用的窗函数应尽量满足a、频率分辨率高b、卷积后其他的频率成分产生的频谱泄露少。
第二章语谱图
汉语拼音“sou ke”的时间波形
元音[ou]的频谱图
语音特性分析实例：Ten above in suburbs
辅音[s]的频谱
语音波形及特性 女声“他去无锡市”的时域波形图
对上段语音信号的分析：
❖ 这段语音的频率带宽为300-3400Hz ❖ 横轴为时间，纵轴为语音的幅度。 ❖ 采样频率为8kHz，持续时间为4s。 ❖ 时间轴压缩很短，只能看清该段语音的轮廓，无法辨识语音波形的具体细节。
10
20
30
40
50
60
70
N=1024 hamming window 幅度谱
600 500 400 300 200 100
0 0
10
20
30
40
50
60
70
1200 1000
800 600 400 200
0 0
10
20
30
40
50
60
70
N=2048 hamming window 幅度谱
1200 1000
“受用”语谱图
“ “
语谱图分析
你 好 ” 宽 带 语 谱 图 灰 度 显 示 图
你 好 ” 窄 带 语 谱 图 灰 度 显 示 图
特点：（1）窗长短，可以获得较高的时间分辨 率；（2）功率谱的谐波结构在频率轴方向被平 滑掉了，谐波间隙被填平了，因此在频域看不 出基音频率和频谱的谐波形式结构，但可以明 显的看成共振峰结构和语谱包络
彩色语谱图 发 “ah.”时的单元音 /a/
发音 “real”
发 “eye”时的双元音 /ai/ 发音 “mean”
同一个人的语谱图
不同的讲话者的语谱图 具有不同的“声纹”。 据此可以区别说话人， 这与不同的人有不同的 指纹，根据指纹可以区 别不同的人是一个道理。
马景仑《汉语》上课件第二章
第二，语音具有系统性。
二、语音分析中的基本概念
（一）音节、音素、音位
1.音节：语音的基本结构单位，是从听觉上自 然分辨的语音片断。
一般情况下，一个汉字就是一个音节（儿化除 外）。
2.音素：从音色角度划分出来的最小的 语音单位。
音素可以分为元音和辅音。普通话共有 32个音素。
u: 舌前部上升，和 i 一样，但是口合拢，嘴唇收缩最圆。嗓子用力，气流放出。
e^
口半开，舌前部半降，嗓子用力，气流放出。如“诶”。随 i u u: 之后，构成复 韵母：ie, ue。
ai
先发 a 音，舌的位置稍靠前（舌尖抵下门牙背后），声音较长，较强，然后把 舌向上移动，到能发接近 i 的音时停。
第二章 语音
内容: 语音概说 声母 韵母 声调 音节 音变和语音规范
第一节 语音概说
一、语音的性质
物理性质、生理性质、社会性质
语音是由人的发 音器官发出的能 够表达一定意义 的声音
（一）物理性质
1.音高：音高决定汉语的声调，语调的变化节 也由音高所决定
2.音长：音长是决定汉语轻声的主要因素 3.音强：音强是构成汉语轻声的因素之一 4.音色：音色是区别意义的最重要的因素
二、声母的发音
1. 舌尖 2. 舌尖 3. 舌尖 4. 舌面 5. 舌根 6. 上下唇 A. 上齿背 B. 上齿龈 C. 上颚前部 D. 硬颚前部 E. 软颚
声母发音技巧
b 双唇 音p
m
唇齿 音
f
d
舌尖 t 音
n
l
g
舌根 音
k
h
双唇紧闭，气流经口腔破唇气流而出；但不是用力送气。如“玻”字 开始的发音。 部位方法同上，但要将气用力尽量送出。 鼻音。紧闭双唇，嗓子用力，气流经过鼻腔，由鼻孔透出。
第二章 语音信号处理基础知识
下面我们再看一下语音的时域波形和频谱特性：
10、语音信号的时域波形和频谱特性
时间域中，语音信号可以直接用时间波形表示出来，通过观察时间波形可以看出语音信号的一些重要特性。
观察语音信号时间波形的特性，可以通过对语音波形的振幅和周期性来观察不同性质的音素的差别。
下图为汉语拼音“sou ke”的时间波形。表示这段语音波形时采用的采样频率为8kHz，量化精度为16bit。图上标明了时间及各个音节的起始位置。由于在时域波形里各个单音节间不好明显地分界，因此，图上标出的某个音的起点只是粗略的。
本章第二部分是语音信号的特性分析，包括语音的声学特性，时域波形，频谱特性和统计特性。首先来了解一下语音的声学特性。
7、语音信号的声学特性
语音是人的发声器官发出的一种声波，具有一定的音色、音调、音强和音长。音色也叫音质，是一种声音区别于另一种声音的基本特征；音调是指声音的高低，取决于声音的频率；音强是指声音的强弱，由声波的振幅决定；音长即声音的长短，取决于发音时间的长短。
6、语音学
Phonetics是研究言语过程的一门科学。它考虑的是语音产生、语音感知等的过程以及语音中各个音的特征和分类问题。现代语音学发展成为三个分支：发音语音学、声学语音学以及听觉语音学。发音语音学研究语音产生机理，借助仪器观察发音器官，以确定发音部位和发音方法；声学语音学研究语音传递阶段的声学特性，与传统语音学和现代语音分析手段相结合，用声学和非平稳信号分析理论来解释各种语音现象；听觉语音学研究语音感知的生理和心理特性，即研究耳朵怎么听音的，大脑怎么理解语音的，语音信息在大脑中存储的部位和形式。
语言学概论精讲3.pptx
2.3 音位和音位变体 3.1设立音位的原因
名词
一、音位是从社会功能角度划分出来的语音单位，它是特定语言或 方言中具有区别意义作用的最小语音单位。
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
2.3 音位和音位变体
（ ）是从社会功能的角度划分出来的语音单位，它是特定的语言或 方言中具有区别意义作用的最小语音单位。 A 音素 B 音节 C 音位 D 音符
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
2.2.2.3 声调
分析
（三）调类 一声-阴平；二声-阳平；三声-上（shǎng）声；四声-去声
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
2.2 小结
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
第二章 语言的物质载体
语音概说
第二章
元辅音和声韵调 音位和音位变体
语流音变和韵律节奏
如果出现卡顿、无声音、声音画面辅音和声韵调
2.1元辅音分析
元辅音和声韵调
2.2声韵调分析
2.3音节结构
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
2.2.2.3 音节结构
元辅音分析： 元音：V 辅音：C V、C-V、V-C、C-V-C a、fa、ang、fang
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
2.2.2.3 韵母
韵头：只有i[i] u[u] ü[y]三个高元音可以充当。
声母
h
韵头
u
a
i 韵尾
a/o/e
如果出现卡顿、无声音、声音画面不同步的情况，退出重新进入或者刷新即可。
《语谱图分析》课件
语谱图分析方法需要具备一定的语音学和语言学知识，对于非专业人 士来说可能存在一定的门槛。
未来研究方向与展望
01
研究方向
02 深入研究语谱图分析方法在不同语言和方言中的 应用，提高其通用性和适应性。
03 加强语谱图分析方法与其他语音分析技术的融合 ，提高语音分析的精度和可靠性。
未来研究方向与展望
画图
将频域数据绘制成二维图形， 形成语谱图。
语谱图解读方法
观察ห้องสมุดไป่ตู้强分布
通过观察语谱图上的音强分布，可以了解语 音信号中各个频带的能量状况。
识别音段
通过观察语谱图上的音段特征，可以识别出 不同的音素或音节。
提取特征
从语谱图中提取出音高、音强、音长等语音 特征，用于后续的分析和处理。
语音合成
基于语谱图进行语音合成，生成与原始语音 相似的语音信号。
通过对语谱图的观察和分析，可以深入了解语音信号的特性，为语音处理和语音识别等领域的研究提供 有力支持。
音乐信号的语谱图分析
音乐信号的语谱图分析是语谱图分析中另一种重要的应用 ，通过对音乐信号进行傅里叶变换，得到音乐信号的频域 表示。
在音乐信号的语谱图中，可以观察到音乐的旋律、和声、 节奏以及音色等特征，这些特征对于音乐分类、音乐检索 以及音乐推荐等应用具有重要意义。
03
在环境监测领域中，通过对环境信号进行语谱图分析，可以了解环境中的噪声 、振动等特征，为环境保护和治理提供有力支持。
04 语谱图分析在语音识别中的应用
CHAPTER
语音识别的基本原理
语音信号的采集
01
通过麦克风等设备将声音转化为电信号，再经过数字化处理，
将连续的模拟信号转换为离散的数字信号。
第二章语音信号的基础知识
语音信号的基本概念 语音：人们讲话时发出的话语叫语音。是一种人
们进行信息交流的声音，是组成语言的声音/带有 语言信息的声音。
语音(Speech)=声音(Acoustic)+语言 (Language)
语音是由一连串的音素组成语言的声音。
第二章 语音信号处理的基础知识
对语音的研究包括两个方面
➢声道
人在说话时，空气由肺部压入，由嘴唇呼出，声门由此开 启和闭合，构成声带振动，然后通过声道（喉腔、咽腔和口腔） 响应（引起共振特性）变成语音，气流从喉向上经过口腔或鼻 腔后从嘴或鼻孔向外辐射，期间的传输通道称为声道。气流流 过声道时犹如通过了一个具有某种谐振特性的腔体，放大某些 频率，在频谱上形成相应位置的峰起，称为共振峰。
✓(元音一定是浊音。辅音包括浊音和清音。 ✓英语中：由元音和辅音（这些都是音素）构成音节， 由几个音节构成一个词。 ✓汉语中：汉语中由元音和辅音构成声母和韵母，结 合声调构成一个音节，一个音节就是一个字。
一 语音信号的产生
4）汉语音节的一般结构
声母、韵母和声调是汉语语音的三要素。 汉语语音的1个不同于其他语言的是它具有声调 （音调）。声调是1个音节在念法上的高低升降 的变化，汉语中有4个声调，即阴平（－）、阳 平（ ′）、上声（ ）、和去声（‵）。
一 语音信号的产生
声调的变化就是浊音基音周期的变化，为了将
调值描写地具体一些，一般采用“五度标记法”，
用一条竖线表示声音的高低，从下而上用1、2、3、
4、5依次表示低、半低、中、半高、高。
阴平
5高
阳平 上声
去声
4 半高 3中 2 半低 1低
调类 阴平 阳平 上声 去声
语言学概论 第二章(最全版)PTT文档
言，音质是声音四要素中最重要的一个。 音长变化在许多语言中汉语方言
3、元音舌位图元音分为：口元音（舌面元音、舌尖元音、卷舌元音）、鼻化元音。 本章多出单选题（2-3个）、多选题、分析、名词解释（1个）和简答题，论述题较少。 （3）音位是由一组彼此的差别没有辨义作用而音感上又相似的音素概括而成的音类。
性和地域性。 2、音高变化引起声调、语调变化；
4、音位的辨义功能：音位是从社会功能角度划分出来的具有区别意义作用的语音单位。
ቤተ መጻሕፍቲ ባይዱ
二、音素
1、音素是从音质角度划分出来的最小语音单位。
2、元音和辅音的区别。
3、元音舌位图元音分为：口元音（舌面元音、舌 尖元音、卷舌元音）、鼻化元音。
舌面元音舌位图（P 49页）：舌位的前后、高低和嘴 唇的圆展。八个标准元音 如：ａ前低不圆唇 u后高 圆唇
4、音位的辨义功能：音位是从社会功能角度划分出来的具有区别意义作用的语音单位。 共鸣器，即肺里呼出的气流在什么部 发音方法，即肺里呼出的气流所碰到的阻碍 为材料，通过音质的差别来起辨义作用的音位又叫 1、“肌肉紧张度说”：人在发音时，发音器官的肌肉总是松弛和紧张相替的，肌肉每紧张一次就形成一个音节。 而非音质音位是通过音高、音强、音 韵律特征：语音中除音质特征之外的音高、音长和音强方面的变化。 韵律特征：语音中除音质特征之外的音高、音长和音强方面的变化。 的组合规律和整个语音系统的面目，因而长期以来一 （3）音位是由一组彼此的差别没有辨义作用而音感上又相似的音素概括而成的音类。 舌面元音舌位图（P 49页）：舌位的前后、高低和嘴唇的圆展。 ①不同的系统里有不同的音素，因而具有不同的音位。 （2）两者不是对立的，它们实际上可看作是音节结
语音信号之特性分析图（二）
语音信号之特性分析图（二）语音信号的特性主要是指它的声学特性、语音信号的时域波形和频谱特性以及语音信号的统计特性等。
这些特性对应着各种语音信号有特性分析图，如时域图、频谱图和声谱图，之前一直分不太清，最近查了一些资料学习了各个图及各中图含义，本次只介绍认识这几种图。
一时域图时域图中，语音信号直接用它的时间波形表示出来，通过观察世间波形可以看出语音信号一些重要特性，下图是用coolEdit打开的“changge”的时域图，表示这段语音波形时量化精度是16bit，从图中可以得到各个音的起始位置，通过波形振幅和周期性可以观察不同性质的音素的差别。
（唱歌）如果想比较仔细的看，可以在coolEdit或者GlodWave里打开。
该图是《语音信号处理》书中给出的例子，是“sou ke”的时域图，图中标明了时间及各个音节的起始位置。
由于在时域波形中各个音节间不好明显的分界，因此，图中标出的某个音的起点只是粗略的，图中，清辅音[s][k]和元音[ou][e]这两类音的时间波形有很大区别，例如从A点开始的音节[s]，以及从C点开始的[k]都是清辅音，他们的波形类似白噪音，振幅很小，没明显周期，而从B点开始的元音[ou]以及从D点开始的[e]都具有明显的周期性，且振幅较大，它们的周期对应的就是声带振动的频率。
语音信号属于短时平稳信号，一般认为在10~30ms内语音信号特性基本上是不变的，或是缓慢的，于是可截取一小段进行频谱分析。
二频谱图简单地说，任何信号（当然要满足一定的数学条件，但是说多了又不好懂了，所以先不提），都可以通过傅立叶变换而分解成一个直流分量（也就是一个常数）和若干个（一般是无穷多个）正弦信号的和。
每个正弦分量都有自己的频率和幅值，这样，以频率值作横轴，以幅值作纵轴，把上述若干个正弦信号的幅值画在其所对应的频率上，就做出了信号的幅频分布图，也就是所谓频谱图，另外还有相频分布，但其意义不大。
通过matlab的傅里叶变换可以得到一个3维图，是频率、振幅和相位的关系，如上图“唱歌”对应的频谱图如下：上图频率和相位关系图观察不出什么特性，但频率和振幅可以观察到一些特点，使用《语音信号处理》里的图可以更明显观察一些特性。