第2章 音频信息处理
合集下载
音频信号的获取与处理
2020/9/28
随着计算机技术的发展，特别是海量存储设备和 大容量内存在计算机上的实现，对音频媒体进行 数字化处理便成为可能。数字化处理的核心是对 音频信息的采样，通过对采集到的样本进行加工 ，生成各种效果。音频信息在多媒体中的应用是 极为广泛的，当计算机配有声卡和音箱后，就能 够发出各种悦耳的声音，尤其是视频图像配以娓 娓动听的音乐和语音，使计算机的操作得以藉由 视觉以外的听觉加以辅助而成为一种愉快的过程 。静态或动态图像配以解说和背景音乐，可使图 像充满生气；立体声音乐可增加空间感，使人身 临其境；语音电子邮件，听声如见其人，游戏中 的音响效果对于渲染气氛则为显得更为重要；此 外，在多媒体通信中，可视电话、电视会议、这 些都离不开数字化音频处理技术。
第2章 音频信息的获取与处理
声音是多媒体信息的一个重要组成部分, 也是表达思想和情感的一种必不可少的媒体 。无论其应用目的是什么，声音的合理使用 可以使多媒体应用系统变得更加丰富多彩。 在多媒体系统中，音频可被用作输入或输出 。输入可以是自然语言或语音命令，输出可 以是语音或音乐，这些都会涉及到音频处理 技术。
2020/9/28
•2.1 音频信号及其概念
2.1.1 声音处理技术历史回顾
语言、音乐和各种自然声是以声波为载体传递信息的基 本形式 。人类很早就开始研究声音，并利用当时已掌握了 的声音的某些规律来制造乐器、进行建筑设计或传声装置 设计，使发出的声音传得更远。可是几千年来，人类只能 凭耳朵来辨别声音的高低、强弱，而不能把声音记录和储 存起来。所以与其他研究领域相比，声学的研究相对滞后 。直到19世纪爱迪生发明了留声机，人们才能用机械的方 法把各种声音记录在唱片上。可是声音、机械振动不容易 传递，也不容易放大，机械方法很不方便。随着电学、电 子学的发展，人们开始尝试记录下这些真实的声音，利用 把声的振动转换成电信号的原理，使声音的记录成为可能 。最终电声技术获得了迅速发展。
随着计算机技术的发展，特别是海量存储设备和 大容量内存在计算机上的实现，对音频媒体进行 数字化处理便成为可能。数字化处理的核心是对 音频信息的采样，通过对采集到的样本进行加工 ，生成各种效果。音频信息在多媒体中的应用是 极为广泛的，当计算机配有声卡和音箱后，就能 够发出各种悦耳的声音，尤其是视频图像配以娓 娓动听的音乐和语音，使计算机的操作得以藉由 视觉以外的听觉加以辅助而成为一种愉快的过程 。静态或动态图像配以解说和背景音乐，可使图 像充满生气；立体声音乐可增加空间感，使人身 临其境；语音电子邮件，听声如见其人，游戏中 的音响效果对于渲染气氛则为显得更为重要；此 外，在多媒体通信中，可视电话、电视会议、这 些都离不开数字化音频处理技术。
第2章 音频信息的获取与处理
声音是多媒体信息的一个重要组成部分, 也是表达思想和情感的一种必不可少的媒体 。无论其应用目的是什么，声音的合理使用 可以使多媒体应用系统变得更加丰富多彩。 在多媒体系统中，音频可被用作输入或输出 。输入可以是自然语言或语音命令，输出可 以是语音或音乐，这些都会涉及到音频处理 技术。
2020/9/28
•2.1 音频信号及其概念
2.1.1 声音处理技术历史回顾
语言、音乐和各种自然声是以声波为载体传递信息的基 本形式 。人类很早就开始研究声音，并利用当时已掌握了 的声音的某些规律来制造乐器、进行建筑设计或传声装置 设计，使发出的声音传得更远。可是几千年来，人类只能 凭耳朵来辨别声音的高低、强弱，而不能把声音记录和储 存起来。所以与其他研究领域相比，声学的研究相对滞后 。直到19世纪爱迪生发明了留声机，人们才能用机械的方 法把各种声音记录在唱片上。可是声音、机械振动不容易 传递，也不容易放大，机械方法很不方便。随着电学、电 子学的发展，人们开始尝试记录下这些真实的声音，利用 把声的振动转换成电信号的原理，使声音的记录成为可能 。最终电声技术获得了迅速发展。
2.3-音频编码技术
Jitter Buffer
Page 36
3.2 自动噪声抑制-ANR
自动噪声抑制-ANR (Adaptive Noise Reduction):
噪声
解决通话中由于背景噪声太大无法听清
话音的问题，含有噪声的语音信号进行 噪声抑制以提高主观语音质量。
已被抑制
Page 37
3.2 自动电平控制-ALC
Page 19
第2章 常用语音编码比较和应用
2.1 常用语音编码算法 2.2 视频会议常用音频技术
Page 20
2.2 视频会议中音频技术
2006 1992 1988 1972 G.722
音质较好 延迟较长
AAC-LD
高保真CD音质 低延时编码
G.728
低延时编码 音质较差
低复杂度编码
G.711
舒适噪音生成CNG (Comfort Noise Generation)：与VAD配合使用，设置播放舒 适噪音。
怎么这么静？是不是挂 断了？
舒适噪音：CNG
静音检测：VAD
用户 A
用户 B：停顿期间
Page 33
3.2 回声消除-EC (回声形成)
回声表示说话者的声音，经过网络设备后，环回到了自己。
输出码率：24/32/48Kbps
采样频率：32KHZ 优点：低运算，低带宽，高保真质量 缺点：牺牲高频信息，Polycom授权，极少数产商使用 应用领域：CD级高保真语音质量
Page 25
2.2 G.728
G.728是1992年由国际电信联盟（ITU-T）建议的一个压缩原则16 kbps 的压缩标准，并
Page 15
Page 36
3.2 自动噪声抑制-ANR
自动噪声抑制-ANR (Adaptive Noise Reduction):
噪声
解决通话中由于背景噪声太大无法听清
话音的问题，含有噪声的语音信号进行 噪声抑制以提高主观语音质量。
已被抑制
Page 37
3.2 自动电平控制-ALC
Page 19
第2章 常用语音编码比较和应用
2.1 常用语音编码算法 2.2 视频会议常用音频技术
Page 20
2.2 视频会议中音频技术
2006 1992 1988 1972 G.722
音质较好 延迟较长
AAC-LD
高保真CD音质 低延时编码
G.728
低延时编码 音质较差
低复杂度编码
G.711
舒适噪音生成CNG (Comfort Noise Generation)：与VAD配合使用，设置播放舒 适噪音。
怎么这么静？是不是挂 断了？
舒适噪音：CNG
静音检测：VAD
用户 A
用户 B：停顿期间
Page 33
3.2 回声消除-EC (回声形成)
回声表示说话者的声音，经过网络设备后，环回到了自己。
输出码率：24/32/48Kbps
采样频率：32KHZ 优点：低运算，低带宽，高保真质量 缺点：牺牲高频信息，Polycom授权，极少数产商使用 应用领域：CD级高保真语音质量
Page 25
2.2 G.728
G.728是1992年由国际电信联盟（ITU-T）建议的一个压缩原则16 kbps 的压缩标准，并
Page 15
使用音频处理软件进行声音增强和降噪的步骤
使用音频处理软件进行声音增强和降噪的步骤第一章：音频处理软件的选择当今市场上有许多音频处理软件可供选择，如Adobe Audition、Audacity和iZotope RX等。
在选择合适的音频处理软件时，需要考虑软件的功能、易用性以及是否符合自己的需求。
同时，也要关注软件的价格和是否有试用版本可供测试，以便根据实际情况做出选择。
第二章：声音增强的基本步骤声音增强是指通过处理音频文件，使其更加清晰、响亮以及具有更好的音质。
以下是声音增强的基本步骤：1. 导入音频文件：打开音频处理软件后，点击导入按钮，选择需要处理的音频文件，并将其导入到软件中。
2. 调整音量：使用软件提供的音量调节功能，根据需要增大或减小音频文件的音量。
需要注意的是，不要过度增加音量，以免造成噪音或失真。
3. 均衡器调整：使用均衡器工具来调整不同频段的音量，以获得更好的平衡效果。
根据音频文件的不同特点，可以增加低音、中音或高音等，以及降低某些频段的音量。
4. 动态处理：通过使用压缩器和扩展器等工具，来调整音频文件的动态范围，使得音量变化更加平稳，避免出现突然增强或削弱的情况。
5. 混响效果：通过添加适当的混响效果，可以使音频文件具有更好的空间感，提高其质感和逼真度。
可以根据需要选择不同的混响类型和参数设置。
第三章：降噪的基本步骤降噪是指通过处理音频文件，减少或消除其中的噪音干扰，使音频更加清晰可听。
以下是降噪的基本步骤：1. 导入音频文件：同样，先将需要处理的音频文件导入到音频处理软件中。
2. 识别噪音：通过软件提供的频谱分析功能，识别音频文件中存在的噪音类型和特征。
常见的噪音包括白噪音、背景噪音、爆破声等。
3. 噪音消除：根据识别到的噪音特征，使用软件提供的降噪工具进行处理。
常见的降噪工具包括降噪滤波器、降噪算法等，可以根据实际需要选择适当的工具和参数进行调整。
4. 音频修复：在降噪的过程中，可能会出现一些音频信息损失或失真的情况。
语音信号处理PPT_第二章 语音信号处理基础知识
• • •
把从肺部呼出的直流气流变为音源，即变为交流的断续 流或乱流； 喉对音源起共振和反共振的作用，使它带有音色； 从嘴唇或鼻孔去空间辐射的作用；
肺把气流送入喉；喉将来自肺的气流调制为周期性脉冲或类 似随机噪声的激励声源，并送入声道；声道对频谱进行润色 后在嘴唇处的气压变化形成可以传播的声波。 肺相当于动力源，喉相当于调制器，声道相当于滤波器和扩 音器。
3.
韵母
38个韵母：8个单韵母，14个复韵母，16个鼻韵母。 单韵母是由单元音构成的，如：a、o、e、i、u、u。 复韵母是由复合元音构成的韵母，如：ai、ei、ao、ou等。 鼻韵母是由鼻辅音“n”或“ng”收尾的韵母，如：an、en、 uan、ang、eng、iang等。 韵母发音时声带是振动的，音强也较大，波形上可以看到大 的振幅，而且呈现周期性。 注意：元音不等同于韵母，元音、辅音是按音素的发音特征 来分的；而声母、韵母则是按音节结构来分的。
2.5.2 语音信号的语谱图
声纹：语谱图上其不同的黑白程度， 形成的不同的纹路。不同的人有不同的 声纹，利用声纹进行说话人识别。 横杆：与时间轴平行的几条深黑色 条纹，对应共振峰。语谱图中有无横杆 是判断是否是浊音的标志。 竖直条：与时间轴垂直的窄黑条， 每个竖直条相当于一个基音，条纹间隔 表示基音周期。 元音在语谱图上对应横杆（共振峰的存在） 噪声和清擦音表现为乱纹。
2.1 语音和语言 一、语音的定义
语音是由一连串的音组成语言的声音。
语言
语音
声音
对语言的研究分为两方面： 语言学：各个音的排列规则及其含义的研究。 语音学：各个音的物理特性和分类的研究。考虑的是语 音的产生、感知等过程。三个主要的分支：发音语音学、 声学语音学、听觉语音学。
把从肺部呼出的直流气流变为音源，即变为交流的断续 流或乱流； 喉对音源起共振和反共振的作用，使它带有音色； 从嘴唇或鼻孔去空间辐射的作用；
肺把气流送入喉；喉将来自肺的气流调制为周期性脉冲或类 似随机噪声的激励声源，并送入声道；声道对频谱进行润色 后在嘴唇处的气压变化形成可以传播的声波。 肺相当于动力源，喉相当于调制器，声道相当于滤波器和扩 音器。
3.
韵母
38个韵母：8个单韵母，14个复韵母，16个鼻韵母。 单韵母是由单元音构成的，如：a、o、e、i、u、u。 复韵母是由复合元音构成的韵母，如：ai、ei、ao、ou等。 鼻韵母是由鼻辅音“n”或“ng”收尾的韵母，如：an、en、 uan、ang、eng、iang等。 韵母发音时声带是振动的，音强也较大，波形上可以看到大 的振幅，而且呈现周期性。 注意：元音不等同于韵母，元音、辅音是按音素的发音特征 来分的；而声母、韵母则是按音节结构来分的。
2.5.2 语音信号的语谱图
声纹：语谱图上其不同的黑白程度， 形成的不同的纹路。不同的人有不同的 声纹，利用声纹进行说话人识别。 横杆：与时间轴平行的几条深黑色 条纹，对应共振峰。语谱图中有无横杆 是判断是否是浊音的标志。 竖直条：与时间轴垂直的窄黑条， 每个竖直条相当于一个基音，条纹间隔 表示基音周期。 元音在语谱图上对应横杆（共振峰的存在） 噪声和清擦音表现为乱纹。
2.1 语音和语言 一、语音的定义
语音是由一连串的音组成语言的声音。
语言
语音
声音
对语言的研究分为两方面： 语言学：各个音的排列规则及其含义的研究。 语音学：各个音的物理特性和分类的研究。考虑的是语 音的产生、感知等过程。三个主要的分支：发音语音学、 声学语音学、听觉语音学。
02 音频信息的获取与处理
第2章音频信息的获取与处理2.1数字音频基础2.1.1模拟音频和数字音频2.1.2音频的数字化1. 采样频率2. 量化数据位数(也称量化级、样本尺寸等)图2.1声音波形的采样和量化3. 单声道与双声道4. 数字音频的存储2.1.3数字音频的文件格式1. 波形音频2. VOC文件3. MIDI文件4. CMF文件5. CD音频2.1.4音频信号的特点2.1.5 3D音频1. DirectSound 3D2. Aureal 3D3. EAX4. Sensaura5. Qsound6. IAS2.2声卡的组成与工作原理2.2.1声卡的功能、技术指标与分类1. 声卡的功能2. 声卡的技术指标3. 声卡的分类2.2.2声卡的组成和布局图2.2典型声卡的平面图1. MIDI/GAME端口图2.3 MIDI及游戏摇杆接口2. I/O接口图2.4声卡的I/O端口3. CD-ROM接口4. 声音处理芯片5. 功率放大芯片6. 跳线和SB-link接口2.2.3声卡的工作原理图2.5声卡原理框图2.2.4 SPDIF数字音频接口1. SPDIF概述2. SPDIF在多媒体声卡上应用的优势和不足2.2.5音频卡的发展和改进1. 改善声音质量2. 统一音频卡标准3. 简化安装的即插即用音频卡4. 三维环绕立体声5. 全双工声音处理6. 与通信技术的结合7. 单一芯片2.3音频编码基础和标准2.3.1音频编码的基础1. 时域信息的冗余度2. 频域信息的冗余度3. 人的听觉感知机理4. 音频编码的分类2.3.2音频编码标准1. G.711图2.6正输入码与A律输出码的关系图2.7 ADPCM编码器和解码器的框图4. G.728图2.8 CELP编码和解码器5. MPEG中的音频编码图2.9音频编码器基本结构框图图2.10音频解码器结构框图6. AC-3编码和解码图2.11 AC-3 5.1声道图2.12 AC-3可编程解码器图2.13 AC-3编码器框图图2.14 AC-3编码流程图图2.15同步帧结构图图2.16 AC-3解码器框图2.4音乐合成和MIDI规范2.4.1音乐合成图2.17 YM3812管脚排列图2.18音乐系统框图2.4.2 MIDI规范1. MIDI的基本术语2. MIDI和多媒体PC图2.19 MIDI乐器音的连接3. MIDI 1.0的技术规范图2.20 MIDI的接口电路2.5语音识别2.5.1语音识别的发展和分类2.5.2汉语语音识别系统的工作原理及其应用1. 汉语本身的特点对语音识别系统的影响2. 汉语语音识别系统的工作原理图2.21汉语听写机的系统结构图2.22预切分状态图图2.23语音流自动切分引擎层次示意图3. 语音识别技术的应用小结习题2.1数字音频采样和量化过程所用的主要硬件是_______。
《音频视频编辑与制作》-第二章 声音的采集与转换
返回
2.1 音频编辑的相关设备
设备简介
麦克风： 麦克风：音频录制和编辑过程中经常使用的一种音频输 入设备， 入设备，主要是用来记录人物配音的
音频编辑的相关设备 第2页
返回
2.1 音频编辑的相关设备
设备简介
磁带机：一种非常常见的音频设备， 磁带机：一种非常常见的音频设备，它以磁带方式记录或 播放音频信息的设备
返回
2.3 音频素材的格式转化
WAV格式与MP3格式的转换 WAV格式与MP3格式的转换 格式与MP3
音频素材格式的转化
（5）“MP3配置”和“WAV配置”则分别可以对所输出的MP3 MP3配置” 配置 WAV配置”则分别可以对所输出的MP3 配置 WAV文件做进一步设置 及WAV文件做进一步设置
音频素材的格式转化
第16页 16页
返回
2.3 音频素材的格式转化
CD与WAV格式的转换 CD与WAV格式的转换
（1）启动豪杰的数字CD抓轨应用程序 启动豪杰的数字CD抓轨应用程序 CD
音频素材格式的转化
CD盘放入光盘驱动器中 盘放入光盘驱动器中， （2）将CD盘放入光盘驱动器中，在工作窗口中选择指定的光 盘驱动器 选择所要转换的CD音轨，双击鼠标， CD音轨 （3）选择所要转换的CD音轨，双击鼠标，使其显示于目标区 域内
音频编辑的相关设备 第3页
返回
2.1 音频编辑的相关设备
设备简介
数字音视频设备： 数字音视频设备：输入和输出的音频信号为数字信号的 设备，包括CD/MD CD/MD机 VCD/DVD机 设备，包括CD/MD机、VCD/DVD机、数字摄录一体机等
音频编辑的相关设备 第4页
返回
2.1 音频编辑的相关设备
第2章 音频
Measures of Sound
Sound volume related to pressure amplitude –sndpres = instantaneous sndpres - equilibrium sndpres –usually very small (e.g., normal conversation 10-6 in) Sound level is a logarithmic scale –SPL = 10 log (pressure/reference) decibels (dB) –where reference is 10-12 W/m2 – 0 dB SPL - essentially no sound heard – 35 dB SPL - quiet home – 70 dB SPL - noisy street –120 dB SPL - discomfort
Sound Phenomena
Sound is typically a combination of waves –Sin wave is fundamental frequency –Other waves added to it to create richer sounds –Musical instruments typically have fundamental frequency plus overtones at integer multiples of the fundamental frequency Waveforms out of phase cause interference Other phenomena –Sound reflects off walls if small wave length
多媒体技术及应用数字音频技术02
特点：在低速的广域网上实时传输音频
4. WMA文件
WMA(Windows Media Audio)是 Windows Media格式中的一个子集(音频 格式)。
特点：压缩到MP3一半
多媒体技术及应用数字音频技术02
2-11
2.1 数字音频基础
5. MIDI和RMI文件 MIDI(乐器数字接口)是由一组音乐、乐 谱或乐器符号的数字集合。 特点：播放效果与硬件相关，数据量很小， 音质不高、音色单调等 6.VOC文件 创新公司开发的声音文件格式，由文件头 块和音频数据块组成。
音乐是符号化的声音。
多媒体技术及应用数字音频技术02
2.1 数字音频基础
二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机) 2.声音数字化过程
模拟信号
采样
量化
编码
数字信号
模拟信号
A/D ADC D/A DAC
数字信号
多媒体技术及应用数字音频技术02
2.1 数字音频基础
霍夫曼编码、算术编码、行程编码 ②有损压缩
波形编码--PCM、DPCM、ADPCM 子带编码、矢量量化
参数编码--LPC 混合编码--MPLPC、CELP
多媒体技术及应用数字音频技术02
2.2 数字音频压缩标准
二、音频压缩技术标准
分类
电话语 音质量
调幅广 播质量 高保真 立体声
标准 G.711 G.721 G.723 G.728
多媒体技术及应用数字 音频技术02
2020/11/14
多媒体技术及应用数字音频技术02
第二章 数字音频技术
2.1 数字音频基础 2.2 数字音频压缩标准 2.3 声卡与电声设备 2.4 MIDI与音乐合成 2.5 音频编辑软件 2.6 语音识别技术 本章小结
4. WMA文件
WMA(Windows Media Audio)是 Windows Media格式中的一个子集(音频 格式)。
特点：压缩到MP3一半
多媒体技术及应用数字音频技术02
2-11
2.1 数字音频基础
5. MIDI和RMI文件 MIDI(乐器数字接口)是由一组音乐、乐 谱或乐器符号的数字集合。 特点：播放效果与硬件相关，数据量很小， 音质不高、音色单调等 6.VOC文件 创新公司开发的声音文件格式，由文件头 块和音频数据块组成。
音乐是符号化的声音。
多媒体技术及应用数字音频技术02
2.1 数字音频基础
二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机) 2.声音数字化过程
模拟信号
采样
量化
编码
数字信号
模拟信号
A/D ADC D/A DAC
数字信号
多媒体技术及应用数字音频技术02
2.1 数字音频基础
霍夫曼编码、算术编码、行程编码 ②有损压缩
波形编码--PCM、DPCM、ADPCM 子带编码、矢量量化
参数编码--LPC 混合编码--MPLPC、CELP
多媒体技术及应用数字音频技术02
2.2 数字音频压缩标准
二、音频压缩技术标准
分类
电话语 音质量
调幅广 播质量 高保真 立体声
标准 G.711 G.721 G.723 G.728
多媒体技术及应用数字 音频技术02
2020/11/14
多媒体技术及应用数字音频技术02
第二章 数字音频技术
2.1 数字音频基础 2.2 数字音频压缩标准 2.3 声卡与电声设备 2.4 MIDI与音乐合成 2.5 音频编辑软件 2.6 语音识别技术 本章小结
多媒体技术数字音频基础PPT课件
– 音调（在音乐上音调叫音高）人耳对声音调子高 低的主观感觉取决于声音频率，频率越高，音调 也越高，音调与频率成对数关系，频率增加一倍， 增加一个倍频程，音乐上叫提高了八度
– 音色 由声音的波形或它的频谱结构决定，它是个 复杂感觉，无法定量表示
6
信号的获取
话 筒 放 大
滤 波
采 样 保 持 A /D
接 口 微 机
采 样 脉 冲
• 获取法：利用声音获取硬件得到声源发生的声 音
• 合成法：通过一种专门定义的语音去驱动一台
预制的语音或音乐合成器。
• 多媒体计算机中三类声音：
①语音②音乐③效果声（sound effects）如刮风、下雨
等
7
音频信号的处理
A/D转换后进行数据压缩
存储或传输
硬件（DSP）
采样与混叠
思考题：设音频信号的高频截至频率为7KHz， 抽样频率为6KHz，
问：0.5KHz信号中混有哪些频率的信号？
0 1 2 3 4 5 6 7 KHz 21
抽样与混叠
思考题：设音频信号的高频截至频率为7KHz， 抽样频率为6KHz，
问：0.5KHz信号中混有哪些频率的信号？
0 1 2 3 4 5 6 7 KHz 22
称之为抽样。该时间间隔称为抽样周期(其倒数
称为采样频率)。
13
音频数字化
14
2.1 数字音频基础
1、数字化音频的获取与处理基本概念 2、模拟音频与数字音频的区别 3、数字音频采样和量化的基本原理 4、数字音频的文件格式 5、音频信号的特点。
采样
采样——将连续的声波信号x(t)按一定的 时间间隔（T）取值，得到离散的信号序 列x(nT)
T——采样周期 1/T——采样频率 x(nT)——离散信号序列
– 音色 由声音的波形或它的频谱结构决定，它是个 复杂感觉，无法定量表示
6
信号的获取
话 筒 放 大
滤 波
采 样 保 持 A /D
接 口 微 机
采 样 脉 冲
• 获取法：利用声音获取硬件得到声源发生的声 音
• 合成法：通过一种专门定义的语音去驱动一台
预制的语音或音乐合成器。
• 多媒体计算机中三类声音：
①语音②音乐③效果声（sound effects）如刮风、下雨
等
7
音频信号的处理
A/D转换后进行数据压缩
存储或传输
硬件（DSP）
采样与混叠
思考题：设音频信号的高频截至频率为7KHz， 抽样频率为6KHz，
问：0.5KHz信号中混有哪些频率的信号？
0 1 2 3 4 5 6 7 KHz 21
抽样与混叠
思考题：设音频信号的高频截至频率为7KHz， 抽样频率为6KHz，
问：0.5KHz信号中混有哪些频率的信号？
0 1 2 3 4 5 6 7 KHz 22
称之为抽样。该时间间隔称为抽样周期(其倒数
称为采样频率)。
13
音频数字化
14
2.1 数字音频基础
1、数字化音频的获取与处理基本概念 2、模拟音频与数字音频的区别 3、数字音频采样和量化的基本原理 4、数字音频的文件格式 5、音频信号的特点。
采样
采样——将连续的声波信号x(t)按一定的 时间间隔（T）取值，得到离散的信号序 列x(nT)
T——采样周期 1/T——采样频率 x(nT)——离散信号序列
第二章 数字音频处理
◆
为了把采样得到的离散序列信号存入计算机， 必须将采样值量化成有限个幅度值的集合，采样值 用二进制数字表示的过程称为量化编码。
左图为采样率2000Hz，量化等级为20的采样量化过程 右图为采样率4000Hz，量化等级为40的采样量化过程
当采样率和量化等级提高一倍，从图中可以看出， 当采样率和量化等级提高一倍，从图中可以看出， 当用D/A转换器重构原来信号时（图中的轮廓线）， D/A转换器重构原来信号时 ），信 当用D/A转换器重构原来信号时（图中的轮廓线），信 号的失真明显减少，信号质量得到了提高。 பைடு நூலகம்的失真明显减少，信号质量得到了提高。
2.1.2 声音的三要素
声音的三要素是音调、音色和音强。 声音的三要素是音调、音色和音强。 音调 音调---代表了声音的高低。 1.音调---代表了声音的高低 1.音调---代表了声音的高低。 音调与频率有关，频率越高，音调越高，反之亦 音调与频率有关，频率越高，音调越高， 如果改变某种声源的音调， 然。如果改变某种声源的音调，则声音会发生质 的转变，使人们无法辨别声源本来的面目。 的转变，使人们无法辨别声源本来的面目。
fs ≥2f 或者 Ts ≤T/2 其中f为被采样信号的最高频率 fs 为采样频率
2.2.3 影响数字音频质量的技术参数 对模拟音频信号进行采样量化编码后，得 到数字音频。数字音频的质量取决于采样频率、 量化位数和声道数三个因素。 1) 采样频率 采样频率是指一秒钟时间内采样的次数。 在计算机多媒体音频处理中，采样频率通常采 用三种：11.025KHz(语音效果)、22.05KHz(音 乐效果)、44.1KHz(高保真效果)。常见的CD唱 盘的采样频率即为44.1KHz。
2.1 多媒体计算机的组成与结构 2.2 多媒体音频 2.3 多媒体视频 2.4 多媒体光存储器 2.5 多媒体输入输出设备
为了把采样得到的离散序列信号存入计算机， 必须将采样值量化成有限个幅度值的集合，采样值 用二进制数字表示的过程称为量化编码。
左图为采样率2000Hz，量化等级为20的采样量化过程 右图为采样率4000Hz，量化等级为40的采样量化过程
当采样率和量化等级提高一倍，从图中可以看出， 当采样率和量化等级提高一倍，从图中可以看出， 当用D/A转换器重构原来信号时（图中的轮廓线）， D/A转换器重构原来信号时 ），信 当用D/A转换器重构原来信号时（图中的轮廓线），信 号的失真明显减少，信号质量得到了提高。 பைடு நூலகம்的失真明显减少，信号质量得到了提高。
2.1.2 声音的三要素
声音的三要素是音调、音色和音强。 声音的三要素是音调、音色和音强。 音调 音调---代表了声音的高低。 1.音调---代表了声音的高低 1.音调---代表了声音的高低。 音调与频率有关，频率越高，音调越高，反之亦 音调与频率有关，频率越高，音调越高， 如果改变某种声源的音调， 然。如果改变某种声源的音调，则声音会发生质 的转变，使人们无法辨别声源本来的面目。 的转变，使人们无法辨别声源本来的面目。
fs ≥2f 或者 Ts ≤T/2 其中f为被采样信号的最高频率 fs 为采样频率
2.2.3 影响数字音频质量的技术参数 对模拟音频信号进行采样量化编码后，得 到数字音频。数字音频的质量取决于采样频率、 量化位数和声道数三个因素。 1) 采样频率 采样频率是指一秒钟时间内采样的次数。 在计算机多媒体音频处理中，采样频率通常采 用三种：11.025KHz(语音效果)、22.05KHz(音 乐效果)、44.1KHz(高保真效果)。常见的CD唱 盘的采样频率即为44.1KHz。
2.1 多媒体计算机的组成与结构 2.2 多媒体音频 2.3 多媒体视频 2.4 多媒体光存储器 2.5 多媒体输入输出设备
第5讲—第二章 数字音频处理技术(2)
14
（对应书中第六章） 对应书中第六章）
思考题
数据压缩技术
主要内容
基本概念 ■ 信息熵概念 信息熵概念 ■ 数据压缩必要性 ■ 数据压缩条件 ■ 数据冗余 ■ 数据压缩算法性能指标 ■ 数据压缩算法分类 ■ 统计编码 行程长度压缩 霍夫曼编码 算术编码 词典编码 ■ 预测编码 ■ 变换编码 JPEG 编码 ■ JPEG三个标准 三个标准 ■ JPEG编码和解码模型 编码和解码模型 离散余弦变换 量 化 DC和AC系数的编码 和 系数的编码 熵编码 MPEG 编码
●合成器
合成器是一种将MIDI文件中的数字信号转换成声音波形的电子设备。 文件中的数字信号转换成声音波形的电子设备。 合成器是一种将 文件中的数字信号转换成声音波形的电子设备 常用的MIDI合成器有 合成器和 合成器有FM合成器和 合成器二种类型。 常用的 合成器有 合成器和WAVETABLE合成器二种类型。 合成器二种类型
●电子音乐合成
使用计算机利用声音合成技术生成音乐的技术称为电子音乐合 成。
4
MIDI文件与 文件与WAV文件比较 文件与 文件比较
●MIDI指令 指令
MID数据是一套指令，它指示乐器即MIDI设备做了什么，怎么做 数据是一套指令，它指示乐器即 设备做了什么， 数据是一套指令 设备做了什么 如演奏音符、加大音量、生成音响效果等。 的，如演奏音符、加大音量、生成音响效果等。
●音序器
音序器是一种记录、编辑和生成 文件的软件。 音序器是一种记录、编辑和生成MIDI文件的软件。它将乐曲的 文件的软件 数字化信息按时间或节拍顺序记录下来， 数字化信息按时间或节拍顺序记录下来，根据用户的要求进行编辑 修改或创作MIDI文件。最后把 文件。 文件送到合成器， 、修改或创作 文件 最后把MIDI文件送到合成器，经合成后自 文件送到合成器 动演奏播放。 动演奏播放。
第2章 Foobar2000及无损音乐
音频视频编辑第2章Foobar2000及无损音乐2.1 Foobar2000 (2)2.1.1 Foobar2000特色 (2)2.1.2 Foobar2000安装与设置 (3)1. 插件安装和管理 (3)2. 快捷键设置 (3)3. 面板设置和管理 (4)2.1.3 Foobar2000使用技巧 (4)2.2 无损音乐 (5)2.2.1 FLAC 自由无损音频编码 (5)2.2.2 APE 最流行的网络音频格式 (6)2.2.3 WavPack 混成压缩格式 (6)2.3 无损音乐播放与转换 (8)2.3.1 播放 (8)2.3.2 分轨与转换 (8)2.3.3 合并与转换 (11)第2章目录2013年4月16日星期二11:36:55 PM此文档打开第1页音频视频编辑第2章Foobar2000及无损音乐Foobar2000是一款音乐播放器。
Foobar2000具有良好的架构，几乎所有功能都实现模块化运行，不管是多标签播放列表管理，还是可视化效果。
模块化最大的好处是可以实现更专业、更深入的开发和升级，而不会影响其它功能的运行。
Foobar2000以高音质、资源占用小为目标，没有多余的东西，但有开放的扩展插件接口。
Foobar2000的定位是专业数字音频播放工具，它更注重技术，所以在使用过程中涉及到了很多的专业数字音频知识。
目前音乐文件播放格式分为有损压缩和无损压缩两种。
使用不同格式的音乐文件，在音质的表现上有很大的差异。
常见的MP3、WMA、OGG被称为有损压缩。
有损压缩顾名思义就是降低音频采样频率与比特率，输出的音频文件会比原文件小。
另一种音频压缩被称为无损压缩，能够在100%保存原文件的所有数据的前提下，将音频文件的体积压缩的更小，而将压缩后的音频文件还原后，能够实现与源文件相同的大小、相同的码率。
目前无损压缩格式有APE、FLAC、WavPack、LPAC、WMALossless、AppleLossless、La、OptimFROG、Shorten，而常见的、主流的无损压缩格式目前有FLAC、APE。
第二章语音信号处理的基础知识-
Tp 基音周期
声带的开启和闭合称 为振动。这一振动过程周 而复始，形成了一串周期 性脉冲气流送入声道。这 个过程发出的音称为浊音。 如汉语发音的[a]、[i]、[u] 和[o]等。
女声汉语拼音a的时域波形
基音频率（Fundamental Frequency） F0
☆ F0 =1/Tp，基音频率，由声带的质量来决定。 ☆ F0的大小决定了声音的高低，称为音高。 ☆ 男性的F0大致分布在： 60~200Hz ☆ 女性和儿童的F0大致分布在：200~450Hz
二、语音的基本声学特性
语音是发声器官发出的一种声波，具有一定的音 色、音调和音强和音长。
●音色: 又称为音质，是一种声音区别于另一种 声音的基本特性。
●音调：声音的高低，取决于声波的频率 ●音强：声音的强弱，它由声波的振动幅度所决 定 ●音长：发音时间的长短
三、音节与音素
句子的最小单位为单词，单词的最小单位为音节。
音节
声母
韵母
无声段 声母辅音段 送气段 前过渡段 元音段 后过渡段 鼻音段
§2.4 语音生成系统和语音感知系统
一、语音发音系统 二、语音听觉系统
一、语音发音系统（发音器官及其作用）
●肺：能源； ●喉：振动源，包括声带和声门； ●声道（声门到嘴唇的呼气通道）：谐振腔； ●其他发音器官：包括唇、齿、舌、面颊等， 使谐振腔改变形状。
二、语音听觉系统（一个十分巧妙的音频信号处理器）
人类接收语音由人耳来完成，空气振动由耳廓收 集，经外耳道而抵达鼓膜，鼓膜随之振动，使鼓室 中的空气和听骨链也发生振动，听骨链的振动经前 庭窗（卵圆窗）激励前庭淋巴，变为液波，液波使 位于基底膜上的螺旋器受到刺激，将神经冲动经听 神经传到中枢而产生听觉。
第2章 音频处理技术(二)
上一页 下一页 第21|82页
MP3文件
MP3文件是采用MP3算法压缩生成的数字音频 数据文件，以‚.MP3”为文件后缀。 MP3利用MPEG制定的MPEG-1 Audio layer 3 的压缩标准，将音频信息用10:1甚至12:1压 缩率变成容量较小的数据文件。 虽然MP3是一种利用了人类心理声学特性的 有损压缩，人耳基本不能分辨出失真，音质 几乎达到了CD音质标准。按照这种算法，10 张CD-DA的内容可以压缩到l张CD-ROM中，而 且视听效果相当好。
上一页 下一页 第34|82页
压缩算法分类
根据压缩原理划分有预测编码、 变换编码、矢量编码、子带编 码、熵编码等。
上一页
下一页
第35|82页
1）预测编码
对于语音，就是通过预测去除语音信号时间 上的相关性。而对于图像，帧内预测去除了 空间上的冗余，帧间预测则可以去除时间上 冗余。 目前大多数语音、图像编码中都采用了预测 技术。 例如语音中的LPC(linear Predictive Coding，线性预测)、CELP(码激励线性预 测)、图像中的ADPCM(自适应差分脉冲编 码调制)等。
上一页 下一页 第19|82页
数字音频文件格式
数字声音文件格式是数字音 频在磁盘文件中的存放形式， 相同的数据可以有不同的文 件格式，而不同的数据也可 以有相同的文件格式。 WAVE 格式 MP3 格式 RA 格式
上一页
下一页
第20|82页
WAVE文件格式
WAVE文件是一种通用的音频数据文件，文 件扩展名为‚．WAV”，Windows系统和一 般的音频卡都支持这种格式文件的生成、 编辑和播放。 CD激光唱盘中包含的就是WAVE格式的波形 数据。一般说来，声音质量与其WAVE格式 的文件大小成正比。 WAVE文件的特点是易于生成和编辑，但在 保证一定音质的前提下压缩比不够，不适 合在网络上播放。
MP3文件
MP3文件是采用MP3算法压缩生成的数字音频 数据文件，以‚.MP3”为文件后缀。 MP3利用MPEG制定的MPEG-1 Audio layer 3 的压缩标准，将音频信息用10:1甚至12:1压 缩率变成容量较小的数据文件。 虽然MP3是一种利用了人类心理声学特性的 有损压缩，人耳基本不能分辨出失真，音质 几乎达到了CD音质标准。按照这种算法，10 张CD-DA的内容可以压缩到l张CD-ROM中，而 且视听效果相当好。
上一页 下一页 第34|82页
压缩算法分类
根据压缩原理划分有预测编码、 变换编码、矢量编码、子带编 码、熵编码等。
上一页
下一页
第35|82页
1）预测编码
对于语音，就是通过预测去除语音信号时间 上的相关性。而对于图像，帧内预测去除了 空间上的冗余，帧间预测则可以去除时间上 冗余。 目前大多数语音、图像编码中都采用了预测 技术。 例如语音中的LPC(linear Predictive Coding，线性预测)、CELP(码激励线性预 测)、图像中的ADPCM(自适应差分脉冲编 码调制)等。
上一页 下一页 第19|82页
数字音频文件格式
数字声音文件格式是数字音 频在磁盘文件中的存放形式， 相同的数据可以有不同的文 件格式，而不同的数据也可 以有相同的文件格式。 WAVE 格式 MP3 格式 RA 格式
上一页
下一页
第20|82页
WAVE文件格式
WAVE文件是一种通用的音频数据文件，文 件扩展名为‚．WAV”，Windows系统和一 般的音频卡都支持这种格式文件的生成、 编辑和播放。 CD激光唱盘中包含的就是WAVE格式的波形 数据。一般说来，声音质量与其WAVE格式 的文件大小成正比。 WAVE文件的特点是易于生成和编辑，但在 保证一定音质的前提下压缩比不够，不适 合在网络上播放。
第2章 数 字 声 音
声音类型 声音带宽（Hz） 数字语音 CD唱片 300～3400 20～20 000 采样频率 （kHz） 8 44.1 量化位数 （bits） 8 16 声道数 1 2 未压缩时的码率 （kbps） 64 1411.2
声音数据量以Byte为单位，可由下式算出： 声音数据量＝采样频率×（量化精度÷8）×声道数×时间 ＝（声音的码率÷8）×时间 例如，CD唱片的采样频率是44.1kHz，量化精度为16位，声道数为2（立体声）， 那么，根据上式计算出每分钟声音的数据量为44 100×（16/8）×60×2≈10.09MB。
3．声道数 ． 立体声虽然满足了人们对左、右声道位置感体验的要求，但要达到好的效果， 仅仅依靠两个音箱是远远不够的。随着声音合成技术的发展，双声道立体声逐步 向效果来模拟的，例如，画面中一架飞机从远处向你飞来，引擎呼啸声由 远而近，让你感觉就好像身处飞机场一样。往后便发展到4声道（两前两后）、 DVD的6声道（5.1）、7声道（6.1）、8声道（7.1），以及电影院的10声道。5.1声 道的音箱系统如图2.5所示。
图2.5 5.1声道的音箱系统
音频API种类繁多，目前各种游戏可以使用的API和3D技术大体上有 DirectSound 3D（DS3D），A3D，EAX，Sensaura 3D，Q3D，IAS等。不同的声卡硬 件和不同的游戏往往支持多种不同的API和3D技术，这主要取决于声卡所采用的 音效芯片的类型。 （1）DirectSound 3D DirectSound 3D（即DS3D）是DirectX中的一个组件，是Microsoft公司专为游戏 开发的API，得益于DirectX的不断发展和完善，DS3D得到了众多声卡厂商的支持。 DS3D的作用在于帮助开发者定义声音在3D空间中的定位和声响，然后把它交给与 DS3D兼容的声卡，让它们用各种算法去实现。定位声音的效果好坏实际上取决于 声卡所采用的算法。 （2）Aureal 3D Aureal 3D简称A3D，是由著名的Aureal Semiconductor公司开发的新型3D音效 定位技术。使用这一技术的应用程序（通常是游戏）可以根据用户的选择来决定 音效的变化，而且可以只通过一对普通的音箱或耳机来实现，产生围绕听者的3D 精确定位音效。
声音数据量以Byte为单位，可由下式算出： 声音数据量＝采样频率×（量化精度÷8）×声道数×时间 ＝（声音的码率÷8）×时间 例如，CD唱片的采样频率是44.1kHz，量化精度为16位，声道数为2（立体声）， 那么，根据上式计算出每分钟声音的数据量为44 100×（16/8）×60×2≈10.09MB。
3．声道数 ． 立体声虽然满足了人们对左、右声道位置感体验的要求，但要达到好的效果， 仅仅依靠两个音箱是远远不够的。随着声音合成技术的发展，双声道立体声逐步 向效果来模拟的，例如，画面中一架飞机从远处向你飞来，引擎呼啸声由 远而近，让你感觉就好像身处飞机场一样。往后便发展到4声道（两前两后）、 DVD的6声道（5.1）、7声道（6.1）、8声道（7.1），以及电影院的10声道。5.1声 道的音箱系统如图2.5所示。
图2.5 5.1声道的音箱系统
音频API种类繁多，目前各种游戏可以使用的API和3D技术大体上有 DirectSound 3D（DS3D），A3D，EAX，Sensaura 3D，Q3D，IAS等。不同的声卡硬 件和不同的游戏往往支持多种不同的API和3D技术，这主要取决于声卡所采用的 音效芯片的类型。 （1）DirectSound 3D DirectSound 3D（即DS3D）是DirectX中的一个组件，是Microsoft公司专为游戏 开发的API，得益于DirectX的不断发展和完善，DS3D得到了众多声卡厂商的支持。 DS3D的作用在于帮助开发者定义声音在3D空间中的定位和声响，然后把它交给与 DS3D兼容的声卡，让它们用各种算法去实现。定位声音的效果好坏实际上取决于 声卡所采用的算法。 （2）Aureal 3D Aureal 3D简称A3D，是由著名的Aureal Semiconductor公司开发的新型3D音效 定位技术。使用这一技术的应用程序（通常是游戏）可以根据用户的选择来决定 音效的变化，而且可以只通过一对普通的音箱或耳机来实现，产生围绕听者的3D 精确定位音效。
多媒体技术音频处理技术
计算时要注意几个单位的换算细节：
时间单位换算：1分=60秒
采样频率单位换算：1kHz=1000Hz
数据量单位换算：1MB=1024×1024=1048576B
未压缩的声音文件的存储量可用下式计算： 存储量（KB） =（采样频率KHZ×采样位数bit×声道数×时间秒）/8
2.VOC文件
VOC文件是Creative公司所使用的标准音频文件 格式，多用于保存 Creative Sound Blaster(创新 声霸)系列声卡所采集的声音数据，被Windows平台 和DOS平台所支持。
2.1.2 模拟音频的数字化过程
对模拟音频数字化过程涉及到音频的采样、量化和编码。 采样和量化的过程可由A/D转换器实现。A/D转换器以固定 的频率去采样，即每个周期测量和量化信号一次。经采样 和量化后声音信号经编码后就成为数字音频信号，可以将 其以文件形式保存在计算机的存储介质中。
模 拟 信 号 的 数 字 化 过 程
（4）音频变换与特殊效果：更改声音的大小、速度、回 音等。
录制一段音频
2.3 常用音频处理软件简介 Gold Wave：
左声道 右声道
GoldWave是一款相当不错的数码录音及编辑软件， 除了附有许多的效果处理功能外，它还能将编辑好 的文件存为WAV、AU、SND、RAW和AFC等格式。
作为Wave文件编辑处理工具，支持从MP3、MPG、 AVI、ASF、MOV等文件中提取音频进行编辑，所以除 了它强大的编辑功能外，用作把以上格式的音频转 换成WAV文件也是很方便的。
100101100011101
1. 采样
信息论的奠基者香农（Shannon）指出：在一定条件下， 用离散的序列可以完全代表一个连续函数，这是采样定理 的基本内容。
时间单位换算：1分=60秒
采样频率单位换算：1kHz=1000Hz
数据量单位换算：1MB=1024×1024=1048576B
未压缩的声音文件的存储量可用下式计算： 存储量（KB） =（采样频率KHZ×采样位数bit×声道数×时间秒）/8
2.VOC文件
VOC文件是Creative公司所使用的标准音频文件 格式，多用于保存 Creative Sound Blaster(创新 声霸)系列声卡所采集的声音数据，被Windows平台 和DOS平台所支持。
2.1.2 模拟音频的数字化过程
对模拟音频数字化过程涉及到音频的采样、量化和编码。 采样和量化的过程可由A/D转换器实现。A/D转换器以固定 的频率去采样，即每个周期测量和量化信号一次。经采样 和量化后声音信号经编码后就成为数字音频信号，可以将 其以文件形式保存在计算机的存储介质中。
模 拟 信 号 的 数 字 化 过 程
（4）音频变换与特殊效果：更改声音的大小、速度、回 音等。
录制一段音频
2.3 常用音频处理软件简介 Gold Wave：
左声道 右声道
GoldWave是一款相当不错的数码录音及编辑软件， 除了附有许多的效果处理功能外，它还能将编辑好 的文件存为WAV、AU、SND、RAW和AFC等格式。
作为Wave文件编辑处理工具，支持从MP3、MPG、 AVI、ASF、MOV等文件中提取音频进行编辑，所以除 了它强大的编辑功能外，用作把以上格式的音频转 换成WAV文件也是很方便的。
100101100011101
1. 采样
信息论的奠基者香农（Shannon）指出：在一定条件下， 用离散的序列可以完全代表一个连续函数，这是采样定理 的基本内容。
音频信息的获取与处理
3. 数字音频音质与数据流量 3.1 音频信号经过数字系统重现后的音质与系统频率响应的范围成正比. 模拟信号 A/D→D/A 模拟信号
“音质”正比于“采样频率”× “量化位数” 3.2 音频数据流量单位(比特率，位数，码率) kb/s(kbps) ， 8kbps = 1kBps = 采样频率 × 量化字节数 × 通道数 音频数据流量和数据量的计算 例: 对于调频广播级立体声，采样频率44.1 kHz，量化位数16 位，则音频信号 数字化后的数据量为: 44.1k×16 ×2 =1411.2 kb/s =176.4 kByte/s 采样频率 量化 声道数 数据量 电话: 11 kHz, 8位, 单声道, 88kb/s 收音机: 22kHz, 16位, 双声道, 352kb/s CD: 44.1kHz, 2Byte, 双声道, 1411 kb/s 音频数据总量=音乐时长×数据流量 例: 对于三分钟的乐曲，立体声总量=180s×176kB/s=31.68MB
第二章 音频信息的获取与处理
一．声音概述 二．数字化音频 三．音乐合成与MIDI 四．音频卡 五．数字音频压缩标准
2. 噪声 70dB: 50%的人的睡眠受到影响. 噪声性耳聋: 长期暴露在强噪声中, 听力不能复原, 引起心血管和消化系统疾病; 140dB ~160dB(高强度噪声): 会使鼓膜破裂, 双耳完 全失聪. 超音速飞机的轰声, 爆炸声: 玻璃震碎, 墙皮脱落 160dB以上的特强噪声: 使金属疲劳损坏
4.5 流式音频文件~ WMA扩展名 Microsoft 研制的一种压缩文件或流式文件, 相当于MP3, 压缩率较高和音质较好. 边下载边播放 4.6 流式音频文件~ RA扩展名 Real networks 推出的压缩格式，其压缩比可达到96:1. 4.7 数字音频文件~ PCM扩展名 模拟音频经A/D转换形成的二进制数字序列, 该文件没有文件头和文件结束标志. 音源信息完整, 冗余度过大, 音质好,数据量大. 较高保真水平, 被用于素材保存及音乐欣赏. 4.8 CD-DA音频文件~ CDA扩展名： 激光CD音乐盘格式. 音质好, 数据量大。 4.9 APE音频文件：是一种无损压缩音频技术，与MP3等有损压缩方式不同，在将CDA音 频数据文件压缩成APE格式后，还可将APE格式的文件还原为压缩前的CDA文件。APE 的文件大小约为CDA的一半。APE格式可用于通过网络传输CD质量的音乐. APE常用软件: CuteAPE(切割ape) Windows Media Player 11 千千静听 暴风影音和MPC等等。 5. 数字音频编辑：剪切粘贴, 左右声道剪切粘贴, 淡入淡出, 回声和混响, 模拟厅场。 6. 音频信号处理：声纹识别测谎，音乐合成，立体声模拟，采集，编解码和传输。
利用马尔可夫模型进行音频信号处理的教程(七)
利用马尔可夫模型进行音频信号处理的教程音频信号处理是一门复杂而又有趣的学科，它涉及到信号处理、数学、计算机科学等多个领域的知识。
而马尔可夫模型是一种常用的概率模型，可以用来描述具有随机性质的系统。
在音频信号处理中，利用马尔可夫模型可以对声音进行建模和分析，从而实现语音识别、音频压缩等应用。
本文将介绍如何利用马尔可夫模型进行音频信号处理。
1. 音频信号处理概述音频信号处理是指对声音信号进行获取、传输、存储、处理和重现的过程。
在这个过程中，我们需要用到很多数学和工程技术的知识，比如数字信号处理、滤波、压缩编解码等。
而在音频信号处理中，我们经常需要对声音进行建模和分析，以实现语音识别、音频压缩、音频合成等功能。
2. 马尔可夫模型简介马尔可夫模型是一种描述随机过程的数学模型，它具有“马尔可夫性质”，即未来状态只依赖于当前状态，与过去状态无关。
马尔可夫模型可以用来描述许多具有随机性质的系统，比如天气预测、语音识别等。
在音频信号处理中，我们可以利用马尔可夫模型对声音进行建模和分析。
3. 马尔可夫模型在音频信号处理中的应用在音频信号处理中，马尔可夫模型可以用来对声音进行建模和分析。
比如在语音识别中，我们可以利用马尔可夫模型来对语音进行建模，然后利用这个模型来识别语音。
在音频压缩中，我们可以利用马尔可夫模型对声音进行建模和压缩，从而实现音频文件的压缩和存储。
此外，在音频合成中，我们也可以利用马尔可夫模型对声音进行建模和合成，从而实现合成声音的生成。
4. 利用马尔可夫模型进行音频信号处理的步骤利用马尔可夫模型进行音频信号处理，一般可以分为以下几个步骤：（1）数据采集：首先需要采集一定量的声音数据，这些数据将被用来建立马尔可夫模型。
（2）特征提取：接下来需要对采集到的声音数据进行特征提取，抽取出一些关键的声音特征，比如频谱特征、时域特征等。
（3）模型建立：然后利用特征提取的声音数据，建立马尔可夫模型。
这个模型将描述声音数据的变化规律，从而可以用来对声音进行建模和分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
连接字语音识别系统 连续语音识别系统。
对说话人的依赖程度
特定人语音识别系统 非特定人语音识别系统
70年代：提出了动态时间归正技术（DTW），矢
量量化（VQ）和隐马尔可夫模型（HMM）理论， 实现了特定人孤立语音识别系统。 90年代：开始进入实用阶段。
词汇量大小
小词汇量语音识别系统 中等词汇量语音识别系统 大词汇量语音识别系统 无限词汇量语音识别系统。
3．MP3文件：是MPEG音频第3层的简称，有损压缩，压缩比达12:1。MP3利用人耳的掩蔽特性，
削减音频中人耳听不到的成分，同时尽可能地维持原来的声音质量。
4．RA文件：属于Real Media的音频部分，采用流式传输方式，可以在非常低的带宽下提供足
够好的音质让用户能在线聆听。
5．WMA 文件：Windows Media的音频部分。无损压缩，支持多声道编码。 6．AC3文件：又叫杜比数码环绕立体声，压缩比10:1，提供的环绕声系统由5个全频域声道和1
时处理的轨道数为128个。按钮“R”表示录音、“S”表示独奏、“M”表示静音。
1．常用编辑
（1）裁剪音频波形 波形的选择 波形的删除 波形的移动与复制
混合工具：拖曳左键选中波形，拖曳右键移动波形。 时间选择工具：拖曳左键选中波形。 移动/复制剪辑工具：拖曳左键移动波形，拖曳右键移动或 复制。 刷选工具：拖曳左键可以播放选中波形。
（4）编组音频波形
编组则可以使多个音频片段的相对位置固定，移动时可整体移动。
2．包络编辑
（1）音量包络编辑
音量包络是指音频波形随时间变化而产生的音量变化，也即是音量变化
的走势曲线。通过控制音量包络曲线来改变某音轨上音频信号的音量大小，是 一个非常直观和简单有效的方法。
（2）声相包络编辑
声相就是声音在左右声道中所处的位置。声相包络线处于中间时（0点）， 声音在左右声道中达到平衡的效果，声相包络线位于上半部，声音偏向左声道， 声相包络线位于下半部，声音偏向右声道。
2）信噪比（SNR）：即有用信号与噪音信号的强度之比，对于声卡或音 箱则是其产生的最大不失真声音信号强度与同时发出的噪音强度之比， 单位是分贝。 3) 声音主观质量的度量：主观度量就是大多数人对声音质量的感觉。
3．音频信号的表示
声音信号通过麦克风等设备转换成电信号以后称之为音频信号。
（1）规则音频信号
第2 章
2 ．1 2 ．2 2 ．3
音频信息处理
音频处理基础 音频处理软件Adobe Audition 音频处理综合应用案例
2.1 音频处理基础
2.1.1 音频信号概述
1. 声波
（1）声波：由各种机械振动或气流的扰动引起周围的弹性媒质发生波动。 （2）声源：产生声波的物体，如人的声带和乐器等。 （3）声音：人的听觉系统所能感知到的声波。
一首未经压缩的4分钟的歌曲文件的大小约为40MB，那么一个容量为512MB的
MP3播放器也只能播放12首这样的歌曲。
2.
数字音频压缩标准
标准 G.711 编码方法 PCM
电话质量的语音压缩标准
采样频率 8kHz 采样精度 8位 数据传输率 64kb/s
G.721
G.723
ADPCM
ADPCM LD-CELP
加载效果器
加载效果器按照使用方法可分为：
插入效果器：作用的声音范围是一整条音轨； 波形效果器：作用于音轨中的某一段音频片段；
60～70
70～90
>90
听觉效果
能分辨
轻声
ห้องสมุดไป่ตู้
正常交谈声
吵闹
很吵
听力受损
常见声音的分贝量级
（2）声音信号的心理学特征
人们感知到的声音特征称为心理学特征。
音调： 在音乐中又叫音高，是由发声物体的振动频率决定，振动越快 （即频率越大），音调越高，振动越慢，音调越低。音调的高低与声音 基频的对数（20*log）成线性关系。基频越低，给人的感觉是声音越低 沉，基频频率增加一倍，在音乐上就叫升高了一个八度。
文语转换 语音查询
2.2 音频处理软件 Adobe Audition
2.2.3 Audition界面及基本操作
单轨编辑界面
多轨编辑界面
2.2.4
音频信号获取
直接读取计算机磁盘上的音频文件； 提取视频信息中的音频信号； 直接录音。Audition允许同时进行多音轨录音，当然需要有相应的硬件支持，比 如多个音频输入接口、多个录音源等。
2．声音的基本特征
（1）声波信号的物理特征
周期（T）：声波的两个波峰或波谷之间的相对时间。 频率（f）：周期的倒数（f=1/T），即每秒波峰或波谷出现的次
数。
声波的幅度：从声波信号的基线到波峰的距离，幅度越大声波的 强度也越大。通常也用声压、声强或声功率来表示声音的强弱。
分贝数
低于20
20～40
40～60
（1）采样
声音信号在时间轴上的离散化，即每隔相等的一段时间抽取一个 信号样本。 采样频率：每秒采样的次数。 奈奎斯特理论（Nyquist theory）：采样频率不应低于声音信号最高 频率的两倍，这样就能把以数字声音还原成原来的声音，称为无损数 字化。 f s >= 2 f max 电话话音信号的最高频率约为3.4kHz，所以采样频率取为8kHz。
数字音频工作站
2. 智能语音处理技术
（1）语音识别技术
1）语音识别的发展
50年代:AT&T Bell实验室实现了第一个可识别十 个英文数字的语音识别系统——Audry系统。 60年代：提出动态规划（DP）和线性预测分析技 术（LP）。
2）语音识别系统分类
对说话人说话方式的要求
孤立字（词）语音识别系统
（2）音频信号的表示
1）音频信号的数学表示
f (t ) An sin(n 0 t n )
n 0
其中：ω0表示声音的基音，决定了音调的高低，nω0是ω0的n次谐波分量，代表了 声音的泛音，决定了声音的音色，An 是声波的振幅，表示声音的强弱。
2）音频信号的波形表示
3）音频信号的频谱表示
（2） 量化
将连续的声音信号的幅度离散化。
也就是采样过程中对每一个采样点的幅度值用数字量来表示。如果幅度的 划分是等间隔的，称为线性量化，否则为非线性量化。
采样精度：即量化的位数，位数越多量化等级数也越多，所能表 示的声波幅度的动态范围也越大，当然需要的存储空间也越大。
（3） 编码
就是用一组二进制码组来表示每一个有固定电平的量化值，或者说将 量化值转换成二进制码组。 典型的音频编码方法：脉冲编码调制法（PCM）。
信号频谱即信号频率的分布曲线。复杂的声音可以认为是振幅不同和频率不同 的正弦声波叠加而成的，这些正弦声波的幅值按频率排列的图形就叫做频谱 。 男声的基频较低，低频分量更加丰富，因此听起来会更加低沉、浑厚。
2.1.2
音频信号的数字化
1. 音频信号数字化
声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上 也是连续的，属于模拟信号。
音色：这是一个主观评价声音的量，声音的音色取决于声音的频谱结构， 一般高次谐波越丰富，音色越明亮并具有穿透力。 响度：人耳对声音强弱的感觉程度，主要取决于振幅和声压。通常振幅 越大声音越响，其次人耳距离声源越远，声音越小。
（3）声音质量的评价
声音质量与带宽有关，频率范围越宽，声音质量越高。
3）Layer 3：编码器复杂，输出数据率为64kb/s，主要用于ISDN上的声音传输。
3. 数字音频文件的格式
1．WAV文件：波形文件，微软开发，需要的存储量大，多用于存储简短的声音片段和旁白。 2．MIDI文件：记录的是生成音乐的指令，MIDI文件短小。由于MIDI记录的并不是真正的声音，
所以不同的声卡，不同软波表，不同硬件音源的音色是不相同的，相同的MIDI文件在不同的 设备上播放也会有不同的效果。MIDI文件适合作为背景音乐来播放。
（4）数字音频的数据量
数据量 = 采样频率* 采样精度* 采样时间* 声道数 / 8 单声道：一次只产生一组声波数据， 立体声：一次产生两组声波数据，分别送往左声道和右声道，根据声音到达人耳的 时间差产生空间立体效果，因此立体声声波数据所需存储空间是单声道的一倍。 例2.1 计算一分钟未压缩的高保真立体声数字声音数据的大小。 60 * （ 44100 * 16 * 2 ） / 8 = 10.09 MB （字节数）
（2） 语音合成技术
语音合成技术：指利用计算机合成语音信号的技术，使计算机能够产生高清
晰度和高自然度的连续语音，能够具有类似普通人的说话能力。 语音合成的三个层次
从文字到语音 从概念到语音 从意向到语音
语音合成技术的特点
清晰度 自然度 表现力 复杂度
语音合成的应用
（3）音量淡化包络编辑
Audition提供了简单快速的音量淡化包络。在音乐制作领域，淡化 （fade）指音量的逐渐变化，音量由小到大变化称为淡入（fade in），音
量由大到小变化称为淡出（fade out）。
3．时间伸缩
用于改变声音播放的速度，且不影响音高。
“查看|启用剪辑时间伸展”
时间伸缩
2.2.6
（2）切分和合并音频
在多轨编辑状态下，可以对活动音轨上的波形进行分割，使其变成多个波形片 段，定位播放线，执行“剪辑|分割”或右击鼠标点选“分割”。 使两段波形首尾相接，按住Ctrl键将两段波形都选中，执行“剪辑|合并”或 右击鼠标点选“合并”即可完成。
（3）锁定音频波形
锁定使音频的绝对时间位置不变。
1．录音前声卡设置
“选项 | Windows 录音控制台 ”
对说话人的依赖程度
特定人语音识别系统 非特定人语音识别系统
70年代：提出了动态时间归正技术（DTW），矢
量量化（VQ）和隐马尔可夫模型（HMM）理论， 实现了特定人孤立语音识别系统。 90年代：开始进入实用阶段。
词汇量大小
小词汇量语音识别系统 中等词汇量语音识别系统 大词汇量语音识别系统 无限词汇量语音识别系统。
3．MP3文件：是MPEG音频第3层的简称，有损压缩，压缩比达12:1。MP3利用人耳的掩蔽特性，
削减音频中人耳听不到的成分，同时尽可能地维持原来的声音质量。
4．RA文件：属于Real Media的音频部分，采用流式传输方式，可以在非常低的带宽下提供足
够好的音质让用户能在线聆听。
5．WMA 文件：Windows Media的音频部分。无损压缩，支持多声道编码。 6．AC3文件：又叫杜比数码环绕立体声，压缩比10:1，提供的环绕声系统由5个全频域声道和1
时处理的轨道数为128个。按钮“R”表示录音、“S”表示独奏、“M”表示静音。
1．常用编辑
（1）裁剪音频波形 波形的选择 波形的删除 波形的移动与复制
混合工具：拖曳左键选中波形，拖曳右键移动波形。 时间选择工具：拖曳左键选中波形。 移动/复制剪辑工具：拖曳左键移动波形，拖曳右键移动或 复制。 刷选工具：拖曳左键可以播放选中波形。
（4）编组音频波形
编组则可以使多个音频片段的相对位置固定，移动时可整体移动。
2．包络编辑
（1）音量包络编辑
音量包络是指音频波形随时间变化而产生的音量变化，也即是音量变化
的走势曲线。通过控制音量包络曲线来改变某音轨上音频信号的音量大小，是 一个非常直观和简单有效的方法。
（2）声相包络编辑
声相就是声音在左右声道中所处的位置。声相包络线处于中间时（0点）， 声音在左右声道中达到平衡的效果，声相包络线位于上半部，声音偏向左声道， 声相包络线位于下半部，声音偏向右声道。
2）信噪比（SNR）：即有用信号与噪音信号的强度之比，对于声卡或音 箱则是其产生的最大不失真声音信号强度与同时发出的噪音强度之比， 单位是分贝。 3) 声音主观质量的度量：主观度量就是大多数人对声音质量的感觉。
3．音频信号的表示
声音信号通过麦克风等设备转换成电信号以后称之为音频信号。
（1）规则音频信号
第2 章
2 ．1 2 ．2 2 ．3
音频信息处理
音频处理基础 音频处理软件Adobe Audition 音频处理综合应用案例
2.1 音频处理基础
2.1.1 音频信号概述
1. 声波
（1）声波：由各种机械振动或气流的扰动引起周围的弹性媒质发生波动。 （2）声源：产生声波的物体，如人的声带和乐器等。 （3）声音：人的听觉系统所能感知到的声波。
一首未经压缩的4分钟的歌曲文件的大小约为40MB，那么一个容量为512MB的
MP3播放器也只能播放12首这样的歌曲。
2.
数字音频压缩标准
标准 G.711 编码方法 PCM
电话质量的语音压缩标准
采样频率 8kHz 采样精度 8位 数据传输率 64kb/s
G.721
G.723
ADPCM
ADPCM LD-CELP
加载效果器
加载效果器按照使用方法可分为：
插入效果器：作用的声音范围是一整条音轨； 波形效果器：作用于音轨中的某一段音频片段；
60～70
70～90
>90
听觉效果
能分辨
轻声
ห้องสมุดไป่ตู้
正常交谈声
吵闹
很吵
听力受损
常见声音的分贝量级
（2）声音信号的心理学特征
人们感知到的声音特征称为心理学特征。
音调： 在音乐中又叫音高，是由发声物体的振动频率决定，振动越快 （即频率越大），音调越高，振动越慢，音调越低。音调的高低与声音 基频的对数（20*log）成线性关系。基频越低，给人的感觉是声音越低 沉，基频频率增加一倍，在音乐上就叫升高了一个八度。
文语转换 语音查询
2.2 音频处理软件 Adobe Audition
2.2.3 Audition界面及基本操作
单轨编辑界面
多轨编辑界面
2.2.4
音频信号获取
直接读取计算机磁盘上的音频文件； 提取视频信息中的音频信号； 直接录音。Audition允许同时进行多音轨录音，当然需要有相应的硬件支持，比 如多个音频输入接口、多个录音源等。
2．声音的基本特征
（1）声波信号的物理特征
周期（T）：声波的两个波峰或波谷之间的相对时间。 频率（f）：周期的倒数（f=1/T），即每秒波峰或波谷出现的次
数。
声波的幅度：从声波信号的基线到波峰的距离，幅度越大声波的 强度也越大。通常也用声压、声强或声功率来表示声音的强弱。
分贝数
低于20
20～40
40～60
（1）采样
声音信号在时间轴上的离散化，即每隔相等的一段时间抽取一个 信号样本。 采样频率：每秒采样的次数。 奈奎斯特理论（Nyquist theory）：采样频率不应低于声音信号最高 频率的两倍，这样就能把以数字声音还原成原来的声音，称为无损数 字化。 f s >= 2 f max 电话话音信号的最高频率约为3.4kHz，所以采样频率取为8kHz。
数字音频工作站
2. 智能语音处理技术
（1）语音识别技术
1）语音识别的发展
50年代:AT&T Bell实验室实现了第一个可识别十 个英文数字的语音识别系统——Audry系统。 60年代：提出动态规划（DP）和线性预测分析技 术（LP）。
2）语音识别系统分类
对说话人说话方式的要求
孤立字（词）语音识别系统
（2）音频信号的表示
1）音频信号的数学表示
f (t ) An sin(n 0 t n )
n 0
其中：ω0表示声音的基音，决定了音调的高低，nω0是ω0的n次谐波分量，代表了 声音的泛音，决定了声音的音色，An 是声波的振幅，表示声音的强弱。
2）音频信号的波形表示
3）音频信号的频谱表示
（2） 量化
将连续的声音信号的幅度离散化。
也就是采样过程中对每一个采样点的幅度值用数字量来表示。如果幅度的 划分是等间隔的，称为线性量化，否则为非线性量化。
采样精度：即量化的位数，位数越多量化等级数也越多，所能表 示的声波幅度的动态范围也越大，当然需要的存储空间也越大。
（3） 编码
就是用一组二进制码组来表示每一个有固定电平的量化值，或者说将 量化值转换成二进制码组。 典型的音频编码方法：脉冲编码调制法（PCM）。
信号频谱即信号频率的分布曲线。复杂的声音可以认为是振幅不同和频率不同 的正弦声波叠加而成的，这些正弦声波的幅值按频率排列的图形就叫做频谱 。 男声的基频较低，低频分量更加丰富，因此听起来会更加低沉、浑厚。
2.1.2
音频信号的数字化
1. 音频信号数字化
声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上 也是连续的，属于模拟信号。
音色：这是一个主观评价声音的量，声音的音色取决于声音的频谱结构， 一般高次谐波越丰富，音色越明亮并具有穿透力。 响度：人耳对声音强弱的感觉程度，主要取决于振幅和声压。通常振幅 越大声音越响，其次人耳距离声源越远，声音越小。
（3）声音质量的评价
声音质量与带宽有关，频率范围越宽，声音质量越高。
3）Layer 3：编码器复杂，输出数据率为64kb/s，主要用于ISDN上的声音传输。
3. 数字音频文件的格式
1．WAV文件：波形文件，微软开发，需要的存储量大，多用于存储简短的声音片段和旁白。 2．MIDI文件：记录的是生成音乐的指令，MIDI文件短小。由于MIDI记录的并不是真正的声音，
所以不同的声卡，不同软波表，不同硬件音源的音色是不相同的，相同的MIDI文件在不同的 设备上播放也会有不同的效果。MIDI文件适合作为背景音乐来播放。
（4）数字音频的数据量
数据量 = 采样频率* 采样精度* 采样时间* 声道数 / 8 单声道：一次只产生一组声波数据， 立体声：一次产生两组声波数据，分别送往左声道和右声道，根据声音到达人耳的 时间差产生空间立体效果，因此立体声声波数据所需存储空间是单声道的一倍。 例2.1 计算一分钟未压缩的高保真立体声数字声音数据的大小。 60 * （ 44100 * 16 * 2 ） / 8 = 10.09 MB （字节数）
（2） 语音合成技术
语音合成技术：指利用计算机合成语音信号的技术，使计算机能够产生高清
晰度和高自然度的连续语音，能够具有类似普通人的说话能力。 语音合成的三个层次
从文字到语音 从概念到语音 从意向到语音
语音合成技术的特点
清晰度 自然度 表现力 复杂度
语音合成的应用
（3）音量淡化包络编辑
Audition提供了简单快速的音量淡化包络。在音乐制作领域，淡化 （fade）指音量的逐渐变化，音量由小到大变化称为淡入（fade in），音
量由大到小变化称为淡出（fade out）。
3．时间伸缩
用于改变声音播放的速度，且不影响音高。
“查看|启用剪辑时间伸展”
时间伸缩
2.2.6
（2）切分和合并音频
在多轨编辑状态下，可以对活动音轨上的波形进行分割，使其变成多个波形片 段，定位播放线，执行“剪辑|分割”或右击鼠标点选“分割”。 使两段波形首尾相接，按住Ctrl键将两段波形都选中，执行“剪辑|合并”或 右击鼠标点选“合并”即可完成。
（3）锁定音频波形
锁定使音频的绝对时间位置不变。
1．录音前声卡设置
“选项 | Windows 录音控制台 ”