02 音频信息的获取与处理
音频信息的获取与处理
声音是人们用来传递信息最方便、最熟悉的方式。
早期的PC是聪明的哑巴，后来利用PC的扬声器能够发出一点音效，如今多媒体技术的发展使计算机处理音频信息已达到较成熟的阶段。
本章我们简要介绍数字音频的基本概念，然后介绍音频文件的获取和输出，以及使用音频处理软件编辑音频文件的思路、操作和技巧。
一、声音的基本概念在多媒体系统中，声音是指人耳能识别的音频信息，对音频信号的处理方法大致可分为两类：数字音频方式，分析——合成的方式。
这里首先介绍音频信号处理过程中所涉及的基本概念。
1.声音的要素（1）音调：即声音的高低，由声波振动的频率决定。
（2）音强：又叫响度，由声波振动的振幅决定。
（3）音色：音色是由混入基音的泛音所决定的，高次谐波越丰富，音色就越有明亮感和穿透力。
不同的谐波具有不同的幅值An和相位偏移|n ，由此产生各种音色效果。
（4）音质：即声音聆听效果的好坏，例如噪音信号强的声音就比噪音信号弱的声音音质要差。
（5）波形：在数字环境下用来加强声音编辑的一种图形表示。
（6）振幅：一个特定时间上的声音信号强度。
（7）数字化声音的基本参数：采样频率：声音数字化过程中，每秒钟抽取声波幅度样本的次数。
量化位数：记录每次抽样结果的数据长度，常采用的有8位、16位等。
声道数：我们通常讲的立体声，也就是具有两个相对独立声道的声音。
编码方法（压缩方法）：将采样所得数据记录下来的格式。
2.声音的数字化声音的数字化是指按照一定的采样频率，从模拟声音波形上抽取声波的一个幅度值，而后将一定范围内的幅度值用一个数字表示，即量化的过程；最后，为了使计算机能够读懂数据，我们将以特定的格式将所得数据写成二进制的数据格式，也就是编码，从而实现声音从模拟量到数字量的转化。
数字化声音的优点，归结起来有如下几点：传输时抗干扰能力强；重放时声音效果好；易进行编辑处理；易纠错；易形成数据流；可进行数据压缩。
3.音频编码及压缩方法音频编码是声音数字化过程中的最后一步，它的实现是靠各种不同的压缩方法将数据编码压缩。
音频信息的获取
课题：音频信息的获取教学目标：知识与能力目标：1、了解获取音频信息的方式；2、配备录音所需的硬件和软件；3、使用Adobe Audition 录音；4、播放音频信息。
过程与方法：1、通过对录制好的朗读声，播放给学生欣赏,让学生产生兴趣对这节课的学习。
2、采用教师引导、布置任务，学生自主探究的方法，实现用Adobe Audition软件来制作“优美的朗读”或”歌曲”。
情感态度与价值观：1、在欣赏“优美的朗读”的同时，体会在Adobe Audition中录制自己声音的乐趣，帮助学生培养优雅的情操。
2、使学生对“Adobe Audition”的功能有了进一步的认识，激发学生学习的热情。
3、在获取音频信息的过程中形成合理录制和使用暴风影音播放音频信息的意识。
教学重点、难点：利用Adobe Audition音频处理软件录音。
教学方法：演示法、任务驱动法、学生自主探究的方法。
教学过程：一、导入新课：（播放优美的“配乐朗诵”和歌曲的朗读）教师：播放录制好的声音，感觉是不是很好听啊！那么老师有个小小的问题，要求同学们找出老师刚才所播放俩首曲有什么不同之处呢？学生答：第一首朗读古诗，第二首是歌曲。
教师：同学们回答得非常好，那么同学们想不想拥有自己朗读的古诗或自己所唱的歌曲给朋友或家人分享呢。
学生：想，（有的学生要录制自己的歌曲等）教师：那么下面我们就一起来学习获取音频信息及如何用Adobe Audition来录制音频信息和使用“暴风影音”软件播放信息。
二、新课讲解：任务一：获取音频信息（要求学生明白什么是音频信息）要求学生阅读课本P1页中的内容，师生一起来理解什么是音频信息。
任务二：获取音频信息的方式要求学生阅读课本P2页中的内容，并了解其方式，举例图1-1 专业录音棚现场。
任务三：配备录音所需的硬件和软件要求学生阅读课本P3页中的内容，教师总结。
注：使学生认识硬件和软件，及在日常生活中常用的一种采集音频信息方式，要具备麦克风和录音软件及计算机声卡。
第二章音频信息的获取与处理S讲义资料
2-2 采样：
模拟声音在时间上是连续的，而数字 音频是一个数字序列，在时间上只能是断 续的。因此当把模拟声音变成数字声音时， 需要每隔一个时间间隔在模拟声音波形上 取一个幅度值，称之为采样，采样的时间 间隔称为采样周期。
6
2-3 量化：
在数字音频技术中，把采样得到的表 示声音强弱的模拟电压用数字表示。模拟 电压的幅值仍然是连续的，而用数字表示 音频幅度时，只能把无穷多个电压幅度用 有限个数字表示，即把某一幅度范围内的 电压用一个数字表示，这称之为量化。
第二章 音频信息的获取与处理
音频（Audio）指人说话的声音频率。
（音频是个专业术语,人类能够听到的所有声音都称之为音频 ）
定义：20HZ～20KHZ的音频范围 分类：波形声音、语音、音乐 声音三要素：音调、音强、音色
1
考核目的： 考核学生对数字音频获取与处理的基本 原理、采样量化的基本原理、音频卡的 组成及工作原理、音频编码标准以及音 乐合成原理的理解和掌握。
14
2-10 音频卡的主要功能（教材P28） 音频的录制与播放、编辑与合成、MIDI接口、 文语转换、CD-ROM接口及游戏接口等。
15
2-11 音频卡的分类 音频卡的分类主要根据数据采样量化的位 数来分，通常分为8位、16位和32位等几类。 位数越高，量化精度越高，音质就越好。
16
2-12 音频卡的工作原理（教材P33-55）
7
2-4．奈奎斯特采样定理 1927年，奈奎斯特确定了如果对某一带宽的
有限时间连续信号（模拟信号）进行抽样，且在 抽样率达到一定数值时，根据这些抽样值可以在 接收端准确地恢复原信号。为不使原波形产生 “半波损失”，采样率至少应为信号最高频率的 两倍，这就是著名的奈奎斯特采样定理。奈奎斯 特1928年发表了《电报传输理论的一定论题》。
第二章 音频信息的获取与处理.
多媒体技术基础及应用
§2.1 数字音频基础
声音信号a
声音信号由许多不同频率的信 号组成，称为复合信号。 单一频率的信号称为分量信号。 带宽是声音信号的一个重要参 数，它描述复合信号的频率范 围。
6
多媒体技术基础及应用
§2.1 数字音频基础
声音信号b
人耳的听觉范围是20Hz~20KHz， 称为音频(Audio)信号。 人说话的频率范围是 300~3000Hz，称为话音(speech)
11
多媒体技术基础及应用
§2.1 数字音频基础
声音的质量评判
声音的质量与其频率范围（即频带） 有关。一般，频带越宽，音质越好。 对语音常用可懂度、清晰度和自然 度衡量。 对音乐，保真度、空间感和音响效 果是重要指标。 平均主观打分(MOS)是最简单的评判 法。
12
多媒体技术基础及应用
§2.1 数字音频基础
17
多媒体技术基础及应用
§2.1 数字音频基础
采样定理a
采样频率的高低应根据奈奎 斯特理论和声音信号本身的最高 频率决定。奈氏理论指出：如果
采样频率不低于信号最高频率的 两倍，则由此获得的离散信号能 够完全确定被采样的连续信号。
18
多媒体技术基础及应用
§2.1 数字音频基础
采样定理b
设被采样信号的最高频率为 f， 则
2
多媒体技术基础及应用
§2
学习要求
1.
2.
3.
熟练掌握：音频卡的工作原理 及应用开发。 掌握：音频编码基础及标准； 音乐合成及MIDI。 了解：本章其他内容。
3
第3章 音频信息的获取与处理
C ( scale, position) = ∫ f (t )Ψ ( scale, position, t )dt
∞
+∞
CWT的结果包含了许多小波系数C, 是scale和 C position的函数.每个系数乘以合适的标度和滑移位 置小波可得出原始信号不同成分的小波.
小波
变换 信号 不同尺度与位置的连续小波
小波变换
一个小波是一个在有限周期内的波形,它的平均值 为零. 比较正弦波形和小波,正弦信号正是Fourier分析的 基础,它没有限定的周期,它可以从负无穷扩展到 正无穷,正弦信号是平滑并且是可预知的,小波信 号是不规则的并且不对称.
正弦波
小波
图3.3正弦信号和小波信号
小波变换
傅立叶分析是将信号分解为各种频率的正弦信号,类似地, 小波分析是将信号分解为滑动的,与母系小波成比例的各 种子波. 傅里叶变换的数学表达式为
在目前的家用多媒体声卡上,SPDIF同轴电信 号输出主要用来传输Dolby Digital AC-3信号和连接 纯数字音箱.光纤输出则主要用来连接MD等数码音 频设备,以实现几乎无损的音频录制.SPDIF IN主 要应用于传输数字CD信号,也就是让计算机以数字 方式播放唱片.
数字音频基础模拟音频和数字音频数字音频的文件格式在多媒体计算机中存储声音信息的文件格式主要有wav文件voc文件midi文件aif文件sno文件及rmi文件等等作为声音信号的输入源声卡以一定的采样频率和量化级的音频文件格式每个voc文件由文件头块和音频数据块组成midi音频是多媒体计算机产生声音特别是音乐的另一种cmf文件对输入声音进行数字化将其从模拟声音信号转换为数字信号模数转换然后以适当的格式存在硬盘上
X k = ∑ xn e j 2πnk / N , k = 0,1, , N 1
多媒体第三讲 音频信息的获取与处理
2.6 声音文件工具
1. Windows 操作系统自带的“Sound Recorder” 2. 买声音卡时带的工具，如声霸卡带的Wave Studio 3. 网络上下载的工具，如Cool Edit, Cakewalk Pro Audio（主要制作处理MIDI音乐）,mp3Pro Audio Player等等。 4. 声音文件的转换工具，如：豪杰超级解霸，东方1. 插孔和D形连接器 线路输入（Line In）插孔： 麦克风（MIC）输入插孔： 线路输出插孔：“Line Out”、“Audio Out”、 “Speaker” D形连接器：15芯的D形接口，可以用来连接游戏操纵 杆、游戏机入口或MIDI合成器。 2. CD-ROM接口及音频信号连接口：通常为4芯插 座，有左、右声道以及两根地线。
2.1 音频技术的主要组成部分
2. 多媒体涉及到的音频处理技术： （1）音频采集：把模拟音频信号转换成数字化音频信 号，然后存储到存储设备中。 （2）文语转换：经过语言学处理、语音学处理，把计算 机内的文本转换成声音输出。 （3）声音编码/解码：对语音信息进行压缩编码和解压缩 还原。 （4）语音识别：电脑辨别和理解人说的话。 （5）音乐合成：利用音乐合成芯片，把乐谱转换成乐曲 输出。 还有音频数据传输、音频—视频同步、音频效果与编辑等
2.2 声音卡的功能和分类
1. 声音卡的分类 声音卡的分类主要是根据其数据采样量化的位数来确 定，通常分为8位、16位和32位，位数越多，其量化精度 越高，音质就越好。 声音卡通常带有自己的CPU，具有较高的智能性和灵 活性，支持DOS环境和Windows环境下的应用开发。 数字音频部分具有的基本功能有44 .1kHz的采样 率，8位以上的分辨率，录音和播放声音信号，同时具有 压缩采样信号的能力。最常用的压缩方法是自适应脉冲编 码调制。
音频信息的获取与处理
3. 数字音频音质与数据流量 3.1 音频信号经过数字系统重现后的音质与系统频率响应的范围成正比. 模拟信号 A/D→D/A 模拟信号
“音质”正比于“采样频率”× “量化位数” 3.2 音频数据流量单位(比特率，位数，码率) kb/s(kbps) ， 8kbps = 1kBps = 采样频率 × 量化字节数 × 通道数 音频数据流量和数据量的计算 例: 对于调频广播级立体声，采样频率44.1 kHz，量化位数16 位，则音频信号 数字化后的数据量为: 44.1k×16 ×2 =1411.2 kb/s =176.4 kByte/s 采样频率 量化 声道数 数据量 电话: 11 kHz, 8位, 单声道, 88kb/s 收音机: 22kHz, 16位, 双声道, 352kb/s CD: 44.1kHz, 2Byte, 双声道, 1411 kb/s 音频数据总量=音乐时长×数据流量 例: 对于三分钟的乐曲，立体声总量=180s×176kB/s=31.68MB
第二章 音频信息的获取与处理
一．声音概述 二．数字化音频 三．音乐合成与MIDI 四．音频卡 五．数字音频压缩标准
2. 噪声 70dB: 50%的人的睡眠受到影响. 噪声性耳聋: 长期暴露在强噪声中, 听力不能复原, 引起心血管和消化系统疾病; 140dB ~160dB(高强度噪声): 会使鼓膜破裂, 双耳完 全失聪. 超音速飞机的轰声, 爆炸声: 玻璃震碎, 墙皮脱落 160dB以上的特强噪声: 使金属疲劳损坏
4.5 流式音频文件~ WMA扩展名 Microsoft 研制的一种压缩文件或流式文件, 相当于MP3, 压缩率较高和音质较好. 边下载边播放 4.6 流式音频文件~ RA扩展名 Real networks 推出的压缩格式，其压缩比可达到96:1. 4.7 数字音频文件~ PCM扩展名 模拟音频经A/D转换形成的二进制数字序列, 该文件没有文件头和文件结束标志. 音源信息完整, 冗余度过大, 音质好,数据量大. 较高保真水平, 被用于素材保存及音乐欣赏. 4.8 CD-DA音频文件~ CDA扩展名： 激光CD音乐盘格式. 音质好, 数据量大。 4.9 APE音频文件：是一种无损压缩音频技术，与MP3等有损压缩方式不同，在将CDA音 频数据文件压缩成APE格式后，还可将APE格式的文件还原为压缩前的CDA文件。APE 的文件大小约为CDA的一半。APE格式可用于通过网络传输CD质量的音乐. APE常用软件: CuteAPE(切割ape) Windows Media Player 11 千千静听 暴风影音和MPC等等。 5. 数字音频编辑：剪切粘贴, 左右声道剪切粘贴, 淡入淡出, 回声和混响, 模拟厅场。 6. 音频信号处理：声纹识别测谎，音乐合成，立体声模拟，采集，编解码和传输。
02音频信息的获取与处理
第2章音频信息的获取与处理2.1数字音频基础2.1.1模拟音频和数字音频2.1.2音频的数字化1.采样频率2.量化数据位数（也称量化级、样本尺寸等）图2.1声音波形的采样和量化3. 单声道与双声道4. 数字音频的存储2.1.3 数字音频的文件格式1. 波形音频2. VOC 文件3. MIDI 文件4. CMF 文件5. CD 音频2.1.4 音频信号的特点2.1.5 3D 音频1. DirectSound 3D2. Aureal 3D3. EAX4. Sensaura5. Qsound6. IAS2.2 声卡的组成与工作原理2.2.1 声卡的功能、技术指标与分类1. 声卡的功能2. 声卡的技术指标3. 声卡的分类2.2.2 声卡的组成和布局PanasoniciiiuiiiiiiMh MIDI 商戏竭【】Scmv CD-ROM按IJ合诚甜芯片Mi sum!CI^KOMj^ 口图2.2典型声卡的平面图1. MIDI/GAME 端口表乙1橄机上便用的Mim^准MIDI 标准 描述MIDI 音乐设备數字接口Genera) MIDI 规定了 Mini 立件中乐器声音的排列顺序MPU-401 Ro1«id 司制建的MTDIfti 准，为音乐界和乐器制逍商所采用 MI-32与Gen^rd MIDI 标准类似届绘器走音排刑咂序略有珀同图2.3 MIDI 及游戏摇杆接口耳I —j 缶:i 鹉矗岀 1—级出 H^*SA在掰处网芯片2. I/O 接口图2.4声卡的I/O端口3. CD-ROM 接口4. 声音处理芯片5. 功率放大芯片6. 跳线和SB-link接口2.2.3声卡的工作原理图2.5声卡原理框图2.2.4 SPDIF 数字音频接口1. SPDIF 概述2. SPDIF 在多媒体声卡上应用的优势和不足2.2.5 音频卡的发展和改进1. 改善声音质量2. 统一音频卡标准3. 简化安装的即插即用音频卡4. 三维环绕立体声5. 全双工声音处理6. 与通信技术的结合7. 单一芯片2.3 音频编码基础和标准2.3.1 音频编码的基础1. 时域信息的冗余度2. 频域信息的冗余度3. 人的听觉感知机理4. 音频编码的分类2.3.2 音频编码标准图2.6正输入码与A律输出码的关系i J)（5）图2.7 ADPCM编码器和解码器的框图4. G.728 救人i/fd'LSM LK ：KM轴'?i lvF ⑹CLLP 编码幣⑹CEI P 删円器从通道来 的VQ ■索勺I图2.8 CELP 编码和解码器5. MPEG 中的音频编码PCM <9!3碍图2.10音频解码器结构框图6. AC-3编码和解码lOOHzI图 2.11 AC-3 5.1 声道图2.12 AC-3可编程解码器图2.13 AC-3编码器框图SI ESSI ,----------------------------- *------------------------------------------------ ■>SI BSI-API AB：AB3AB4 A RS>Xc—图2.16 AC-3解码器框图PCMlax图2.14 AC-3编码流程图图2.18音乐系统框图2.4音乐合成和MIDI 规范241音乐合成TAV24e餡0SY IC 3 22 NCAO4 21 MO wTS 520 SHR D6 19 NC Cs -7 IB D7NC « 17NC 9 L€ D5 DO10 15 04 DI1114 D3 GND 1213 D2图2.17 YM3812管脚排列2.4.2 MIDI 规范1. MIDI 的基本术语2. MIDI 和多媒体PC■T拆2图2.19 MIDI乐器音的连接3. MIDI 1.0的技术规范来自UART> ------AH光叫5VMIDI INNC石视+ 5V+ 5V| Rd------ 去u ART1N9142評J r；\DV-MIDI THRUMIDI OUT图2.20 MIDI的接口电路状杰字节lOllnnnn数据字节说明OCCCCCCC 方式消息OVVVVVVVCCCCCCC VVVVVVV122 0 本抱控制关122 127 本地控制开123 0 金部音符关124 0 Omni方式关（全部音符关）125 0 Omni方式开126 M M通道单音方式开（复音方式关〉127 0 复音方式开（单音方式关）（全部音符关〉状态字节数据字节11110000Oiiiiiii(0* • • >< 11110111EOX,系統专用结束标・ (2)杲统实时消©能在任何时候发送•其他由两个或更:多宁节组展何消克可以拆开，以便插入杲统实时消XL*2.10系统专用消息数据成批发送iiiiiii:识别号 1D=O 〜127被传送的数据.字节数不限•但每个字节的最応位必 须是0厂家识别号注：(1)任何憎况下，其他状态成敷兴字节(除实时消总外)不得插入累址专用消息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章音频信息的获取与处理2.1数字音频基础
2.1.1模拟音频和数字音频
2.1.2音频的数字化
1. 采样频率
2. 量化数据位数(也称量化级、样本尺寸等)
图2.1声音波形的采样和量化
3. 单声道与双声道
4. 数字音频的存储
2.1.3数字音频的文件格式
1. 波形音频
2. VOC文件
3. MIDI文件
4. CMF文件
5. CD音频
2.1.4音频信号的特点
2.1.5 3D音频
1. DirectSound 3D
2. Aureal 3D
3. EAX
4. Sensaura
5. Qsound
6. IAS
2.2声卡的组成与工作原理
2.2.1声卡的功能、技术指标与分类
1. 声卡的功能
2. 声卡的技术指标
3. 声卡的分类
2.2.2声卡的组成和布局
图2.2典型声卡的平面图1. MIDI/GAME端口
图2.3 MIDI及游戏摇杆接口
2. I/O接口
图2.4声卡的I/O端口
3. CD-ROM接口
4. 声音处理芯片
5. 功率放大芯片
6. 跳线和SB-link接口
2.2.3声卡的工作原理
图2.5声卡原理框图
2.2.4 SPDIF数字音频接口
1. SPDIF概述
2. SPDIF在多媒体声卡上应用的优势和不足2.2.5音频卡的发展和改进
1. 改善声音质量
2. 统一音频卡标准
3. 简化安装的即插即用音频卡
4. 三维环绕立体声
5. 全双工声音处理
6. 与通信技术的结合
7. 单一芯片
2.3音频编码基础和标准
2.3.1音频编码的基础
1. 时域信息的冗余度
2. 频域信息的冗余度
3. 人的听觉感知机理
4. 音频编码的分类
2.3.2音频编码标准
1. G.711
图2.6正输入码与A律输出码的关系
图2.7 ADPCM编码器和解码器的框图
4. G.728
图2.8 CELP编码和解码器5. MPEG中的音频编码
图2.9音频编码器基本结构框图
图2.10音频解码器结构框图6. AC-3编码和解码
图2.11 AC-3 5.1声道
图2.12 AC-3可编程解码器
图2.13 AC-3编码器框图
图2.14 AC-3编码流程图
图2.15同步帧结构图
图2.16 AC-3解码器框图
2.4音乐合成和MIDI规范
2.4.1音乐合成
图2.17 YM3812管脚排列
图2.18音乐系统框图2.4.2 MIDI规范
1. MIDI的基本术语
2. MIDI和多媒体PC
图2.19 MIDI乐器音的连接
3. MIDI 1.0的技术规范
图2.20 MIDI的接口电路
2.5语音识别
2.5.1语音识别的发展和分类
2.5.2汉语语音识别系统的工作原理及其应用
1. 汉语本身的特点对语音识别系统的影响
2. 汉语语音识别系统的工作原理
图2.21汉语听写机的系统结构
图2.22预切分状态图
图2.23语音流自动切分引擎层次示意图
3. 语音识别技术的应用
小结
习题
2.1数字音频采样和量化过程所用的主要硬件是_______。
(A) 数字编码器(B) 数字解码器(C) 模拟到数字的转换器(A/D转换器)
(D) 数字到模拟的转换器(D/A转换器)
2.2音频卡是按_______分类的。
(A) 采样频率(B) 声道数(C) 采样量化位数(D) 压缩方式
2.3两分钟双声道、16位采样位数、22.05 kHz采样频率声音的不压缩的数据量是_______。
(A) 5.05 MB (B) 10.58 MB (C) 10.35 MB (D) 10.09 MB
2.4目前音频卡具备以下_______功能。
(1) 录制和回放数字音频文件(2) 混音(3) 语音特征识别
(4) 实时解压缩数字单频文件
(A) (1)、(3)、(4) (B) (1)、(2)、(4) (C) (2)、(3)、(4) (D) 全部
2.5_______是目前音频卡所支持的。
(A) 20 kHz(B) 22.05 kHz(C) 100 kHz(D) 50 kHz
2.61984年公布的音频编码标准G.721采用的是_______编码。
(A) 均匀量化(B) 自适应量化(C) 自适应差分脉冲(D) 线性预测
2.7 AC3数字音频编码提供了5个声道的频率范围是_______。
(A) 20 Hz到2 kHz (B) 100 Hz到1 kHz
(C) 20 Hz到20 kHz (D) 20 Hz到200 kHz
2.8 MIDI的音乐合成器有_______。
(1) FM (2) 波表(3) 复音(4) 音轨
(A) 仅(1) (B) (1)、(2) (C) (1)、(2)、(3) (D) 全部
2.9下列采集的波形声音质量最好的是_______。
(A) 单声道、8位量化、22.05 kHz采样频率
(B) 双声道、8位量化、44.1 kHz采样频率
(C) 单声道、16位量化、22.051 kHz采样频率
(D) 双声道、16位量化、44.1 kHz采样频率
2.10简述音频编码的分类及常用编码算法和标准。