第3章 音频信息处理
第3章 数字音频处理技术
信息科学技术学院·曹晓兰 20
3.2.4 音频的编码与压缩技术
音频压缩编码时考虑的因素： 音频质量
数据量
计算复杂度
多媒体技术
信息科学技术学院·曹晓兰
21
常见音频编码算法和标准
多媒体技术
信息科学技术学院·曹晓兰
22
1.波形编码
基于音频数据的统计特性进行的编码，其目 标是使重建语音波形保持原波形的形状。 特点：算法简单，易于实现，可获得高质量 语音。
MIDI音频文件是一个脚本语言，它通过对“事 件”编码，产生声音。一个MIDI事件包含一个音 阶的音调、持续时间和音量等参数。
多媒体技术
信息科学技术学院·曹晓兰
31
1．MIDI乐音合成方法
频率调制（FM）合成法
FM声音合成器波形
原理：根据傅立叶级数理论，任何一种波形信号都可 被分解成若干个频率不同的正弦波
需要以音乐为背景的音响效果，同时从CD －ROM中装载其他数据时； 需要以音乐为背景的音响效果，同时播放波形音 频或实现文-语转换，实现音乐和语音同时输出时。
多媒体技术
信息科学技术学院·曹晓兰
37
多媒体技术
信息科学技术学院·曹晓兰
38
3.4.1 常见音频软件简介
1.Cool Edit Pro
专业级多轨录音和音频处理软件。 Syntrillium Software Corporation公司开发。 功能强大、效果出色。 详见下节介绍。
多媒体技术
信息科学技术学院·曹晓兰
时域掩蔽
除了同时发出的声 音之间有掩蔽现象之外， 在时间上相邻的声音之 间也有掩蔽现象。包括 超前掩蔽和滞后掩蔽。
9
3.1.4 音频信号处理过程 音频数字化过程
音频信息处理技术PPT课件
语音助手、智能客服、社交媒体情感分析等。
情感分析的挑战
情感状态受多种因素影响，如个人情绪、环境噪音等，准确判断情 感状态较为困难。
基于深度学习的音频识别与分类
深度学习在音频识别与分类中的应用
01
利用深度学习算法对音频信号进行特征提取和分类，
提高识别与分类的准确率。
深度学习在音频处理中的优势
音频隐写技术通常采用最低有效位替换、频域隐写等方法， 将秘密信息嵌入到音频信号中，同时保持音频信号的听感 质量。
音频隐写技术的优点包括高隐蔽性和低误码率，能够在传 输过程中抵抗噪声和干扰，实现信息的可靠传输。
音频信息伪装技术
音频信息伪装技术是一种将秘密信息隐藏在普通音频信号中，同时使秘 密信息难以被察觉的技术。
实时性
音频信息处理技术能够实时地对音频信号进行处理，满足实时通信、 语音识别等应用需求。
高效性
音频信息处理技术采用了高效的数字信号处理算法，能够快速地处理 大量的音频数据。
交互性
音频信息处理技术可以实现人机交互，使得人与机器之间的交流更加 自然和便捷。
音频信息处理技术的应用领域
语音识别
音频编辑与合成
应用。
详细描述
倒谱分析能够提供音频信号的倒谱结构，有助于识别 和分类不同的声音。
音频信号的梅尔滤波器组分析
总结词
梅尔滤波器组是一种用于 音频信号处理的滤波器组 。
详细描述
梅尔滤波器组可以将音频 信号分解成多个不同频带 的成分，能够更好地处理 音频信号中的细节和动态 范围。
总结词
梅尔滤波器组分析能够提 供音频信号的频带结构， 有助于提取和分类不同的 声音特征。
音频信息伪装技术通常采用声音替换、声音掩蔽等方法，将秘密信息嵌 入到音频信号中，同时通过调整音频信号的频率、幅度和节奏等参数， 使秘密信息难以被察觉。
第三章 音频信息处理技术
2016/5/11
17
第3章 音频信息处理技术
非均匀量化
对y进行均匀量化，相当于对x进行非均匀量化，可提
高小信号x的量化信噪比
2016/5/11
18
第3章 音频信息处理技术
5 4 3 2 1 0
输出 压缩曲线
5 4 3 2 1 t 0
输出 扩张曲线 A
线性变换 输入 A B t
A′
B′
B 输入 A′ B′ t t
2016/5/11 5
第3章 音频信息处理技术
3.1 基 本 概 念
1．听觉掩蔽 2．频谱掩蔽 3．瞬态掩蔽
2016/5/11
6
第3章 音频信息处理技术
2016/5/11
7
第3章 音频信息处理技术
（1） 失真的主观度量。
表3.1-1 5分制平均观点分举例
平均观点分 5 4 3 2 1 质量等级 极好 好 一般 差 极差 主观感觉 觉察不到 觉察得到，但不难听 有点难听 难听，但不反感 难以忍受
f (t)
y (t)
k (t)
0
t
0
t
0
t
抽样概念示意图
2016/5/11
14
第3章 音频信息处理技术
采样频率的选择与声音信号本身的频率 之间有关，根据奈奎斯特（Nyquist）理 论，只有采样频率高于声音信号最高频 率的两倍时，才能把数字信号表示的声 音还原为原来的声音。 按均匀的时间间隔T进行的。 常见的音频信号的频率范围如图3.2-2所 示
20Hz ～ 15,000Hz
10Hz ～ 40,000Hz
3
教学进程
高
级
音
第三章多媒体音频信息处理教学讲义
视频电话及IP电话等 公共电话网 无线移动网、
计算机通信系统等
1996.3 1992.9 1996.3
2020/8/2
2020/8/2
六、数字音频的文件格式
➢ WAV文件 WAV文件又称为波形文件,是Micorsoft公司的文件 格式.WAV文件来源于对声音模拟波形的采样,并以 不同的量化位数把这些采样点的值转换成二进制数. WAVE声音文件是使用RIFF(资源交换文件)的格式 描述的
①存储空间小,同样长度的音乐文件，用MP3 存储相当于WAV的1/10。
③比较好的播放器：winamp、超级解霸、 realplayer等，一般都支持。
2020/8/2
➢ RA格式文件 Real Player公司推出的适合于网络播放的 媒体格式。
①高压缩比，存储空间小。 ②适合网络播放。 ③音质不是很好。 ④专用播放器Realplayer、
多音频流输出是指声卡可以在同一时间内支持 多个wav、mp3、midi类音频文件的播放。目前大 部分中高档的PCI声卡是普遍支持多音频流输出的，
2020/8/2
（二）声卡的技能指标 o I/O设备接口
一般的声卡都设有线性输入、线性输出、音箱 输出、MIDI和游戏杆接口等。
2020/8/2
点样值的二进制位数。例如，8位量化位数表示每 个采样值可以用28即256个不同的量化值之一来表 示，而16位量化位数表示每个采样值可以用216即 65536个不同的量化值之一来表示。这个参数就是 通常所说的声卡的位数.常用的量化位数为8位、16 位、32位,专业级的高档声卡有64位的。
2020/8/2
2020/8/2
（二）声卡的技能指标
随着波表合成技术的出现，由双声道立体声向 多声道环绕声的发展显得格外迫切。
(重点)多媒体技术及应用 考试(1-4章)复习大纲
第1章多媒体技术基础1.1 多媒体技术概述1.1.1 多媒体技术的发展1.1.2 多媒体技术的基本概念1.1.1 多媒体技术的应用1.1.4 多媒体的关键技术1.2 多媒体硬件系统1.2.1 多媒体输入输出设备1.2.2 多媒体接口设备1.2.3 多媒体存储设备1.3 多媒体软件系统1.3.1 多媒体软件1.3.2 多媒体应用系统的设计流程1.1.1 多媒体技术的发展1.1.2 多媒体技术的基本概念1.媒体的含义⏹表示信息的载体：如文字、声音、图像、动画、视频、语言等。
⏹存储信息的实体：如磁盘、磁带、光盘、纸张等。
⏹传播信息的载体：如电视、电影、报纸、杂志、网络等。
2.媒体的类型¡ª¡ª CCITT（国际电报电话咨询委员会)⏹感觉媒体：指能直接作用于人的感官，使人能直接产生感觉的一类媒体。
如语言、音乐，自然界的各种声音、图形、图像、文字、数据等。
⏹表示媒体：即感觉媒体的表示媒介。
如图像编码、文本编码和声音编码等。
⏹显示媒体：即输入输出媒体的设备，如键盘、显示器、话筒，喇叭和打印机等。
⏹存储媒体：用来存放表示媒体的物理载体，如磁盘、磁带、光盘等。
⏹传输媒体：传输媒体的物理载体。
如空气、电话线、电波、电缆和光缆等。
1.1.2 多媒体技术的基本概念3. 多媒体（Multimedia）主要包括文字、图形、图像、音频、动画和视频等多种信息载体。
⏹文字：指各种字母、数字和符号等文本信息；⏹图形：由描述点、线、面的大小、形状、维数和位置的图形指令生成的几何图形(矢量图形) ⏹图像：由许多的像素点构成，每个像素点用若干二进制位来表示颜色和亮度等信息(位图)⏹音频：包括语音、音乐和各种声音效果；⏹动画：通过计算机自动生成关键帧之间的连续图像，按照一定速度连续播放形成动画；⏹视频：若干静态图像画面的连续播放形成了视频，每一幅画面称为一帧；4. 多媒体技术利用计算机及相应的多媒体设备，采用数字化处理技术，将文字、声音、图形、图像、动画和视频等多种媒体有机结合起来进行处理的技术。
多媒体技术及应用 教程
多媒体技术基础及应用自学指导书李知菲2005年4月20日于浙江师范大学课程简介多媒体计算机技术及其应用是当今计算机产业发展的新领域。
本课程从设计、开发和应用的角度综合讲述了多媒体计算机的基本原理和关键技术。
主要内容有：多媒体计算机定义、分类、现状及发展趋势；视频和音频信号的获取、处理及输出；多媒体数据压缩编码的基本算法及现行的编码国际标准；多媒体计算机硬件及软件系统结构；同时还讲述了计算机产业的发展方向，将通讯和多媒体技术作到CPU芯片的实例；最后介绍了三个多媒体应用领域及其核心技术：多媒体数据库及基于内容检索技术、多媒体创作工具及同步技术、多媒体通讯和分布式多媒体系统。
它包括：视频会议、多媒体交互式电视技术及计算机支持的协同工作(CSCW)系统。
自学目标本课程可作为计算机专业学员的必修课程及其它相关专业学员的选修课程早期的计算机只能处理数字与文字，现在多媒体计算机能够综合处理声、文、图及视频信息，并具有集成性和交互性，因此，它促进了通讯、娱乐和计算机的融合，从而形成新一代的产品，为人类的生活和工作提供全新的信息服务，它是计算机产业重要的发展趋势。
通过本课件的学习，使同学了解多媒体计算机发展趋势，掌握多媒体计算机的基础理论知识、熟悉多媒体计算机的应用领域，从而使同学能够设计开发多媒体计算机硬件和软件系统以及多媒体的应用系统。
学员自学要求：（学员需要具备的相关知识）为了学好本课程，希望学员先修：（1）数字逻辑电路；（2）操作系统；（3）计算机原理；如果有可能可以辅修：（1）数字信号处理；（2）数字图象处理；（3）数字音频信号处理；（4）模式识别及（5）计算机视觉等课程的相关章节。
本课程要求：（教师对学员自学本课程的要求）学好基础理论知识，提高同学分析问题和解决问题的能力。
具体要求是：1．了解多媒体计算机的关键技术、现状及发展趋势，2．掌握多媒体计算机的基础理论知识：a)视频音频信息的获取、实时处理和输出；b) 多媒体数据压缩编码的原理及现行编码的国际标准；c) 多媒体计算机硬件和软件系统结构.3．熟悉多媒体计算机的应用技术：a) 多媒体数据库及基于内容检索；b)多媒体著作工具及同步技术;c) 多媒体通讯及分布式多媒体系统，4．通过实验，如设计并编程实现一个多媒体网站或者制作一个电子像册，提高同学的动手能力。
第3章音频信息处理技术
3.3.4 变换域编码
信号 输入 输入 缓冲
变换
量化 编码
边信息 提取
比特分配 量阶尺寸
谱插值
编码 合 输出 路
编码 输入 分
路
解码
反变换
输出 缓冲
比特分配 量阶尺寸
谱插值
(a)
(b)
图3.3-8 (a) 编码；(b) 解码
3.3.5 矢量量化
信号序 列输入
构成 矢量
矢量 码本
矢量 码本
传送
传送
采样
量化
编码
图3.2-1 音频信息处理框图
按不同应用目标 进行数字压缩
(1) 采样过程
数字激光唱盘CD FM无线电广播 AM无线电广播
电话
10 20
50 200
3400 7k 15k 20k 频率/Hz
图3.2-2 常见音频应用带宽示意图
(2) 量化过程 (3) 编码过程
3.3 音频信号压缩编码
声音文件所需的存储空间可用下式来计算
存储量字节 / 秒 采样率量化精度声道数
8 以16位、22.05 kHz的频率录制1分钟的立体声，所需存 储空间为5.292 MB。
如果录制1小时的立体声。其所要求的存储空间为 60×5.292=317.52 MB。
音频信息编码技术可分为三类：
(1) 波形编码
为了求得均方差最小，就需对式中各个a求导数并使
方程等于0，最后解联立方程可以求出 ai。
预测系数与输入信号特性有关，也就是说，采样
点同其前面采样点的相关性有关 。ai 的取值范围为
0.8～1。
3. 自适应差分脉冲编码调制(ADPCM)
＋ 量化器
－ 量化阶 自适应
第3章声音的数字化PPT课件
8
采样（sampling）
– 样本：每次采样都记录下原始模拟声 波在某一时刻的状态，称之为样本； 将一系列的样本连接起来，就可以描 述一段声波了
– 均匀采样：采样的间隔时间相等
24
MIDI
➢ MIDI信息实际上是一段音乐的描述,是数 字化的乐谱,包含音符、定时以及键号、通 道号、持续时间、音量和击键力度等各个 音符的有关信息。
25
MIDI与PCM原理比较
➢ PCM波形编码：把音乐的波形进行数字化 采样和编码（记录音乐本身）
➢ 定义和产生乐曲的MIDI信息和数据组存放 于MIDI文件中, MIDI文件本身只是一堆数 字信号而已，不包含任何声音信息。
未经压缩的数字声音的数据率bs采样频率hz样本精度bit声道数随着电能应用的不断拓展以电能为介质的各种电气设备广泛进入企业社会和家庭生活中与此同时使用电气所带来的不安全事故也不断发生18质量采样频率khz样本精度声道数据率kbs频率范围hz电话单声道6402003400am11025单声道882507000fm2205016立体声70562015000cd44116立体声141122020000dat4816立体声153602020000随着电能应用的不断拓展以电能为介质的各种电气设备广泛进入企业社会和家庭生活中与此同时使用电气所带来的不安全事故也不断发生19除采样频率样本精度声道数影响声音质量外声音录制时环境噪声声卡内部噪声以及采样数据丢失等都会造成音质的下降
300HZ ~ 3kHZ 语音信号（speech）
3
模拟信号与数字信号
3章 数字音频处理技术
3 WMA文件
Windows Media Audio 7压缩的文件，其扩展名是.WMA， 主要优点是在较低的采样频率下保持良好的音质。
4 MIDI文件
乐器数字接口，文件扩展名为.mid。MIDI文件记录的是一 系列指令不是数字化后的波形数据，因此占用存储空间很小。 播放时使用软件波表，可以达到与真实乐器几乎一样的效果。
教学进程
3.2.5 数字音频处理
1 基本编辑
删除声音文件中不需要的声音片段，比如噪音、杂音、口 误、重复、过长的停顿等。
2 声道编辑
将单声道变成双声道的声音；或将双声道的变成单声道声 音以节省存储空间；或让声音交替地从左右声道发出，产生声 音的立体效果。
3 淡入淡出
常用于节目的开始、结尾和两段声音之间的过渡。
教学进程
主板
主机箱
声音适配器 数字信号
音频信号 音箱
音箱
● 作用: 数字信号与模拟信号之间的双向转换 ● 单板 (输出功率大，抗干扰，音质好) ● 主板集成 (易受干扰，性能指标比单板略差)
教学进程
2 声卡的结构体系
教学进程
3 声卡的分类 按连接方式分为：板卡式、集成式、外置式
4 声卡的性能指标 (1) 采样和量化能力 (2) 芯片类型 (3) 总线类型 (4) 输出声道数
1 WAV文件
WAV（Wave）文件，又名波形文件，扩展名为.WAV。是 Windows本身存放数字声音的标准格式，几乎所有的音频处理 软件都支持WAV格式。 质量较高，但文件体积大。
最简单的数字音频采集方式：利用Windows中的录音机通 过声卡进行采集。
教学进程
准备工作
麦克风已经插到声卡的MIC插孔上，且能正常工作。每次 用户打开录音机时，它都是等待录音的状态 。最后以以.wav的 音频文件格式保存
3章 语音编码与处理技术
第三章 话音编码多媒体技术多媒体技术第三章 话音编码与处理技术多媒体技术浙江工业大学信息学院 古辉gh@13.1 话音编码概要 3.2 脉冲编码调制(PCM) 3.3 增量调制与自适应增量调制 3.4 自适应差分脉冲编码调制 3.5 线性预测编码(LPC)的概念 3.6 GSM编译码器简介 3.7 语音合成 3.8 语音识别23.1 话音编码概要多媒体技术3.1 话音编码概要多媒体技术话音波形的特性话音分成三种类型：浊音(voiced sounds)，清音 (unvoiced sounds)和爆破音(plosive sounds)。
浊音是一种称为准周期脉冲(quasi-periodic pulses)激励所 发出的音，这种准周期脉冲是在声门打开然后关闭时中 断肺部到声道的气流所产生的脉冲。
清音是由不稳定气流激励所产生的，这种气流是在声门 处在打开状态下强制空气在声道里高速收缩产生的。
爆破音是在声道关闭之后产生的压缩空气然后突然打开 声道所发出的音。
不能归属到上述三种音中的任何一种音，称为混合音。
浊音段的波形举例浊音段的功率普密度举例3清音段的波形举例清音段的功率谱密度举例43.1 话音编码概要多媒体技术3.1 话音编码概要多媒体技术三种话音编译码器话音编译码器一般分成三种类型： 波形编译码器(waveform codecs)的话音质量高，但数 据率也很高； 音源编译码器(source codecs)的数据率很低，产生的 合成话音的音质有待提高； 混合编译码器(hybrid codecs)使用音源编译码技术和 波形编译码技术，数据率和音质介于它们之间。
图 普通编译码器的音质与数据率5 63.1 话音编码概要多媒体技术3.1 话音编码概要多媒体技术波形编译码器波形编译码的想法是，不利用生成话音信号的任何知识 而企图产生一种重构信号，它的波形与原始话音波形尽 可能地一致。
时域法(time domain approach)脉冲编码调制(pulse code modulation，PCM)，它仅仅是 对输入信号进行采样和量化。
音频信息处理
声音文件的格式（2）
AIFF文件——.AIF/.AIFF （1）AIFF是音频交换文件格式(Audio Interchange
File Format)的英文缩写，是苹果计算机公司开 发的一种声音文件格式；
（2）被Macintosh平台及其应用程序所支持， Netscape Navigator浏览器中的LiveAudio也支持 AIFF格式，SGI及其他专业音频软件包也同样支 持这种格式。
声音的分类 频率小于20 Hz的信号称为亚音(subsonic)； 频率范围为20 Hz～20 kHz的信号称为音频(Audio) 高于20 kHz的信号称为超音频(ultrasonic)
声音概述（2）
音频信号的分类：语音信号和非语音信 号（风声、雨声、鸟叫声、机器声等， 即乐音和杂音），非语音信号的特点是 不具有复杂的语义和语法信息，信息量 低、识别简单。语音是语言的载体，是 人类社会特有的一种信息系统，是社会 交际工具的符号。
y(n)
1 X max
ln(A( x(n) / 1 ln A
X max
signx(n)
y(n) A x(n) signx(n)
1 ln A
1 x(n) 1 A X max 0 x(n) 1
X max A
脉冲编码调制（7）
语音识别器的类型连续语音识别离散语音识别影响语音识别的因素1词汇量的大小2与说话者的相关性3环境因素语音识别技术涉及到多种学科1信号处理以高效稳健的方式进行信号的提取分析2物理学声学理解物理语音信号和生理构造之间的关系以及声音感知的原理3模式识别通过比较数据形式的特征量找出最佳的匹配4心理学在实际任务中人们使用相关技术的一些心理因素5通信和信息理论涉及到统计模型参数的估计检测特定语音的形式现代编码和解码算法最佳路径的搜索算法等
第三章+音频信号的数字化及特征分析
3.2 音频信号的时域分析
1. 2. 3.
短时能量分析 短时平均过零率 短时自相关函数和短时平均幅度差函数
3.2.1
短时能量分析
短时能量计算说明
3.2.1
短时能量分析
短时平均能量方框图
3.2.1
短时能量分析
短时能量的主要用途
可以区分清音段和浊音段。 可以区分清音段和浊音段。 浊音的En比清音 大得多 浊音的 比清音En大得多 比清音 可以区分声母和韵母的分界，无声和有声的分界， 可以区分声母和韵母的分界，无声和有声的分界，连 字的分界。 字的分界。 可以用于语音识别
语音技术及其应用
第三章 音频信号的数字化及特征分析
洪青阳 副教授 厦门大学信息学院 Email: qyhong@
本章内容
1. 2. 3. 4. 5.
音频信号的数字化 音频信号的时域分析 音频信号的频域分析 音频信号的时频域分析 音频信号的倒谱分析
3.1 音频信号的数字化
1. 2.
X n (e
jwk
)=
m =−∞
∑
∞
x(m) w(n − m)e− jwk m
0 ≤ k ≤ N −1
3.3.1
傅里叶变换
在短时傅里叶变换的基础上，可以得到短时功率 谱。短时功率谱实际上是短时傅里叶变换幅度的 平方，不难证明，它是信号x(n)的短时自相关函 数的傅里叶变换，即
Pn (e jw ) =| X n (e jw ) |2 =
若两个信号波形完全不同，则互相关函数为零； 若两个信号波形完全不同，则互相关函数为零； 若两个信号波形相同，则在超前、滞后处出现峰值。 若两个信号波形相同，则在超前、滞后处出现峰值。
自相关函数用于研究信号本身。 自相关函数用于研究信号本身。
音频信息处理技术
第6页/共68页
4.1.3 数字音频的三种形式
音频（Audio）是指频率在20Hz～20kHz范围内的可听声 音，是多媒体信息中的一种媒体类型——听觉类媒体。
目前多媒体计算机中的音频主要有波形音频、CD音频和 MIDI音乐3种形式。 1、波形音频：
线来表示，,如图4-1 。物体振动的最大位移称为振幅A，声
波中两个连续波峰（或波谷）之间的距离称为周期T，周期
的倒数1/T即为频率f，以
赫兹（Hz）为单位，频率
T
A
反映了单位时间（1秒）物 0
t
体振动的次数。
图4-1 声波的振幅与频率
第4页/共68页
声音按频率可分为三类：音频、次声、超声
低于20Hz的 16位 24位 32位
音质 电话
CD DVD 顶级
量化等级
动态范围
256
48 dB
65,536
96 dB
16,777,216
144 dB
4,294,967,296 192 dB
第19页/共68
4.3.3 声道 声道个数是反映音频数字化质量的另一个因素。 单声道：采集声音数据时，仅采集一个声波的数据 双声道（立体声）：采集两个声波数据 多声道（环绕立体声）：采集两个以上声波数据 声道数越多，再现出的音响效果就越好。
量化就是把采样得到的声音信号幅度转换为数字值， 是声音信号在幅度上被离散化。
量化位数n定义了每个采样点的数据范围（0～2n-1）， 也叫量化等级，量化等级的多少决定了声音的动态范围。
图4-4 量化位数与动态范围
第18页/共68
第3章多媒体信息处理技术
第三章多媒体信息处理技术通过本章学习，了解多媒体信息处理技术的基本问题，包括多媒体数据的分类、多媒体信息的计算机表示、多媒体数据压缩和编码技术、音频卡和视频卡的应用。
重点掌握多媒体信息处理技术的基本概念，学会音频卡和视频卡的安装与使用，了解多媒体技术中数据的压缩与编码方法。
3．1 多媒体数据的分类媒体是承载信息的载体，是信息的表示形式。
信息媒体元素是指多媒体应用中可以显示给用户的媒体组成元素，目前主要包括文本、图形、图像、声音、动画和视频等媒体。
一、多媒体数据的特点多媒体数据具有数据量巨大、数据类型多、数据类型间差别大、数据输入和输出复杂等特点。
多媒体数据类型多，包括图形、图像、声音、文本和动画等多种形式，即使同属于图像一类，也还有黑白、彩色、高分辨率和低分辨率之分，由于不同类型的媒体内容和格式不同，其存储容量、信息组织方法等方面都有很大的差异。
二、多媒体数据的分类1．文字在计算机中，文字是人与计算机之间信息交换的主要媒体。
文字用二进制编码表示，也就是使用不同的二进制编码来代表不同的文字。
文本是各种文字的集合，是人和计算机交互作用的主要形式。
文本数据可以在文本编辑软件里制作，如Word编写的文本文件大都可以直接应用到多媒体应用系统中。
但多媒体文本大多直接在制作图形的软件或多媒体编辑软件时一起制作。
2．音频音频泛指声音，除语音、音乐外，还包括各种音响效果。
将音频信号集成到多媒体中，可提供其他任何媒体不能取代的效果，从而烘托气氛、增加活力。
3．图形、图像凡是能被人类视觉系统所感知的信息形式或人们心目中的有形想象都称为图像。
图形文件基本上可以分为两大类：位图和向量图。
位图图像是一种最基本的形式。
位图是在空间和亮度上已经离散化的图像，可以把一幅位图图像看成一个矩阵，矩阵中的任一元素对应于图像的一个点，而相应的值对应于该点的灰度等级。
图形是指从点、线、面到三维空间的黑白或彩色几何图形，也称向量图。
图形是一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。
音频信息处理
MP3播放器也只能播放12首这样的歌曲。
2. 数字音频压缩标准
电话质量的语音压缩标准
标准 G.711 G.721 G.723
（1）电话质量的语音压缩标准 G.728 （2）调幅广播语音压缩标准：G.722
1．录音前声卡设置
“选项 | Windows 录音控制台 ”
2．建立录音文件 3．导入伴奏音乐 4．控制录音电平 5．录制声音
2.2.5 音频编辑
单轨编辑状态：可以进行波形的各种编辑处理和效果的设置，还可以分别对左
右声道单独进行编辑处理。
多轨编辑状态：适合对多个音频轨道进行编辑、录制和合成处理。最多可以同
（2） 量化
将连续的声音信号的幅度离散化。 也就是采样过程中对每一个采样点的幅度值用数字量来表示。如果幅度的 划分是等间隔的，称为线性量化，否则为非线性量化。
采样精度：即量化的位数，位数越多量化等级数也越多，所能表 示的声波幅度的动态范围也越大，当然需要的存储空间也越大。
（3） 编码
就是用一组二进制码组来表示每一个有固定电平的量化值，或者说将 量化值转换成二进制码组。
（3）音量淡化包络编辑
Audition提供了简单快速的音量淡化包络。在音乐制作领域，淡化 （fade）指音量的逐渐变化，音量由小到大变化称为淡入（fade in），音 量由大到小变化称为淡出（fade out）。
3．时间伸缩
用于改变声音播放的速度，且不影响音高。
“查看|启用剪辑时间伸展”
时间伸缩
2.2.6 加载效果器
2.2 音频处理软件 Adobe Audition
第3章+数字声音编码(1)
人的听力
人耳对中频段1～3千赫的声音最为灵敏，对高、低 频段的声音，特别是低频段的声音则比较迟钝。
声音的主要研究领域
语音识别 将人类的语音中的词汇转换为计算机可读的输入
语音理解
让计算机知道人说的是什么
语音合成
让计算机能像我们人一样说话 比如从文本到声音
声音和语音的压缩
一些动物能感受的声音频率范围
Animal Elephant Dog Cat Bat Dolphin
Audible frequency range 05 – 12 000 Hz 40 – 45 000 Hz 45 – 85 000 Hz As high as 120 000 Hz As high as 200 000 Hz
SNR＝10lg[(Vsignal)2/(Vnoise)2]＝20lg(Vsignal/Vnoise)
其中，Vsignal表示信号电压，Vnoise表示噪声电压；
3.2.4 声音质量和数据率
表2–01 声音质量和数据率
质量
பைடு நூலகம்
采样频率 样本精度
(kHz)
(bit/s)
单道声/ 数据率(kB/s)
立体声
3.3 声音质量的MOS评分标准
声音质量的度量还有两种基本的方法：一种是客 观质量度量，另一种是主观质量度量。评价语音 质量时，有时同时采取两种方法评估，有时以主 观质量度量为主。
乐器数字接口（MIDI）
MIDI (Musical Instrument Digital Interface) 电子乐器数字接口，是在音乐合成器(music synthesizers)、乐器(musical instruments)和 计算机之间交换音乐信息的一种标准协议。
音频信息处理课程设计
音频信息处理课程设计一、教学目标本课程的学习目标包括知识目标、技能目标和情感态度价值观目标。
知识目标要求学生掌握音频信息处理的基本概念、原理和方法；技能目标要求学生能够运用音频处理软件进行音频文件的编辑、合成和处理；情感态度价值观目标要求学生培养对音频信息处理的兴趣和热情，提高创新能力和团队协作能力。
通过分析课程性质、学生特点和教学要求，明确课程目标，将目标分解为具体的学习成果。
学生将能够：1.描述音频信息处理的基本概念和原理。
2.运用音频处理软件进行音频文件的编辑、合成和处理。
3.分析音频信息，提取有效信息并进行处理。
4.创作音频作品，展示创新能力和团队协作能力。
二、教学内容根据课程目标，选择和教学内容，确保内容的科学性和系统性。
本课程的教学大纲如下：1.音频信息处理基本概念：介绍音频信息处理的基本概念和原理，包括音频文件格式、采样率、比特率等。
2.音频处理软件操作：学习音频处理软件的基本操作，包括音频剪辑、效果添加、混音等。
3.音频信息分析与处理：学习如何分析音频信息，提取有效信息并进行处理，如去除噪音、增强音量、剪辑片段等。
4.音频创作与展示：通过团队协作，创作音频作品，展示创新能力和团队协作能力。
三、教学方法选择合适的教学方法，如讲授法、讨论法、案例分析法、实验法等，以激发学生的学习兴趣和主动性。
1.讲授法：通过讲解音频信息处理的基本概念和原理，使学生掌握相关知识。
2.讨论法：学生进行小组讨论，促进学生之间的交流与合作，提高团队协作能力。
3.案例分析法：分析实际案例，使学生能够将理论知识应用于实际问题中。
4.实验法：通过操作音频处理软件，进行音频文件的编辑、合成和处理，提高学生的实践能力。
四、教学资源选择和准备适当的教学资源，包括教材、参考书、多媒体资料、实验设备等。
教学资源应该能够支持教学内容和教学方法的实施，丰富学生的学习体验。
1.教材：选择适合学生年级和知识水平的音频信息处理教材，作为学生学习的基础。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.1.3 数字音频的文件格式
MPEG音频编码具有很高的压缩率，MP1和MP2 的压缩率分别为4∶1和6∶1～8∶1，而MP3的 压缩率则高达10∶1～12∶1，也就是说一分钟 CD音质的音乐，未经压缩需要10MB存储空间， 而经过MP3压缩编码后只有1MB左右，同时其音 质基本保持不失真。
3.1.3 数字音频的文件格式
第3章 音频信息处理
学习目标
■了解声音信号的特点、存储格式及质量的 度量方法；
■理解音频信号压缩方法及音频编码标准； ■掌握常用的音频处理软件对声音信号进行 处理；
■了解语音识别技术及其应用；
3.1 音频信息处理基础
• 音频信息在多媒体中的应用极为广泛：视频图 像配以娓娓动听的音乐和语音 ；静态或动态图 像配以解说和背景音乐 ；立体声音乐可增加空 间感 ；游戏中的音响效果等。 • 音频处理技术主要包括电声转换、音频信号的 存储、重放技术、加工处理技术以及数字化音 频信号的编码、压缩、传输、存取、纠错等。
3.1.2 模拟音频的数字化过程
• 编码的形式比较多，常用的编码方式是PCM— —脉冲调制。 • 脉冲编码调制（PCM）是把模拟信号变换为数 字信号的一种调制方式，即把连续输入的模拟 信号变换为在时域和振幅上都离散的量，然后 将其转化为代码形式传输或存储。
3.1.3 数字音频的文件格式
• 在多媒体技术中，存储音频信息的文件格式主 要有：WAV文件、VOC文件和MP3文件等。 • 1. WAV文件 WAV文件又称波形文件，来源于对声音模拟波 形的采样，并以不同的量化位数把这些采样点 的值轮换成二进制数，然后存入磁盘，这就产 生了波形文件。 • WAV文件用于保存Windows平台的音频信息资源， 被Windows平台及其应用程序所广泛支持。
3.1.1 音频信号的特点
• 1.音频信号的分类 • 音频信号可分为两类：语音信号和非语音信号。 • 语音是语言的物质载体，是社会交际工具的符 号, 它包含了丰富的语言内涵，是人类进行信 息交流所特有的形式。 • 非语音信号主要包括音乐和自然界存在的其他 声音形式。非语音信号的特点是不具有复杂的 语义和语法信息，信息量低、识别简单。
周期 幅度限
基线
3.1.1 音频信号的特点
• 3. 声音的A/D与D/A转换 • A/D转换就是把模拟信号转换成数字信号的过 程，模拟电信号变为了由“0”和“1”组成的Bit 信号。这样做的好处是显而易见的，声音存储 质量得到了加强，数字化的声音信息使计算机 能够进行识别、处理和压缩 。 • A/D转换的一个关键步骤是声音的采样和量化， 得到数字音频信号，它在时间上是不连续的离 散信号。 • 借助于A/D或D/A转换器，模拟信号和数字信 号可以互相转换。
3.1.1 音频信号的特点
• (2)音色：即特色的声音。 • 声音分纯音和复音两种类型。所谓纯音，是指 振幅和周期均为常数的声音；复音则是具有不 同频率和不同振幅的混合声音。大自然中的声 音绝大部分是复音。 • 在复音中，最低频率的声音是“基音”，它是 声音的基调。其他频率的声音称为“谐音”， 也叫泛音。基音和谐音是构成声音音色的重要 因素。
3.1.1 音频信号的特点
• 规则音频是一种连续变化的模拟信号,可用一条 连续的曲线来表示，称为声波。因声波是在时 间和幅度上都连续变化的量，我们称之为模拟 量。
用声音录制软件 记录的英文单词 “Hello”的语音实 际波形。
3.1.1 音频信号的特点
• 2.模拟音频信号的两个重要参数 • 模拟音频信号有两个重要参数：频率和幅度。 声音的频率体现音调的高低，声波幅度的大小 体现声音的强弱。 • 一个声源每秒钟可产生成百上千个波，我们把 每秒钟波峰所发生的数目称之为信号的频率， 单位用赫兹(Hz)或千赫兹(kHz)表示。信号的幅 度是从信号的基线到当前波峰的距离。幅度决 定了信号音量的强弱程度。幅度越大，声音越 强。对音频信号，声音的强度用分贝(dB)表示， 分贝的幅度就是音量。
3.1.3 数字音频的文件格式
2.VOC文件 VOC文件是Creative公司所使用的标准音频文 件格式，多用于保存 Creative Sound Blaster(创新 声霸)系列声卡所采集的声音数据，被Windows 平台和DOS平台所支持。 与WAV格式类似，VOC文件由文件头块和音频数 据块组成。
• 4. RealAudio文件——.RA/.RM/.RAM • RealAudio文件是RealNetworks公司开发的一种新 型流式音频(Streaming Audio)文件格式；它包含 在RealNetworks所制定的音频、视频压缩规范 RealMedia中，主要用于在低速率的广域网上实 时传输音频信息。 • 网络连接速率不同，客户端所获得的声音质量 也不尽相同：对于28.8kb/s的连接，可以达到广 播级的声音质量；如果拥有ISDN或更快的线路 连接，则可获得CD音质的声音。
3.1.2 模拟音频的数字化过程
• 量化的过程是先将采样后的信号按整个声波的 幅度划分成有限个区段的集合，把落入某个区 段内的样值归为一类，并赋于相同的量化值。 • 如何分割采样信号的幅度呢? 我们还是采取二 进制的方式，以８位(bit)或16位(bit)的方式来 划分纵轴。也就是说在一个以8位为记录模式 的音效中，其纵轴将会被划分为个量化等级， 用以记录其幅度大小。
3.1.2 模拟音频的数字化过程
• 数字化的声音易于用计算机软件处理，现在几 乎所有的专业化声音录制、编辑器都是数字方 式。对模拟音频数字化过程涉及到音频的采样、 量化和编码。 • 采样和量化的过程可由A/D转换器实现。A/D 转换器以固定的频率去采样，即每个周期测量 和量化信号一次。
3.1.2 模拟音频的数字化过程
3.1.1 音频信号的特点
• 5.声音的频谱 • 声音的频谱有线性频谱和连续频谱之分。线性 频谱是具有周期性的单一频率声波；连续频谱 是具有非周期性的带有一定频带所有频率分量 的声波。 • 纯粹的单一频率的声波只能在专门的设备中创 造出来，声音效果单调而乏味。自然界中的声 音几乎全部属于非周期性声波，该声波具有广 泛的频率分量，听起来声音饱满、音色多样且 具有生气。
3.1.2 模拟音频的数字化过程
• 失真在采样过程中是不可避免的，如何减少失 真呢？可以直观地看出，我们可以把图中的波 形划分成更为细小的区间，即采用更高的采样 频率。同时，增加量化精度，以得到更高的量 化等级，即可减少失真的程度。 • 比较下面两图中，采样率和量化等级均提高了 一倍，分别为2000次/秒和20个量化等级。在下 图中，采样率和量化等级再提高了一倍。从图 中可以看出，当用D/A转换器重构原来信号时 （图中的轮廓线），信号的失真明显减少，信 号质量得到了提高。
3.1.1 音频信号的特点
• 4. 声音的三要素 • (1)音调：代表了声音的高低。音调与频率有关， 频率越高，音调越高，反之亦然。 • 大家也许有这样的经验，当提高磁带录音机的 转速时，其旋转加快，声音信号的频率提高， 其喇叭放出来声音的音调提高了。同样，在使 用音频处理软件对声音的频率进行调整时，也 可明显感到音调随之而产生的变化。 • 各种不同的声源具有自己特定的音调，如果改 变了某种声源的音调，则声音会发生质的转变， 使人们无法辨别声源本来的面目。
• 经采样和量化后声音信号经编码后就成为数字 音频信号，可以将其以文件形式保存在计算机 的存储介质中，这样的文件一般称为数字声波 文件。
100101100011101
模拟信号的数字化过程
3.1.2 模拟音频的数字化过程
• 1. 采样 • 信息论的奠基者香农（Shannon）指出：在一 定条件下，用离散的序列可以完全代表一个连 续函数，这是采样定理的基本内容。 • 为实现A/D转换，需要把模拟音频信号波形进 行分割，这种方法称为采样(Sampling)。采样 的过程是每隔一个时间间隔在模拟声音的波形 上取一个幅度值，把时间上的连续信号变成时 间上的离散信号。该时间间隔称为采样周期， 其倒数为采样频率。采样频率是指计算机每秒 钟采集多少个声音样本。
3.1.3 数字音频的文件格式
• Wave格式支持多种压缩算法，支持多种音频位 数、采样频率和声道，是PC机上最为流行的声 音文件格式，但其文件尺寸较大，多用于存储 简短的声音片断。 • 未压缩的声音文件的存储量可用下式计算：
• 存储量(KB)=（采样频率KHZ×采样位数bit×声道数 ×时间秒）/8
3.1.2 模拟音频的数字化过程
3.1.2 模拟音频的数字化过程
• 3. 编码 • 模拟信号量经过采样和量化以后，形成一系列 的离散信号——脉冲数字信号。这种脉冲数字 信号可以一定的方式进行编码，形成计算机内 部运行的数据。 • 所谓编码，就是按照一定的格式把经过采样和 量化得到的离散数据记录下来，并在有用的数 据中加入一些用于纠错、同步和控制的数据。 • 在数据回放时，可以根据所记录的纠错数据判 别读出的声音数据是否有错，如在一定范围内 有错，可加以纠正。
3.1.3 数字音频的文件格式
• 5. AIFF文件——.AIF/.AIFF • AIFF是音频交换文件格式(Audio Interchange File Format)的英文缩写，是苹果计算机公司开发的 一种声音文件格式；被Macintosh平台及其应用 程序所支持，其他专业音频软件包也同样支持 这种格式。
•以下图所示的原始模拟波形为例进行采样和量化。 •假设采样频率为1000次/秒，即每1/1000秒A/D转换 器采样一次，其幅度被划分成0到9共10个量化等级， 并将其采样的幅度值取最接近0~ 9之间的一个数来 表示。 •图中每个正方形表示一次采样。
•D/A转换器从上图得到的数值中重构原来信号时， 得到下图中蓝色(直线段)线段所示的波形。 •从图中可以看出，蓝色线与原波形(红色线)相比， 其波形的细节部分丢失了很多。这意味着重构后的 信号波形有较大的失真。
3.1.2 模拟音频的数字化过程