第三讲 话音编码简介
最新PCM编码详解PPT课件
表3-02 多次复用的数据传输率
PCM在通信中的应用
• PCM信号复用的复杂程度，通常用“群(group)”表示 • 一次群(基群)的30路(或24路),北美叫做T1远距离数字通信线， • 在欧洲叫做E1远距离数字通信线和E1等级。 • 二次群的120路(或96路) • 三次群的480路(或384路)
差分脉码调制(DPCM)
DPCM不对每一样值都进行量化，而是预测下一样值， 并量化实际值和预测值之间的差。
DPCM是基本的编码方法之一，在大量的压缩算法中被 采用，比如JPEG的DC分量就是采用DPCM编码的。
举例说明DPCM编码原理： 设DPCM系统预测器的预测值为前一个样值，假设输入信
号已经量化，差值不再进行量化。若系统的输入为{0 1 2 1 1 2 3 3 4 4 …}，则预测值为{0 0 1 2 1 1 2 3 3 4 …}， 差值为{0 1 1 –1 0 1 1 0 1 0 …}，差值的范围比输入样 值的范围有所减小，可以用较少的位数进行编码。
PCM在通信中的应用
PCM在通信中的应用
• 24路制的重要参数如下： 1. 每秒钟传送8000帧，每帧125 m s。 2. 12帧组成1复帧(用于同步)。 3. 每帧由24个时间片(信道)和1位同步位组成。 4. 每个信道每次传送8位代码，1帧有24 × 8 ＋1＝193位(位)。 5. 数据传输率R＝8000×193＝1544 kb/s。 6. 每一个话路的数据传输率＝8000×8=64 kb/s。 • 30路制的重要参数如下： 1. 每秒钟传送8000帧，每帧125 m s。 2. 16帧组成1复帧(用于同步)。 3. 每帧由32个时间片(信道)组成。 4. 每个信道每次传送8位代码。 5. 数据传输率：R＝8000×32×8＝2048 kb/s。 6. 每一个话路的数据传输率＝8000×8=64 kb/s。
多媒体技术基础第3版第3讲话音编码课件
Dolby Vision是一种高动态范围（HDR）视频技术标准，它通过增加亮度和颜色 动态范围来提升图像质量。同时，Dolby Vision还支持音频和视觉的同步处理， 提供更加沉浸式的观影体验。
04 音视频编码的应用场景
CHAPTER
流媒体应用
实时通信
通过音视频编码技术，实现实时 语音和视频通话，如在线会议、
高清与超高清音视频编码技术需要更高的数据传输速率和存储空间，因此需要发展 更高效的编码算法和传输技术，以降低数据传输成本和存储成本。
随着5G、物联网等技术的发展，高清与超高清音视频编码技术的应用场景将更加广 泛，例如在智能家居、远程医疗、在线教育等领域。
人工智能与音视频编码的结合
人工智能技术为音视频编码提供了新 的解决方案，例如利用深度学习技术 进行视频压缩，可以显著提高压缩效 率和图像质量。
远程教育等。
直播服务
音视频编码技术用于在线直播， 如音乐会、比赛、新闻报道等，
让观众实时观看。
点播服务
音视频编码技术也用于提供点播 服务，如在线电影、电视剧、短
视频等。
数字电视应用
数字电视广播
通过音视频编码技术，实现数字 电视信号的传输和接收，提供高 清、流畅的电视节目。
交互电视
音视频编码技术用于交互电视应 用，如视频点播、时移电视、互 动游戏等。
新一代视频压缩标准，支持更 高的分辨率和帧率，适用于
4K和8K视频。
AV1
开源的视频编码标准，旨在提 供更高的压缩效率和更好的版
权保护。
02 音视频编码技术
CHAPTER
音频编码技术
音频编码概述
音频编码是将模拟信号或数字信 号转换为数字信号的过程，以便
语音编码
1980年，Linde,Buzo和Hoyd将Hoyd-Max算法推广到k维空间。提出了设计矢量量 化器的一般的方法，称为LBG算法。
从LBG算法开始，矢量量化的研究进入有效的实用和全面展开的阶段。人们针对
失真测度的探讨、码书设计，快速搜索算法和实阶应用系统展开研究。下图是一
个矢量量化器的示意图，它将输入矢量X量化成为输出矢量Yi
2
2
2
V/64~V/32 P010ABCD
4
3
4
5
V/32~V/16 V/16~V/8
V/8~V/4
P011ABCD P100ABCD P101ABCD
8
16 32
6
V/4~V/2 P110ABCD
64
7
V/2~V P111ABCD
128
其中，=Xmax/(212-1)，编码位数为m=8，用PxyzABCD表示。P表示 极性，xyz表示段落码。不同的段落采用不同的量化步长。同一段落内量化 是均匀的。ABCD是段内信号幅值，共有13个不同的量化步长。除去符号位， PCM 码 的 7 位 量 化 值 表 示 12 位 的 动 态 范 围 。 以 8K 采 样 率 计 ， PCM 码 率 为
·2m=2Xmax
4。非均匀量化
当M一定时，为了表示较大的动态范围，=Xmax/2m-1要取较大值。 这样，在信号幅值较小时，产生较大误差。为了兼顾动态范围和小信号 的系统精度。Reeves提出非均匀量化概念。即对大信号取较大的量化步 长。对小信号取较小的量化步长。等价地说，先将大信号缩小，小信号
2。采样 按周期T对模拟信号进行测量，称为采样。采样频率Fs=1/T.
在满足奈奎斯特定理时，从采样值可准确的恢复原信号。（时间 轴上的离散化）
话音编码
224色 声音频率 文10字11组00句01 1100
色彩渐变 主1010观0111意0100识012108色11100100
1011: 1100 0101: 1111 1010
教学进程
● 数据压缩的可能性
（1）空间冗余 – 静态图像中存在的最主要的一种数据冗 余 – 在同一幅图像中，规则物体和规则背景 的表面物理特性具有相关性 – 即对同一景物表面上采样点的颜色之间 存在着空间连贯性
I = D － du
I — 信息量 D — 数据量 du — 冗余量，包含在D中
● 冗余举例 播音员—— 180字/分钟，2Byte一个字，360Byte (合0.35KB/分钟) 音频数据——8kHz采样×8bit×60秒 = 3840KBit (合480KB/分钟)
教学进程
● 冗余分类 P98
● 图像数字化处理面临的主要问题是巨大的数据量
若采用1024×768显示分辨率，则满屏图像的总数据量为: 1024×768×log2 256 ÷8 = 786432 Byte (768 KB)
● 音频 若采样频率为44100Hz，16bit (2Byte)，立体声 (2声道)， 则1分钟的总数据量为: 44100×2 Byte×2 (STEREO) ×60s = 10336 KB (10MB)
教学进程
3.4.3 数据冗余 ● 冗余基本概念 ● 什么是冗余？ 相同或者相似的重复信息 可以在空间范围重复，也可以在时间范围重复 可以是严格重复，也可以是以某种相似性重复 分为统计冗余和心理视觉冗余两大类
● 冗余 —— 信息所具有的各种性质中多余的无用空间
教学进程
3.4.3 数据冗余 ● 冗余基本概念 ● 冗余度 —— 多余的无用空间的程度 ● 信息量与冗余的关系
数字移动通信中话音编码和调制技术
数字移动通信中话音编码和调制技术引言：在当今移动互联网发展迅猛的信息时代，数字移动通信中数据传输所占带宽比重越来越大。
话音通信作为移动通讯的基础，其编解码效率和调制技术将直接影响数据流量的传输质量。
本文就话音通信中编码和调制技术，从技术要求和具体实现方法等方面做了简要分析介绍。
在数字移动电话通信中，发送端需要把模拟话音信号变化为数字信号，再采用一定的数字调制方法调制载波，把已调信号发射出去。
接收端对接收到的已调信号解调得到表示话音的数字信号，再经过解码器把数字信号变化为模拟信号。
编码在数字移动通信系统中所传输的信号为数字信号，因而发送端必须首先将模拟话音信号转换为数字信号，即进行话音编码。
而在接收端再将此数字信号还原成模拟信号。
实用的话音编码方案有多种，由于在GSM系统中是采用规则脉冲激励长期预测（RPE-LTP）编码方案，而在CDMA系统中则采用Qualcomm码激励线性预测（QCELP）话音编码技术。
话音编码有三个主要技术指标：数码率、话音质量和编解码延迟。
一、编码器的数码率是指编码器每秒输出的二元码的数目，其单位为比特/秒(b/s)或千比特/秒(Kb/s)等。
例如，常用的PCM数字电话其数码率为64Kb/s，即每秒有64×103个二元码。
传送数字信号时，占用的信道带宽与数码率成正比，数码率越高的信号占用的信道带宽越宽，因此，在保证一定的话音质量前提下，希望编码器的数码率越低越好，然后，话音质量通常随数码率的降低而变差，限制了数码率的降低。
二、评价编码器的话音质量有两种方法：客观评价法和主观评价法。
客观评价法测量解码器输出话音信号的某种指标，通常采用的指标是输出噪声比，它反映了解码器输出信号波形与编码器输人话音信号波形之间的均方误差大小，输出信噪比越高，误差越小，话音质量越好。
主观评价法反映了人类听话时对话音质量的感觉。
最常用的主观评价法是“平均评价得分(Mean Opinion Score)”，简称为MOS分。
语音编码原理
语音编码原理1什么是声音2语音信号3 语音编码技术3.1语音编码的提出3.2语音编码技术的类别4语音编码的必要性（含目的）5语音编码的技术指标6各种语音编码技术比7语音信号的数字化和预处理7.1语音信号的数字化7.2语音信号的预处理8 PCM编码9 自适应差分脉冲编码调制（ADPCM）9.1 自适应脉冲编码调制(APCM)的概念9.2差分脉冲编码调制(DPCM)的概念9.3 自适应差分脉冲编码调制(ADPCM)1什么是声音声音是由物体振动产生，正在发声的物体叫声源。
声音以声波的形式传播。
声音只是声波通过固体或液体、气体传播形成的运动。
声波振动内耳的听小骨，这些振动被转化为微小的电子脑波，它就是我们觉察到的声音。
内耳采用的原理与麦克风捕获声波或扬声器的发音一样，它是移动的机械部分与气压波之间的关系。
自然，在声波音调低、移动缓慢并足够大时，我们实际上可以“感觉”到气压波振动身体。
因此我们用混合的身体部分觉察到声音。
2语音信号声音是携带信息的极重要的媒体，也是多媒体技术研究中的一个重要内容。
而声音的种类十分繁多，因而有必要对其特性进行研究以利于计算机进行处理。
声音是通过空气传播的连续波，其强弱体现在声波的压力上，音调的高低则体现在频率上。
当用电信号表示时，则为时间和幅度均连续的模拟信号。
当用计算机进行数字化处理时则需要将其数字化。
人耳能够听到的声音频率为20—20kHz，而我们的发声频率则为80—3400Hz。
一般我们认为语音信号的频率范围是300—3000Hz。
那我们发声的原理又是怎样的呢？当肺里面的空气沿声道通过声门就发出声音。
一般男性的声道约为17厘米（从声门到嘴唇），这也意味着声音号中有1毫秒数量级的数据是具有相关性的。
由于声道形状和激励方式的变化相对的比较缓慢，故话音信号在短周期内（约20毫秒）可认为是准定态。
又由于声门的准周期性的震动和声道的谐振，话音具有高度的周期性。
话音编码器就是要揭示这种周期性以减少数据率而又尽量不牺牲音质。
编码原理(PCM&ADPCM)
其它语音编码方法
• 线性预测声码器（LPC－10，LPC－10e） 数据速率为2.4kb/s。 • 多脉冲激励线性预测编码器（MPE－LPC） 数据速率为10kb/s左右。 • 规则脉冲激励线性预测编码器（RPE－ LTP被定位GSM标准，速率为13kb/s ） • 码激励线性预测编码器（CELP），数据速 率在4.8－16kb/s之间
线性预测： xk =
a (k ) x
i =1 i
k 1
' i
如果ai是常数，则为时不变线性预测，否 则为自适应线性预测
最简单的预测方程： xk = xk 1
最简单的DPCM
x
0 1 2 1 1 2 3 3 4 4
Байду номын сангаас
x’’
e
0
0
0
1
1
1
2
-1
1
0
1
1
2
1
3
0
3
1
4
0
22
增量调制(△M)
• 自适应差分脉冲编码调制（ADPCM）综合了 APCM的自适应特性和DPCM系统的差分特性
26
自适应差分脉冲编码调制
• ADPCM是利用样本与样本之间的高度相关性 和量化阶自适应来压缩数据的一种波形编码技 术，CCITT为此制定了G.721推荐标准，这个标 准叫做32 kb/s ADPCM。在此基础上还制定了 G.721的扩充推荐标准G.723，使用该标准的编 码器的数据率可降低到40 kb/s和24 kb/s。 • G.721 的输入信号是G.711 PCM代码，它的数 据率为64 kb/s。而G.721 ADPCM的输出是用4 位表示的差分信号，它的采样率仍然是8 kHz， 它的数据率为32 kb/s，这样就获得了2∶1的数 据压缩。
话音编码资料
3.1.1 话音波形的特性
1.浊音(voiced sounds)：
------准周期脉冲(quasi-periodic pulses) ：
在声门打开然后关闭时中断肺部到声道的气流所产 生的脉冲。声门打开和关闭的速率呈现为音节(pitch)的 大小，它的速率可通过改变声道的形状和空气的压力来 调整。浊音表现出在音节上有高度的周期性，其值在2～
2018/11/1
10
• AbS编译码器的一般结构如下图所示
(a) 编码器
把输入话音 信号分成许 多帧 (frames)， 每帧的长度 为20 ms。 合成滤波器 的参数按帧 计算，然后 确定滤波器 的激励参数。
通过调节激励信号 可使话音输入信号 与重构的话音信 号 之差为最小，也就是重构的话音与实际的话音最接近。
2018/11/1
7
– 时域法(time domain approach)：
• 在时间域里的编译码方法；
– 频域法(frequency domain approach)：如，
• 子带编码(sub-band coding，SBC)：输入的话音信号 被分成好几个频带(即子带)，变换到每个子带中的 话音信号都进行独立编码，例如使用ADPCM编码 器编码，在接收端，每个子带中的信号单独解码之 后重新组合，然后产生重构话音信号。 • 自适应变换编码(adaptive transform coding， ATC)：这种方法使用快速变换(例如离散余弦变换) 把话音信号分成许许多多的频带，用来表示每个变 换系数的位数取决于话音谱的性质，获得的数据率 可低到16 kb/s
2018/11/1 8
2. 音源编译码器
从话音波形信号中提取生成话音的参数， 使用这些参数通过话音生成模型重构出话音。 – 声码器(vocoder)：
第三讲 话音编码简介
2、对输入的气流（激励）建模 浊音（voiced sounds）：声道打开，声带在先打开后关闭，气 流经过使声带要发生张驰振动，变为准周期振动气流。浊音的 激励源被等效为准周期的脉冲信号。 清音（unvoiced sounds）：声带不振动，而在某处保持收缩， 气流在声道里收缩后高速通过产生湍流，再经过主声道（咽、 口腔）的调整最终形成清音。清音的激励源被等效为一种白噪 声信号。 爆破音（plosive sounds）：声道关闭之后产生压缩空气然后突 然打开声道所发出的声音。
话音产生的数字模型
周期
周期脉冲序 列发生器 浊/清选择 伪随机噪声 产生器
声道参数
时变数字滤 波器 音量控制
语音 输出
3、滤波器 用滤波器来模仿声道。编码的结果其实就是滤波器的规 格、发声或者不发声的标志和有声话音的音节周期，并且每 隔10～20 ms更新一次。 解码器知道使用什么规格的滤波器后，计算激励通过滤 波器的输出就是解码过程。 上节讲到的线性预测方法可用来生成滤波器。称为线性 预测编码（LPC，linear predictive coding ）。
二、音源编译码
模拟人体产生话音的原理，通过话音生成模型重构出话音。 1、话音的形成原理 说话的时候，声门处 气流冲击声带产生振 动，然后通过声道响 应变成语音。由于发 不同音时，声道的形 状不同，所以听到不 同的语音。
进一步物理建模，声门可以等效为一个激励源（输入信 号），声道可以等效为一个时变滤波器（系统）。
设仅有1，和5两种量化步长， 输入: 1,2,3,3,10,12,16,2,3,2,1…… 前向输出：1,2,3,3, 2, 2, 3, 2,3,2,1…… 1 5 1 …… 解码： 1,2,3,3,10,10,15, 2,3,2,1…… 后向输出：1,2,3,3,10, 2, 3, 0,3,2,1…… 解码： 1,2,3,3,10,10,15,0,3,2,1…… 解码时，后向自适应需要量化阶适配器。 思考：三个量化阶适配器是怎样的算法？
话音编码
200 100
30
＝ 0
µ
0
1
x
(a)
以µ律压缩特性来说明对小信号量化信噪比的改善程 律压缩特性来说明对小信号量化信噪比的改善程 画出了参数µ为某一取值的压缩特性 为某一取值的压缩特性。 度， 如图 画出了参数 为某一取值的压缩特性。 虽然它 的纵坐标是均匀分级的， 但由于压缩的结果， 的纵坐标是均匀分级的， 但由于压缩的结果， 反映到输 入信号x就成为非均匀量化了 即信号小时量化间隔∆x小 就成为非均匀量化了， 入信号 就成为非均匀量化了，即信号小时量化间隔 小， 信号大时量化间隔∆x也大 而在均匀量化中， 也大， 信号大时量化间隔 也大，而在均匀量化中，量化间隔 却是固定不变的。 却是固定不变的。
3.1 三种话音编译码器
通常把已有的话音编译码器分成三种类型： 通常把已有的话音编译码器分成三种类型：波形编译 码器、音源编译码器和混合编译码器。 码器、音源编译码器和混合编译码器。 波形编译码器的话音质量高，但数据率也很高； 波形编译码器的话音质量高，但数据率也很高；音源 编译码器的数据率很低，产生的合成话音的音质有待提高； 编译码器的数据率很低，产生的合成话音的音质有待提高； 混合编译码器使用音源编译码技术和波形编译码技术， 混合编译码器使用音源编译码技术和波形编译码技术，数 据率和音质介于它们之间。 据率和音质介于它们之间。
假设使用近似于对数的对数量化器， 假设使用近似于对数的对数量化器，则产生的样本精 度为8位 它的数据率为64kb/s时，重构的话音信号几乎 度为 位，它的数据率为 时 与原始的话音信号没有什么差别。 与原始的话音信号没有什么差别。 PCM编译码器简单，延迟时间短，音质高，不足点 编译码器简单，延迟时间短，音质高， 编译码器简单 是数据速率比较高，对传输通道的错误比较敏感。 是数据速率比较高，对传输通道的错误比较敏感。 在话音编码中，一种普遍使用的技术叫做预测技术， 在话音编码中，一种普遍使用的技术叫做预测技术， 这种技术是企图从过去的样本来预测下一个样本的值。 这种技术是企图从过去的样本来预测下一个样本的值。依 据是在话音样本之间存在相关性。 据是在话音样本之间存在相关性。
多媒体技术基础第3讲话音编码
第3章 数字声音编码
24 of 46
3.5 PCM在通信中的应用(续2)
2019年3月2日
第3章 数字声音编码
25 of 46
3.5 PCM在通信中的应用(续3)
2019年3月2日
第3章 数字声音编码
26 of 46
3.5 PCM在通信中的应用(续4)
时分多路复用示意图
图3-7 二次复用示意图
增量调制
也称△调制(delta modulation，DM)，是一种预测编码技术 对实际的采样信号与预测的采样信号之差的极性进行编码。 如果实际的采样信号与预测的采样信号之差的极性为“正”， 则用“1”表示；相反则用“0”表示，或者相反 由于DM编码只须用1位对话音信号进行编码，所以DM编码系 统又称为“1位系统”
2019年3月2日
第3讲 话音编码
30 of 46
3.6 增量调制与自适应增量调制(续)
2019年3月2日
第3章 数字声音编码
31 of 46
3.7 自适应差分脉冲编码调制
APCM的概念
APCM是什么
adaptive pulse code modulation的缩写，自适应脉 冲编码调制 根据输入信号幅度大小来改变量化阶大小的一种 波形编码技术 自适应
2019年3月2日
第3讲 话音编码
6 of 46
3.1 话音类型
图3-02 浊音段的功 率谱密度(power spectral density， PSD)
2019年3月2日
第3讲 话音编码
7 of 46
3.1 话音类型
清音是由不稳定气流激励所产生的，这种气流 是在声门处在打开状态下强制空气在声道里高 速收缩产生的。
音频编码基本概念介绍
音频编码基本概念介绍自然界中的声音非常复杂，波形极其复杂，通常我们采用的是脉冲代码调制编码，即PCM编码。
PCM通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。
1-1 什么是采样率和采样大小（位/bit）。
声音其实是一种能量波，因此也有频率和振幅的特征，频率对应于时间轴线，振幅对应于电平轴线。
波是无限光滑的，弦线可以看成由无数点组成，由于存储空间是相对有限的，数字编码过程中，必须对弦线的点进行采样。
采样的过程就是抽取某点的频率值，很显然，在一秒中内抽取的点越多，获取得频率信息更丰富，为了复原波形，一次振动中，必须有2个点的采样，人耳能够感觉到的最高频率为20kHz，因此要满足人耳的听觉要求，则需要至少每秒进行40k次采样，用 40kHz表达，这个40kHz就是采样率。
我们常见的CD，采样率为44.1kHz。
光有频率信息是不够的，我们还必须获得该频率的能量值并量化，用于表示信号强度。
量化电平数为2的整数次幂，我们常见的CD位16bit的采样大小，即2的16次方。
采样大小相对采样率更难理解，因为要显得抽象点，举个简单例子：假设对一个波进行8次采样，采样点分别对应的能量值分别为A1-A8，但我们只使用 2bit的采样大小，结果我们只能保留A1-A8中4个点的值而舍弃另外4个。
如果我们进行3bit的采样大小，则刚好记录下8个点的所有信息。
采样率和采样大小的值越大，记录的波形更接近原始信号。
1-2 有损和无损根据采样率和采样大小可以得知，相对自然界的信号，音频编码最多只能做到无限接近，至少目前的技术只能这样了，相对自然界的信号，任何数字音频编码方案都是有损的，因为无法完全还原。
在计算机应用中，能够达到最高保真水平的就是PCM编码，被广泛用于素材保存及音乐欣赏，CD、DVD以及我们常见的 WAV文件中均有应用。
因此，PCM约定俗成了无损编码，因为PCM代表了数字音频中最佳的保真水准，并不意味着PCM就能够确保信号绝对保真，PCM也只能做到最大程度的无限接近。