第8章 限失真信源编码
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
码
31
8.4
对于有记忆信源，采样后的信号序列存在时间相关性，仍然对 各个采样时刻的信号值逐个进行量化，会造成码长的冗余。 为提高编码效率，通常用两类方法对相关信源进行编码。 预测编码：通过预测以减少信息冗余后再进行编码。
变换编码： 信号序列变换为另一个域上彼此独立或者相关程 度较低的序列，同时将能量集中在部分样值上， 再对这个新序列进行编码。
例如，例8.3.1的量化噪声 1 量化噪声 e 。
2
e xq 6 x
10 10.3 0.3 。均匀量化的 16 16 16
如果我们采用平方误差失真函数 d ( x, xqi ) ( x xqi ) 2 ，则量化噪 声直接反映了信息失真的程度；根据限失真编码的要求就可以决定 均匀量化的量化噪声水平。 2 非均匀量化编码
所以 C2 1 ； 与量化码最高位和次高位权值之和比较，由于
x 10.3 4 2 4 2 1 11 16 8 8 2 8 8 16 16
10.3 4 1 4 1 1 9 16 8 8 2 8 8 16 16
所以 C1 0；与量化码最高位和最低位权值之和比较，由于
由于每个段落的量化间隔不同，13折线A律非线性量化的量化噪 声随着信号值落在不同段落而不同。
e x q 6, 2
1 1 x 288 286 2 8 1024 256
21
8.3.2 矢量量化编码
矢量量化在图像、语音信号编码中研究得较多，具有量化和压 缩编码的综合特性。
(n) ( n) ( n) 1 给定码书长度N、初始码书 { X q1 , X q 2 ,, X qN } 和计算停止门限
1
(0,1) 置 n 0 ，初始平均失真 D( n1) 。
25
2
(n) ( n) ( n) { X , X , , X 用码书 q1 q 2 qN } 为已知形心，利用信号序列构成的L维
6
8.3.1 最佳标量量化编码
脉冲编码调制（PCM，pulse code modulation）是研究最早、使用 最广的一种最佳标量量化编码。
x( t ) 采样 量化、编码 C(iTs)
图8.3.1 PCM编码原理图
方便起见，将采样的输入信号值记为 x ，量化、编码中的信号 量化值记为 xq ，量化、编码的编码输出记为 C 。
34
8.4.2 差值编码
1 增量调制
增量调制是预测编码中最简单的一种，增量调制原理如下，其 中(a)为发送端，(b)为接收端。
xn +
-
dn
n
1比特 量化
d qn
编码
cn
cn
译码
d qn
xn
~ xn
d
i 1
qn i
~ xn
图8.4.3 增量调制原理图
在矢量量化中，将L个采样时刻的信号值组成一组，将其看作一 个L维矢量，以这些L维矢量为单位逐个进行量化编码。
22
a2
S3
x(Ts ) x(2Ts )
x(12Ts )
S4 S1
S2
a1
S6 S5
X1
X2
X6
图8.3.6 二维矢量的形成
图8.3.7 平面的划分
23
矢量量化就是在给定码书中搜索、计算一个与信号矢量最接近 的码字，并用信号和量化矢量之间的误差衡量二者的接近程度。接 收端用同样的码书，通过序号检索到最接近X的码字。
7
1 均匀量化编码 也称线性量化，指在整个量化范围内的量化间隔都是相等的。
xq4 xq3 xq2 xq1 xq4
xq3
xq2 xq1 x1 x2 x3 x4
x1
x2
x3
x4
(a)中平量化
(b)中升量化
图8.3.2 均匀量化
8
以中平量化为例讨论均匀量化，引入四舍五入原则的中平量化特性 ：
xq4 xq3 xq2 xq1
极性码
段落码
段内码
17
ห้องสมุดไป่ตู้
由于每个段落的宽度不同，每个段落内段内码各位的权值也不同。
表8.3.1 13折线A律段内码各位权值 段落 起始量化值
1
2
000
001
0
3
4 5 6
010
011 100 101
7
8
110
111
18
例8.3.2
19
与段内码最高位权值比较 x 256 286 256 30 128 8 120 与段内码次高位权值比较 x 256 286 256 30 64 8 56 与段内码第三位权值比较 x 256 286 256 30 32 8 24 与段内码第三位和最低位权值之和比较
x1
x2
x3
x4
图8.3.3 引入四舍五入原则的中平量化
由于均匀量化正反两个方向的对称性，可以将其分为极性判断 和信号绝对值量化两个步骤。
9
由于归一化信号绝对值满足 为2M，取 x0 0， xM
xi x0 i i, i 1, 2,, M 1。当信号绝对值
xq0 0。一般取 xqi
x
10.3 所以C0 1；故量化码 C2C1C0 101；将其组合，归一化信号值 x 16
的均匀量化编码为
C3C2C1C0 1101
量化值与信号值之间由于四舍五入而产生的量化误差一般也称 为量化噪声。 12
量化噪声与信号值一样，也是随机变量，记为
e xqi x , i 0,1, 2,, M
1 1 log 2 8 1 3 1 4
10 .3 ，设量化间 16
确定码长：k log
；
C3 1
确定极性码：由于信号值 x 0 ，所以极性码
；
11
确定量化码：信号绝对值与量化码最高位权值比较，由于
10.3 4 4 1 7 x 16 8 2 8 16 16
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
1
8.4
连续信源取值无穷多，不可能像离散信源一样进行一一对应编 码。所幸实际通信系统并不要求完全无失真通信。比如打电话，语 音贷款是20kHz，但语音的主要能量集中在3.4kHz以下，只要把这些 信号传送给接收端，就能满足通话需求。 因此可以只考虑主要信号编码，忽略次要信号，这样编码一定 会产生失真，但只要将失真限定在一定范围内，即满足保真度准则， 就能保证通信的质量。这就是本章要讨论的限失真信源编码。 为了提高通信效率，也常选择限失真信源编码。
H(X)、C、R(D)：临界值，衡量通信能否满足要求的重要界限。
4
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
5
8.4
连续信源编码属于限失真编码，根据保真度准则下的信源编码 定理，其编码效率受限于信息率失真函数 R( D) 。
对于连续信源输出的消息，首先要在时间上进行采样，然后在 取值上进行量化并进而编码。 在符合采样定理的条件下，采样所带 来的信息失真可以忽略不计。 量化是用有限个幅度值来代替无穷多信号值，每个代表一段。显 然，量化必然带来误差。如果量化后采用无失真编码，那么连续信 源编码中的信息失真就都来自量化过程。 量化有多种方法：一种是将各个采样时刻的信号值逐个量化， 称为标量量化；另一种是将各采样时刻的信号值组成一组，将其看 作一个维矢量，将这些维矢量逐个进行量化，称为矢量量化。
32
8.4.1 预测编码
预测值
xn ~ xn d n
预测误差
33
线性预测是最常用的预测方法，其表达式为
n wi xni x
i 1
p
预测阶数应该取多大，加权系数又应该怎样选取，才能在性能 和简单上得到合理的折中？
增量调制（或DM，Differential Modulation） 差分脉冲编码调制（DPCM，Differential Pulse Code Modulation） 自适应差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation）， 这类方案通常也称为差值编码。
x 1，如果信号绝对值的量化数目 1 ，相应的 1，则量化间隔 M
1 1 1 x x xM时，将其量化为 xi x xi , i 1, 2, , M 1 及 M 2 2 2
1 xi , i 1, 2, , M。
当 x 的量化间隔为
2
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
3
8.4
(8.2.1) 只要信源序列L足够长，就一定存在一种编码方式C，使译码后的平 均失真度 (8.2.2) D(C ) D 反之，若
R>R(D)
R<R(D)
(8.2.3) (8.2.4)
则无论有什么编码方式，必有 D(C ) D
时，码长 k log 2
1 1
。
10
一般编码过程是： 1 对信号值进行极性判断，确定极性码； 2 通过信号绝对值与量化码各位权值组合的逐次比较，确定量化码； 3 将极性码和量化码组合起来，得到均匀量化编码。
例8.3.1
隔
1 8
，求其均匀量化编码。
2
已知某一采样时刻的归一化信号值 x
d ( X , X qi ) (a1 a1qi ) 2 (a2 a2 qi ) 2 , i 1,2,, N
码书 信道 码书
X
搜索、计算
i
信道
i
检索
X qi
24
图8.3.8 矢量量化原理图
矢量量化的两个关键问题 怎样建立一个合理的码书？ 当码书较大时，如何快速有效地搜索到与信号矢量最接近的 码字？ LBG算法
只要在量化范围内的量化间隔不完全相等，就将其称为非均匀 量化；非均匀量化也叫做非线性量化。
13
x
f(x)
C
均匀量化、编码
信道
译码
图8.3.4 采用压扩技术的非线性量化原理图
欧洲和中国大陆等地的数字电话通信中采用A律特性：
Ax 1 ln A f A ( x) 1 ln A x 1 ln A 1 0 x A 1 x 1 A
常用时间复杂度和空间复杂度来衡量矢量量化的特点：时间复 杂度是指每量化一个信号矢量所需的计算量，它主要取决于搜索过 程中乘法运算的次数；空间复杂度是指码书所需的存储容量。
27
全搜索算法：信号矢量与码书中的码字逐一进行比较。相应的矢量 量化也称为基本矢量量化。 树搜索算法：需要建立树型码书。相应的矢量量化称为树搜索矢量 量化。接收端只需根据序号检索，可以仍然是数组型码书。 以3层二叉树为例，其搜索步骤：
训练序列 X1 X 2 X m，根据最佳划分原则划分出N个胞腔。
S (j n ) { X r d ( X r , X qj ) d ( X r , X qi ), i j}, r 1,2,, m; i, j 1,2,, N
3
4
26
该流程还有两个问题，初始码书的选取和空胞腔的处理。初始 码书的选取常用的方法是随机选取法和分裂法 ；处理空胞腔常用的 方法是去空胞腔分裂法。 2 全搜索算法和树搜索算法
x 256 286 256 30 32 16 8 40
C0 0
C3 0
C2 0
C1 1
故段内码 C3C2C1C0 0010。
C7 C6 C5C4 C3C2 C1C0 01010010
码长为8的语音信号13折线A律非线性量化编码与码长为12的均 匀量化编码的量化噪声水平基本相当，而编码效率却提高了50%。 20
(8.3.2)
14
为实现方便，大多采用13折线来逼近A律特性。
f ( x)
1 7/8 6/8 5/8 4/8 3/8 2/8 1/8 0 1/8 1/4 1/2 1
x
图8.3.5 0~1量化范围的13折线A律
15
16
13折线A律非均匀量化编码过程如下： 1
2 3 4 组合起来即得到13折线A律非线性量化编码。
1
28
2-1
2-2
29
在信道中传输的是树型码书中树叶的序号，因此，在接收端， 其数组型码书只需包含树叶就可根据序号检索。
与基本矢量量化相比，二叉树矢量量化的特点就是以空间复杂 度的提高来换取时间复杂度的降低。
30
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
31
8.4
对于有记忆信源，采样后的信号序列存在时间相关性，仍然对 各个采样时刻的信号值逐个进行量化，会造成码长的冗余。 为提高编码效率，通常用两类方法对相关信源进行编码。 预测编码：通过预测以减少信息冗余后再进行编码。
变换编码： 信号序列变换为另一个域上彼此独立或者相关程 度较低的序列，同时将能量集中在部分样值上， 再对这个新序列进行编码。
例如，例8.3.1的量化噪声 1 量化噪声 e 。
2
e xq 6 x
10 10.3 0.3 。均匀量化的 16 16 16
如果我们采用平方误差失真函数 d ( x, xqi ) ( x xqi ) 2 ，则量化噪 声直接反映了信息失真的程度；根据限失真编码的要求就可以决定 均匀量化的量化噪声水平。 2 非均匀量化编码
所以 C2 1 ； 与量化码最高位和次高位权值之和比较，由于
x 10.3 4 2 4 2 1 11 16 8 8 2 8 8 16 16
10.3 4 1 4 1 1 9 16 8 8 2 8 8 16 16
所以 C1 0；与量化码最高位和最低位权值之和比较，由于
由于每个段落的量化间隔不同，13折线A律非线性量化的量化噪 声随着信号值落在不同段落而不同。
e x q 6, 2
1 1 x 288 286 2 8 1024 256
21
8.3.2 矢量量化编码
矢量量化在图像、语音信号编码中研究得较多，具有量化和压 缩编码的综合特性。
(n) ( n) ( n) 1 给定码书长度N、初始码书 { X q1 , X q 2 ,, X qN } 和计算停止门限
1
(0,1) 置 n 0 ，初始平均失真 D( n1) 。
25
2
(n) ( n) ( n) { X , X , , X 用码书 q1 q 2 qN } 为已知形心，利用信号序列构成的L维
6
8.3.1 最佳标量量化编码
脉冲编码调制（PCM，pulse code modulation）是研究最早、使用 最广的一种最佳标量量化编码。
x( t ) 采样 量化、编码 C(iTs)
图8.3.1 PCM编码原理图
方便起见，将采样的输入信号值记为 x ，量化、编码中的信号 量化值记为 xq ，量化、编码的编码输出记为 C 。
34
8.4.2 差值编码
1 增量调制
增量调制是预测编码中最简单的一种，增量调制原理如下，其 中(a)为发送端，(b)为接收端。
xn +
-
dn
n
1比特 量化
d qn
编码
cn
cn
译码
d qn
xn
~ xn
d
i 1
qn i
~ xn
图8.4.3 增量调制原理图
在矢量量化中，将L个采样时刻的信号值组成一组，将其看作一 个L维矢量，以这些L维矢量为单位逐个进行量化编码。
22
a2
S3
x(Ts ) x(2Ts )
x(12Ts )
S4 S1
S2
a1
S6 S5
X1
X2
X6
图8.3.6 二维矢量的形成
图8.3.7 平面的划分
23
矢量量化就是在给定码书中搜索、计算一个与信号矢量最接近 的码字，并用信号和量化矢量之间的误差衡量二者的接近程度。接 收端用同样的码书，通过序号检索到最接近X的码字。
7
1 均匀量化编码 也称线性量化，指在整个量化范围内的量化间隔都是相等的。
xq4 xq3 xq2 xq1 xq4
xq3
xq2 xq1 x1 x2 x3 x4
x1
x2
x3
x4
(a)中平量化
(b)中升量化
图8.3.2 均匀量化
8
以中平量化为例讨论均匀量化，引入四舍五入原则的中平量化特性 ：
xq4 xq3 xq2 xq1
极性码
段落码
段内码
17
ห้องสมุดไป่ตู้
由于每个段落的宽度不同，每个段落内段内码各位的权值也不同。
表8.3.1 13折线A律段内码各位权值 段落 起始量化值
1
2
000
001
0
3
4 5 6
010
011 100 101
7
8
110
111
18
例8.3.2
19
与段内码最高位权值比较 x 256 286 256 30 128 8 120 与段内码次高位权值比较 x 256 286 256 30 64 8 56 与段内码第三位权值比较 x 256 286 256 30 32 8 24 与段内码第三位和最低位权值之和比较
x1
x2
x3
x4
图8.3.3 引入四舍五入原则的中平量化
由于均匀量化正反两个方向的对称性，可以将其分为极性判断 和信号绝对值量化两个步骤。
9
由于归一化信号绝对值满足 为2M，取 x0 0， xM
xi x0 i i, i 1, 2,, M 1。当信号绝对值
xq0 0。一般取 xqi
x
10.3 所以C0 1；故量化码 C2C1C0 101；将其组合，归一化信号值 x 16
的均匀量化编码为
C3C2C1C0 1101
量化值与信号值之间由于四舍五入而产生的量化误差一般也称 为量化噪声。 12
量化噪声与信号值一样，也是随机变量，记为
e xqi x , i 0,1, 2,, M
1 1 log 2 8 1 3 1 4
10 .3 ，设量化间 16
确定码长：k log
；
C3 1
确定极性码：由于信号值 x 0 ，所以极性码
；
11
确定量化码：信号绝对值与量化码最高位权值比较，由于
10.3 4 4 1 7 x 16 8 2 8 16 16
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
1
8.4
连续信源取值无穷多，不可能像离散信源一样进行一一对应编 码。所幸实际通信系统并不要求完全无失真通信。比如打电话，语 音贷款是20kHz，但语音的主要能量集中在3.4kHz以下，只要把这些 信号传送给接收端，就能满足通话需求。 因此可以只考虑主要信号编码，忽略次要信号，这样编码一定 会产生失真，但只要将失真限定在一定范围内，即满足保真度准则， 就能保证通信的质量。这就是本章要讨论的限失真信源编码。 为了提高通信效率，也常选择限失真信源编码。
H(X)、C、R(D)：临界值，衡量通信能否满足要求的重要界限。
4
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
5
8.4
连续信源编码属于限失真编码，根据保真度准则下的信源编码 定理，其编码效率受限于信息率失真函数 R( D) 。
对于连续信源输出的消息，首先要在时间上进行采样，然后在 取值上进行量化并进而编码。 在符合采样定理的条件下，采样所带 来的信息失真可以忽略不计。 量化是用有限个幅度值来代替无穷多信号值，每个代表一段。显 然，量化必然带来误差。如果量化后采用无失真编码，那么连续信 源编码中的信息失真就都来自量化过程。 量化有多种方法：一种是将各个采样时刻的信号值逐个量化， 称为标量量化；另一种是将各采样时刻的信号值组成一组，将其看 作一个维矢量，将这些维矢量逐个进行量化，称为矢量量化。
32
8.4.1 预测编码
预测值
xn ~ xn d n
预测误差
33
线性预测是最常用的预测方法，其表达式为
n wi xni x
i 1
p
预测阶数应该取多大，加权系数又应该怎样选取，才能在性能 和简单上得到合理的折中？
增量调制（或DM，Differential Modulation） 差分脉冲编码调制（DPCM，Differential Pulse Code Modulation） 自适应差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation）， 这类方案通常也称为差值编码。
x 1，如果信号绝对值的量化数目 1 ，相应的 1，则量化间隔 M
1 1 1 x x xM时，将其量化为 xi x xi , i 1, 2, , M 1 及 M 2 2 2
1 xi , i 1, 2, , M。
当 x 的量化间隔为
2
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码
码
3
8.4
(8.2.1) 只要信源序列L足够长，就一定存在一种编码方式C，使译码后的平 均失真度 (8.2.2) D(C ) D 反之，若
R>R(D)
R<R(D)
(8.2.3) (8.2.4)
则无论有什么编码方式，必有 D(C ) D
时，码长 k log 2
1 1
。
10
一般编码过程是： 1 对信号值进行极性判断，确定极性码； 2 通过信号绝对值与量化码各位权值组合的逐次比较，确定量化码； 3 将极性码和量化码组合起来，得到均匀量化编码。
例8.3.1
隔
1 8
，求其均匀量化编码。
2
已知某一采样时刻的归一化信号值 x
d ( X , X qi ) (a1 a1qi ) 2 (a2 a2 qi ) 2 , i 1,2,, N
码书 信道 码书
X
搜索、计算
i
信道
i
检索
X qi
24
图8.3.8 矢量量化原理图
矢量量化的两个关键问题 怎样建立一个合理的码书？ 当码书较大时，如何快速有效地搜索到与信号矢量最接近的 码字？ LBG算法
只要在量化范围内的量化间隔不完全相等，就将其称为非均匀 量化；非均匀量化也叫做非线性量化。
13
x
f(x)
C
均匀量化、编码
信道
译码
图8.3.4 采用压扩技术的非线性量化原理图
欧洲和中国大陆等地的数字电话通信中采用A律特性：
Ax 1 ln A f A ( x) 1 ln A x 1 ln A 1 0 x A 1 x 1 A
常用时间复杂度和空间复杂度来衡量矢量量化的特点：时间复 杂度是指每量化一个信号矢量所需的计算量，它主要取决于搜索过 程中乘法运算的次数；空间复杂度是指码书所需的存储容量。
27
全搜索算法：信号矢量与码书中的码字逐一进行比较。相应的矢量 量化也称为基本矢量量化。 树搜索算法：需要建立树型码书。相应的矢量量化称为树搜索矢量 量化。接收端只需根据序号检索，可以仍然是数组型码书。 以3层二叉树为例，其搜索步骤：
训练序列 X1 X 2 X m，根据最佳划分原则划分出N个胞腔。
S (j n ) { X r d ( X r , X qj ) d ( X r , X qi ), i j}, r 1,2,, m; i, j 1,2,, N
3
4
26
该流程还有两个问题，初始码书的选取和空胞腔的处理。初始 码书的选取常用的方法是随机选取法和分裂法 ；处理空胞腔常用的 方法是去空胞腔分裂法。 2 全搜索算法和树搜索算法
x 256 286 256 30 32 16 8 40
C0 0
C3 0
C2 0
C1 1
故段内码 C3C2C1C0 0010。
C7 C6 C5C4 C3C2 C1C0 01010010
码长为8的语音信号13折线A律非线性量化编码与码长为12的均 匀量化编码的量化噪声水平基本相当，而编码效率却提高了50%。 20
(8.3.2)
14
为实现方便，大多采用13折线来逼近A律特性。
f ( x)
1 7/8 6/8 5/8 4/8 3/8 2/8 1/8 0 1/8 1/4 1/2 1
x
图8.3.5 0~1量化范围的13折线A律
15
16
13折线A律非均匀量化编码过程如下： 1
2 3 4 组合起来即得到13折线A律非线性量化编码。
1
28
2-1
2-2
29
在信道中传输的是树型码书中树叶的序号，因此，在接收端， 其数组型码书只需包含树叶就可根据序号检索。
与基本矢量量化相比，二叉树矢量量化的特点就是以空间复杂 度的提高来换取时间复杂度的降低。
30
8.1
基
本
概
念
保真度准则下的信源编码定理
第8章
8.3
量
相
变
化
关 信
换
编
源
编
码
编 码