第5章 限失真信源编码

因此，当规定了允许失真，又找到了适当的失真 函数 d ij ，就可以找到该失真条件下的最小信息 率R(D)，用不同的方法进行数据压缩时（在允 许的失真限度D内），其压缩的程度如何，可以 用R(D)来衡量。由它可知是否还有压缩潜力， 有多大的压缩潜力。因此，有关R(D)的研究也 是信息论领域的一个研究热点。
d被称为失真矩阵。
失真函数d ( xi , y j )的函数形式可以根据需要适当选 取，如平方代价函数、绝对代价函数、均匀代 价函数等： 2 d ( x , y ) ( x y ) 平方失真： i j i j d ( xi , y j ) xi y j 绝对失真： d ( xi , y j ) xi y j / xi 相对失真：
信息率失真理论矢量化、数摸转换、频带
压缩和数据压缩的理论基础。 本章主要介绍信息率失真理论的基本内容， 包括信源的失真度和信息率失真函数的定 义与性质，离散信源和连续信源的信息率 失真函数计算，介绍一些常用的限失真编 码方法等。
5.1 平均失真和信息率失真函数 一、失真函数 设某信源输出的随机变量为X，其值集合为 X {x1 , x2 ,, xn } ，经过编码后输出为 Y { y1 , y 2 ,, y m }，设 x i 对应 y j ，如果 xi y j i 1,2, , n; j 1,2, , m 则认为没有失真。当 xi y j 时，就产生了 失真，失真的大小，用失真函数来衡量。 失真函数的定义为
xi y j 0 d ( xi , y j ) a a 0 xi y j
由于输入符号有n个，输出符号有m个,所以 d ( xi , y j ) 共有 n m 个，写成矩阵形式，就是
d ( x1 , y1 ) d ( x1 , y m ) d d ( x , y ) d ( x , y ) n 1 n m
求 Dmax 解：Dmax min d ' ( y) min p( x)d ( x, y)
Y Y X
min
j 1, 2

i 1
2பைடு நூலகம்
1 2 1 2 p( xi )d ( xi , y j ) min{ 0 1, 1 0} j 1, 2 3 3 3 3
1 2 1 min{ , } j 1, 2 3 3 3
R( D) min I ( X ; Y ) min
Pij PD
Pij PD
p( x ) p( y
i i 1 j 1
n
m
j
/ xi ) log
p( y j / xi） p( y j )
其单位是比特/信源符号。 应当注意，在研究R(D)时，我们引用的条件概 率 p( y / x) 并没有实际信道的含义，只是为了求 平均互信息的最小值而引用的、假想的可变试 验信道。实际上这些信道反应的仅是不同的有 失真信源编码，或称信源压缩。所以改变试验 信道求最小值，实质上是选择一种编码方式式 信息传输率为最小，也就是在保真度准则
D
p(x, y)d (x, y) p(x , y )d (x , y ） p(x ) p( y / x )d (x , y )
i j i j i j i i j X ,Y i 1 j 1 i 1 j 1
n
m
n
m
平均失真是符号失真函数在信源空间和信宿空
间平均的结果，是描述某一信源在某一信道传 输时失真的大小，是从整体上描述系统的失真 情况。 三、信源符号序列的失真 从上面的单符号失真函数，可以得到信源符号 序列的失真函数和平均失真度。由于序列时相 当于是一个由单符号随机变量组成的随机矢量， 仿照单符号时的情况，可得：
Dmax 就是在R(D)=0的条件下，看在什么 因此， 样的 p( y) 分布下，能够得到的平均失真D的最 小值，即
Dmax min
p( y )
p(x) p( y)d (x, y)
X ,Y
也可以改写成
Dmax min
p( y )

Y
p( y )

X
p( x)d ( x, y) min
平均每个符号的平均失真度为
1 D D ( L) L L
k 1
当信源无记忆时，D ( L) Dk ，而
1 D L
D
k 1
L
k
若平均失真度不大于我们所允许的失真D，即
DD
我们称此为保真度准则。 四、信息率失真函数 在信源给定，并且也定义了具体的失真函数之 后，我们总是希望在满足一定的失真限度要求 的情况下，使信源最后输出的信息率R尽可能地 小。也就是说，要在满足保真度准则下( D D)， 寻找信源输出信息率R的下限值。如果将信源编 码也看成是一个信道，构成了一类假想信道，
显然或者是最小值不变，或者是变小了，所以 R(D)是非增的。 关于R(D)的连续性，这里我们就不再证明了。 所以，R(D)有如下基本性质： • R( D) 0，定义域为 0 ~ Dmax ，当 D Dmax 时， R(D)=0。 • R(D)是关于D的连续函数。 • R(D)是关于D的严格递减函数。
下，使信源的压缩率最高。
五、信息率失真函数的性质 1. R(D)的定义域 R(D)的定义域，即D的取值范围。 （1）因为D是非负函数d(x,y)的数学期望， 因此D也是非负函数，其下界为0。此时，
意味着不允许失真，所以信道的信息率等于 信源的熵，即
R( D) R(0) H ( X )
（2）平均失真D也有一上界值 Dmax 。根据R(D)的 定义，R(D)是在一定的约束条件下，平均互信 息量I(X;Y)的最小值，其下界为0。R(D)和D的 关系曲线一般如下图所示。当D大到一定程度， R(D)就达到其下界0，我们定义这时的D为 Dmax。
设信源输出的符号序列为 x [x1 , x 2 ,, x L ] ，其
中的每一个随机变量 x i 取自同一符号集 x i [ x1 , x2 ,, xr ] ，所以X共有 r L 种不同的符号序 列，记为 i ，接收到的符号为 Y [Y1 , Y2 ,, YL ] ] 式中每一个符号取自符号集 Yi [ y1 , y 2 ,, y s， 所以Y共有 s L 种不同的符号序列，记为 j ，则
5.2 R(D)的计算
已知信源的概率分布和失真函数d ij ，就可以 求得信源的R(D)函数。
p( y1 ) 0, p( y2 ) 1 . 此时，
（2）R(D)函数的单调递减性和连续性 R(D)的单调递减性是很容易理解的。因为 允许的失真越大，所要求的信息率就可以越小。 根据R(D)的定义，他是在平均失真度小于或等 于允许失真度D的所有试验信道集合PD 中，取 I(X;Y)的最小值。当允许失真D扩大，则 PD 的 集合也扩大，当然仍然包含原来满足条件的所 有信道。这是在扩大了的PD 集合中找I(X;Y)的 最小值，
误码失真：
0, xi y j d ( xi , y j ) ( x i , y j ) 1, 其它
也可以按其它的标准，如引起的损失、风险、 主观感觉上的差别等来定义失真函数。 二、平均失真 由于信源X和信宿Y都是随机变量，所以符号失 真度函数也是一个随机变量，传输时引起的平 均失真应该是符号失真度函数 d ( xi , y j ) 在信源概 率空间和信宿概率空间求平均，即
i 1
求 Dmax 2 min p ( xi ) d ( xi , y j ) 解： Dmax j 1, 2
1 1 2 1 2 min{ 2, 1 1} j 1, 2 3 2 3 3 3 3 min{ ,1} 1 j 1, 2 2
. 而输出符号概率为 p( y1 ) 0, p( y2 ) 1
例题2：输入输出符号表同上题，失真矩阵为
1 d ( x1 , y1 ) d ( x1 , y 2 ) 1 d 2 d ( x2 , y1 ) d ( x2 , y 2 ) 2 1

Dmax的计算：
R(D)
设当平均失真 D Dmax 时， R(D)>0 R(D)=0 R(D)以达到其下界0。当允许 更大失真时，即 D Dmax时， D R(D)仍只能继续是0。因为当 Dmax X和Y统计独立时，平均互信息 I(X;Y)=0，可见当 D Dmax 时，信源X和接收符号Y ( y) x无关。 已经统计独立了，因此 p( y / x) p，与
Dmax min d ( y )
'
min p( x)d ( x, y )
Y X
Y
例题1：设输入输出符号表为X=Y={0,1}， 输入概率分布为 p( x) {1 / 3,2 / 3} ，失真矩阵为
d ( x1 , y1 ) d ( x1 , y2 ) 0 1 d 1 0 d ( x2 , y1 ) d ( x2 , y2 )
第5章 限失真信源编码
1. 信息率失真函数 2. 限失真信源编码定理
3. 常用信源编码方法


第三章我们讨论了无失真信源编码。但是，在很多 场合，特别是对于连续信源，因为其绝对熵为无限 大，若要求无失真地对其进行传输，则要求信道的 信息传输率也为无限大，这是不现实的。因此也就 不可能实现完全无失真传输。 另一方面，从无失真信源编码定理来考虑，由于要 求码字包含的信息量大于等于信源的熵，所以对于 连续信源，要用无限多个比特才能完全无失真地来 描述。
即使对于离散信源，由于处理的信息量越来
越大，使得信息的存储和传输成本很高，而 且在很多场合，过高的信息率也没有必要， 例如：由于人耳能够接收的带宽和分辨率是 有限的，因此对数字音频传输的时候，就允 许有一定的失真，并且对欣赏没有影响。又 如对于数字电视，由于人的视觉系统的分辨 率有限，并且对低频比较敏感，对高频不太 敏感，因此也可以损失部分高频分量，当然 要在一定的限度内。等等…，这些，都决定 了限失真信源编码的重要性。
在限失真信源编码里，一个重要的问题就是在
一定程度的允许失真限度内，能把信源信息压 缩到什么程度，即最少用多少比特数才能描述 信源。 这个问题已经被香农解决。香农在1948年的经 典论文中已经提到了这个问题，在1959年，香 农又在他的一篇论文“保真度准则下的离散信 源编码定理”里讨论了这个问题。研究这个问 题并做出较大贡献的还有前苏联的柯尔莫郭洛 夫（Kolmogorov）以及伯格（T. Berger）等。
称为D允许信道（或D失真许可的试验信道）， 记为
PD { p( y / x) : D D}
对于离散无记忆信道，有
PD { p( y j / xi ) : D D; i 1,2,, n; j 1,2,, m}
我们的目的，就是要在上述允许信道PD 中，寻 找到一个信道P(Y/X)，使得从输入端传送过来 的信息量最少，即I(X;Y)最小。这个最小的互信 息就称为信息率失真函数R(D)，简称为率失真 函数，即
d L ( i , j )
d (x
k 1
L
ik , y jk )
失真函数矩阵应该是一个 r L s L 的矩阵。故对L 长的信源序列，其平均失真度为
D ( L)
p( x, y)d ( x, y) p( ,
i X ,Y i 1 j 1
r L sL
j )d ( i , j )
p( y )

Y
p( y )d ' ( y )
也就是说，要求 d ' ( y)的数学期望的最小值。这 个最小值是一定存在的。比如p( y) 这样分布：当 ' y j d 某一个 使得 ( y j ) 为最小时，就取 p( y j ) 1 ，而 ' d 其余的 p( yi ) 0, i j，此时求得的 ( y)的数学期 望一定是最小的。此时，有