第5章限失真信源编码

第5章 限失真信源编码 章
d ( x1 , y1 ) d ( x 2 , y 2 ) L d ( x1 , y n ) d (x , y ) d (x , y ) L d (x , y ) 2 1 2 2 2 n D= M M M d ( x m , y1 ) d ( x m , y 2 ) L d ( x m , y n )
对于给定的信源， 的前提下， 对于给定的信源，在满足保真度准则 D ≤ D 的前提下，信息率失真函数 R(D) 是信 源输出的允许达到的最小值， 的下凸函数， 集合中， 源输出的允许达到的最小值 ，由于 I ( X ; Y ) 是 P ( y j | x i ) 的下凸函数，所以在 PD 集合中， 的最小值一定存在。 I ( X ; Y ) 的最小值一定存在。 由以上分析可知： 由以上分析可知：信息率失真函数 R(D) 是在信源概率分布 p ( x i ) 和允许失真 D 给定 的条件下求平均互信息的极小值的问题， 的条件下求平均互信息的极小值的问题，而前面讲的信道容量 C 是在 P ( y j | xi ) 给定的条 件下求平均互信息的极大值的问题。 件下求平均互信息的极大值的问题。 是指在信道固定的前提下， 信道容量 C = max I ( X , Y ) 是指在信道固定的前提下， 选择一种信源概率分布使信息
5.2 信息率失真函数
第5章 限失真信源编码 章
5.2.1 信息率失真函数的一般概念
如果信源和失真度给定，则根据式（ ） 如果信源和失真度给定，则根据式（ 5-3） D 就只与信道特性有关，把所有满足保真度 ， 就只与信道特性有关， 的信道集中起来， 失真允许的试验信道集合， 准则 D ≤ D 的信道集中起来，构成一个所谓 D 失真允许的试验信道集合，记为 PD ， 即：
5.1失真测度 5.1失真测度
第5章 限失真信源编码 章
5.1.1 失真函数
设离散信源 X 为：
X x1 P( X ) = ห้องสมุดไป่ตู้p( x ) 1
x2 L xm p( x 2 ) L p( x m )
经过信道传输后接收端的离散变量 Y 的概率空间为： 的概率空间为：
Y y1 P (Y ) = p ( y ) 1
L yn p ( y 2 ) L p( y n ) y2
对于每一对 ( xi , y j ) ，指定一个非负的函数 d ( x i , y j ) ≥ 0, i = 1 , 2 , L , m ; j = 1 , 2 , L , n ， 为单位符号的失真度或失真函数， 称 d ( xi , y j ) 为单位符号的失真度或失真函数， 用它来表示信源发出一个符号 x i ， 而在接收端再 所引起的误差或失真的大小。 值代表较小的失真， 现为 y j 所引起的误差或失真的大小。通常较小的 d 值代表较小的失真，而 d ( xi , y j ) = 0 表示没 有失真。 个符号， 个符号， 有失真。由于信源 X 有 m 个符号 ，信道传输 Y 有 n 个符号，所以 d ( x i , y j ) 有 m × n 个， 这 m × n 个非负的函数可以排列成矩阵形式， 个非负的函数可以排列成矩阵形式， 即：
第5章 限失真信源编码 章
通常为方阵， 汉明失真矩阵 D 通常为方阵， 且对角线上的元素为 0。即 ： 。
0 1 D= M 1
阶方阵。 D 是 m × m 阶方阵。 例 题：
1 1 L 1 0 1 L 1 M M M 1 1 L 0
设信道输入 X = {0 , 1} ， 输出 Y = {0 , 1 , 2} ， 规定失真函数 d (0 , 0) = d (1 , 1) = 0 ， d (0 , 1) = d (1 , 0) = 1 ， d (0 , 2) = d (2 , 0) = 0.5 ，求 D 。 由失真函数和失真矩阵可得出： 解 ：由失真函数和失真矩阵可得出：
RD =
p ( y j | xi )∈BD
min
I ( X ;Y )
(5-5)
就是信息率失真函数，简称为率失真函数， 信源符号、 这个最小值 R(D) 就是信息率失真函数，简称为率失真函数，它的单位是比特 /信源符号 、 信源符号。 哈特莱 /信源符号或奈特 /信源符号。
第5章 限失真信源编码 章
d ( xi , y j ) =（xi − y j）
2
称为平方误差失真函数。也有一个对应的失真矩阵，矩阵中的非零元素表示发送 x i ， 称为平方误差失真函数。也有一个对应的失真矩阵， 所引起的失真 取平方主要也是为了保证失真函数为负数。 起的失真。 接收 y j 所引起的失真。 取平方主要也是为了保证失真函数为负数 。
0 1 0 .5 D= 1 0 0 .5
第5章 限失真信源编码 章
2.误差失真函数 2.误差失真函数 误差失真函数有两种，一种是： 误差失真函数有两种，一种是：
d ( x i , y j ) =| xi − y j |
称为绝对值误差失真函数。之所以取绝对值，是为了保证失真函数为非负。 称为绝对值误差失真函数。 之所以取绝对值，是为了保证失真函数为非负。负的失 真函数违反数据处理定理，不可以使用。由于绝对值处理麻烦，因而应用很少。 真函数违反数据处理定理， 不可以使用。由于绝对值处理麻烦 ，因而应用很少。 另一种是： 另一种是：
PD = p ( y j | x i ); D ≤ D ; i = 1 , 2 , L , m ; j = 1 , 2 , L，n
{
}
PD 中一般有许多符合条件的信道，从经济、高效的角度考虑，在满足允许失真度 D 的情 中一般有许多符合条件的信道，从经济、高效的角度考虑
况下，传递信源所需的传信率越小越好。而对于信宿端，在满足保真度准则的条件下，要确 况下，传递信源所需的传信率越小越好。而对于信宿端，在满足保真度准则的条件下， 定所需的最小平均信息量，即求平均互信息量的最小值， 中的“最差” 定所需的最小平均信息量， 即求平均互信息量的最小值，由此可找出存在于 PD 中的 “最差” 的信道。 的信道。 这样在满足保真度准则的所有 D 失真许可的试验信道集合 PD 中寻找某一个信道 P ( y j | x i ) ， 达到最小， 使 I ( X ; Y ) 达到最小，即：
(5-1)
称为失真矩阵， 阶矩阵。 D 称为失真矩阵，它是一个 m × n 阶矩阵。 失真函数是根据人们的实际需要和失真引起的损失、风险大小等人为规定的。 失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。常用的失 真函数有： 真函数有： 1.汉明失真函数 1.汉明失真函数
0 xi = y j d ( xi , y j ) = 1 xi ≠ y j
信息论与编码
第5章 限失真信源编码
北京大学出版社
2012-4-21
引言
第5章 限失真信源编码 章
在上一章，讨论了离散信源的无失真信源编码， 在上一章，讨论了离散信源的无失真信源编码，这种编码是无失真的保熵 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 编码，但是无失真的保墒编码并非是必须的，有时候也不可能实现。 案例一： 案例一： 在传送语音信号时，由于人耳接受的带宽和分辨率是有限的， 在传送语音信号时，由于人耳接受的带宽和分辨率是有限的，因此可以把 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率， 20HZ~20KHZ的与音信号去掉低端和高端的频率 频谱范围从20HZ~20KHZ的与音信号去掉低端和高端的频率，看成带宽只有 300HZ~400HZ的信号 这样虽然会有一些失真，但是这些失真是允许的。 的信号。 300HZ~400HZ的信号。这样虽然会有一些失真，但是这些失真是允许的。 案例二: 案例二: 在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25 25帧 在传送活动图像时，由于人眼的视觉暂留特性，我们只需每秒钟传送25帧 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中， 的静止图像,人们看到的就是连贯的活动图像。所以在实际生活中，通常总是要 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此， 求在保证一定质量的前提下，在信宿近似地再现信源输出的信息。因此，实际 的信息传输率可以降低。 的信息传输率可以降低。 案例三: 案例三: 音乐信号可以由CD格式压缩为MP3格式， CD格式压缩为MP3格式 音乐信号可以由CD格式压缩为MP3格式，其容量仅为原始信源信息量的 11%，而音质却没有明显的下降。 VS1格式居然可以把语音信号压缩到原来 11%，而音质却没有明显的下降。而VS1格式居然可以把语音信号压缩到原来 1%~2%，其可懂度没有明显下降。 的1%~2%，其可懂度没有明显下降。 由上述案例可知：实际应用上，其实允许一定的失真存在， 由上述案例可知：实际应用上，其实允许一定的失真存在，于是对信息速 率的要求就可以降低，问题是可以降低到什么程度呢？ 率的要求就可以降低，问题是可以降低到什么程度呢？这就需要对信息率失真 函数进行理论研究。 函数进行理论研究。
D = E[ d ( x i , y j )]
=
∑∑ p( x y
i i =1 j =1
m n i
m
n
j )d ( x i
yj)
=
的联合概率空间求平均。 它是在 X,Y 的联合概率空间求平均。
∑∑ p( x ) p( y
i =1 j =1
j
| xi )d ( xi y j )
(5-3)
为了系统能满足使用要求， 为了系统能满足使用要求， 技术上往往要求平均失真度 D 不大于某个额定值 D ，即： D≤D (5-4)
第5章 限失真信源编码 章
这时， D 就是允许失真的上界，是由设计要求决定的，式（ 5-4）就称为保真度 这时， 就是允许失真的上界，是由设计要求决定的， ） 准则，人为地定义出一个对系统平均失真度的技术要求。 准则，人为地定义出一个对系统平均失真度的技术要求。 值的所有信道（ 显然， 显然 ， 式 (5-3) 中 ， 凡是 D 值小于等于 D 值的所有信道 （ 用信道统计特性 p ( y j | x i ) 表示） 都是满足平均失真度要求的信道， 表示） 都是满足平均失真度要求的信道， ，都是满足平均失真度要求的信道 ， 最小，但仍是能满足平均失真度要 其中一个最差的信道就是传信率 R = I (X;Y ) 最小，但仍是能满足平均失真度要 求的信道，而更差的信道必然不能满足平均失真度的要求。可见， 求的信道，而更差的信道必然不能满足平均失真度的要求。可见，把保真度准则作 为约束条件， 的最小值，就是一个不为零的有实际意义的值了。 为约束条件，再求信道传信率 R 的最小值，就是一个不为零的有实际意义的值了。 要找出一个最差但仍能满足平均失真度要求的信道，是为了用最低的代价满足通信 要找出一个最差但仍能满足平均失真度要求的信道， 的失真要求。 的失真要求。
(5-2)
在离散对称信道(m=n)中， 定义单个符号的 失真度为汉明失真，它表示当再现的接 收符号 中 定义单个符号的失真度为汉明失真，它表示当再现的接收 在离散对称信道 与发送的信源符号相同时，就不存在失真的错误，所以失真度 d ( xi , y j ) = 0 。 当再现的接收符 与发送的信源符号相同时， 就不存在失真的 错误， 当再现的接收 号与发送符号不同时，就有失真存在 ，而且认为发送符号与再现符号不同时所引起的失真都相 号与发送符号不同时 ，就有失真存在，而且认为发送符号与再现符号不同时所引起的失真都相 为常数， 同 ，所以失真度 d ( xi , y j ), xi = y j 为常数，通常取值为 1，这种失真称为汉明失真 。 ，这种失真称为汉明失真。
第5章 限失真信源编码 章
5.1.2 平均失真度
都是随机变量， 也是随机变量，显然， 由于 X,Y 都是随机变量 ，故单个符号失真度 d ( xi , y j ) 也是随机变量，显然 ，规定了 之后，传输一个符号引起的平均失真，即信源的平均失真度为： 单个符号失真度 d ( xi , y j ) 之后，传输一个符号引起的平均失真 ，即信源的平均失真度为：