第4章 信息率失真函数

原始图像和限失真图像
原始图像
红色图像
绿色图像
蓝色图像
香农首先定义了信息率失真函数R(D)，并论述了关于这个 函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信 息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与 允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据 压缩的理论基础。 本章主要介绍信息率失真理论的基本内容，重点讨论离散 无记忆信源。 给出信源的失真度和信息率失真函数的定义与性质； 讨论离散信源和连续信源的信息率失真函数计算； 在此基础上论述保真度准则下的信源编码定理。
XY i 1 j 1
r
s
• 若平均失真度D不大于我们所允许的失真D0，即： D D0 称此为保真度准则。
信源固定（即给定了p(x)），单个符号失真度固定时（即 给定了d(ai,bj)） ，选择不同试验信道，相当于不同的编码方 法，所得的平均失真度是不同的。 有些试验信道满足D D0，而有些试验信道D＞D0。 凡满足保真度准则-----平均失真度D D0的试验信通称为 ----D失真许可的试验信道。 把所有D失真许可的试验信道组成一个集合，用符号PD表 示，则： PD={p (bj / ai)： D D0}
则
0 1 D 1 0
1 2 1 2
[例３] 对称信源(s = r) 。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} 。若失真度定义为：
d (ai , bj ) (bj ai )2
如果信源符号代表信源输出信号的幅度值，这就是一种平 方误差失真度。它意味着幅度差值大的要比幅度差值小的所引 起的失真更为严重，其严重的程度用平方来表示。 当 r＝3时， Ｘ＝{0,1,2}，Ｙ＝{0,1,2} ，则失真矩阵为：
4.1 失真测度
一、失真度
• 从直观感觉可知，若允许失真越大，信息传输率就可越小； 若允许失真越小，信息传输率需越大。
• 所以信息传输率与（信源）编码所引起的失真(或误差)是 有关的。
首先讨论失真的测度。 离散无记忆信源X，信源符号集X＝{a1,a2,…,ar}，概率分 布为p(x)＝[p(a1),p(a2),…p(ar)] 。 信源符号通过信道传输到接收端，接收端的接收符号集Y ＝ {b1,b2,…bs} 。 对应于每一对(ai,bj)，我们指定一个非负的函数：
4.2
信息率失真函数及其性质
一、信息率失真函数的定义
信源给定，且又具体定义了失真函数以后，总希望在满足 一定失真的情况下，使信源传输给收信者的信息传输率R尽可 能地小。-------即在满足保真度准则下，寻找信源必须传输给信 宿的信息率R的下限值------这个下限值与D有关。 从接收端来看，就是在满足保真度准则下，寻找再现信源 消息所必须获得的最低平均信息量。 而接收端获得的平均信息量可用平均互信息I(X;Y)来表示 ，这就变成了在满足保真度准则的条件下，寻找平均互信息 I(X;Y)的最小值。
p(a ) p(b
/ ai )d (ai , b j ) D
一般取等号
一、 等概率、对称失真信源的R(D)计算
对于等概、对称失真的信源，存在一个与失真矩阵具有 同样对称性的转移概率分布达到率失真R(D)。
[例5]有一个二元等概平稳无记忆信源 X 0,1 ，接收符号集为
Y 0,1,2 且失真矩阵为 ：
0 1 4 D 1 0 1 4 1 0
上述例子说明了失真度的具体定义。 一般情况下根据实际信源的失真，可以定义不同的失真和 误差的度量。另外还可以按其他标准，如引起的损失、风险 、主观感觉上的差别大小等来定义失真度d(a,b)。
二、序列失真度
设 x x1, x2 ,, xN ，其中 xi 取自信源符号集A；
y y1, y2 ,, yN 其中 yi 取自信宿符号集B。
则序列失真度定义为：
1 d N ( x, y) N
d (x , y )
i 1 i i
N
三、 平均失真度
信源 X 和信宿 Y 都是随机变量，故单个符号失真度d(ai,bj) 也 是随机变量。
规定了单个符号失真度d(ai,bj) 后，传输一个符号引起的平均 失真，即信源平均失真度：
I ( X , Y ) p(ai ) p(b j / ai ) log
i 1 j 1 r s
p(b j / ai )
p(a ) p(b
i 1 i
r
j
/ ai )
其约束条件为:
p(bj / ai ) 0
s
p(b
j 1 r s i 1 j 1
j
/ ai ) 1
i j

x
p(a1 ) min(1, 2,3) p(a2 ) min(2,1,3) p(a3 ) min(3, 2,1) 令对应最小失真度 d (ai , b j )的 p(b j | ai ) 1，其它为“0”，可 得对应 min 的试验信道转移概率矩阵为： D
[例4] 设试验信道输入符号集 a1 , a2 , a3 ，各符号等概分布 ， 失真矩阵如下所示，求 Dmin 和 Dmax以及相应的试验信道的转移 概率矩阵。 1 2 3 d 2 1 3 3 2 1 解： Dmin p( x) mind ( x, y)
p(bj/ai)是指一种失真算法，
有时又把 p(bj/ai) 称为试验信道的转移概率，如图所 示。 X 原始信源 p (bj/ai) 试验信道 Y 失真信源 信道
[例1] 离散对称信源(r=s)，“0-1”失真。信源X＝{a1,a2,…ar} ， 接收Y＝ {b1,b2,…bs}。定义单个符号失真度：
R( D)
p (b j / ai )PD
min I ( X ;Y )
R(D)-------信息率失真函数或简称率失真函数
单位是：比特／信源符号
• 率失真函数给出了熵压缩编码可能达到的最小熵率与失真的 关系; • 其逆函数D(R)称为失真率函数, D(R)表示一定信息速率下所 可能达到的最小的平均失真。
0 1 0 p ( y | x) 0 1 0 0 1 0
2、 R(D)是关于平均失真度D的下凸函数 设
0 D1 , D2 为任意两个平均失真， a 1，则有：
R[aD1 (1 a) D2 ] aR( D1 ) (1 a) R( D2 )
求率失真函数R(D) 。
解：
x y
0 1 [d ] 0 1
Dmin p( x) mind ( x, y) 0
Dmax min p( x)d ( x, y) 1
y x
第四章
信息率失真函数
无失真信源编码和有噪信道编码（香农第一定理和香 农第二定理）告诉我们：
只要信道的信息传输速率小于信道容量，总能找到一 种编码方法，使得在该信道上的信息传输的差错概率任意 小；反之，若信道的信息传输速率大于信道容量，则不可 能使信息传输差错概率任意小。
但是，无失真的编码并非总是必要的。
Dmax min p( x)d ( x, y ) min p(a1 ) 1 p(a2 ) 2 p(a3 ) 3 , y x
上式中第二项最小，所以令 p(b2 ) 1 ， p(b1 ) p(b3 ) 0 ，可得对应 max D 的试验信道转移概率矩阵为:
对二元对称信源(s＝r＝2)，信源X＝{0,1}，接收 变量Y＝{0,1}。在汉明失真定义下，失真矩阵为：
[例2] 删除信源。信源X＝{a1,a2,…ar} ，接收Y＝ {b1,b2,…bs} (s = r+1) 。定义其单个符号失真度为：
0 d (ai , b j ) 1 1/ 2
0 d (ai , b j ) 1
ai b j ai b j
这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的 元素为零，即：
0 1 ... 1 1 0 ... 1 D : : ... : 1 1 ... 0 rr
0 1 D 1 0
二、信息率失真函数的性质
1、 R(D)的定义域 R(D)的定义域为
0 Dmin D Dmax
且：
Dmin p( x) mind ( x, y)
x y
Dmax min p( x)d ( x, y) y x
• 允许失真度D的下限可以是零，这是不允许任何失真的情况。
D E[d (ai , bj )] E[d (a, b)]
在离散情况下，信源X＝{a1,a2,…ar} ，其概率分布p(x)＝ [p(a1),p(a2),…,p(ar)] ，信宿Y＝ {b1,b2,…bs} 。 若已知试验信道的传递概率为p(bj/ai)时，则平均失其度为：
D p(ab)d (a, b) p(ai ) p(b j / ai )d (ai , b j )
i j i j 除j=s以外所有的j和i j s 所有i
• 其中接收符号bs作为一个删除符号。
• 此时，意味着若把信源符号再现为删除符号bs时，其失真 程度要比再现为其他接收符号的失真程度少一半。
• 二元删除信源 r ＝2， s ＝3，X＝{0,1}，Y＝{0,1 ,2} 。
失真度为：
d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=d(1,2)=1/2
1 0 0 p ( y | x) 0 1 0 0 0 1
y
p(a1 ) 2 p(a2 ) 1 p(a3 ) 2 , p(a1 ) 3 p(a2 ) 3 p( a3 ) 1