信息论第七讲率失真函数

D 1 D [q ( x / y )] D 1 D
由假设的反向信道计算平均失真度，得（满足失真准则）
D q( xi / y j ) p( y j )d i j [ p( y1 ) p( y2 )]D D
i 1 j 1
2
2
2013-12-20
20
0 1 4 1 0 1 d ij 4 1 0
2013-12-20 8
4.4 率失真函数
例:绝对误差失真度 X = {0, 1, 2}，Y = {0, 1, 2} ，给出失真度 d i j = ︱xi - yj ︱ i, j = 0, 1, 2 则失真度矩阵为:
H ( X / Y ) H ( Pe ) Pe log(n 1)
2013-12-20
19
4.4 率失真函数
(4)求出P(Y/X) 找到一个信道转移概率矩阵为[P]的信道，使H(X/Y)= H(D)， 且[P]中的每一个元素p (yj︱xi) 都满足p (yj︱xi) 0 i, j = 1,2 根据[d]的对称性，假设一个反向信道(Y→X )
2013-12-20
5
4.4 率失真函数
(4)失真度描述
失真度一般用失真度矩阵来描述。
d11 d12 d d 22 21 d ( xi , y j ) d n1 d n 2
d1m d2m d nm
2013-12-20
I (X; Y) = H (δ) - H ( D )
从而有
H ( ) H D 0 D R D D 0
2013-12-20 21
4.4 率失真函数
求正向信道转移概率 可得:
p( xi ) q ( x i / y j ) p( y j )
j 1
0 1 d ij 1
1 1 0 1 1 0
式中di j ≥ 0 i, j = 1, 2, …, n为信源方发送符号xi而信宿方判为yj 引起的失真度。
2013-12-20 7
4.4 率失真函数
例:平方误差失真度 X = {0, 1, 2}， Y = {0, 1, 2} ， 给出失真度d i j = (xi - yj )2 i, j = 0, 1, 2 则失真度矩阵为
对于汉明失真度，平均失真度为：
2 2 i 1 j 1
0 1 d ij 1 0
(信道误码率）
D p( xi , y j )d i j p(0,1) p(1, 0) Pe
可知：0≤Pe≤D ≤δ 在R(D)的定义中，要求满足平均失真度小于等于D， 取等号则：
2013-12-20 1
4.4 率失真函数
4.4.1 失真度与平均失真度 (1)符号失真度
设单符号离散无记忆信源、信宿及信道为：
X x1 , p( x ) p( x ), i 1 x2 , , p( x2 ), , xn p( x n )
p( y2 / x1 ) p( y2 / x 2 ) p( y 2 / x n ) p( ym / x1 ) p( y m / x 2 ) p( ym / x n )
D
Dmin p( xi ) min d i j
i
2013-12-20
yj
13
4.4 率失真函数
D的最大值Dmax 当R (D) 达到其最小值Rmin（D）= 0时，对应的失 真最大，这种情况下D对应着R (D) 函数定义域的上 界值Dmax。
R(D)
Dmax min D : R D 0
4.4 率失真函数
这时计算条件熵（反向信道噪声上）
H X / Y p( y j )q ( xi y j ) log q ( xi y j )
i 1 j 1
2
2
D log D (1 D) log(1 D) H ( D)
则平均互信息量I (X; Y) = H (X) -H (X/Y) = H (δ) - H (D )， 假设的[q(x/y)]确实在满足失真准则条件下，使
H(X/Y) ≤H(Pe) = H(D) 则： I(X;Y) H (δ)- H(D)
根据定义:
(Fano不等式）
R D min I X ;Y : D D H ( ) H ( D)
p( y x )
2013-12-20 18


4.4 率失真函数
Fano不等式
设X，Y为离散随机变量，分别取值为: X: (x1,x2,……xn) Y: (y1,y2,……yn) Pe=P{X≠Y}. 则:
0 1 d ij 2
2013-12-20
1 0 1
2 1 0
9
4.4 率失真函数
4.4.2 率失真函数 (1)允许失真度D
对于单符号离散无记忆信源X、信宿Y及信道P(Y/X)： 给定信源X概率分布p(x)和失真度矩阵[d]=[dij]，如果信道
转移概率矩阵[P]=[p(Y/X)]满足如下关系，则式中的D则称
2013-12-20 23
X
p( y1 / x1 ) p( y / x ) p(Y / X ) 1 2 p( y1 / xn )
DMC
2013-12-20
Y
Y y1 , p( y ) j p( y1 ),
y2 ,
,
p( y2 ), ,
ym p( ym )
R D min I X ;Y : D D
p( y / x )
2013-12-20


11
4.4 率失真函数
(3)率失真函数的含义
通过选择合适的信道转移概率p(y/x)（实际上选择某种 信道编码方法），在满足一定的失真度要求前提下 （平均失真度<允许失真度D），使平均交互信息量 达到最小值R(D)。 率失真函数表明了在满足平均失真度小于D条件下， 信源传输信息量（信息速率）可压缩的最低程度。 在信源和失真度给定以后，存在满足保真度准则 的信道集合，一定有某个信道，使I(X;Y)达到最小。
0 1 d ij 1 0
Dmin p( xi ) min d i j
Dmax min D : R D 0 min{D : I ( X ; Y ) 0}
i yj
2013-12-20
16
4.4 率失真函数
(2)求出R(D)的值域 R (Dmin=0) = H(X) = -δlogδ- (1-δ) log (1-δ) = H (δ) R (Dmax) = R (δ) = 0
R D min I X ;Y : D D
p( y / x )
2013-12-20


12
4.4 率失真函数
(4)率失真函数的定义域
R(D)的值域 率失真函数的值域为 0 R（D） H（X）
R(D)
H（X）
Dma D的最小值Dmin 0 Dmin x 在给定的失真度矩阵中，对每一个xi，找一个最 小的 dij，然后对所有的i =1, 2, …,n 求统计平均值， 就是D的最小值，即
6
4.4 率失真函数
例：汉明（Hamming）失真度
X = {x1, x2, …, xn}，Y = {y1, y2, …, yn}，约定失真度
无误码 y i xi 误码 y j xi (i j )
用矩阵表示为
d ii 0 d ij 1
i, j 1,2, , K
2
由上面方程组解出，
(1 D) p( y1 ) Dp( y2 ) 1 Dp( y1 ) (1 D ) p( y2 )
D
1 2D
p( y1 )
1 D p ( y2 ) 1 2D
由P(X),P(Y)和P(X/Y)就可以求出相应的P(Y/X).
min{D : I ( X ; Y ) 0}
H（X）
2013-12-20
Hale Waihona Puke Baidu
0 Dmin
Dma
x
D
14
4.4 率失真函数
(5)率失真函数的性质
率失真函数R(D)是D的下凸函数。
分别给定两个失真度D1和D2（Dmin D1, D2 Dmax），则下 式成立： R (α1D1+α2D2) ≤α1R (D1)+α2 R (D2)
(3)在0 D δ的范围内，计算R(D ） 根据熵的性质： H(X,Y) H(X) H(X/Y) 又由： H(X) ＝ H() 则平均互信息量 I (X;Y) ＝ H (X) -H (X／Y)，得到 I (X;Y ) ＝ H (δ) -H (X／Y)
2013-12-20
17
4.4 率失真函数
为允许失真度，关系式称为保真度准则。
D p( xi ) p( y j xi )d i j D
i
2013-12-20
j
10
4.4 率失真函数
(2)率失真函数R(D)
我们知道：当信源p(x)一定时，平均交互信 息量I (X ; Y)是信道转移概率函数p(y/x)的下凸 函数。也就是说：平均互信息量I (X ; Y) 关于 p(y/x)存在极小值。 定义：平均交互信息量关于信道转移概率的 极小值为率失真函数R(D)，即：
率失真函数R(D)是连续单调函数
2013-12-20
15
4.4 率失真函数
例:求率失真函数
已知信源{x1=0，x2=1}，概率分布为（δ，1-δ),δ<0.5，信道输出 符号Y = {y1=0，y2=1}，失真测度为汉明（Hamming）失真测 度，求率失真函数R(D)。 (1)求出R(D)的定义域 Dmin = 0· (1-δ) = 0 δ+0· D max = min {1-δ, δ}=δ
4.4 率失真函数(Rate Distortion Function)
引言
上面我们介绍的编码也称为无失真编码（无损编码），
另外一类编码称为限失真编码（有损编码）。 率失真理论研究的就是在允许一定失真的前提下，对
信源的压缩编码。
率失真信源编码定理（香农第三定理）指出：率失真 函数R (D) 就是在给定失真测度条件下，对信源压缩的 最低程度。也就是说：为了提高传输效率，可以给定 一个失真度，求出在平均失真小于给定值的条件下， 信源所能压缩的程度的极限值，即率失真函数R(D)。
以一个特例说明存在这样的信道转移概率矩阵[P].
2013-12-20 22
4.4 率失真函数
4.4.3 限失真信源编码定理
香农第三编码定理 设离散无记忆信源的信息率失真函数为R(D)，只要 满足R>R(D)，当信源序列足够长时，一定存在一种 编码方法，其译码失真小于或等于D+ε，其中ε是任 意小的正数；反之，若R<R(D)，则无论采用什么样 的编码方法，其译码失真必大于D。 这个定理给出了限失真信源编码的极限。 只要允许一定的失真就可以降低熵速率。
2
4.4 率失真函数
定义：
对每一对 (xi,yj)，指定一个非负函数
d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
称 d(xi,yj) 为符号失真度(失真函数)。 符号失真度表示信源发出一个符号 xi，在接收端
再现 yj 所引起的误差或失真。
2013-12-20
3
4.4 率失真函数
(2)平均失真度
d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。
平均失真度：平均失真度为失真度的数学期望。
2013-12-20
4
4.4 率失真函数
(3)平均失真度意义
它是在平均意义上，对整个系统失真情况的总 体描述。 它是信源统计特性p(xi)、信道统计特性 p(yj/xi ) 和失真度d(xi,yj)的函数 。 当p(xi)，p(yj/xi)和d(xi,yj)给定后，平均失真度 就是一个确定的量。 如果信源和失真度一定，它就只是信道统计特 性的函数。信道不同，平均失真度随之改变。