[工学]信息论基础 --率失真函数 --练习与思考

这个最小值 R(D) 称为信息率失真函数，简称率失真函数。

在信源给定以后，总希望在允许一定失真的情况下，传送信源所 必须的信息率越小越好。从接收端来看，就是在满足保真度准则 的条件下，寻找再现信源消息必须的最低平均信息量，即平均互 信息的最小值。
2018/11/20 我相信，每一份努力，都会换来一份收获！
2018/11/20 我相信，每一份努力，都会换来一份收获！
19
习题4
7.6.某二元信源
第四章 信息率失真函数
1 X 0 P( X ) 1/ 2 1/ 2
其失真矩阵为
0 2 D 1 0 求该信源的Dmax,Dmin和R(D)函数。
接收符号为V={-1/2,+1/2},其失真矩阵为
1 2 D 1 1 2 1
求Dmax,Dmin及达到它们的信道？
2018/11/20 我相信，每一份努力，都会换来一份收获！
16
习题2
解答： 根据最小允许失真度的定义： D min p (ui ) min d (ui , v j ) 1 3 (1 1 1) 1

平均失真度意义 D 是在平均意义上，从总体上对整个系统失真 情况的描述。它是信源统计特性 p(xi) 、信道统计 特性 p(yj/xi ) 和失真度 d(xi,yj) 的函数 。当 p(xi)， p(yj/xi)和 d(xi,yj) 给定后，平均失真度就不是一个 随机变量了，而是一个确定的量。 如果信源和失真度一定， D 就只是信道统计特 性的函数。信道传递概率不同，平均失真度随之 改变。
2018/11/20 我相信，每一份努力，都会换来一份收获！
9
第四章 信息率失真函数
对偶问题：信道容量和信息率失真函数的问题，都是求平均 互信息极值问题。分三个方面说明：

求极值问题

平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n) 的上凸函数， 信道容量就是在固定信道情况下，求平均互信息极大值的问题， 即 I(X;Y) 又是信道转移概率分布 p(yj /xi)(i=1,2,…,n;j=1,2,…,m) 的 下凸函数，信息率失真函数就是在试验信道（满足保真度准则的 信道）中寻找平均互信息极小值的问题，即
2018/11/20 我相信，每一份努力，都会换来一份收获！ 14
习题1
D Байду номын сангаас p(ui ) p(v j / ui )d (ui , v j )
i 1 j 1 n m
第四章 信息率失真函数
解答：四元对称信源在汉明失真矩阵下，它的平均失真度
根据最小允许失真度的定义： D min p(ui ) min d (ui , v j ) 0
2
2018/11/20 我相信，每一份努力，都会换来一份收获！
第四章 信息率失真函数

对每一对 (xi,yj)，指定一个非负函数 d(xi,yj)≥0 i=1,2,…,n j=1,2,…,m
称 d(xi,yj) 为单个符号的失真度/失真函数。表示信 源发出一个符号 xi，在接收端再现 yj 所引起的误差 或失真。

2018/11/20 我相信，每一份努力，都会换来一份收获！
13
习题1
7.1.设一个四元对称信源
第四章 信息率失真函数
U 0 1 2 3 P(u ) 1 1 1 1 4 4 4 4
接收符号为V={0,1,2,3},其失真矩阵为 0 1 1 1 1 0 1 1 D 1 1 0 1 1 1 1 0 求Dmax,Dmin及信源的R(D)函数，并作出其曲线（取4到 5个点）
2018/11/20 我相信，每一份努力，都会换来一份收获！
3
第四章 信息率失真函数

平均失真度定义

d(xi,yj) 只能表示两个特定的具体符号 xi 和 yj 之间的失真。 平均失真度：平均失真度为失真度的数学期望，
2018/11/20 我相信，每一份努力，都会换来一份收获！
4
第四章 信息率失真函数

信息率失真函数也是一个界限。只要信息率大于这个界限， 译码失真就可限制在给定的范围内。即通信的过程中虽然有 失真，但仍能满足要求，否则就不能满足要求。
2018/11/20 我相信，每一份努力，都会换来一份收获！
12
第四章 信息率失真函数

研究信道编码和率失真函数的意义

研究信道容量的意义：在实际应用中，研究信道容量是为 了解决在已知信道中传送最大信息率问题。目的是充分利 用已给信道，使传输的信息量最大而发生错误的概率任意 小，以提高通信的可靠性。这就是信道编码问题。 研究信息率失真函数的意义：研究信息率失真函数是为了 解决在已知信源和允许失真度D 的条件下，使信源必须传送 给信宿的信息率最小。即用尽可能少的码符号尽快地传送 尽可能多的信源消息，以提高通信的有效性。这是信源编 码问题。
Dmax min( D1 , D2 ,
, Dm )
4 3
I (U ,V ) 0
达到Dmax的信道为 1 达到Dmin的信道为 0 0
1 1 0 1 ， 1 0 1 0 1 0 1 0 或 1 1 1 , 2 2 1 0 1 0 1
, Dm )
由r元离散对称信源可得： log 2 4 D log 2 3 H ( D) R( D) D3 0 4 0D
3 4
2018/11/20 我相信，每一份努力，都会换来一份收获！
15
习题2
7.2.若某无记忆信源
第四章 信息率失真函数
U 1 0 1 P(u ) 1 1 1 3 3 3
第四章 信息率失真函数
当一个人感到有一种力 量推动他去翱翔时， 他 是决不应该爬行的。
－（美）海伦· 凯勒
2018/11/20 我相信，每一份努力，都会换来一份收获！ 1
第四章总结

第四章 信息率失真函数
失真度 设离散无记忆信源为
X x1 , p( x ) p( x ), i 1
2018/11/20 我相信，每一份努力，都会换来一份收获！
6
第四章 信息率失真函数

常用的失真函数

第一种
0 d ( xi , y j ) a i j i j 0 a D a a a 0 a a a a 0 a 0 a a a 0
2018/11/20 我相信，每一份努力，都会换来一份收获！
20
习题4
第四章 信息率失真函数
0 2 解答：二元对称信源，其失真矩阵为 ， 1 0 可计算得： Dmin 0, Dmax 1/ 2 根据参量表达式进行求解 p( x1 ) p( x2 ) 1/ 2 d ( x1 , y1 ) 0, d ( x1 , y2 ) 2, d ( x2 , y1 ) 1, d ( x2 , y2 ) 0
i 1 j n
根据最大允许失真度的定义： D max min p( y j ) D j
p( y j ) j 1 m 3 3 3 D j p( x j )d ( xi , y j ) { 3 4 , 4 , 4 , 4} i 1 3 4 n
Dmax min( D1 , D2 ,
i 1 j n
第四章 信息率失真函数
I (U ,V ) H (U )
n m
根据最大允许失真度的定义：
4 D j p (ui )d (ui , v j ) { 4 3 , 3} i 1 n
D p( xi ) p( y j / xi )d ( xi , y j )
i 1 j 1

2018/11/20 我相信，每一份努力，都会换来一份收获！
10
第四章 信息率失真函数

特 性

信道容量 C一旦求出后，就只与信道转移概率 p(yj /xi) 有
关，反映信道特性，与信源特性无关；

信息率失真函数 R(D)一旦求出后，就只与信源概率分布
p(xi) 有关，反映信源特性，与信道特性无关。
2018/11/20 我相信，每一份努力，都会换来一份收获！
18
习题3
第四章 信息率失真函数
0 解答：二元对称信源，其失真矩阵为 ， 0 可计算得： Dmin 0, Dmax / 2 根据参量表达式可求得， D 1 H 0 D 2 R( D) 0 D 2 D D D D D 这里，H =- log 2 1 log 2 1
2018/11/20 我相信，每一份努力，都会换来一份收获！
5
第四章 信息率失真函数



允许平均失真度：率失真函数中的自变量 D，也就 是人们规定的平均失真度 D 的上限值。 率失真函数的定义域问题就是在信源和失真函数已 知的情况下，讨论允许平均失真度 D 的最小和最大 值问题。 D 的选取必须根据固定信源 X 的统计特性 P(X) 和选 定的失真函数 d(xi , yj)，在平均失真度 D 的可能 取值范围内。

解决的问题

信道容量是为了解决通信的可靠性问题，是信息传输的理
论基础，通过信道编码增加信息的冗余度来实现；

信息率失真函数是为了解决通信的有效性问题，是信源压
缩的理论基础，通过信源编码减少信息的冗余度来实现。
2018/11/20 我相信，每一份努力，都会换来一份收获！
11
第四章 信息率失真函数

限失真信源编码定理：设一离散平稳无记忆信源的输出
随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函 数是 R(D)，并选定有限的失真函数。对于任意允许平均失真 度 D≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序 列长度 L 足够长，一定存在一种编码方式 C，使译码后的平 均失真度 D(C) D ；反之，若 R<R(D)，则无论用什 么编码方式，必有 D(C) D ，即译码平均失真必大于允 许失真。
a0

当a=1时称为汉明失真矩阵。

第二种/平方误差失真矩阵：d(xi,yj)=(yj－xi)2
7
2018/11/20 我相信，每一份努力，都会换来一份收获！
第四章 信息率失真函数

单符号信源和单符号信道的信息率失真函数

在信源和失真度给定以后，PD 是满足保真度准则 D D 的试验 信道集合，平均互信息 I(X;Y) 是信道传递概率 p(yj /xi) 的下凸函 数，所以在 PD 中一定可以找到某个试验信道，使 I(X;Y)达到最小， 即
17
2018/11/20 我相信，每一份努力，都会换来一份收获！
习题3
7.3.某二元信源
第四章 信息率失真函数
1 X 0 P( X ) 1/ 2 1/ 2
其失真矩阵为
0 a D a 0 求该信源的Dmax,Dmin和R(D)函数。
8
第四章 信息率失真函数

求信息率失真函数的方法
信息率失真函数 R(D) 是假定信源给定的情况下，在用户 可以容忍的失真度内再现信源消息所必须获得的最小平 均信息量。它反映的是信源可压缩程度。率失真函数一 旦找到，就与求极值过程中选择的试验信道不再有关， 而只是信源特性的参量。不同的信源，其 R(D)是不同的。
x2 , , p( x2 ), ,
xn p( xn )
信源符号通过信道传送到接收端Y Y y1 , p( y ) j p( y1 ), y2 , , p( y2 ), , ym p ( ym )
信道的传递概率矩阵 p( y1 / x1 ) p( y / x ) p(Y / X ) 1 2 p( y1 / xn ) p( ym / x1 ) p ( y 2 / x 2 ) p ( y m / x2 ) p ( y 2 / x n ) p ( y m / xn ) p( y2 / x1 )