信息论与编码理论-11习题课

2012-4-27
9பைடு நூலகம்
解 （1）当最后 3 场比赛麦克胜的次数比大卫多时，麦克最终才能胜，因此
+P( 麦 1 ) • P( 大 0场) 克胜场 卫胜 1 7 3 4 3 1 22 = × + × + × = 8 8 8 8 8 8 64 P( 胜) = P( 麦克 3场) • P( 大卫 于 场) +P( 麦克 2场) • P( 大卫 于2场) 胜 胜少 3 胜 胜少
信息论与编码— 信息论与编码 习题课
1 找出一个概率分布{ p1, p2,..., p5 }，并且 pi f 0 ，使得 H( p1, p2 ,..., p5 ) = 2。
1 1 解 假定 p1 为最大的概率。根据熵函数的性质，如果 p1 > ，则熵小于 2；如果 p1 = ，则 2 2 1 1 1 1 1 1 1 只 有 一 种 可 能 ： , , , , 。 如 果 < p1 < ， 则 有 无 数 个 解 ， 其 中 之 一 为 4 2 2 8 8 8 8 1 0.375,0.25,0.25,0.97859,0.027141 ；如果 p1 ≤ ，则没有解。 { } 4
因为
H ( X ) = log 4 = C2
所以信道 2 无噪声。
2012-4-27
14
X 0 6. 某一无记忆信源的符号集合为{0,1}，已知信源的概率空间为 =1 P 4
构成自信息量的表达式以及它的熵。
1 3 。 4
求（1）消息符合的平均熵； （2）由 100 个符号构成的序列中，有 m 个“0”和 100-m 个“1”
s
2012-4-27 20
1 且 此信息在二进制对称信道上传输， 9.已知信源发出 a1 和 a2 两种消息， p(a1) = p(a2) = 。 2
信道传输特性为
p(b1 a1) = p(b2 a2) =1−ε ， p(b1 a2) = p(b2 a1) =ε ，
求互信息量 I(a1;b ) 和 I(a ;b2) 。 1 1
I ( a1;b1 ) = I ( b1; a1 ) = log I ( a1;b2 ) = I ( b2; a1 ) = log
2012-4-27
1 2
p( b1 | a1 ) p( b1 )
2012-4-27
15
解 （1）消息符合的平均熵
1 1 3 3 H ( X ) = − log − log = 0.81( bit ) 4 4 4 4
（2）自信息量为
4 I ( X ) = m log4 + (100 − m) log = 200 − (100 − m) log3 3
熵为
H(X) = 1 m I ( X ) = 2 − 1 − log3 100 100
2012-4-27
21
解 因为此信道是二元对称信道，根据信源概率分布： p ( a1 ) = p ( a2 ) =1/ 2 ， 信道传输概率： p( b1 | a1 ) = p( b2 | a2 ) =1−ε, p( b1 | a2 ) = p( b2 | a1 ) = ε 得到输出符号概率分布： p ( b1 ) = p ( b2 ) = 根据互信息量的定义，有
2012-4-27
1
2．设对称离散信道矩阵为
1 1 1 1 3 3 6 6 P= 1 1 1 1 6 6 3 3
求信道容量 C.
2012-4-27
2
解：按定理
′ ′ ′ C = log s − H ( p1, p2 ,L, ps ) 1 1 1 1 = log4 − H , , , 3 3 6 6 1 1 1 1 1 1 1 1 = 2 − − log + log + log + log 3 3 3 3 6 6 6 6 = 0.0817(bit / 符号)
解释： （1）此信道每个符号平均能够传输的最大信息为 0.0817bit。 （2）只有当信道输入符号是等概率分布才能达到这个最大值。
2012-4-27
3
1 3．已知信源 X 包含两种消息{ x0 ， x1 }， p(x0 ) = p(x1 ) = ，信道是有扰的，信宿收到的 2
消息集合 Y 包含，给定信道矩阵
1 0 0 0 2 1 1 0 0 2 2 1 0 0 0 2
0 0 0 0 0 0 1 0 0 2 1 1 0 0 0 0 0 2 2
试求：这两个信道容量 C1 和 C2，并判断此两个信道是否有噪声。
2012-4-27
12
解 （1）由信道 1 的转移概率矩阵可知其为对称信道 所以 1 1 C =log4− H , =1 1 2 2 因为
X Y Y X
= −0.49log0.49 − 0.01log0.01 − 0.1log0.1 − 0.4log0.4 = 1.34(bit ) I ( X ;Y ) = H ( X ) + H (Y ) − H ( X ,Y ) = 1 + 0.93 − 1.34 = 0.59(bit )
2012-4-27
2012-4-27
7
（4）求熵
H ( X ) = −∑ p ( xi ) log p ( xi ) = −0.5log0.5 − 0.5log0.5 = 1 H (Y ) = −∑ p ( y j ) log p ( y j ) = −0.59log0.59 − 0.41log0.41 = 0.93 H ( X ,Y ) = −∑∑ p ( xi y j ) log p ( xi y j )
p( x0 y0 ) = p( x0 ) p( y0 x0 ) = 0.5×0.98 = 0.49 p( x0 y1 ) = p( x0 ) p( y1 x0 ) = 0.5×0.02 = 0.01 p( x1y0 ) = p( x1 ) p( y0 x1 ) = 0.5×0.2 = 0.1 p( x1y1 ) = p( x1 ) p( y1 x1 ) = 0.5×0.8 = 0.4
2012-4-27 11
5. 若信道输入分布为等概分布 pi =
1 ， i = 1,2,3,4 ，且有下列两个信道其转移概率为： 4
1 2 0 p1 = 0 1 2
1 1 0 0 2 2 1 1 0 0 2 2 p = 2 1 1 0 0 2 2 1 0 0 0 2
2012-4-27
19
解: 用极大似然译码规则译码，先写出输入输出的联合概率分布
1 4 1 PX,Y) = P ∆P|X = ( X Y 24 1 12
平均译码错误概率为
1 6 1 8 1 24
1 12 1 12 1 8
3 1 2 1 3 1 7 2 2 11 P = ∑p(yj ) pej = + + + + + = e 8 9 9 3 8 8 24 7 7 24 j=1
H( X) =log4=2>C 1
所以有信息熵损失，信道有噪声。
2012-4-27
13
（2）由信道 2 的转移概率矩阵可知其为准对称信道，输入为等概分布时达到信道容量。令 此时的输出分布为 1 q1 = q2 = L = q8 = 8 所以
C2 = H (Y ) − H ( Y | X ) 1 1 = log 8 − H , 2 2 =2
2012-4-27
6
（2）求边沿概率
p ( y0 ) = ∑ p ( xy0 ) = p ( x0 y0 ) + p ( x1 y0 ) = 0.49 + 0.1 = 0.59 p ( y1 ) = ∑ p ( xy1 ) = p ( x0 y1 ) + p ( x1 y1 ) = 0.01 + 0.4 = 0.41
2012-4-27
16
7. 某气象员报告气象状态，有四种可能消息：晴云雨和雾。若每个消息是等概率
的，求： （1）发送每个消息最少需要的二元脉冲数是多少？ （2）假设 4 个消息出现的概率分别为 0.25，0.125，0.125，0.5，求在此情况 下消息所需的二元脉冲数是多少？ （3）采用霍夫曼方法如何编码？
X X
（3）求后验概率
p ( x0 y0 ) = p ( x0 y0 ) p ( y0 ) = p ( x1 y0 ) = p ( x1 y0 ) p ( x0 y1 ) = p ( x0 y1 ) p ( x1 y1 ) = p ( x1 y1 )
0.49 = 0.831 0.59 0.1 p ( y0 ) = = 0.169 0.59 0.01 p ( y1 ) = = 0.024 0.41 0.4 p ( y1 ) = = 0.976 0.41
H ( X ) = −∑p( xi ) log p( xi ) H (Y ) =−∑p( yj ) log p( yj ) H ( X,Y ) =−∑∑p( xi yj ) log p( xi yj )
X Y Y X
故应求 p( x) , p( y) , p( xy) 。
2012-4-27
5
（1）求联合概率
1 1 1 第二种情况： L = + × 2 + × 6 = 1.75(码元/ 信源符号) 2 4 8
2012-4-27 18
8. 设有一离散无记忆信道，其信道矩阵为
1 2 1 P= 6 1 3
1 3 1 2 1 6
1 6 1 ， 3 1 2
p(x1) = 0.5 ， p(x2 ) = p(x3) = 0.25 ，求最佳译码规则的平均错误概率。
2012-4-27
17
解: （1）至少需要二位二进制码元来发送 4 个等概发生的信息
晴——00，云——01，雨——10，雾——11 （2）4 个消息的概率恰好是 2 的负整数次幂，根据bi = −log pi 得 晴——2 位，云——3 位，雨——3 位，雾——1 位 （3）采用霍夫曼方法得 雾——0，晴——10，云——110，雨——111 它们的平均码长分别为： 1 第一种情况： L = × 2 × 4 = 2(码元/ 信源符号) 4
因为胜、负、平这 3 种结果接近等概，所以该随机变量的熵接近最大熵。 （2）假定大卫最后 3 场比赛全部获胜，那么麦克也必须全部获胜最后 3 场比赛最终才能得 平，否则就是负。麦克 3 场比赛全部获胜的可能性是 2 −3 = 1 / 8 ，因此在假定大卫最后 3 场比 赛全部获胜的情况下麦克的最终比赛结果的条件熵是 7 1 H = 3 − log 7 = 0.5436 比特 结果 8 8
8
4. 棒球比赛中大卫和麦克在前面的比赛中打平，最后 3 场与其他选手的比赛结果最终决定 他们的胜、负或平。试问： (1) 假定最后 3 场他们与其他选手的比赛结果胜负的概率均为 0.5，把麦克的最终比赛 结果{胜、负、平}作为随机变量，计算他的商； （2）假定大卫最后 3 场比赛全部获胜，计算麦克的最终比赛结果的条件商；
同理
P(负) = 22 22 22 20 ，P( 平) =1− − = 64 64 64 64
2012-4-27
10
麦克最终比赛结果的熵为
22 22 22 22 20 20 22 22 20 H , , =− log − log − log 64 64 64 64 64 64 64 64 64 22 20 = log 64 − 2 × log 22 − log 20 64 64 44 20 =6− × 4.4594 − × 4.3219 64 64 = 6 − 3.0659 − 1.3506 = 1.5835比特 结果
p( y0 x0 ) p( y1 x0 ) 0.98 0.02 P= = ， p( y0 x1) p( y1 x1) 0.2 0.8
求平均互信息 I(X, Y).
2012-4-27
4
解：根据公式 I ( X;Y ) = H ( X ) + H (Y ) − H ( X,Y ) 求互信息量， 而