信息论与纠错编码编码习题答案

1 225.6( Bit ) 52! 52! （2） I ( xi ) log q( xi ) log 13 4 13!39! 1 （3） H (U ) －log log 52 log 4 3 2 log 13 7.4( Bit / 符号) 52 1 （4） H ( X ) log log 13 3.7( Bit / 符号) 13
2.4 logk
2.5 I (X; Y Z)= I (X; Y )+ I (X; Z∣Y) 2.7
p( s 0 )
4 11
p( 1s )
3 11
p(0s )
4 H = 0.25(Bit/符号) 11
2.8 H = 0.82(Bit/符号) 2.10 （1） I ( xi ) log


(4) H ( XY ) 2.45 (Bit / 符号 （5）I (X;Y) = 0.81 (Bit/符号)
第 3 章 离散信源无失真编码
3.6 （1） 2 位 （2）取码长 n1=1、n1=2、n1=3、n1=3 就能得到紧致码。 3.13 （1）H(X)=-0.9log0.9-0.1log0.1=log10-0.9log9 （2） l 5.7 （3） n 2.7 3.14 （1）x1 →0，x2→11，x3→10
第 4 章 离散信道的信道容量
4.7 （1） C log 3 H 2 ( p) （2） C log 2 H 2 ( p) （3） C 0.322( Bit / 符号) （4）C = e2-(3/2) （5） C 0.083( Bit / 符号) (6) C 0.082( Bit / 符号) 4.8 （1） C 2.918( Bit / 符号) （2） C 0.7 log 0.35 0.5 log 0.5 0.2 log 0.2 4.9 (1) I ( X ; Y ) (1 q) H 2 ( ) (2) α＝0.5 时，I(X;Y)取得最大值 C (1 q) log 2
4.15 C = 0.322 (Bit/码符)


4.16 （1）I(X; Y) =1.5(Bit/符号) （2）I(X; Z) =1.5(Bit/符号) （3）I (X; Z) 和 I (X; Y)二者相等
第 5 章 习题
5.10 （1）采用极大后验概率译码准则：y1→x1，y2→x2，y3→x1 pe1＝11/24 (2) 信源等概分布，采用极大似然译码准则：y1→x1，y2→x2，y3→x3 pe1=1/2 5.11 译码：y1→x1，y2→x3，y3→x2 pe1＝21/42 5.12 （1）编码 x0：00，x1：11，x2：22，x3：33，x4：44 译码 00,01,10→00，11,12,21→11，22,23,32→22，33,34,43→33，40,44,04→44 pe＝1/4 （2）编码：x0：02，x1：14，x2：21，x3：33，x4：40 根据最大似然函数译码准则译码： 02,03,12,13→02，10,14,29,24→14，21,22,31,32→21，33,34,43,44→33，00,01,40,41→40 pe＝0 5.13 （1）最佳分布 q(x0) = q(x1)=1/2 0 1 (2) E0 ( , q) 2(2 ) ln 2 ln 2 (5 2 ) ln 2 5.14 （1） E0 (1, q) －ln q0 q1 ) 4q0 q1
1 (1 ) / 2
H 2 ( )
I(1;0) log
(1 ) / 2


H 2 ( )
（2） C ( 0) ln 1 2e

ln[1 2e

0
] ln 3
C ( 1) ln 1 2e H 2 ( ) ln[1 2e 0 ] ln 3 C ( 0.5) ln 1 2e ln 2)
2 2

p(1 p)

1 E0 (1) max E0 (1, q) ln p(1 p) q 0.5 2 2 2 （ ln q0 2q0 q1 p q1 （2） E 0 1, q）
1 E (1) ln 1 p 2
第1章
X 2 1.7 1 q ( X ) 36
1.8
信息论基础
8 5 36 9 4 36 10 3 36 11 2 36 12 1 36
3 2 36
4 3 36
5 4 36
6 5 36
7 6 36
p (s0 ) = 0.8p (s0 ) + 0.5p (s2 ) p (s1 ) = 0.2p (s0 ) + 0.5p (s2 ) p (s2 ) = 0.5p (s1 ) + 0.3p (s3 ) p (s3 ) = 0.5p (s1 ) + 0.7p (s3 ) p (s0 ) + p (s1 ) + p (s2 ) + p (s3 ) = 1 p (s0 ) =
1
2.13 I ( X Y ) log 0.039 2.14 R t =1000/4 (码字/秒) ×H(U) =250× 9＝2250（Bit/秒） 2.15 ―log p = log 55/44。 2.16 I(X;Y)= 1.82 (Bit/符号)
2.17 （1） I 1; u 4 100 log 2(1 p) （2） I 10; u 4 100 2 log 2(1 p) （3） I 100; u 4 100 3 log 2(1 p) 2.20 q k Ce
x0 x0 x0 x1 x1 x0 x1 x1 1 / 16 3 / 16 3 / 16 9 / 16 n 1.6875 0.96 x1 x0 x0 3 / 64 x1 x0 x1 9 / 64 x1 x1 x0 9 / 64 x1 x1 x1 27 / 64
2i 1 2 2 （2）当 M=2 +1 平均码长为 n i i i (i 1) i i 2 1 2 1 2 1
i
3.17 方法一：概率之和与原信源某概率相等，概率之和往上排： 方法二：概率之和与原信源某概率相等，概率之和往下排： 两种方法得到的码集都是最佳的。 3.18 （1）shannon 编码，D=2
4
(3) I (0;0) log 2 4.11
I (1;0)
I (0; e) 0
C 0.0312 （Bit / 符号）
4.12 （1） C (1 － ) log(1 － ) (1 － ) (1 ) log(1 ) log （2） I(1;1) log 4.14 （1） C ln 1 2e
n 2.966
0.984
（3）Huffman 编码，D＝3
消息 码字 x1 0 x2 21 x3 20 x4 12 x5 11 x6 10 x7 221 x8 220
n 1.967
0.937
（4）Huffman 编码，D＝4
消息 码字 x1 2 x2 0 x3 33 x4 32 x5 31 x6 30 x7 11 x8 10
n 1.633
0.89
3.21 （1）D=2
消息 码字 x1 111 x2 101 x3 100 x4 011 x5 001 x6 000 x7 1101 x8 1100 x9 0101 x10 0100
n 3.26
0.99
n 2.11
（2）D=3
消息 码字 x1 22 x2 21 x3 20 x4 12 x5 10 x6 02 x7 01 x8 00 x9 111 x10 110
0.966
3.22
方法一：概率之和与原信源某概率相等，概率之和往上排； 方法二：概率之和与原信源某概率相等，概率之和往下排； 第一种方法对实用更好
3.24 （1）H(X) = (1/4)log4 + (3/4)log(4/3) = 0.811
3
(2） q (0)＝1/4，q (1)=3/4 （3）扩展信源 Fano 编码 消息 码字 (4) 扩展信源 x0x0 111 x0x1 110 x1x0 10 x1x1 0
0.985
3.25
（1）Shannon 编码 D＝2
消息 码字 x1 0 x2 10 x3 110 x4 111
(2) Huffman 编码 D=2 ，得到的编码与（1）一致 （3）之所以得到这种结果，是因为消息的每个概率都可以写成 D – ni 的形式，取每个码字的码长分别为 ni 即可。
2.11（1）H(X) = log6 = 2.58 (Bit/符号) （2）H(X) =2.36 (Bit/符号) （3）I (A+B=7) = - log1/6 = log6 = 2.585 (Bit) 2.12 （1）I (xi) = -log1/100 = log100 （2）H(X)=log100.
Bk
1 A 时，H(U)取得最大值。 1 A 1 A
H m (U ) q k log
k 0 1 Ak (1 A) k 1 log q k k 0 (1 A) k 1 Ak
k
2.30 （1）H(X) = 1.69 (Bit/符号) （2）H(Y) = 1.57 (Bit/符号) (3) H (Y X ) 0.76 Bit / 符号
15 6 10 ， p (s1 ) = p (s2 ) = ，p (s3 ) = 37 37 37
不能
1.9 Pe = q(0)p + q(1)p = 0.06 (1-0.06)﹡1000﹡10 = 9400 < 9500
p 0 1.10 P 0 0
2
p(1 p) p(1 p) 0 0
0 p2 0 0
(1 p) p (1 p) 2 0 (1 p) 2 (1 p) p (1 p) 2 0 (1 p) 2
0 (1 p) p 0 (1 p) p
0 0 p2 0
0 0 p(1 p) p(1 p)
p2 0 0 0
第 2 章 信息的度量
n ቤተ መጻሕፍቲ ባይዱ1.5
0.99
（2）x1x1→01，x1x2→110，x2x1→101，x1x3→011，x3x1→010，x2x2→1111，x2x3→1110，x3x2→1001
n3
3.15（1） H
0.99
1 H 2 ( p) 1 p
2
（2） n
1 1 p
3.16 （1）当 M=2 i，这种情况下得到的是等长码，码长为 i。
n 2.47
x0 x0 x0 1 / 64
x0 x0 x1 3 / 64
x0 x1 x0 3 / 64
x0 x1 x1 9 / 64
Huffman 编码 D=2
消息 码字 x1 x1 x1 0 x1 x1 x0 101 x1 x0 x1 101 x0 x1 x1 100 x1 x0 x0 11111 x0 x1 x0 11110 x0 x0 x1 11101 x0 x0 x0 11100
0



5
5.15 （1） pe＝p[3(1 p) 3(1 p) p p ]
2 2
（2） pe 3 p 3 p p 5 p(1 p) 2 p (1 p) 3 p(1 p)
消息 码字 x1 000 x2 001 x3 011 x4 1000 x5 1010 x6 1011 x7 1101 x8 1110
n 3.467
0.842
（2）Fano 编码，D=2
消息 码字 x1 00 x2 010 x3 011 x4 100 x5 101 x6 110 x7 1110 x8 1111