《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

信息论与编码理论习题解

第二章-信息量和熵

2.1解: 平均每个符号长为:15

4

4.03

12.03

2=

⨯+⨯秒 每个符号的熵为9183.03log 3123log 3

2=⨯+⨯比特/符号

所以信息速率为444.34

15

9183.0=⨯比特/秒

2.2 解: 同步信号均相同不含信息,其余认为等概,

每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒

2.3 解:(a)一对骰子总点数为7的概率是

36

6 所以得到的信息量为 585.2)36

6(log 2= 比特 (b) 一对骰子总点数为12的概率是36

1 所以得到的信息量为 17.536

1

log 2

= 比特 2.4 解: (a)任一特定排列的概率为

!

521

,所以给出的信息量为 58.225!

521

log 2

=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为

1352

13

13521344!13C A =⨯

所以得到的信息量为 21.134

log 1313

52

2=C 比特.

2.5 解:易证每次出现i 点的概率为

21

i

,所以

比特比特比特比特比特比特比特398.221

log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21

log )(26

12=-==============-==∑

=i i X H x I x I x I x I x I x I i i

i x I i

2.6 解: 可能有的排列总数为

27720!

5!4!3!

12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y

图中X 表示白杨或白桦，它有⎪⎪⎭⎫

⎝⎛37种排法，Y 表示梧桐树可以栽

种的位置，它有⎪⎪⎭⎫

⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫

⎝⎛37=1960种排法保证没有

两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；

Z=0表示学过英语，Z=1表示未学过英语，由此得

比特

比特比特

)01(log )01()0()00(log )00()0()(8113.04log 4

1

34log 43)()(02698.04

1104

35

log 104354310469log 10469)

1()

01(log )01()0()00(log )00()0;(104

352513/41)522121()0(/)1())11()1,10()10()1,00(()

01(104692513/43)104109101(

)0(/)0())01()0,10()00()0,00(()

00()(4512.04

18

5log 85

4383log 8

3)

1()

01(log )01()0()00(log )00()0;(8

5

51/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,

25

12

25131)1(,2513100405451)

10()1()00()0()0(,

5

4

511)1(,51101432141)10()1()00()0()0(,

4

1

)1(,43)0(2222222

2

222

2+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========

⨯=========⨯=

========-===⨯+=

===+======-===⨯+⨯=

===+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p

2.8 解:令{}{}R F T Y B A X ,,,,==，则

比特

得令同理03645.0)()(5

.0,02.03.0)

2.05.0(log 2.0)()2.05.0(log )2.05.0()2.0

3.0(log )2.03.0(5.0log 5.03.0log 3.0)

5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()

()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)

()()()()(5.0max 2

'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p p

p p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P p

p p B P B T P A P A T P T P

2.9 & 2.12

解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)

=

6log 6

1)536log 365436log 364336log 363236log 36236log 361(

2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)

=