信息论习题解答

第二章 信息量与熵

2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。 解:同步信息均相同,不含信息,因此

每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s

2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1}

)(a p =

366=6

1 得到的信息量 =)

(1

log

a p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(

b p =

36

1 得到的信息量=)

(1

log

b p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问:

(a) 任何一种特定的排列所给出的信息量就是多少？

(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？

解:(a) )(a p =

!

521 信息量=)

(1

log a p =!52log =225、58 bit (b) ⎩⎨

⎧⋯⋯⋯⋯花色任选

种点数任意排列

13

413!13

)(b p =13

52

134!13A ⨯=135213

4C 信息量=13

13524log log -C =13、208 bit

2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表

示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、

)|(X Z H 。

解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则

1x X =,21x x Y +=,321x x x Z ++=

)|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H

=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+36

6log 6 =3、2744 bit

)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]

而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit

或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H

而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit

),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit

)|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit

2、10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0、5的概率错成另外一个

奇数,其余正确接收,求收到一个数字平均得到的信息量。 解:

信道

X

Y

9,7,5,3,1=i 8

,6,

4,2,0=i √

Χ

);(Y X I =)(Y H -)|(X Y H

因为输入等概,由信道条件可知,

⎪⎪⎩

⎪⎪⎨

⎧

=++++====101)8181818121(101)(101)(为偶数为奇数i i y p i i y p 即输出等概,则)(Y H =log 10

)|(X Y H =)|(log )(i j j

j i i

x y p y x p ∑∑-

=)|(log )(i j j

i

j i x y p y

x p ∑∑-偶

-)|(log )(i j j i j i x y p y x p ∑∑奇

=0-)|(log )(i j j i j

i

x y p y

x p ∑∑奇

= -)|(log )|()(9

7,5,3,1i i i i

i i x y p x y

p x p ∑=，-)|(log )|()(9

7531i j j i i i j

i

x y p x y

p x p ∑

∑≠，，，，＝

=

101⨯21log 2⨯5+101⨯21⨯41

log 8⨯4⨯5 =4

3

41+=1 bit

);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2、3219 bit

2、11 令{821,,u u u ，⋯}为一等概消息集,各消息相应被编成下述二元码字

1u =0000,2u =0011,3u =0101,4u =0110,

5u =1001,6u =1010,7u =1100,8u =1111

通过转移概率为p 的BSC 传送。求:

(a)接收到的第一个数字0与1u 之间的互信息量。 (b)接收到的前二个数字00与1u 之间的互信息量。 (c)接收到的前三个数字000与1u 之间的互信息量。 (d)接收到的前四个数字0000与1u 之间的互信息量。 解:

即)0;(1u I ,)00;(1u I ,)000;(1u I ,)0000;(1u I