第二章信息量和熵习题解

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第二章-信息量和熵习题解

2.1 莫尔斯电报系统中,若采用点长为0.2s ,1划长为0.4s ,且点和划出现的概率分别为2/3和1/3,试求它的信息速率(bits/s)。

解: 平均每个符号长为:

1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3

1

23log 32=⨯+⨯比特/符号

所以,信息速率为444.34

15

9183.0=⨯比特/秒 2.2 一个8元编码系统,其码长为3,每个码字的第一个符号都相同(用于同步),若每秒产生1000个码字,试求其信息速率(bits /s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特;

所以,信息速率为600010006=⨯比特/秒

2.3 掷一对无偏的骰子,若告诉你得到的总的点数为:(a ) 7;(b ) 12。

试问各得到了多少信息量?

解: (a)一对骰子总点数为7的概率是

366 所以,得到的信息量为 585.2)366

(log 2= 比特 (b) 一对骰子总点数为12的概率是361

所以,得到的信息量为 17.536

1

log 2

= 比特 2.4 经过充分洗牌后的一付扑克(含52张牌),试问:

(a) 任何一种特定排列所给出的信息量是多少?

(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?

解: (a)任一特定排列的概率为

!

521, 所以,给出的信息量为 58.225!

521

log 2

=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1313

13

135252

13!44A C ⨯=

所以,得到的信息量为 21.134

log 131352

2=C 比特.

2.5 设有一个非均匀骰子,若其任一面出现的概率与该面上的点数成正比,试求各点

出现时所给出的信息量,并求掷一次平均得到的信息量。

解:易证每次出现i 点的概率为

21

i

,所以 比特比特比特比特比特比特比特398.221

log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21

log )(26

12

=-==============-==∑

=i i X H x I x I x I x I x I x I i i

i x I i

2.6 园丁植树一行,若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列,

且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时,你得到了多少关于树的排列的信息?

解: 可能有的排列总数为

27720!

5!4!3!

12=

没有两棵梧桐树相邻的排列数可如下图求得,

Y X Y X Y X Y X Y X Y X Y X Y

图中X 表示白杨或白桦,它有⎪⎪⎭⎫ ⎝⎛37种排法,Y 表示梧桐树可以栽种的位置,它有⎪⎪⎭

⎫ ⎝⎛58种排法,

所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭

⎝⎛37=1960种排法保证没有两棵梧桐树相邻,

因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为

1960log 27720log 22-=3.822 比特

2.7 某校入学考试中有1/4考生被录取,3/4考生未被录取。被录取的考生中有50%来自本市,而落榜考生中有10%来自本市,所有本市的考生都学过英语,而外地落榜考生中以及被录取的外地考生中都有40%学过英语。

(a) 当己知考生来自本市时,给出多少关于考生是否被录取的信息?

(b) 当已知考生学过英语时,给出多少有关考生是否被录取的信息?

(c) 以x 表示是否落榜,y 表示是否为本市学生,z 表示是否学过英语,x 、y 和z

取值为0或1。试求H (X ),H (Y |X ),H (Z |YZ )。

解: X=0表示未录取,X=1表示录取;

Y=0表示本市,Y=1表示外地;

Z=0表示学过英语,Z=1表示未学过英语,由此得

31

(0),(1),

44

(0)(0)(00)(1)(01)31111,41042514

(1)1,55

(0)(0)(00)(1)(01)144013,55100251312

(1)1,

2525

p x p x p y p x p y x p x p y x p y p z p y p z y p y p z y p z =========+====⨯+⨯===-======+====

+⨯===-=

22

221313()(00)(00)(0)/(0)/104581115

(10)(01)(1)/(0)/2458

(00)(10)

(;0)(00)log (10)log (0)(1)

3535

88

log log 318

844

0.4512a p x y p y x p x p y p x y p y x p x p y p x y p x y I X y p x y p x y p x p x ========

⨯=========⨯=

========+=====+=比特

相关文档
最新文档