信息论与编码(第二版)曹雪虹(最全版本)答案

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

《信息论与编码(第二版)》曹雪虹答案

第二章

2.1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =,

()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。

解:状态图如下

状态转移矩阵为:

1/21/2

01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭

设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3

由1231WP W W W W =⎧⎨++=⎩得1231132231231

112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩

计算可得1231025925625W W W ⎧=⎪⎪⎪

=⎨

⎪=⎪⎩ 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0.8,(0|11)p =0.2,

(1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出

状态图,并计算各状态的稳态概率。

解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==

(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

于是可以列出转移概率矩阵:0.80.20

0000.50.50.50.500000.20.8p ⎛⎫ ⎪

⎪= ⎪ ⎪⎝⎭

状态图为:

设各状态00,01,10,11的稳态分布

概率为W 1,W 2,W 3,W 4 有

41

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131

132

24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417

175

14W W W W ⎧

=⎪⎪

⎪=⎪⎨⎪=⎪⎪⎪=

2.3 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求: (1) “3和5同时出现”这事件的自信息; (2) “两个1同时出现”这事件的自信息;

(3) 两个点数的各种组合(无序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, … , 12构成的子集)的熵; (5) 两个点数中至少有一个是1的自信息量。

解:(1)bit x p x I x p i i i 170.418

1

log

)(log )(181

61616161)(=-=-==

⨯+⨯= (2)bit x p x I x p i i i 170.536

1

log

)(log )(361

6161)(=-=-==

⨯=

(3)

两个点数的排列如下: 11 12 13 14 15 16

21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合:

其中11,22,33,44,55,66的概率是3616

161=

⨯ 其他15个组合的概率是18

161612=⨯⨯ symbol bit x p x

p X H i

i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛

⨯+⨯-=-=∑

(4)参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:

symbol bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=⎪

⎭⎫ ⎝⎛

+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥

⎦⎤⎢⎣⎡∑(5)

bit x p x I x p i i i 710.136

11

log

)(log )(3611116161)(=-=-==

⨯⨯=

2-4

2.5 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,

而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量? 解:

设随机变量X 代表女孩子学历

X x 1(是大学生) x 2(不是大学生) P(X)

0.25

0.75

设随机变量Y 代表女孩子身高

Y y 1(身高>160cm ) y 2(身高<160cm ) P(Y)

0.5 0.5

已知:在女大学生中有75%是身高160厘米以上的 即:bit x y p 75.0)/(11=

求:身高160厘米以上的某女孩是大学生的信息量 即:bit y p x y p x p y x p y x I 415.15

.075

.025.0log )()/()(log

)/(log )/(11111111=⨯-=-=-=

2.6 掷两颗骰子,当其向上的面的小圆点之和是3时,该消息包含的信息量是多少?当小圆点之和是7时,该消息所包含的信息量又是多少? 解:

1)因圆点之和为3的概率1()(1,2)(2,1)18

p x p p =+= 该消息自信息量()log ()log18 4.170I x p x bit =-== 2)因圆点之和为7的概率

1

()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=

该消息自信息量()log ()log6 2.585I x p x bit =-== 2.7 设有一离散无记忆信源,其概率空间为123401233/8

1/41/41/8X x x x x P ====⎛⎫⎛⎫

= ⎪

⎪⎝⎭⎝

相关文档
最新文档