信息论与编码曹雪虹课后习题答案

《信息论与编码》-曹雪虹-课后习题答案 第二章

2.1一个马尔可夫信源有3个符号{}1,

23,u u u ，转移概率

为：()1

1

|1/2p u u =，()2

1|1/2p u

u =，()31|0p u u =，()12|1/3p u u =，

()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，

画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为：

设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3

由1231WP W W W W =⎧⎨

++=⎩得1231132

231231

112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩

计算可得1231025925625W W W ⎧=⎪⎪⎪=⎨⎪

⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移

概率为：

(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出

状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==

于是可以列出转移概率矩阵：0.80.20

0000.50.50.50.500000.20.8p ⎛⎫ ⎪

⎪= ⎪ ⎪⎝⎭

状态图为：

设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有

41

1i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131

132

24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到1234514171

75

14W W W W ⎧=⎪⎪

⎪=⎪⎨

⎪=⎪⎪⎪=

⎩

2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：

(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量；

(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；

(5) 两个点数中至少有一个是1的自信息量。 解： (1) (2) (3)

两个点数的排列如下： 11 12 13 14 15 16

21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合：

其中11，22，33，44，55，66的概率是36

16

161=

⨯ 其他15个组合的概率是18

16

1612=⨯⨯

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

symbol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=⎪

⎭⎫ ⎝⎛

+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥

⎦⎤⎢⎣⎡∑(5) 2-4

2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高

160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解：

设随机变量X 代表女孩子学历

X x 1

（是大学生） x 2（不是大学生）

P(X) 0.25 0.75

设随机变量Y 代表女孩子身高

Y y 1（身

高>160cm ） y 2（身高

<160cm ）

P(Y)

0.5

0.5

已知：在女大学生中有75%是身高160厘米以上的

即：bit x y

p 75.0)/(11

=

求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y

p x p y x p y x I 415.15

.075

.025.0log

)

()

/()(log )/(log )/(111

1

1

1

1

1

=⨯-=-=-= 2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少当小圆点之和是7时，该消息所包含的信息量又是多少 解：

1）因圆点之和为3的概率1()(1,2)(2,1)18

p x p p =+=

该消息自信息量()log ()log18 4.170I x p x bit =-==

2）因圆点之和为7的概率

该消息自信息量()log ()log6 2.585I x p x bit =-== 2.7 设有一离散无记忆信源，其概率空间为

123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭

（1）求每个符号的自信息量

（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：1

2

2118

()log

log 1.415()3

I x bit p x === 同理可以求得2

3

3

()2,()2,()3I x bit I x bit I x bit ===

因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：1

2

3

4

14()13()12()6()87.81I I x I x I x I x bit =+++=

平均每个符号携带的信息量为87.81 1.9545

=bit/符号

2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}