信息论与编码(曹雪虹_张宗橙)第二、三章答案

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：

对应的状态图如右图所示。设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p =

211p +312p +313p 2p =211p +323p

3p =3

22p

1p +2p +3p =1

解得各符号稳态概率为：

1p =

2510，2p =259，3p =25

6 2-2.解：该马尔可夫信源的符号条件概率矩阵为：

状态转移概率矩阵为：

对应的状态图如右图所示。

设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为：

1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W

4W =0.52W +0.84W

1W +2W +3W +4W =1

解得稳定分布的概率为:

1W =

145，2W =142，3W =142，4W =14

5 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=

18

1

故其自信息量为： I(3,5)=-㏒2

18

1

=4.17bit （2）“两个1同时出现”事件的概率为：

p(1,1)=

36

1

故其自信息量为： I(1,1)=- ㏒2

36

1

=5.17bit （3）两个点数的各种组合构成的信源，其概率空间为：

则该信源熵为： H(x 1)=6×

36

1

lb36+15×181lb18=4.337bit/事件

（4）两个点数之和构成的信源，其概率空间为：

则该信源的熵为： H(x 2)=2×

361

lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6

1lb6

=3.274bit/事件

（5）两个点数中至少有一个是1的概率为： p(1)=

36

11 故其自信息量为：

I(1)= -㏒2

36

11

=1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为

I(x 1)= -㏒2

83

=1.415bit I(x 2)= -㏒241

=2bit

I(x 3)= -㏒241

=2bit

I(x 4)= -㏒28

1

=3bit

（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符

号序列的自信息量为： I(x)= -㏒2(

8

3)14 (41)25 (81)6

=87.81bit

平均每个符号携带的信息量为： L H (x)=

45

)

(x I =1.95bit/符号 2-10

解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则

(1)一次实验包含的不确定度为：

H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=-

13lb 13-23lb 2

3

=0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x )

= -

27lb 27-57lb 57

= 0.86 bit

(3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:

H(Y|2x )=-p(1y |2x )lb p(1y |2x )-p(2y |2x )lb p(2y |2x )

= -

514lb 514-914lb 914

= 0.94 bit

（4）第二次Y 包含的不确定度：

H （Y|X ）= -

(,)(|)i j j i ij

p x y lbp y x å

= p(1x ) H(Y|1x )+p(2x )H(Y|2x ) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H （

238，1838，1838）= -238lb 238- 2´1838lb 18

38

=1.24 bit (2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´

118lb 1

18

= 5.25 bit (3)颜色已知的条件熵：

H （number|colour ）=H （colour,number ）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - (,)i j ij

p x y å

lb (,)i j p x y = -

(,)i j ij

r x y å

lb (,)i j r x y

=H(

724,124,0,124,14,0,124,7

24

) =2.3 bit/符号

（2）由联合概率，可得

p(1y )=11(,)p x y +21(,)p x y +31(,)p x y

=11(,)r x y +21(,)r x y +31(,)r x y

=724+124+0 =1

3

同理可得

P(2y )=p(3y )=

1

3

,则实验Y 的平均信息量：