最新信息论与编码第二章答案

2-1、一阶马尔可夫链信源有

3个符号｛u 1,U 2,U^，转移概率为：

p （U i uj=%，

P （u 2 uj = %， P （u 3 u

i ） =

0，

P （U 1

U 2） = y3 ， P

（u 2

U 2） = 0，P （u 3

U 2） =

^3

，

2 9 6

W i = ， W , =

， W 3 =-

5

25

25

2-2.由符号集｛0,

1｝组成的二阶马尔可夫链，

P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5 画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

W ,

+%p 21 +W 3P 31 +w 4p 41 =0.8w +0.5W 3

』W 2 =吗口2 +W 2P 22 +W 3P 32 +W 4P 42 =0.2W i +O.5W 3 W 3 =呵口3 + W 2 p 23 + W 3 P 33 + w 4p 43 = 0.5W 2 + 0.2W 4

W 4 = w,p 14 +w 2p 24 +w 3p 34 +W 4 p 44 =0.5W 2 +0.8W 4

且 w y W 2 W 3 w 4 = 1 ；

P (U i U 3) =%， 1/2

1/2 0〕

[p(S j 冷)]=1/3

0 2/3

]1/3 2/3 0

J

-0。画出状态图并求出各符号稳态概率。

令各状态的稳态分布概率为 W ,，W ,，W 3，则：

1 1 1 1

2 W ,= w+ W 2+ W 3， W ,= W + W 3

2 3 3 2

3

-稳态分布概率为：

且：W +W4+W 3=I

其转移概率为

0.8 0.2 0 0

W 2、 W 3、 P (S j sj =

0 0 0.5 0.5 0.5 0.5 0 0 .0 0 0.2 0.8

W 4，利用（2-1-17）可得方程组。

P (U 2 g) =%，P (U 3 U 3)

解：由题可得状态概率矩阵为:

状态转换图为：

(o ) o. a

0. 8

0 2

0. 5

0 2

令各状态的稳态分布概率为

2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是 1

6

，求:

（1 ）、“3和5同时出现”事件的自信息量； （2） 、“两个1同时出现”事件的自信息量； （3） 、两个点数的各种组合的熵或平均信息量； （4） 、两个点数之和的熵；

（5） 、两个点数中至少有一个是 1的自信息量。

1

.I （x 2）=-lb 5.17bit

36

（3）两个点数的各种组合（无序对）为:

(2,2) ,(2,3),(2,4),(2,5),(2,6)

(3,3) , (3,4),(3,5),(3,6)

(4,4) ,(4,5),(4,6)

(5,5) ,(5,6)

(6,6) 其中，(1,1),

(2,2), (3,3), (4,4), (5,5), (6,6)的概率为 1/36，其余的概率均为 1/18

1

1 1 1

所以， H(X)=-15 —lb 6 lb 4.337bit 事件

18 18 36 36

(4)两个点数之和概率分布为：

x

2 3 4 5

6 7 8 9 1 0 1 1 1 2

P 1

36 池6%6 X 36/36 Z 6

3 6^ 3/ 36^ 3^ 36

1

36

l(X 3)=-lb 1.17bit

36

解方程组得:

14 p(00) w 2

W w 4

5 14

1 p(01) = ~ 即：

＜

7

1 P (10) = 7 5

P (11)=-

•

14

解：（1） 3和5同时出现的概率为：

I （x ）=』b=

bit 17

18

（2）两个1同时出现的概率为：

p(x 1)=

2」 6 6 18

1 1 P (X 2)=6 6 丄

36

(1,1),(1,2),(1,3),(1,4),(1,5),(1,6) 信息为熵为： 12

H - 八 p(x i )1bp(x i ^3.27bit

i

=2

P （X 3）

11

36

（5）两个点数之中至少有一个

是

1的概率为:

2-4•设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100

个球的颜色有下列三种情况：

(1)红色球和白色球各50个；

(2)红色球99个，白色球1个；

(3)红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。

1 1

解：(1)设取出的红色球为X1，白色球为X2 ；有P(X1)，P(X2)=

1111

则有：H(X)=—(―lb lb—)=1bit/ 事件

2 2 2 2

(2) p(xj =0.99, pg) =0.01 ;

则有：H(X) - _(0.99lb0.99 0.01lb0.01) =0.081(bit/事件)

1

(3)设取出红、黄、蓝、白球各为X1、X2、X3、X4，有PX )书X)2 PX ) 3PX ) 4 = 一

4

1 1

则有：H(X) lb—) =2bit/ 事件

4 4

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女

孩中身高1.6M以上的占总数一半。假如得知“身高 1.6M以上的某女孩是大学生”的消息，问获得多少信息量？

解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B,则p(A)=1/4, p (B)=1/2，p (B|A)=3/4，则

迴二p(A)P(B|A)=竺35 =3

p(B) P(B) 0.5 8

I (A|B )= log (1/p(A/B) ) =1.42bit

2-6.掷两颗，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小

圆点数之和是7时，该消息所包含的信息量又是多少？

1

解：(1)小圆点数之和为3时有(1,2)和(2,1),而总的组合数为36,即概率为p(x = 3)=

18

则

1

l(x =3) = —lbp(x =3) = -lb 4.17bit

18

(2)小园点数之和为7的情况有(1,6) , ( 6,1) ( 2,5) (5,2) (3,4) ( 4,3),则概率为