信息论与编码第二章答案

2—1、一阶马尔可夫链信源有3个符号

{}123,,u u u ,转移概率为：1

112

()u p u

=，

2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

1/21/2

0[(|)]1/302/31/32/30j i p s s ⎡⎤⎢⎥=⎢⎥

⎢⎥⎣⎦

状态转换图为：

令各状态的稳态分布概率为1W ，2W ，3W ，则: 1W =

121W +132W +133W ， 2W =121W +233W , 3W =2

3

2W 且：1W +2W +3W =1 ∴稳态分布概率为：

1W =25，2W =925，3W = 6

25

2-2.由符号集{０,１}组成的二阶马尔可夫链，其转移概率为:P （0｜00）=0.8，P(0｜11)=0.2，

P （1|00）=0.2，P(1｜11）=0.8,P （0|01）=0.5,p(0|10）=0。5，p(1|01）=0。5,p （1|10）=0。5画出状态图，并计算各符号稳态概率。 解:状态转移概率矩阵为：

令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2—1-17）可得方程组。

111122133144113

211222233244213

311322333344324411422433444424

0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+⎧⎪=+++=+⎪⎨

=+++=+⎪⎪=+++=+⎩ 且12341w w w w +++=；

0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ⎡⎤⎢⎥

⎢

⎥=⎢⎥⎢⎥⎣⎦

解方程组得：12345141717514w w w w ⎧=⎪⎪⎪=⎪⎨⎪=⎪⎪⎪=⎩ 即：5(00)141(01)71(10)75(11)14

p p p p ⎧=⎪⎪⎪=⎪⎨

⎪=⎪⎪⎪=⎩

2—3、同时掷两个正常的骰子，也就是各面呈现的概率都是16

，求：

（1）、“3和5同时出现”事件的自信息量；

（2）、“两个1同时出现"事件的自信息量； (3)、两个点数的各种组合的熵或平均信息量； （4)、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。

解:(1)3和5同时出现的概率为:1111p(x )=26618

⨯⨯= 11

I(x )=-lb

4.1718

bit ∴= (2）两个1同时出现的概率为：2111

p(x )=6636

⨯=

21

I(x )=-lb

5.1736

bit ∴= （3)两个点数的各种组合（无序对）为： (1，1)，(1，2）,(1,3)，(1,4）,(1,5)，(1，6) （2,2）,(2,3)，（2，4），(2，5），(2，6） （3,3）, (3，4），(3，5）,(3,6） （4，4)，(4,5)，(4,6) (5,5),（5，6) （6，6） 其中，（1，1), （2,2)， (3,3), (4，4）, (5,5）, （6,6)的概率为1/36，其余的概率均为1/18 所以，1111

()156 4.33718183636

H X lb lb bit ∴=-⨯

-⨯=事件 （4)两个点数之和概率分布为：

4678102

3591112356531244213636363636363636363636

x p

信息为熵为：12

2

()1() 3.27i

i

i H p x bp x bit ==-

=∑

（5）两个点数之中至少有一个是1的概率为：311

()36

p x = 311

I(x )=-lb

1.1736

bit ∴= 2-4。设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。

100个球的颜色有下列三种情况： (1）红色球和白色球各50个; （2)红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个.

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：(1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21()2

p x = 则有：1

111

()()2222

H X lb

lb =-+=1bit/事件 （2） 1()0.99p x =，2()0.01p x =；

则有：()(0.990.990.010.01)H X lb lb =-+=0.081（bit/事件)

(3）设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有12341

()()()()4

p x p x p x p x ====

则有：11()4()244

H X lb bit =-=/事件

2-5、居住某地区的女孩中有25%是大学生,在女大学生中有75％身高为1。6M 以上,而女孩中身高1.6M 以上的占总数一半。假如得知“身高1.6M 以上的某女孩是大学生"的消息,问获得多少信息量? 解：设女孩是大学生为事件A ，女孩中身高1。6m 以上为事件B ，则p(A)=1/4, p (B ）=1/2,p

(B ｜A)=3/4,则 P(A ｜B)=

()()(|)()()p AB p A P B A p B P B ==0.250.753

0.58

⨯= I （A ｜B)＝log （1/p(A/B ））=1.42bit

2—6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？

解:(1）小圆点数之和为3时有(1，2）和（2,1)，而总的组合数为36，即概率为1

(3)18

p x ==，则

1

(3)(3) 4.1718

I x lbp x lb

bit ==-==-= (2）小园点数之和为7的情况有（1，6）,（6,1）（2，5）(5,2）（3，4)（4，3），则概率为

1(7)6p x ==

,则有 1

(7) 2.5856

I x lb bit ==-= 2—7、设有一离散无记忆信源，其概率空间为12340133314141X x x x x P ====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦

（1)、求每个符号的自信息量;

(2)、信源发出一消息符号序列为

{}

202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量.