最新第二章 信源与信息度量 习题解答

第二章 信源与信息度量 习题解答

1. 某大学设置五个学院，每个学院的学生数分别为

学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200

问“某学生王某是外语学院学生”这一消息提供的信息量是多少？

解：

总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：

500

0.252000

= 同理计算其它学院学生概率后，得信源的概率空间为：1

2345()0.150.20.250.30.1X x x x x x p X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭

“学生王某是外语学院学生”这一消息提供的信息量：

33()lb ()lb 0.252I x p x =-=-=比特

2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：

（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 解：（1）事件“2和5同时呈现”的概率：1

()18

p A =

，该事件的自信息量： 1

()lb ()lb

4.170 bit 18

I A p A =-=-= （2）事件“两个4同时呈现”的概率：1

()36

p B =，该事件的自信息量：

1

()lb ()lb 5.170 bit 36

I B p B =-=-=

（3）事件“至少呈现一个1”的概率：11

()36

p C =，该事件的自信息量：

11

()lb ()lb 1.711 bit 36

I C p C =-=-=

3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。

解：（1）字母“e ”的自信息量：

()lb ()lb0.103 3.279 bit I e p e =-=-=

（2）字母“c ”的自信息量：

()lb ()lb0.022 5.506 bit I c p c =-=-=

（3）字母“x ”的自信息量：

()lb ()lb0.0019.966 bit I x p x =-=-=

4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 解：

因为()0.2,()0.3p B p C ==，()()p B p C <

以及 消息提供的信息量与其出现概率倒数的对数成正比，所以B C I I >，即“现在完成一台仪器B ”提供的信息量大于“现在完成一台仪器C ”提供的信息量。 规律：

(1) 出现概率为零的消息可略去。

(2) 概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。

5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。

解：根据题意，35%的女孩上大学，一个女孩身高超过1.6米的概率是50%，得两个信源概率空

间：==()0.350.65X x x p X ⎧⎫⎡⎤=⎨⎬⎢⎥⎩⎭⎣⎦1大学生

2非大学生，== 1.6m ()0.50.5Y y y p Y <⎧⎫

⎡⎤=⎨⎬⎢⎥⎩⎭

⎣⎦1身高>1.6m

2身高，根据65%的女大学生

身高超过1.6米，知：11(/)0.65p y x =，消息：某一个身高超过1.6米的女孩是大学生的概率为：

111111(/)()0.650.35

(/)0.455

()0.5p y x p x p x y p y ⨯=

==

该消息的信息量：

1111(/)lb (/)lb0.455 1.136bit

I x y p x y =-=-=

6. 试求：

（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 解：

(1)()lb54 5.76H X == 比特/每张牌

(2),1,2,A K ⋅⋅⋅出现的概率为：

454，王出现的概率为：2

54

，信源的概率空间为： 1234567891044444444444442()5454

54

54

54

54

54

54

54

54

54

54

5454J Q K x

x x x x x x x x x x x x x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥⎣⎦⎪

⎪⎩⎭

王 4422

()13lb 1lb 3.7954545454

H X =-⨯

-⨯=比特/每张牌。

7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 解：

天气预报：4211()08

8

8

8x

x x x x X p X ⎧⎫

⎡⎤⎪⎪=⎨⎬⎢⎥

⎣⎦⎪

⎪⎩⎭

雨冰雹晴

多云雪 44221111

()lb lb lb lb 1.7588888888

H X =----=比特/每次预报

老农预报：71()88x

x X p X ⎧⎫⎡⎤⎪⎪=⎨⎬⎢⎥

⎣⎦⎪

⎪⎩⎭

雨晴

7711

()lb lb 0.548888

H X =--=比特/每次预报。

天气预报给出更详细的消息及其概率分布，消息数更多，平均信息量更大。

8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====⎧⎫

⎡⎤=⎨⎬⎢⎥⎩

⎭⎣⎦，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：

（1） 该消息的自信息量；

（2） 该消息平均每个符号携带的信息量。

解：（1）根据信源概率空间，计算得到每个符号的自信息量：

()11(0)lb ()lb 3/8 1.415 bit I x p x ==-=-= ()22(1)lb ()lb 1/4 2 bit I x p x ==-=-= ()33(2)lb ()lb 1/4 2 bit I x p x ==-=-= ()44(3)lb ()lb 1/8 3 bit I x p x ==-=-=

该消息序列各符号相互独立，其自信息量等于各符号自信息量之和：

123414(0)13(1)12(2)6(3)87.810 bit I I x I x I x I x ==+=+=+==

（2）该消息平均每个符号携带的信息量：

87.81/45 1.951 bit/symbol I ==

比较该离散信源的熵：3

3111111

()lb

lb lb lb 1.906 bit/symbol 88444488

H X =----=，可见，该特定的消息符号序列平均每个符号携带的信息量仅仅是近似于离散信源熵，而不等同于信源熵，因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。