信息论基础各章参考答案

各章参考答案

2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特

2．2． 1.42比特

2．3． （1）225.6比特 ；（2）13.2比特

2．4． （1）24.07比特； （2）31.02比特

2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。

（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为

哪个时,第三步用一个真币与其中一个称重比较即可。

对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴

别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.

2．6． （1）215

log ＝15比特； （2） 1比特；（3）15个问题

2． 7. 证明： （略） 2．8． 证明： （略）

2．9．

31)(11=

b a p ，121

)(21=b a p ，

121

)(31=

b a p ，

61)()(1312=

=b a b a p p ，

241)()()()(33233222=

===b a b a b a b a p p p p

。

2．10． 证明： （略）

2．11. 证明： （略） 2．12. 证明： （略） 2. 13. （１）1)()(==Y H X H ，544.0)(=Z H ，406.1)(=XZ H ，

406.1)(=YZ H ，812.1)(=XYZ H

（２）810.0)/()/(==X Y H Y X H ，862.0)/(=Z X H ，

405.0)/()/(==Y Z H X Z H ，862.0)/(=Z Y H ，

405.0)/()/(==XZ Y H YZ X H ，0)/(=XY Z H

（３）188.0);(=Y X I ，138.0);(=Z X I ，138.0);(=Z Y I ，

457.0)/;(=Z Y X I

，406.0)/;()/;(==Y Z X I X Z Y I

（单位均为比特／符号）

2．14. （１）

41)110()101()011()000(=

===p p p p XYZ XYZ XYZ XYZ ，

（２）

21

)111()000(=

=p p XYZ XYZ

，

（３）

41

)111()110()001()000(=

===p p p p XYZ XYZ XYZ XYZ 2．15． （１）5.1)(=X H ，1)(=Y H ，1)(=Z H ，2)(=YZ H ； （２）5.0);(=Y X I ；1);(=Y X I ； （３）5.0)/;(=Z Y X I ，5.1);(=YZ X I （单位均为比特／符号）

2．16．（１）43

，（２）09.0);(=Y X I 比特／符号

，

（３）1613

，0);(=Y X I ；

（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。 2．17.

（１） 提示：方差为０，表明随机变量是常数，设αlog );(=Y X I

；

（２）

αlog );(=Y X I

；1=α

表明y x ,独立；

（３） 对于（ａ）有：

21

)(1=

a p

，

21)()(32=

+a a p p

，2log );(=Y X I ；

对于（ｂ）有：

31)()()(321=

==a a a p p p

，

23

log

);(=Y X I 。

2．18. 证明： （略）

2．19. 证明： （略）

2．20．证明： （略）

3. 1 证明： （略）

3. 2 （１）０.811比特/符号 ，

（２）41.48＋1.58m 比特（m 为０的个数） （３）81.1比特／信源符号

3. 3 证明： （略） 3. 4 证明： （略）

3. 5 （１）

)

(1)

1(]log )1log()1[(1)1()(p H p p p p p p H p p S n

n n --=+-----=

（２）p p H S H -=

1)()(

3.6 证明： （略）

3. 7 （１）

⎥⎥

⎥⎦⎤⎢⎢⎢⎣⎡=858383852

P ，

⎥⎥

⎥⎦⎤

⎢⎢⎢⎣⎡=1691671671693

P （２）

⎥⎦⎤⎢⎣⎡+--+=----2222111121n n n

n n

P , []

221121n

n n p ---+=

3. 8

)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(

H H H n H ++-+

3. 9 （1）]11,1[βαα

βαβ+--+-，]31,31,61,61[，1

,,2,1,0,1-==r i r q i