信息论基础各章参考答案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
各章参考答案
2.1. (1)4.17比特 ;(2)5.17比特 ; (3)1.17比特 ;(4)3.17比特
2.2. 1.42比特
2.3. (1)225.6比特 ;(2)13.2比特
2.4. (1)24.07比特; (2)31.02比特
2.5. (1)根据熵的可加性,一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同(不知是否轻或重)所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下:第一次称重:将天平左右两盘各放4枚硬币,观察其结果:①平衡 ②左倾 ③右倾。ⅰ)若结果为①,则假币在未放入的4枚币,第二次称重:将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘,根据结果可判断出盘中没有假币;若有,还能判断出轻和重,第三次称重:将判断出含有假币的三枚硬币中的两枚放到左右两盘中,便可判断出假币。ⅱ)若结果为②或③即将左盘中的3枚取下,将右盘中的3枚放到左盘中,未称的3枚放到右盘中,观察称重砝码,若平衡,说明取下的3枚中含假币,只能判出轻重,若倾斜方向不变,说明在左、右盘中未动的两枚中其中有一枚为假币,若倾斜方向变反,说明从右盘取过的3枚中有假币,便可判出轻重。
(2)第三次称重 类似ⅰ)的情况,但当两个硬币知其中一个为假,不知为
哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴
别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.
2.6. (1)215
log =15比特; (2) 1比特;(3)15个问题
2. 7. 证明: (略) 2.8. 证明: (略)
2.9.
31)(11=
b a p ,121
)(21=b a p ,
121
)(31=
b a p ,
61)()(1312=
=b a b a p p ,
241)()()()(33233222=
===b a b a b a b a p p p p
。
2.10. 证明: (略)
2.11. 证明: (略) 2.12. 证明: (略) 2. 13. (1)1)()(==Y H X H ,544.0)(=Z H ,406.1)(=XZ H ,
406.1)(=YZ H ,812.1)(=XYZ H
(2)810.0)/()/(==X Y H Y X H ,862.0)/(=Z X H ,
405.0)/()/(==Y Z H X Z H ,862.0)/(=Z Y H ,
405.0)/()/(==XZ Y H YZ X H ,0)/(=XY Z H
(3)188.0);(=Y X I ,138.0);(=Z X I ,138.0);(=Z Y I ,
457.0)/;(=Z Y X I
,406.0)/;()/;(==Y Z X I X Z Y I
(单位均为比特/符号)
2.14. (1)
41)110()101()011()000(====p p p p XYZ XYZ XYZ XYZ
,
(2)21
)111()000(=
=p p XYZ XYZ
,
(3)
41)111()110()001()000(=
===p p p p XYZ XYZ XYZ XYZ
2.15. (1)5.1)(=X H ,1)(=Y H ,1)(=Z H ,2)(=YZ H ; (2)5.0);(=Y X I ;1);(=Y X I ; (3)5.0)/;(=Z Y
X I ,5.1);(=YZ X I
(单位均为比特/符号)
2.16.(1)43
,(2)09.0);(=Y X I 比特/符号
,
(3)1613
,0);(=Y X I ;
(4)第(3)种情况天气预报准确率高,原来的天气预报有意义。 2.17.
(1) 提示:方差为0,表明随机变量是常数,设αlog );(=Y X I
;
(2)
αlog );(=Y X I
;1=α
表明y x ,独立;
(3) 对于(a)有:
21
)(1=
a p
,
21)()(32=
+a a p p
,2log );(=Y X I ;
对于(b)有:
31)()()(321=
==a a a p p p ,
23
log
);(=Y X I 。
2.18. 证明: (略)
2.19. 证明: (略)
2.20.证明: (略)
3. 1 证明: (略)
3. 2 (1)0.811比特/符号 ,
(2)41.48+1.58m 比特(m 为0的个数) (3)81.1比特/信源符号
3. 3 证明: (略) 3. 4 证明: (略)
3. 5 (1))
(1)
1(]log )1log()1[(1)1()(p H p p p p p p H p p S n
n n --=+-----=
(2)p p H S H -=
1)()( 3.6 证明: (略)
3. 7 (1)
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=85838385
2P
,
⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1691671671693P (2)⎥⎦⎤⎢⎣⎡+--+=----2222111121n n n n n
P , []221121n
n n p ---+=
3. 8
)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(
H H H n H ++-+
3. 9 (1)]11,1[βαα
βαβ+--+-,]31,31,61,61[,1
,,2,1,0,1-==r i r q i