信息论与编码理论第二章习题答案(王育民)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
部分答案,仅供参考。
2.1信息速率是指平均每秒传输的信息量
点和划出现的信息量分别为3log ,2
3log ,
一秒钟点和划出现的次数平均为
4
15314.0322.01=
⨯+⨯
一秒钟点和划分别出现的次数平均为4
5.410
那么根据两者出现的次数,可以计算一秒钟其信息量平均为2
53log 4
153log 4
52
3log 4
10-=+
2.3 解:
(a)骰子A 和B ,掷出7点有以下6种可能:
A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量
-log(1/6)=1+log3≈2.58 bit
(b) 骰子A 和B ,掷出12点只有1种可能: A=6,B=6
概率为1/36,所以信息量
-log(1/36)=2+log9≈5.17 bit
2.5解:
出现各点数的概率和信息量:
1点:1/21,log21≈4.39 bit ; 2点:2/21,log21-1≈3.39 bit ; 3点:1/7,log7≈2.81bit ;
4点:4/21,log21-2≈2.39bit ; 5点:5/21,log (21/5)≈2.07bit ; 6点:2/7,log(7/2)≈1.81bit 平均信息量:
(1/21)×4.39+(2/21)×3.39+(1/7)×2.81+(4/21)×2.39+(5/21)×2.07+(2/7)×1.81≈2.4bit
2.7解:
X=1:考生被录取; X=0:考生未被录取; Y=1:考生来自本市;Y=0:考生来自外地; Z=1: 考生学过英语;Z=0:考生未学过英语
P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2; P(Y=1/ X=0)=1/10;
P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=0.4, P(Z=1/ X=1, Y=0)=0.4, P(Z=1/Y=0)=0.4
(a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=0.075, P(X=1,Y=1)=
P(Y=1/X=1)P(X=1)=0.125
P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=0.2 P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=0.375,
P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=0.625
I (X ;Y=1)=∑∑=====x
x
)
P()
1Y /(P log
)1Y /(P )1Y (I )1Y /(P x x x x;x
=1)
P(X )
1Y /1X (P log
)1Y /1X (P 0)P(X )1Y /0X (P log
)1Y /0X (P =====+===== =0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit
(b) 由于P(Z=1/ Y=1)=1, 所以 P (Y=1,Z=1/X=1)= P (Y=1/X=1)=0.5 P (Y=1,Z=1/X=0)= P (Y=1/X=0)=0.1
那么P (Z=1/X=1)= P (Z=1,Y=1/X=1)+ P (Z=1,Y=0/X=1)=0.5+ P (Z=1/Y=0,X=1)P (Y=0/X=1)=0.5+0.5*0.4=0.7
P(Z=1/X=0)= P (Z=1,Y=1/X=0)+ P (Z=1,Y=0/X=0)=0.1+P(Z=1/Y=0,X=0)P(Y=0/X=0)=0.1+0.9*0.4=0.46
P (Z=1,X=1)= P (Z=1/X=1)*P(X=1)=0.7*0.25=0.175 P (Z=1,X=0)= P (Z=1/X=0)*P(X=0)= 0.46*0.75=0.345 P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = 0.52 P(X=0/Z=1)=0.345/0.52=69/104 P(X=1/Z=1)=35/104
I (X ;Z=1)=∑∑=====x
x )P()1Z /(P log )1Z /(P )1Z (I )1Z /(P x x x x;x
=1)
P(X )1Z /1X (P log )1Z /1X (P 0)
P(X )1Z /0X (P log )1Z /0X (P =====+=====
=(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit
(c)H (X )=0.25*log(1/0.25)+0.75*log(1/0.75)=2-(3/4)log3=0.811bit H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1)
-P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0)
=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9
=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bit
H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3=1.414bit
P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=(1-0.4)*(0.75-0.075)=0.405 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=0.4*0.675=0.27 P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=0.4*(0.25-0.125)=0.05 P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=0.6*0.125=0.075 P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)=0.175-0.05=0.125 P(X=1,Y=1,Z=0)=0 P(X=0,Y=1,Z=0)=0
P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= 0.345-0.27=0.075
H(XYZ)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-0.075*log0.075-0.125*log0.125-0.075*log0.075=(113/100)+(31/20)log10-(129/50)log3 =0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit
H(Z/XY)=H(XYZ)-H(XY)= -28/25+(4/5)log10-12/25log3 =0.775bit