信息论基础各章参考答案
信息论基础各章参考答案
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
第一章 第二章课后作业答案
信息论基础（于秀兰 陈前斌 王永）课后作业答案注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。
第一章1.6[P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2)P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1)P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2)P(a 2|b 2)]=[0.750.250.0770.923]第二章2.1(1)I (B )=−log P (B )=−log 18=3(bit) 注：此处P (B )表示事件B 的概率。
(2)设信源为X ，H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12=1.75(bit/symbol) (3)ξ=1−η=1−1.75log4=12.5%2.2(1)P(3和5同时出现)=1/18I =−log118≈4.17(bit) (2)P(两个2同时出现)=1/36I =−log 136≈5.17(bit) (3)向上点数和为5时（14，23，41，32）有4种，概率为1/9，I =−log 19≈3.17(bit) (4)(5)P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136≈1.71(bit) (6)相同点数有6种，概率分别为1/36；不同点数出现有15种，概率分别为1/18；H =6∙136∙log36+15∙118∙log18≈4.34(bit/symbol)2.9(1)H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3j=13i=1≈2.3(bit/sequence)(2)H (Y )=E [−logP (Y )]≈1.59(bit/symbol)(3)H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol)2.12(1)H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6；H (Y )=E [−logP (Y )]≈1.46(bit/symbol)(2)H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i=−34log 34−14log 14≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i=−12log 12−12log 12=1(bit/symbol) (3)H (Y |X )=∑P (a i )H (Y |a i )i =23∙0.81+13∙1≈0.87(bit/symbol)2.13(1)H (X )=H (0.3,0.7)≈0.88(bit/symbol)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且相互独立，则H (X 2)=2H (X )=1.76(bit/sequence)平均符号熵H 2(X 2)=H (X )≈0.88(bit/symbol)(2)二次扩展信源的数学模型为随机矢量X 2=(X 1X 2)，其中X 1、X 2和X 同分布，且X 1、X 2相关，H (X 2|X 1)=E [−logP (X 2|X 1)]=−∑∑P (x 1,x 2)logP (x 2|x 1)x 2x 1=−110log 13−210log 23−2140log 34−740log 14≈0.84(bit/symbol) H (X 2)= H (X 1,X 2)=H (X 2|X 1)+H (X 1)=0.84+0.88=1.72(bit/sequence)H 2(X 2)=H (X 2)/2=0.86(bit/symbol)2.14(1)令无记忆信源为X ，H (X )=H (14,34)=14×2+34×0.415≈0.81(bit/symbol ) (2)I (X 100)=−logP (X 100=x 1x 2…x 100)=−log [(14)m (34)100−m]=2m +(2−log3)(100−m )=200−(100−m )log3 (bit)(3)H (X 100)=100H (X )=81(bit/sequence)2.15(1)因为信源序列符号间相互独立，且同分布，所以信源为一维离散平稳信源。
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
信息论基础1答案
信息论基础1答案LT计算信息量：1.当点数和为3时，该消息包含的信息量是多少？2.当点数和为7是，该消息包含的信息量是多少？3.两个点数中没有一个是1的自信息是多少？解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit3.P（“两个点数没有一个是1”）=1-P （“两个点数中至少有一个是1”）=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：I=-logP （“两个点数中没有一个是1”）=log25/36=0.53bit三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解： 1.2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号Z=YX 而且X 和Y 相互独立∴1(1)(1)(1)P P X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 11122222⨯+⨯=2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)=11122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1102211022111424⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭1. 绘制状态转移图；P(Y,Z) Y=1 Y=-1Z=1 0.25 0.25 Z=-1 0.25 0.252. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)jiji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 该信道的转移概率矩阵P2. 信道疑义度H （X|Y ）3. 该信道的信道容量以及其输入概率分布 解：1.该转移概率矩阵为P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率P （XY ） Y Y X=0 9/40 1/40 X=13/4027/401 0.0.0.0.1P(Y=i) 12/40 28/40 由P （X|Y ）=P(X|Y)/P(Y)可得P(X|Y) Y=0 Y=1 X=0 3/4 1/28 X=1 1/427/28H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即0111()22X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦六、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P试求：该信道的信道容量及其最佳输入概率分布。
信息论基础第五章课后答案
5.1设有信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321a a a a a a a X P X （1）求信源熵H(X)（2）编二进制香农码（3）计算其平均码长及编码效率解：(1)H(X)=-)(log )(21i ni i a p a p ∑=H(X)=-0.2log 20.2-0.19log 20.19-0.18log 20.18-0.17log 20.17-0.15log 20.15-0.log 20.1-0.01log 20.01H(X)=2.61(bit/sign)(2)ia i P(ai)jP(aj)ki码字a 001a 10.210.0030002a 20.1920.2030013a 30.1830.3930114a 40.1740.5731005a 50.1550.7431016a 60.160.89411107a 70.0170.9971111110（3）平均码长：-k =3*0.2+3*0.19+3*0.18+3*0.17+3*0.15+4*0.1+7*0.01=3.14(bit/sign)编码效率：η=R X H )(=-KX H )(=14.361.2=83.1%5.2对习题5.1的信源二进制费诺码，计算器编码效率。
⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛0.01 0.1 0.15 0.17 0.18 0.19 2.0 )(7654321a a a a a a a X P X 解：Xi)(i X P 编码码字ik 1X 0.2000022X 0.191001033X 0.18101134X 0.17101025X 0.151011036X 0.110111047X 0.01111114%2.9574.2609.2)()(74.2 01.0.041.0415.0317.0218.0319.032.02 )(/bit 609.2)(1.5=====⨯+⨯+⨯+⨯+⨯+⨯+⨯===∑KX H R X H X p k K sign X H ii i η已知由5.3、对信源⎭⎬⎫⎩⎨⎧=⎪⎪⎭⎫ ⎝⎛01.01.015.017.018.019.02.0)(7654321x x x x x x x X P X 编二进制和三进制赫夫曼码，计算各自的平均码长和编码效率。
朱雪龙《应用信息论基础》习题答案
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立，l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z） = 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E ：l(P N (a k ), p(aQ) ； I 仇'何)，p(aQ) 二 E l(P N (aQ, p(aQ) ； E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性，有：1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k （丄），其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中，X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N （a k ）的概率为P k （晋），则有 1 F2N (a k )P N (ak ) 1 尹血）所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ；X) l(q 2,q i ；X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ；XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ；XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2；XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ；XY) I(P 2,P I ；XY) I(P I , P 2；XY) 2--- log e当XY 满足P 1(xy)分布时，I (X;Y) 0； 当XY 满足P 2(xy)分布时，I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y)，且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ；X) I(q 2,q i ；X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球（可较轻，也可较重）的不确定性为： loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
信息论第一章答案
《信息论基础》习题答案第一章信息与信息的度量-1 解：根据题意，“没有不及格”或“pass”的概率为因此当教师通知某甲“没有不及格”后，甲获得信息在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）的概率相同：为确定自己的成绩，甲还需信息1-2 解：该锁共可设个数值，开锁号码选取每一个值的概率都相同，所以-3 解：由于每个汉字的使用频度相同，它们有相同的出现概率，即因此每个汉字所含的信息量为每个显示方阵能显示种不同的状态，等概分布时信息墒最大，所以一个显示方阵所能显示的最大信息量是显示方阵的利用率或显示效率为-4 解：第二次发送无误收到，因此发、收信息量相等，均为第一次发出的信息量为第一次传送的信息量为两次发送信息量之差：-5 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-6 解：由信息熵定义，该信源输出的信息熵为消息ABABBA所含的信息量为消息FDDFDF所含的信息量为6位长消息序列的信息量期望值为三者比较为-7 解：X和Y的信息熵分别为因传输无误，信宿收到的信息等于发送信息。
因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是平均每次（每个符号）发送（携带）的信息为-8 解：(a) 根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是(b) 在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要信息。
-9 解：一个二元信息所含的最大信息熵是确定的，所以当以2或5为底时，最大信息熵相同，即1 bit = (该信息量单位)或 1 (该信息量单位) = 2.33 bits同理， 1 nat = 0.62 (该信息量单位)或 1(该信息量单位) = 1.61 nats。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论基础知到章节答案智慧树2023年广东工业大学
信息论基础知到章节测试答案智慧树2023年最新广东工业大学第一章测试1.信息论由哪位科学家创立（）。
参考答案:香农2.点对点通信模型包含以下哪些部分（）。
参考答案:译码器;信源;信宿3.信息就是消息。
（）参考答案:错4.连续信源分为，___，___。
参考答案:null5.研究信息论的目的是：提高信息传输的___，___，___、___，达到信息传输的最优化。
参考答案:null第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
参考答案:1比特/符号2.单符号信源具有以下哪些特点（）。
参考答案:无记忆;平稳3.熵函数具有以下哪些基本性质（）。
参考答案:对称性;连续性;确定性4.信源要含有一定的信息，必须具有随机性。
（）参考答案:对5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）参考答案:对第三章测试1.以下等式或不等式关系成立的是（）。
参考答案:2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
参考答案:无预感性;无记忆性3.后向信道矩阵中任·一行之和为1。
（）参考答案:对4.信道容量指信道的最大信息传输率。
（）参考答案:对5.互信息量等于___与___比值的对数。
参考答案:null1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
参考答案:高斯分布2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
参考答案:均匀分布3.连续信道的平均互信息不具有以下哪些性质（）。
参考答案:连续性4.差熵具有以下哪两个性质（）。
参考答案:条件差熵值小于无条件差熵;差熵可为负值5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
（）参考答案:错1.分组码分为（）。
参考答案:非奇异码;奇异码2.在输入符号先验等概时，采用以下哪些准则的译码方法可以使平均译码错误概率最小（）。
参考答案:最大后验概率准则;最大似然准则3.平均码长可作为衡量信源编码效率的标准。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
信息论基础各章参考答案.doc
= pQhb) = = pWLh)124各章参考答案2. 1. （1） 4.17 比特；（2） 5.17 比特；(3) 1.17 比特； (4) 3.17 比特 2. 2. 1.42比特2. 3.(1) 225.6 比特；(2) 13.2 比特2. 4. (1) 24.07 比特；(2) 31.02 比特2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无秩码天平 的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的炳。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。
i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。
订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息.2. 6. (1) log2“=15 比特；(2)1比特；（3） 15个问题2. 7. 证明： （略）2. 8.证明： （略）/ 、 111 、 12.9. P (dibi) = - p(ci\bi )= 12P (cM — — P (sb) < , 12 ,6,2. 10.证明： （略） 2. 11.证明： （略）2.12.证明： (略)2 [3.(1) H(X) = H(Y) = 1, H(Z) = 0.544, H(XZ) = 1.406, H(YZ) = 1.406,H(XKZ) = 1.812(2)H(X/Y) = H(Y/X) = 0.810f H(X/Z) = 0.862, H(Z/X) = H(Z/Y) =0.405 , H(Y/Z) = 0.862, H(X/YZ) = H(Y/XZ) = 0.405, H(Z/XY) =(3)1(X;K) = 0.188 Z(X;Z) = 0.138 Z(K;Z) = 0.138 7(X;Y/Z) =0.457 , I(Y;Z/X) = I(X;Z/Y) = 0.406(单位均为比特/符号)p 游(000) = 1)= Pg(l°l)=服z(l 1°)= 714. X 1 Z ■,(2)P加(°°°)=P宓(111)= !(3)P加(°°°)= 〃加(°。
信息论 基础理论与应用课后答案 全
B 表示女孩身高 1.6 米以上， P(B | A) = 0.75，P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 P(A| B) = P(AB) = P(A)P(B | A) = 0.25× 0.75 = 0.375 P(B) P(B) 已知该事件所能获得的信息量为 I X 【2.5】设离散无记忆信源 4 P(x) a1 = 0 a2 =1 = 3/8 1/41/8 比特 a3 = 2 a4 = 3 1/ ，其发出的消息为 0.5
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= =1.95 比特/符号
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H(X) = −∑P(x)log P(x) =1.91 比特/符号 【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格 内，且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任 一格的概率空间为：
H(B | A) = −∑∑48 47 P(ai )P(bj | ai )log P(bj | ai ) = log47 = 5.55 比特/符号
i=1 j=1
（3）质点 A 和 B 同时落入的平均自信息量为 H(AB) = H(A) + H(B | A) =11.13 比特/符号 【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如 果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是 “否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问 一位女同志，则答案中含有的平均自信息量是多少？解：
信息论基础第二版习题答案
信息论基础第二版习题答案
《信息论基础第二版习题答案》
信息论是一门研究信息传输、存储和处理的学科，它的理论基础是由克劳德·香农于1948年提出的。
信息论的发展对于现代通信、计算机科学和统计学等领域都有着重要的影响。
《信息论基础第二版》是信息论领域的经典教材，它系统地介绍了信息论的基本概念和原理，并提供了大量的习题来帮助读者加深对知识的理解。
在这本书中，作者对信息论的基本概念进行了详细的介绍，包括信息的度量、信道容量、编码理论等内容。
习题部分则是为了帮助读者巩固所学知识，提供了大量的练习题目，涵盖了各个方面的知识点。
下面我们就来看一下《信息论基础第二版》中的一些习题答案。
第一章习题1.1：什么是信息熵？请用公式表示。
答：信息熵是表示一个随机变量不确定性的度量，它的公式为H(X) = -
Σp(x)log2p(x)，其中p(x)表示随机变量X取值为x的概率。
第二章习题2.3：什么是信道容量？如何计算信道容量？
答：信道容量是表示信道的传输能力，它的计算公式为C = Wlog2(1 + S/N)，其中W表示信道带宽，S表示信号功率，N表示噪声功率。
第三章习题3.2：简要说明香农编码的原理。
答：香农编码是一种无损压缩编码方法，它利用信息的统计特性来减少信息的冗余，从而实现对信息的高效压缩。
以上是《信息论基础第二版》中的一些习题答案，通过学习这些习题，读者可以更好地理解信息论的基本概念和原理。
希望本书对广大读者在信息论领域的
学习和研究有所帮助。
信息理论基础课后答案
(2)
(3)
2.10一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。
(1)求平稳后信源的概率分布；
(2)求信源的熵H∞。
解：
(1)
(2)
2.11黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑)= 0.3，白色出现的概率为P(白)= 0.7。
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2.4设离散无记忆信源 ，其发出的信息为(202120130213001203210110321010021032011223210)，求
(1)忙闲的无条件熵；
(2)天气状态和气温状态已知时忙闲的条件熵；
(3)从天气状态和气温状态获得的关于忙闲的信息。
解：
(1)
根据忙闲的频率，得到忙闲的概率分布如下：
(2)
设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
(3)
2.15有两个二元随机变量X和Y，它们的联合概率为
YX
x1=0
现在需要传送的符号序列有140000个二元符号，并设P(0)=P(1)= 1/2，可以计算出这个符号序列的信息量是
要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。
3.7求下列各离散信道的容量（其条件概率P(Y/X)如下：）
2)可抹信道
信息论基础 课后习题答案
信息论基础课后习题答案问题1问题：信息论的基本目标是什么？答案：信息论的基本目标是研究信息的传递、存储和处理的基本原理和方法。
主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。
问题2问题：列举一些常见的信息论应用领域。
答案：一些常见的信息论应用领域包括：•通信领域：信息论为通信系统的性能分析和设计提供了基础方法，例如信道编码和调制调制等。
•数据压缩领域：信息论为数据压缩算法的研究和实现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安全性和隐私泄露的程度，在隐私保护和数据共享中起着重要作用。
•机器学习领域：信息论被应用于机器学习中的特征选择、集成学习和模型评估等任务中，提供了许多有用的数学工具和概念。
•生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规律。
问题3问题：信息熵是什么？如何计算信息熵？答案：信息熵是衡量一个随机变量的不确定性或信息量的度量值。
信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。
信息熵的计算公式如下所示：H(X) = -Σ P(x) * log2(P(x))其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。
问题4问题：条件熵是什么？如何计算条件熵？答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。
条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。
条件熵的计算公式如下所示：H(Y|X) = -Σ P(x, y) * log2(P(y|x))其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。
信息论基础答案2
《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。
若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a 。
2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。
3、若连续信源的平均功率为5 W ，则最大熵为12log10π ⋅ e ，达到最大值的条件是 高斯信道 。
4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。
8、一个事件发生概率为，则自信息量为 3 bit 。
9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X二、判断题（正确打√，错误打×）（共5分，每小题1分）1) 离散无记忆等概信源的剩余度为0。
（ √ ）2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 （ √ ） 3) 互信息可正、可负、可为零。
（ √ ）4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤（ × ）5) 信道容量与信源输出符号的概率分布有关。
（ × ）三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵0.5()()()42log 1h x p x p x dxbit =-=⎰自由度四、（15分）设一个离散无记忆信源的概率空间为()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦ 它们通过干扰信道，信道输出端的接收信号集为[]12=,Y b b ，已知信道出书概率如下图所示。
朱雪龙《应用信息论基础》习题答案全
2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit
2) H(X|Y) =
2 2 2 bit , H(Y|X) = bit , H(X|Z) = bit 3 3 3
3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit
(2) Y的值取自 (a1 , a 2 , , a k 1 ), H (Y ) log(k 1), 故原式得证 X
2.14
1 1 1 P(X=n) = ( ) n 1 = ( )n 2 2 2
Q
bi t.
5d
6d
.co
m
2.15
Q bi t.
5d
2.16 证明：
P2 N ( a k )
6d .
2 2 12 2 (μ 1 μ 2） log 1 (nat) 2 2 2 2 1 2 1
I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) 1 3 1 6 1 6 1 12 1 24 1 24 1 12 1 24 1 24
H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 P( a 1 b 2 ) = P( a 2 b 2 ) = P( a 3 b 2 ) = P( a 1 b 3 ) = P( a 2 b 3 ) = P( a 3 b 3 ) =
∴P( a 1 b1 ) =
P( a 2 b1 ) = P( a 3 b1 ) =
满足 H(X Y) 取最大值
2.11 证明：
p( xyz ) p ( x) p ( y | x) p( z / y ) I ( X ; Z | Y ) 0, I ( X ;Y ) I ( X ;Y | Z ) I ( X ;Y ; Z ) I ( X ; Z ) I ( X ; Z | Y ) I ( X ; Z ) 0 故 I ( X ; Y ) I ( X ; Y | Z ) 成立
信息论基础(含习题与解答)
信息论基础（含习题与解答）
1.习题
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它重点研究的是如何将信息可视化，以便用户可以快速找到需要的信息，同时有效地利用多个索引信息。
2.答案
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它主要专注于通过设计有效的用户界面来提高信
息的有用性，实现信息的检索和可视化，以实现快速了解和分析信息资源。
它强调以用户为中心，基于支持知识管理和协作的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
各章参考答案2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特2．2． 1.42比特2．3． （1）225.6比特 ；（2）13.2比特2．4． （1）24.07比特； （2）31.02比特2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。
如果我们使每次实验所获得的信息量最大。
那么所需要的总实验次数就最少。
用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。
从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。
因为3log3=log27>log24。
所以在理论上用3次称重能够鉴别硬币并判断其轻或重。
每次实验应使结果具有最大的熵。
其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。
ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。
ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6． （1）215log ＝15比特； （2） 1比特；（3）15个问题2． 7. 证明： （略） 2．8． 证明： （略）2．9．31)(11=b a p ，121)(21=b a p ，121)(31=b a p ，61)()(1312==b a b a p p ，241)()()()(33233222====b a b a b a b a p p p p。
2．10． 证明： （略）2．11. 证明： （略） 2．12. 证明： （略） 2. 13. （１）1)()(==Y H X H ，544.0)(=Z H ，406.1)(=XZ H ，406.1)(=YZ H ，812.1)(=XYZ H（２）810.0)/()/(==X Y H Y X H ，862.0)/(=Z X H ，405.0)/()/(==Y Z H X Z H ，862.0)/(=Z Y H ，405.0)/()/(==XZ Y H YZ X H ，0)/(=XY Z H（３）188.0);(=Y X I ，138.0);(=Z X I ，138.0);(=Z Y I ，457.0)/;(=Z Y X I，406.0)/;()/;(==Y Z X I X Z Y I（单位均为比特／符号）2．14. （１）41)110()101()011()000(====p p p p XYZ XYZ XYZ XYZ，（２）21)111()000(==p p XYZ XYZ，（３）41)111()110()001()000(====p p p p XYZ XYZ XYZ XYZ2．15． （１）5.1)(=X H ，1)(=Y H ，1)(=Z H ，2)(=YZ H ； （２）5.0);(=Y X I ；1);(=Y X I ； （３）5.0)/;(=Z YX I ，5.1);(=YZ X I（单位均为比特／符号）2．16．（１）43，（２）09.0);(=Y X I 比特／符号，（３）1613，0);(=Y X I ；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。
2．17.（１） 提示：方差为０，表明随机变量是常数，设αlog );(=Y X I；（２）αlog );(=Y X I；1=α表明y x ,独立；（３） 对于（ａ）有：21)(1=a p，21)()(32=+a a p p，2log );(=Y X I ；对于（ｂ）有：31)()()(321===a a a p p p ，23log);(=Y X I 。
2．18. 证明： （略）2．19. 证明： （略）2．20．证明： （略）3. 1 证明： （略）3. 2 （１）０.811比特/符号 ，（２）41.48＋1.58m 比特（m 为０的个数） （３）81.1比特／信源符号3. 3 证明： （略） 3. 4 证明： （略）3. 5 （１）)(1)1(]log )1log()1[(1)1()(p H p p p p p p H p p S nn n --=+-----=（２）p p H S H -=1)()( 3.6 证明： （略）3. 7 （１）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=858383852P，⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=1691671671693P （２）⎥⎦⎤⎢⎣⎡+--+=----2222111121n n n n nP , []221121nn n p ---+=3. 8)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(H H H n H ++-+3. 9 （1）]11,1[βααβαβ+--+-，]31,31,61,61[，1,,2,1,0,1-==r i r q i（2）)(11)(1ββαααβαβH H +--++-，2log 31，q q i r i i log 10∑-=-3. 10 （1）967.3)(321=X X X H 比特/符号 ，322.1)(3=X H 比特/符号（2）251.1)(=∞X H 比特/符号（3）585.10=H 比特/符号 ，414.11=H 比特/符号 ， 251.12=H 比特/符号211.0=r3. 11 （1）]31,31,31[，（2）)(2log )(p H p X H +=∞，（3）当32=p 时 ，)(X H ∞达到最大值为3log ， 当0=p 时 ，熵为0 ，当1=p 时 ，熵为2log ；（4）3log3. 12 （1）)72,73,72(),,(321=πππ， 73)(1=a p , 72)()(32==a a p p ；（2）5.1)/(1=S U H 比特/符号 ，1)/(2=S U H 比特/符号 ，0)/(3=S U H ；（3）76)(=∞U H 比特/信源符号3. 13 （1）有； （2）=→)(n p ]0,31,31,31,0[]21,0,0,0,21[ 122+==k n k n（3）3log 2502log 251+3. 14 44.1)(=X H 比特/符号3. 15 81log3. 16 （1）周期：3 ；（2）]14429,14419,61,365,361,91,91,91[；（3）0．9477比特/符号 3. 17 证明：（略）3. 18 过渡状态：C ； 遍历状态：A,B4.1（1）811.0)(=X H 比特/符号 ，75.0)/(=Y XH 比特/符号 ，919.0)/(=X Y H 比特/符号 ，061.0);(=Y X I 比特/符号；（2）082.0=C 比特/符号 ，21)1()0(==p p 。
4.2 0.0817比特/符号4.3（1）])1(1log[)1(εεεε--+=C ；εεεεεεε)1()1(0)1(11---+-=p ， εεεεεεε)1()1(1)1(1---+=p（2）⎥⎦⎤⎢⎣⎡--)1(22201εεε； （3）)1log(2)1()1(22][εε---+=H C（4）⎥⎦⎤⎢⎣⎡---))1(1(101εεn n ，)1log(2)1()1(][εε---+=nn H C4.4 （1）0488.0=C 比特/符号 ；（2）⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡16111658583 ；（3）0.0032比特/符号 ，496.00=p ，504.01=p4.5 （1）)(2log εH -；（2）2log 43；（3）)43,41,4)1(3()41,83,83(εε--H H 时，输入等概率。
4.6 )1log(2)(1εH C -+= ，)21()(110εH p -+-=，)1(22)(1)(21εεH H p p --+==4.7 ][22log ),(),(2εδδεf f C +=比特/符号 ，其中δεεδδεδε----=1)()1()(),(H H f4.8证明：可求得n 各级联信道转移概率矩阵为：⎥⎥⎦⎤⎢⎢⎣⎡+--+=----)21()21()21()21(111121p p p p P n n nn n，容量)2(1)21(1p nH C ---= ，当∞→n 时，0)21(1=-=H C4.9（１）证明：（略）（２）)(log Z H K C -=，输入等概率．4.10（1）准对称信道：)log()()1log()1(212log )21(εεεεεε--+----+--=p p p p C（2）准对称：)log()()1log()1(211log )21(2log εεεεεε--+----+--+=p p p p C5.1 （1）18≥l；（2）0.001675.2 （1）188410=N ；（2）22162221433899.0<<⨯N G 5.3 否；是；18335613==C C C N 5.4 设长度为j 的码序列个数为N j ，则N N N j j j 122--+= ，解得：2)1(3231j j j N +=-， ,2,1=j ;5.5 (1)469.0)(=S H 比特/符号 ，531.0=r（2）1=-l ，（3）645.022=-L ，533.033=-L ，493.044=-L ，469.0=∞-∞L ；（4）531.0,469.0:1=N ，273.0,727.0:2=N ，120.0,880.0:3=N ，049.0,951.0:4=N ， 0,1:∞=N5.6 85.1=-l，9542.0=η，51.1=R 比特/符号5.7 100=η%5.8 （1）7853.0)(=S H 比特/符号 ； （2）72.2=-l ，959.0=η； （3）81.1=-l，915.0=η；（4）10402.2⨯=N5.9 24种最优码，8种Huffman 码。