信息论第三章答案
信息论与编码（第3版）第3章部分习题答案
3.1设信源()12345670.20.190.180.170.150.10.01X a a a a a a a P X ⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭ (1) 求信源熵()H X (2) 编二进制香农码(3) 计算平均码长及编码效率。
答：(1)根据信源熵公式()()()()21log 2.6087bit/symbol i i i H X p a p a ==−=∑(2)利用到3个关键公式：①根据()()()100,0i a i k k p a p a p a −===∑计算累加概率；②根据()()*22log 1log ,i i i i p a k p a k N −≤<−∈计算码长；③根据()a i p a 不断地乘m 取整（m 表示编码的进制），依次得到的i k 个整数就是i a 对应的码字根据①②③可得香农编码为(3)平均码长公式为()13.14i i i K p a k ===∑单符号信源L =1，以及二进制m =2, 根据信息率公式()2log bit/symbol m KR K L==编码效率()83.08%H X Rη==3.2对习题3.1的信源编二进制费诺码，计算其编码效率答：将概率从大到小排列，且进制m=2,因此，分成2组（每一组概率必须满足最接近相等）。
根据平均码长公式为()12.74i iiK p a k===∑单符号信源L=1，以及二进制m=2, 根据信息率公式()2log bit/symbolmKR KL==编码效率（信源熵看题3.1）()95.21%H XRη==3.3对习题3.1的信源编二进制赫夫曼码，计算平均码长和编码效率答：将n个信源符号的概率从大到小排列，且进制m=2。
从m个最小概率的“0”各自分配一个“0”和“1”，将其合成1个新的符号，与其余剩余的符号组成具有n-1个符号的新信源。
排列规则和继续分配码元的规则如上，直到分配完所有信源符号。
必须保证两点：(1)当合成后的信源符号与剩余的信源符号概率相等时，将合并后的新符号放在靠前的位置来分配码元【注：“0”位表示在前，“1”表示在后】，这样码长方差更小；(2)读取码字时是从后向前读取，确保码字是即时码。
《信息论与编码》习题解答-第三章
第三章 信道容量-习题答案3.1 设二元对称信道的传递矩阵为⎥⎦⎤⎢⎣⎡3/23/13/13/2 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C3.2 解：(1)αα-==1)(,)(21x p x p⎥⎦⎤⎢⎣⎡=4/14/12/102/12/1P ，⎥⎦⎤⎢⎣⎡---=4/)1(4/)1(2/)1(02/12/1)(αααααj i y x P 4/)1()(,4/14/)(,2/1)(321αα-=+==y p y p y p接收端的不确定度：))1(41log()1(41)4141log()4141()2log(21)(αααα---++-=Y H)1log(41)1log(4123αααα---++-= (2))4log()1(41)4log()1(41)2log()1(210)2log(21)2log(21)|(ααααα-+-+-+++=X Y H α2123-= (3))|()();(X Y H Y H Y X I -=);(max )()(Y X C i x p =α,0)(=ααC d d,得到5/3=α 161.0)5/3();max(===C Y X C 3.3∑==⨯++=+=21919.001.0log 01.099.0log 99.02log log )log(j ij ij p p m C0.919*1000=919bit/s 3.4⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=εεεε-10-10001ij p2/1)()(0)(321===a p a p a p 0)(1=b p2/12/1)1(2/100)|()(),()(222=⨯+-⨯+⨯===∑∑εεi ii ii a b p a p b a p b p2/1-12/12/100)|()(),()(333=⨯+⨯+⨯===∑∑）（εεi ii ii a b p a p b a p b p)()|(log)|();(j i j ji j i b p a b p a b p Y a I ∑=0);(1=Y a Iεεεε2log )1(2log )1(0)()|(log)|();(222+--+==∑j j jj b p a b p a b p Y a I )1(2log )1(2log 0)()|(log)|();(333εεεε--++==∑j j jj b p a b p a b p Y a I当0=ε，1=C 当2/1=ε，0=C 3.5两个信道均为准对称DMC 信道设输入符号概率αα-==1)(,)(21a p a p ， （1） 对于第一种信道的联合概率的矩阵为：⎥⎦⎤⎢⎣⎡---------)1(2)1)(1()1)((2)()1(αεαεαεεααεαεp p p p⎥⎦⎤⎢⎣⎡---)()1(εαεp p 3.6⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2/1002/12/12/10002/12/10002/12/1P 121log 2121log 214log log )log(41=++=+=∑=ij j ij p p m C3.7解：(1)从已知条件可知：3,2,1,3/1)(==i x p i ，且转移概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=0109101103103525110321)|(i j x y p ，则联合概率⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡==010330110110115215110161)()|(i i j ij x p x y p p ，因为：),()(∑=ij i j y x p y p ，可计算得到31)(1=y p ，21)(2=y p ，61)(3=y p499.16log 612log 213log 31)(=++=Y H(2)175.1910log 10310log 301310log 101310log10125log 1525log 151310log 1012log 61)|(log )()|(=+++++++=-=∑iji j j i x y p y x p X Y H (3)当接收为2y ，发送为2x 时正确，如果发送为1x 和3x 为错误，各自的概率为： 5/1)|(21=y x p ，5/1)|(22=y x p ，5/3)|(23=y x p 它的错误概率为：5/4)|()|(2321=+=y x p y x p p e(4)从接收端看到的平均错误概率为：===∑∑≠≠ji ij ji j i j e p y x p y p p )|()(收733.010/115/110/310/130/115/2=+++++(5)从发送端看到的平均错误概率为：===∑∑≠≠ji ij ji i j i e p x y p x p p )|()(发733.010/115/110/310/130/115/2=+++++(6)此信道不好，因为信源等概率分布，从转移信道来看，正确发送的概率11y x >-为0.5，有一半失真；22y x >-为0.3，严重失真；33y x >-为0，完全失真。
信息论第三章题解
第三章习题3.2 设一无记忆信源的符号集为{}1,0，已知信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡434110P X （1） 求消息符号的平均熵；（2） 由100个符号构成的序列，求每一序列（例如有m 个“0”和)100(m -个“1”构成）的自信息量的表达式；（3） 计算)2(中的熵。
解：（1）此消息符号的平均熵为)(8113.0)43log 4341log 41()(bit X H =+-=（2）设一特定序列含有m 个“0”和)100(m -个“1”，所以mm X p -⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛=1004341)(，3log )100(2004341log )(log )(100-+=⎪⎭⎫⎝⎛⎪⎭⎫ ⎝⎛-=-=-m x p X I mm（4） 由定义13.818113.0100)(100)(100=⨯==X H X H 。
3.3 设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0654321a a a a a a P X 求信源的熵，并解释为什么6log )(>X H 不能满足信源的极值性。
解：因为信源是无记忆的，所以6571.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()(log )()(=+++++-=-=∑Xi i x p x p X H 而log6 = 2.5850 因为107.161>=∑=i ip，所以此空间不是概率空间，H(X)不存在。
3.7 设有一个信源，它产生0，1序列的消息。
该信源在任意时间而且不论以前发生过什么消息符号，均按6.0)1(,4.0)0(==p p 的概率付出符号。
（1） 试问这个信源是否平稳；（2） 试计算)(lim ),|(),(2132X H X X X H X H N N ∞→及；（3） 试计算符号信源中可能发出的所有并写出44)(X X H 。
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
第三版信息论答案
【2.1】设有12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12 log 2 log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为I log 3 比特因此，必须称的次数为I1log 24I 2 log 32.9 次因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 16 61 ，该事件的信息量为：36I log 36 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概率为P 1 1 56 6 5 ，因此该事件的信息量为：36I log3652.85 比特“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P 因此该事件的信息量为：1 121 ，6 6 18I log18 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1 ，因此此时从答案中获得的信息量为7I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论与编码技术第三章课后习题答案
Chap3 思考题与习题 参考答案3.1 设有一个信源，它产生0、1 序列的消息。
它在任意时间而且不论以前发生过什么符号，均按P(0)＝0.4，P(1)＝0.6 的概率发出符号。
(1) 试问这个信源是否平稳的? (2) 试计算H(X 2)，H(X 3/X 1X 2)及H ∞。
(3) 试计算H(X 4)，并写出X 4 信源中可能有的所有符号。
解：（1）根据题意，此信源在任何时刻发出的符号概率都是相同的，均按p(0)=0.4，p(1)=0.6，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无信赖的。
所以这信源是平稳信源。
(2)23123121()2()2(0.4log 0.40.6log 0.6) 1.942(/)(|)()()log ()(0.4log 0.40.6log 0.6)0.971(/)lim (|)()0.971(/)i i iN N N N H X H X bit symbols H X X X H X p x p x bit symbol H H X X X X H X bit symbol ∞−→∞==−×+===−=−+====∑" (3)4()4()4(0.4log 0.40.6log 0.6) 3.884(/)H X H X bit symbols ==−×+=4X 的所有符号：0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11113.2 在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率(10)1/p y x ===4，(01)1/p y x ===8。
求：(1) 在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
西电邓家先版信息论与编码第3章课后习题解答
3.1 设信源⎥⎦⎤⎢⎣⎡)(x P X =⎥⎦⎤⎢⎣⎡4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。
求：（1） 信源X 中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。
（3） 信源X 和信源Y 的信息熵。
（4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。
（5） 接收到消息Y 后获得的平均互信息。
解：（1）由定义得：I （X1）= －log0.6=0.74bitI （X2）= －log0.4=1.32bit（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]= log[P （yj|xi ）/p （yj ）]则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit（3）由定义显然 H （X ）=0.97095bit/符号H （Y ）=0.72193bit/符号（4）H （Y|X ）=∑P （xy ）log[1/P （y|x ）]=2211i j ==∑∑p （xi ）P （yj|xi ）log[1/P （yj|xi ）]=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号图3.1 二元信道1/63/41/45/6x 1y 1y 2x 23.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。
信息论基础知到章节答案智慧树2023年广东工业大学
信息论基础知到章节测试答案智慧树2023年最新广东工业大学第一章测试1.信息论由哪位科学家创立（）。
参考答案:香农2.点对点通信模型包含以下哪些部分（）。
参考答案:译码器;信源;信宿3.信息就是消息。
（）参考答案:错4.连续信源分为，___，___。
参考答案:null5.研究信息论的目的是：提高信息传输的___，___，___、___，达到信息传输的最优化。
参考答案:null第二章测试1.某一单符号离散信源的数学模型为，则其信息熵为（）。
参考答案:1比特/符号2.单符号信源具有以下哪些特点（）。
参考答案:无记忆;平稳3.熵函数具有以下哪些基本性质（）。
参考答案:对称性;连续性;确定性4.信源要含有一定的信息，必须具有随机性。
（）参考答案:对5.信息熵表示信源X每发一个符号所提供的平均信息量。
（）参考答案:对第三章测试1.以下等式或不等式关系成立的是（）。
参考答案:2.单符号离散无记忆的N次扩展信道，有以下哪两种特点（）。
参考答案:无预感性;无记忆性3.后向信道矩阵中任·一行之和为1。
（）参考答案:对4.信道容量指信道的最大信息传输率。
（）参考答案:对5.互信息量等于___与___比值的对数。
参考答案:null1.某信源输出信号的平均功率和均值均被限定，则其输出信号幅值的概率密度函数是以下哪种分布时，信源达到最大差熵值（）。
参考答案:高斯分布2.某信源的峰值功率受限，则概率密度满足以下哪个个条件时，差熵达到最大值（）。
参考答案:均匀分布3.连续信道的平均互信息不具有以下哪些性质（）。
参考答案:连续性4.差熵具有以下哪两个性质（）。
参考答案:条件差熵值小于无条件差熵;差熵可为负值5.一维高斯分布连续信源是瞬时功率受限的一类连续平稳信源。
（）参考答案:错1.分组码分为（）。
参考答案:非奇异码;奇异码2.在输入符号先验等概时，采用以下哪些准则的译码方法可以使平均译码错误概率最小（）。
参考答案:最大后验概率准则;最大似然准则3.平均码长可作为衡量信源编码效率的标准。
《信息论与编码》第三章习题解答
其 中 (i, k1 ) ， (k1 + 1, k 2 ) ， (k 2 + 1, j ) 是 由 内 节 点 (i, j ) 分 岔 出 去 的 三 个 节 点 ， 所 以
p (i, k1 ) + p(k1 + 1, k 2 ) + p (k 2 + 1, j ) = p(i, j ) 。由于码 D 的平均码长 L =
（c） {01,10}
[解] （a）{0，10，11}可能为 Huffman 码，因为它构成满树； （b）{00，01，10，110}不可能为 Huffman 码， 因为码字“110”可以用更短的“11”代替，而保持前缀码条件； （c）{01，10}不可能成为 Huffman 码，因为显然{0，1}是平均码长更短的前缀码； 3.8 一个随机变量 X 的取值范围为 X = { x1 , x2 " , xm } ,它的熵为 H(X)， 若对这个源能找到 一个平均码长为 L =
I 表示全体内节点 (i, j ) ， (i < j ) 的集合。 内节点 (i, j ) 上的累计概率定义为：
(1,13) (4,8) (6,8)
i
P (i, j ) =
于是
∑
k =i
j
(1, 3)
pk
a1 a2 a3
(9,13) (10,12)
L=
∑l ⋅ p = ∑ p(i, j )
i i =1
0.16 （1） 0.14 （1） 0.13 （0） 0.12 （1） 0.1 （1） 0.09 （0） 0.08 （1） 0.07 （0） 0.06 （1） 0.05 （0）
0.27 （0） 0.31 （1） 0.19 （0） 0.23 （1） 0.15 （0） 0.42 （0） 0.58 （1） 1
信息论与编码理论—第三章习题解答
2013-8-4
0.020
15
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
0.125 0.075 0.075 0.075 0.050 0.050 0.050 0.045 0.045 0.045 0.030 0.030 0.030 0.030 0.030 0.030 0.027 0.020 0.020 0.020 0.018 0.018 0.018 0.012 0.012 0.012 0.008 0 1 0 1 0 1 0.036
2013-8-4
7
(c) “当收到1时得到多少关于信源的平均信息”，这是求信 源随机变量U与事件“收到1”的（半平均）互信息量。 以码A为例。
I(收到1；U)=
P ( a1 , 且收到1) P ( a1 | 收到1) log P ( a1 ) P (收到1) P ( a2 , 且收到1) P ( a2 | 收到1) log P ( a2 ) P (收到1) P ( a3 , 且收到1) P ( a3 | 收到1) log P ( a3 ) P (收到1) P ( a4 , 且收到1) P ( a4 | 收到1) log P ( a4 ) P (收到1)
0.036
0.024
2013-8-4
0.020
17
111 112 121 211 113 131 311 122 212 221 123 132 213 312 231 321 222 133 313 331 223 232 322 233 323 332 333
(信息论)第二、三章习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论答案(傅祖芸)
第二章课后习题【2.1】设有12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12 log 2 log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为I log 3 比特因此，必须称的次数为I1 log 242.9 次I 2 log 3因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 1 1 ，该事件的信息量为：6 6 36I log 36 5.17 比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概率为 P 1 1 5 5，因此该事件的信息量为：6 6 36I log 362.85 比特5“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P 1 1 2 1，因此该事件的信息量为：6 6 18I log18 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。
第三版信息论答案
【2.1】设有12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12 log 2 log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为I log 3 比特因此，必须称的次数为I1log 24I 2 log 32.9 次因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 16 61 ，该事件的信息量为：36I log 36 5.17 比特“两骰子总点数之和为8”共有如下可能：2 和6、3 和5、4 和4、5 和3、6 和2，概率为P 1 1 56 6 5 ，因此该事件的信息量为：36I log3652.85 比特“两骰子面朝上点数是3 和4”的可能性有两种：3 和4、4 和3，概率为P 因此该事件的信息量为：1 121 ，6 6 18I log18 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1 ，因此此时从答案中获得的信息量为7I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论与编码第二版答案 (3)
信息论与编码第二版答案第一章：信息论基础1.问题：信息论的基本概念是什么？答案：信息论是一种数学理论，研究的是信息的表示、传输和处理。
它的基本概念包括：信息、信息的熵和信息的编码。
2.问题：什么是信息熵？答案：信息熵是信息的度量单位，表示信息的不确定度。
它的计算公式为H(X) = -ΣP(x) * log2(P(x))，其中P(x)表示事件x发生的概率。
3.问题：信息熵有什么特性？答案：信息熵具有以下特性：•信息熵的值越大，表示信息的不确定度越高；•信息熵的值越小，表示信息的不确定度越低；•信息熵的最小值为0，表示信息是确定的。
4.问题：信息熵与概率分布有什么关系？答案：信息熵与概率分布之间存在着直接的关系。
当概率分布均匀时，信息熵达到最大值；而当概率分布不均匀时，信息熵会减小。
第二章：数据压缩1.问题：数据压缩的目的是什么？答案：数据压缩的目的是通过消除冗余和重复信息，使数据占用更少的存储空间或传输更快。
2.问题：数据压缩的两种基本方法是什么？答案：数据压缩可以通过无损压缩和有损压缩两种方法来实现。
无损压缩是指压缩后的数据可以完全还原为原始数据；而有损压缩则是指压缩后的数据不完全还原为原始数据。
3.问题：信息压缩的度量单位是什么？答案：信息压缩的度量单位是比特（bit），表示信息的数量。
4.问题：哪些方法可以用于数据压缩？答案：数据压缩可以通过以下方法来实现：•无结构压缩方法：如霍夫曼编码、算术编码等；•有结构压缩方法：如词典编码、RLE编码等；•字典方法：如LZW、LZ77等。
第三章：信道容量1.问题：什么是信道容量？答案：信道容量是指在给定信噪比的条件下，信道传输的最大数据速率。
2.问题：信道容量的计算公式是什么？答案：信道容量的计算公式为C = W * log2(1 + S/N)，其中C表示信道容量，W表示信道带宽，S表示信号的平均功率，N表示噪声的平均功率。
3.问题：信道容量与信噪比有什么关系？答案：信道容量与信噪比成正比，信噪比越高，信道容量越大；反之，信噪比越低，信道容量越小。
信息论与编码课后答案第三章课后习题
=
3×1 43
=3
P( y = 1)
5 /12 5
P(x = 1| y = 1) = 2 5
H (Y | X )
= −∑ P(x)∑ P( y | x) log P( y | x)
X
Y
=
−
3 4
2 3
log
2 3
+
1 3
log
1 3
−
1 4
1 3
log
1 3
+
2 3
log
2 3
2p2
+
4 pp
+
2p2
=1 4
因此接收到第二个数字也是 0 时，得到多少关于 M1 的互信息为：
I (M 1; y1 y2
=
00)
=
log
P( y1 y2 = 00 | M1) P( y1 y2 = 00)
=
p2 log
1/ 4
=
2 + 2 log
p
比特/符号
得到的附加信息为：
I (M1; y1 y2 = 00) − I (M1; y1 = 0) = 1 + log p 比特/符号 （3）根据已知条件，有
第三章课后习题
【3.1】 设信源
X P( x)
=
x1 0.6
x2 0.4
通过一干扰信道，接收符号为Y = [ y1, y2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x1和 x2 分别含有的自信息；
x1
5/6
y1
（2）收到消息 y j ( j = 1,2) 后，获得的关于 xi (i = 1,2) 的信
《信息论、编码与密码学》部分课后习题答案
+∞
当 0 ≤ x ≤ a 时， p( x ) = a −1 ，则
H ( X ) = − ∫ a −1 log a −1dx =
0
a
1 log a a ⋅ log a ⋅ [x ]0 = ⋅ a = log a a a
当 x < 0 或 x > a 时， p( x ) = 0 ，则 H ( X ) → ∞ 根据得到的结果可以画出相应的平面图，由图可以看到随着 a 的增加，即 p( x ) 的 减小，微分熵 H ( X ) 相应的增加。
∞ 1 B ⋅ log ∑ ∞ ∞ ∞ ∞ 1 log( AB ) n=2 B =？ 则熵为：H ( X ) = ∑ P ( X )I ( X ) = ∑ =∑ log( AB ) = ∑ ∞ 1 AB n=2 n = 2 AB n=2 n=2 B⋅∑ n=2 B
1.8 计算概率分布函数为
x1 x1 x1 x1 x1 x2 x1 x2 x1 x2 x1 x1 x1 x2 x2
1 0 1 1.0 0.5 0
0.5 0.4 0.1
图 1.11 霍夫曼编码
则霍夫曼码如下表：
符号 x1 x2 x3
概率 0.5 0.4 0.1
码字 1 00 01
该信源的熵为：
H ( X ) = −∑ pk log 2 pk
k =1
3
= −(0.5log 2 0.5 + 0.4 log 2 0.4 + 0.1log 2 0.1) = 0.5000 + 0.5288 + 0.3322 = 1.3610(bit )
= 1(bit )
时 ， 信 源 熵
对 于 三 元 离 散 信 源 ， 当 概 率
信息论傅祖芸+答案
男同志红绿色盲的概率空间为： a2 X a1 P = 0.07 0.93 问男同志回答“是”所获昨的信息量为： I = log 1 ≈ 3.836 比特/符号 0.07
问男同志回答“否”所获得的信息量为： I = log 1 ≈ 0.105 比特/符号 0.93
I (a1 = 1) = log 4 = 2 比特 I (a 2 = 2) = log 4 = 2 比特 I (a3 = 3) = log 8 = 3 比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为： I = 14 × 1.415 + 13 × 2 + 12 × 2 + 6 × 3 ≈ 87.81 比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为 I= 87.81 = 1.95 比特/符号 45
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.2.设二元对称信道的传的矩阵⎥⎥⎥
⎦
⎤⎢⎢⎢⎣⎡32313132。
（1）、若P （0）=43,P(1)=4
1
,求H(X),H(X/Y),H(Y/X)和I(X;Y);
（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。
解：(1)、H(X)=-symbol bit x p i
i /81.0)41
log 4143log 43()(=+⨯-=∑
H(Y/X) =-)/(log )/()(i j i j
i
j
i
x y p x y
p x p ∑∑
=-(
3
2
log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbol
P )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+=
=3
1
413243⨯+⨯=0.58 同理可得：p(2y )=0.42
H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol
得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbol
I(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol
(2)由题：C=maxI(X;Y)=logm-mi H =log2-(3
2
log 3231log 31+)=0.082bit/symbol
因为信道容量达到最大值即X 等概率出现即：p(i x )=21
3.6、有一个二元对称信道，其信道矩阵为⎥
⎦
⎤
⎢⎣⎡098.02.002.098.0。
设该信源以1500二元符号/每秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设P(0)=P(1)=
2
1
,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？
解：由题得：
C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol
即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入
1500二元符号/每秒，那么每秒钟的信息量是：
1I =(1500symbol/s )×0.859bit/symbol=1288bit/s
10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 2
1
则有：3I =14000×(
21log 2
1
×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完
3.11、已知离散信源⎭
⎬⎫
⎩⎨⎧=⎥
⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥
⎥
⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求： （1）、“输入3x ，输出2y ”的概率； （2）、“输出4y ”的概率；
（3）、“收到3y 的条件下推测输入2x ”的概率。
解：1）、由题得：p(3x 2y )=)/()(323x y p x p =0.2×0.2=0.04
2）、p(4y )=)/()(141x y p x p +p(2x ))/(24x y p +p(3x )p(34/x y )+)/()(444x y p x p
=0.1*0.4+0.3*0.1+0.2*0.2+0.4*0.2=0.04+0.03+0.04+0.08=0.19
3)、)/()()/()()/()()/()()(4343332321313x y p x p x y p x p x y p x p x y p x p y p +++=
=0.1*0.1+0.3*0.1+0.2*0.1+0.4*0.4=0.01+0.03+0.02+0.16=0.22 P(32/y x )=
)()/()(3232y p x y p x p =22
.01
.03.0⨯=0.136
3.14、试求下列各信道矩阵代表的信道的容量：
1）、[]⎥⎥⎥
⎥⎦
⎤
⎢⎢⎢
⎢⎣⎡=00
10
10000001
0100p 2）、[]⎥
⎥⎥
⎥⎥⎥
⎥⎥⎦⎤
⎢⎢⎢⎢⎢⎢⎢
⎢⎣⎡=100100010010001001p 3）、[]⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.00000000000
4.03.02.01.0p 解：1）、这个信道是一一对应的无干扰信道：C=logn=log4=2bit/symbol 2)、这是归并性能的无燥信道：C=logm=log3=1.58bit/symbol 3)、扩展性能的无燥信道：C=logn=log3=1.58bit/symbol
3.18、设加性高斯白噪声信道中，信道带宽3KHZ ，又设{（信号功率+噪声功率）/噪声功率}=10dB 。
试计算该信道的最大信息传输速率C t 。
解：C t =Wlog ⎪⎪⎭⎫ ⎝⎛+N X P P 1 N N
X P P P +=10 t C =Wlog ⎪⎪⎭⎫
⎝
⎛+N X P P 1=3000*3.322=9966bit /s 3.19、在图片传输中，每帧约有2.25*106个像素。
为了能很好地重现图像，能分16个两段电平，并假设亮度电平等概率分布。
试计算每分钟传送一帧图片所需信道的带宽（信燥功率比为30dB ）。
解：H=log 2n=log16=4bit/symbol I=NH=2.25*106*4=9*106bit=10
C t =6010*96
=t I =1.5*105bit/s
C t =W ⎪⎪⎭⎫
⎝
⎛+N X P P 1log W=⎪⎪⎭⎫ ⎝
⎛+N X t
P P C 1log =
HZ 15049)
10001(log 10*5.125
=+ 3.20、设电话信号的信息率为 5.6*10
4
bit/s ，在一个噪声功率谱为
N 0=5*106-Hz mW /、限频F 、限输入功率P 的高斯信道中传送，若F=4Hz ，问无差错传输所需的最小功率P 是多少瓦？若，则P 是多少瓦？
解：C t =Wlog ⎪⎪⎭
⎫ ⎝
⎛+01WN
P X 得：P ⎪⎪⎭⎫ ⎝⎛-=120W C X t
WN =4000*5*109-*⎪⎪⎭
⎫ ⎝⎛-12400010*6.54
=0.328 F →∞ C t =
e N P X
20
log P=
W e N C t 429
42010*94.171828
.2log 10*5*10*6.5log -== 通信10-2
201020204067
何丽。