信息论与编码理论习题答案全解
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论与编码理论课后答案
信息论与编码理论课后答案【篇一：《信息论与编码》课后习题答案】式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的是建立信息论的基础。
7、8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
2728、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?11?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学2期望，则x的信源熵c。
信息论与编码习题参考答案
信息论与编码习题参考答案 第一章 单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx
《信息论与编码理论》（王育民李晖梁传甲）课后习题答案高等教育出版社.docx信息论与编码理论习题解第二章-信息量和熵2.1解:平均每个符号长为：2 0.2 - 0.4二兰秒3315每个符号的熵为-log - 1 Iog3 = 0.9183比特/符号32 3所以信息速率为0.91833.444比特/秒 42.2解：同步信号均相同不含信息，其余认为等概，每个码字的信息量为 3*2=6比特; 所以信息速率为6 1000 =6000比特/秒解:(a) —对骰子总点数为7的概率是-36所以得到的信息量为 Iog 2(~6) = 2.585比特36(b) 一对骰子总点数为12的概率是136所以得到的信息量为 Iog 2丄=5.17比特36解：(a)任一特定排列的概率为古,所以给出的信息量为1-Iog 2225.58 比特52!(b)从中任取13张牌,所给出的点数都不相同的概率为13! 413 413 A 13 C 13 A 52 C 52C 13所以得到的信息量为log2C? =13.21比特. 42.5解:易证每次出现i 点的概率为丄,所以212.3 2.4I(^i^-log 2-,i =1,2,3,4,5,621 I (x = 1) = 4.392 比特 I (x =2) =3.392 比特 I (x =3) =2.807 比特 I (x =4)=2.392 比特 I (x =5) =2.070 比特 I (x =6) =1.807 比特6H(X)ilog 2i2.398比特i 421 212.6解：可能有的排列总数为277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得, YXYXYXYXYXYXYXY一(7 \一图中X 表示白杨或白桦，它有7种排法，Y 表示梧桐树可以栽(8\种的位置，它有8种排法，所以共有8*=佃60种排法保证没有I 5丿&八3丿两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为Iog 227720-Iog 21960=3.822比特 2.7解：X=0表示未录取，X=I 表示录取；Y=0表示本市，Y=I 表示外地；Z=O 表示学过英语，Z=I 表示未学过英语，由此得3 1 P(X=O) , P(X=I ),44p( y = O) = P(X=O)P(y = O x = 0)十 P(X=I)P(y = O X = 1) — J5 = Oy=O) p(y =1)p(z=0y = 1)_ 13 _ 25,1 3 1/ - 10 4 5 1 1 1 P(X=Iy= O)= p(y=0x=1)p(x= 1)∕p(y=0) =—-/- =2 4 5P(X=Oy =0) P(X = Iy =0)p(x =1 y =O)log2 -P(X =O) P(X =I)5 8log 2θ(b) P(X=OZ = O)= (p(z=Oy=O,x=O)p(y=Ox=O)+p(z = Oy = 1,x = O)p(y=1x=O))p(x = O)∕p(z = O) 1 9 4 =(———)-/1O 1O 1O 4 25 1O4P(X=IZ =O)= (P(Z=Oy=O, x = 1)p(y=0x = 1) +p(z = O y = 1, x =1) p( y =1 x = 1)) p(x = 1)/ P(Z = O) =(1.1 Z) 1虎一—22 54 25104P(X=OZ = 0)I (X ; z = O) = P(X=OZ= O) log 2 -- --------------- +P(X = O)6935単og 2马4亜g 马410423 1042144= 0.02698 比特3 4 1(C) H(X)= log23 Jog 24 =0?8113 比特H(YX)=P(X= O) p( y = O X = 0) l0g 2 p(y = Ox = 0)十 p(x = O)p(y =1 X = O)log 2 p(y = 1x = 0)十1131=—X — +—× —4 2 4 10 1 4p(y =1) =1 -5 5P(Z=O)= P(^O)P(Z 1 440 =+ X :5 5 10013 12 P(Z =I) =1 -2525_ 38 5 8(a) P(X=Oy=O) =p(y = Ox = 0)p(x = 0) / p(y =0)=I (X ; y = 0) = P(X=Oy=O) Iog 2 3 385 4 = 0.45123,13 69 35P(X =IZ =O)log 2 P (X ( 1Z O)P(X = I)比特("x t x 七 X)HH(Z)H93r 06。
《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特 所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式） 或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解第二章信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为2?8log =2?3=6 bit因此，信息速率为 6?1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) 花色任选种点数任意排列13413!13)(b p =1352134!13A ?=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论与编码理论习题答案全解 (优选.)
wo 最新文件---------------- 仅供参考--------------------已改成-----------word 文本 --------------------- 方便更改rd第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。
解：该信源的香农线图为： 1/3○○2/3(x 1) 1 (x 2)在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p=)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p=)(0)(2131x p x p + )()(21x p x p +=1 得431)(=x p 412)(=x p 马尔可夫信源熵H = ∑∑-IJi j i jix x p x xp x p )(log )()( 得 H=0.689bit/符号2．设有一个无记忆信源发出符号A 和B ，已知4341)(.)(==B p A p 。
求： ①计算该信源熵；②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。
解：①∑-=Xiix p x p X H )(log )()( =0.812 bit/符号②发出二重符号序列消息的信源,发出四种消息的概率分别为1614141)(=⨯=AA p 1634341)(=⨯=AB p 1634143)(=⨯=BA p 1694343)(=⨯=BB p 用费诺编码方法 代码组 b iBB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号BX H R )(22==0.963 bit/码元时间③三重符号序列消息有8个,它们的概率分别为641)(=AAA p 643)(=AAB p 643)(=BAA p 643)(=ABA p 649)(=BBA p 649)(=BAB p 649)(=ABB p 6427)(=BBB p用霍夫曼编码方法 代码组 b i BBB 6427 0 0 1 BBA 649 0 )(6419 1 110 3 BAB 649 1 )(6418)(644 1 101 3 ABB 649 0 0 100 3AAB 643 1 )(646 1 11111 5 BAA 643 0 1 11110 5ABA 643 1 )(6440 11101 5AAA 6410 11100 5)(3)(3X H X H ==2.436 bit/三重符号序列 3B =2.469码元/三重符号序列3R =BX H )(3=0.987 bit/码元时间 3．已知符号集合{ 321,,x x x }为无限离散消息集合，它们的出现概率分别为 211)(=x p ，412)(=x p 813)(=x p ···i i x p 21)(=···求： ① 用香农编码方法写出各个符号消息的码字（代码组）； ② 计算码字的平均信息传输速率； ③ 计算信源编码效率。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码习题参考答案
第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。
(1)设“3和5同时出现”为事件A ，则A 的发生有两种情况：甲3乙5，甲5乙3。
因此事件A 发生的概率为p(A)=(1/36)*2=1/18 故事件A 的自信息量为I(A)=－log 2p(A)=log 218=4.17 bit(2)设“两个1同时出现”为事件B ，则B 的发生只有一种情况：甲1乙1。
因此事件B 发生的概率为p(B)=1/36 故事件B 的自信息量为I(B)=－log 2p(B)=log 236=5.17 bit (3) 两个点数的排列如下：因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)“两个点数中至少有一个是1”的组合数共有11种。
bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=2-2解：(1)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡2121)(21x x x p X i 比特 12log *21*2)(log )()(2212==-=∑=i i i x p x p X H(2)红色球x 1和白色球x 2的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡100110099)(21x x x p X i 比特 08.0100log *100199100log *10099)(log )()(22212=+=-=∑=i i i x p x p X H (3)四种球的概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡41414141)(4321x x x x x p X i ，42211()()log ()4**log 4 2 4i i i H X p x p x ==-==∑比特2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。
信息论与编码陈运主编答案完整版
信息论与编码课后习题答案详解试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍解：四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H X( 1) = log n = log4 = 2 bit symbol/ 八进制脉冲的平均信息量H X( 2) = log n = log8 = 3 bit symbol/二进制脉冲的平均信息量H X( 0) = log n = log2 =1 bit symbol/所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。
居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量解：设随机变量X 代表女孩子学历X x1（是大学生）x2（不是大学生）P(X)设随机变量Y 代表女孩子身高Y y1（身高>160cm）y2（身高<160cm）P(Y)已知：在女大学生中有75%是身高160 厘米以上的即：p y( 1 / x1) = bit求：身高160 厘米以上的某女孩是大学生的信息量p x p y( 1) ( 1 / x1 ) log ×=bit即：I x( 1 / y1 ) = logp x( 1 / y1 ) = log =p y( 1 )一副充分洗乱了的牌（含52张牌），试问(1)任一特定排列所给出的信息量是多少(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量解：(1) 52 张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：p x( i ) =I x( i ) =log p x( i ) = log52!= bit(2) 52 张牌共有4 种花色、13 种点数，抽取13 张点数不同的牌的概率如下：413p x( i ) =C5213413I x( i ) = log p x( i ) = log C5213 =bit设离散无记忆信源P X(X ) = x31 /= 8x2 =1 x3 = 2 x4 = 3，其发出的信息为1/4 1/4 1/8，求(1)此消息的自信息量是多少(2)此消息中平均每符号携带的信息量是多少解：(1) 此消息总共有14 个0、13 个1、12 个2、6 个3，因此此消息发出的概率是：p = 314 × 1 25 ×16848此消息的信息量是：I =log p =bit(2)此消息中平均每符号携带的信息量是：I n/ = 45 =bit从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为%，如果你问一位男士：“你是否是色盲”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量如果问一位女士，则答案中含有的平均自信息量是多少解：男士：p x( Y ) = 7%I x( Y ) = log p x( Y ) = = bitp x( N ) = 93%I x( N ) = log p x( N ) = = bitH X() p x( )log p x( ) bit symbol/i女士：H X() p x( )log p x( ) bit symbol/P X ( )H(X) > log6不满足信源熵的极值性。
信息论与编码习题答案
信息论与编码习题答案信息论与编码是通信和数据传输领域的基础学科，它涉及到信息的量化、传输和编码。
以下是一些典型的信息论与编码习题及其答案。
# 习题1：信息熵的计算问题：给定一个随机变量X，其可能的取值为{A, B, C, D}，概率分别为P(A) = 0.3, P(B) = 0.25, P(C) = 0.25, P(D) = 0.2。
计算X的熵H(X)。
答案：H(X) = -∑(P(x) * log2(P(x)))= -(0.3 * log2(0.3) + 0.25 * log2(0.25) + 0.25 *log2(0.25) + 0.2 * log2(0.2))≈ 1.846# 习题2：信道容量的计算问题：考虑一个二进制信道，其中传输错误的概率为0.01。
求该信道的信道容量C。
答案：C = log2(2) * (1 - H(error))= 1 * (1 - (-0.01 * log2(0.01) - 0.99 * log2(0.99))) ≈ 0.98 nats# 习题3：编码效率的分析问题：一个编码器将4位二进制数字编码为8位二进制码字。
如果编码器使用了一种特定的编码方案，使得每个码字都具有相同的汉明距离，求这个编码方案的效率。
答案：编码效率 = 信息位数 / 总位数= 4 / 8= 0.5# 习题4：错误检测与纠正问题：给定一个(7,4)汉明码，它能够检测最多2个错误并纠正1个错误。
如果接收到的码字是1101100，请确定原始的4位信息位是什么。
答案：通过汉明码的生成矩阵和校验矩阵，我们可以计算出接收到的码字的校验位，并与接收到的码字的校验位进行比较，从而确定错误的位置并纠正。
通过计算，我们发现原始的4位信息位是0101。
# 习题5：数据压缩问题：如果一个文本文件包含10000个字符，每个字符使用8位编码，如何通过霍夫曼编码实现数据压缩？答案：首先，我们需要统计文本中每个字符的出现频率。
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+- )0000;(1u I =42244)1(6)1()1(8logp p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
信息论和编码陈运主编答案解析(完整版)
⇒ H X( 2 )
≥ H X( 2 / X1 ) I X( 3;X X1 2 ) ≥ 0
⇒ H X( 3 ) ≥ H X( 3 / X X1 2 )
... I X( N;X X1 2...Xn−1) ≥ 0
⇒ H X( N ) ≥ H X( N / X X1 2...Xn−1)
WORD 完美格式
专业整理
不满足极值性的原因是
。
i
2.7 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明当 X1, X2, X3 是马氏链时等式成立。证明：
H X(3 / X X12 ) − H X(3 / X1)
∑∑∑ ∑∑ = −
p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) +
⎢p e( 1 ) = p e( 2 ) = p e( 3 ) ⎢
⎢p e( 1 ) + p e( 2 ) + p e( 3 ) =1
⎢p e( 1 ) =1/3 ⎢ ⎢p e( 2 )
⎢
=1/3 ⎢p e( 3 ) =1/3
⎢p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e⋅( 1 ) + p p e⋅ ( 2 ) = (p + p)/3 =1/3 ⎢⎢ ⎢p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e⋅( 2 ) + p p e⋅ ( 3 ) = (p + p)/3 =1/3
解： (1)
这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符 号．．．．．．．．．．．……”
《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社
信息论与编码理论习题解第二章 -信息量和熵2.1 解: 平均每个符号长为 :20.2 10.4 4 秒3315每个符号的熵为 2log31 log 3 0.9183 比特 /符号 32 3所以信息速率为 0.9183 15 3.444 比特 /秒42.2 解: 同步信号均相同不含信息,其余认为等概 ,每个码字的信息量为 3*2=6 比特；所以信息速率为 6 10006000 比特 /秒2.3 解:(a) 一对骰子总点数为 7 的概率是 636所以得到的信息量为log 2( 6) 2.585 比特36(b)一对骰子总点数为 12 的概率是 136所以得到的信息量为log 21 比特5.17362.4 解: (a)任一特定排列的概率为1,所以给出的信息量为52!1log252 !225.58比特(b) 从中任取 13 张牌 ,所给出的点数都不相同的概率为13! 413413A 5213C 135213所以得到的信息量为 log 2C 5213.21 比特 .4132.5 解:易证每次出现 i 点的概率为i,所以21I (x i )log 2i, i 1,2,3,4,5,6 21I (x1) 4.392 比特I (x2) 3.392 比特I (x3) 2.807 比特I (x4) 2.392比特I (x5) 2.070 比特I (x6) 1.807 比特6i log2i比特H(X)212.398i 1212.6 解: 可能有的排列总数为12!277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中 X 表示白杨或白桦，它有73种排法， Y 表示梧桐树可以栽种的位置，它有8种排法，所以共有8 *7=1960种排法保证没有553两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为 log2 27720log 2 1960 =3.822比特2.7 解: X=0 表示未录取， X=1 表示录取；Y=0 表示本市， Y=1 表示外地；Z=0 表示学过英语， Z=1 表示未学过英语，由此得p( x0) 3 ,p(x1)4 p( y0)p( x 0) p( y 1 1 3 142 410 p( y 1)1 1 4 ,5 5p( z 0)p( y 0) p(z 14405 5 100 p( z 1)1 13 12 ,25 25(a) p( x0 y 0) p( yp( x1 y 0) p( y1 , 40 x 0)p( x 1) p( y 0 x 1)1 , 50 y 0) p( y 1) p( z 0 y 1)13 , 250 x 0) p( x 0) / p( y0)13 1310/5 84 0 x 1) p( x 1) / p( y0) 1 1 / 152 4 58I ( X ; y 0)p(x0 y p(x 0 y 0) p( x 1 y 0)0) log 2p(x 1 y 0) log 2p( x 0)p( x 1)3 log 2 35log 2 58 8 8 3 8 14 40.4512比特(b) p( x0 z 0)( p( z 0 y 0, x 0) p( y 0 x 0) p( z 0 y 1, x 0) p( y 1x 0)) p(x0) / p( z 0)(19 4 ) 3/1369 10 10 10 4 25 104p( x 1z 0)( p( z 0 y 0, x 1) p( y 0 x 1) p(z 0 y1, x 1) p( y 1 x 1)) p( x1) / p(z 0)(11 2) 1/13 3522 5 4 25104I ( X ; z 0)p( x 0 zp( x 0 z 0)p( x p(x 1 z 0)0) log 21z 0) log 21)p( x 0)p( x6969log 2104104343510435log 21041 40.02698 比特(c) H ( X )3 log 24 1 log 2 40.8113 比特4 3 4H(Y X)p( x 0) p( y 0 x 0) log 2 p( y 0 x 0) p( x 0) p( y 1 x 0) log 2 p( y 1x 0)p( x 1) p( y 0 x1) log 2 p( y 0 x 1)p( x 1) p( y 1 x1) log 2 p( y 1 x1)3 1log 2 10 3 9log 2 10 1 1 log 2 2 11log 2 2 410410 9 4 2 4 20.6017比特2.8 解:令X A,B,Y T,F,R ，则P(T)P(T A)P(A)P(T B)P(B)0.5 p0.3(1p)0.3 0.2 p同理P(F )0.50.2 p,P(R)0.2I ( p) I ( X ; Y)H (Y)H(Y X)(0.30.2p) log2 (0.30.2 p)(0.50.2p) log2 (0.50.2 p)0.2log 2 0.2(0.5 p log2 20.3 plog 21030.2 p log2 50.3(1p) log2103 0.5(1 p) log2 20.2(1p) log2 5)0.3log 2 0.30.5log 2 0.5(0.30.2p) log2 (0.30.2 p)(0.50.2 p) log2 (0.5 0.2 p)令I '( p)0.2 log2(0.50.2 p)0,得p0.50.30.2 pI ( p)max I ( p) p0 .50.03645比特2.9 & 2.12解:令 X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= log26比特H(X)= H(X 1) = log26=2.585 比特H(Y)= H(X 2+X 3)=2( 1log 2 362log 2363log 2364log 2365log 236 )1log 2 6363623633643656 = 3.2744 比特H(Z)= H(X 1+X 2+X 3)=2( 1 log 2 216 3 log 2 216 6log 2 216 10 log 2 216 15 log 2 216216 216 3 216 6 216 10 216 15 21 216 25 216 27 216 )log 2 21 log 2 log 2 27216 216 25 216= 3.5993 比特所以H(Z/Y)= H(X 3)= 2.585 比特H(Z/X) = H(X 2+X 3)= 3.2744 比特H(X/Y)=H(X)-H(Y)+H(Y/X)= 2.585-3.2744+2.585 =1.8955 比特H(Z/XY)=H(Z/Y)= 2.585 比特 H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805 比特I(Y;Z)=H(Z)-H(Z/Y)=H(Z)- H(X 3)= 3.5993-2.585 =1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X 2+X 3)-H(X3) =3.2744-2.585=0.6894 比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10 解:设系统输出10 个数字 X 等概 ,接收数字为 Y,9191显然 w( j )Q(i ) p( j i )p( j i )i010 i 110H(Y)=log10H(YX)p( x, y) log 2 p( y x)p( x, y) log2 p( y x)y x 偶y x 奇0p( x) p( x x) log 2 p( x x)p(x) p( y x) log 2 p( y x) i奇y x,奇 x奇511log2 2 5 411log2 81021081比特所以I(X;Y)=log 2 10 1 2.3219比特2.11 解:（a）接收前一个数字为0 的概率81w( 0)q(u i ) p( 0 u i )2i 0I (u1 ;0)log2p(0 u1)1p(1 p) bitslog 21 1 log 2w(0)28（b ） 同理w(00)q(u ) p(00 u ) 41iI (u 1;00)p(00u 1)log 2 (1p)22 2 log 2 (1 p) bitslog 2 w(00)14（c ） 同理 w(000)8q(u i ) p(000 u i )81i 0I (u 1;000) log 2 p(000u 1 ) log 2 (1 p)33 3log 2 (1p)bitsw(000)18（d ） 同理 w(0000 )8q(u i ) p(0000 u i )81((1p)66 p 2 (1 p)2p 4 )i 0p(0000u 1 )(1 p)4I (u 1;0000)log 2w(0000)log 281((1 p)6 6 p 2 (1p) 2p 4 )log 2 8(1 p) 4bits(1 p) 6 6 p 2 (1 p) 2p 42.12 解:见 2.92.13 解:(b)H(YZ/ X)xyzxyzxyzH(Y/ X)1p( xyz)logp( yz / x)1p( xyz) logp( y / x) p(z / xy)11p( xyz) logp(xyz)logp( y / x)x yzp( z / xy)H(Z/ XY)(c)H (Z / XY )p(xy)p( z / xy) log1xyzp(xy)xyzH(Z / X)p(z / xy)1p( z/ xy) log （由第二基本不等式） p(z / x)或H(Z/XY)H(Z/X)p(xy)1p( z / xy) logxyzp(z / xy)p( xy)p( z/ xy) log1p( z / x)xyzp( xy)p( z/ xy) logp(z / x)（由第一基xyzp( z / xy )p( xy)p(z / xy) log e( p(z / x)1)xyzp(z / xy)本不等式）所以H(Z/XY) H(Z/X)(a)H(Y/ X) H(Z / X)H(Y/ X) H(Z/XY) H(YZ/X)等号成立的条件为 p(z / xy) p( z / x) ,对所有 xX , y Y, z Z ,即在给定 X条件下 Y 与 Z 相互独立。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
(完整word版)信息论与编码试卷及答案分解
-、(11'填空题(1) 1948年，美国数学家香农_________ 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。
(2) 必然事件的自信息是_0 ________ 。
(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 _________ 。
(4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为「信源符号等概分布_(5) 若一离散无记忆信源的信源熵H(X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为」________ 。
(6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
(7) 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2 _________ 个码元错误，最多能纠正1__个码元错误。
(8) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R _小于_ C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9) 平均错误概率不仅与信道本身的统计特性有关，还与—译码规则_______________ 和_编码方法___有关三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示"大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2分) I(A|B)=-Iog0.375=1.42bit ( 1 分)四、(5)证明：平均互信息量同信息熵之间满足l(X;Y)=H(X)+H(Y)-H(XY)证明：< p(x yj )l(X;Y) = Z 送pgy j )og ----------- -----X Y p(x )=-Z Z p(xy j )og pg )—」—E Z p(xy j Jog p(x y ji (2分)X Y X Y=H X -H XY同理I X;Y =HY -HYX (1分)则HYX 二H Y -I X;Y因为H(XY )=H(X )+H(Y|X ) (1 分)故H XY =HX H Y -I X;Y即I X;Y = H X H Y - H XY (1 分)五、（18' •黑白气象传真图的消息只有黑色和白色两种，求：X的数学模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：8,6,4,2,0=i √);(Y X I =)(Y H -)|(X Y H因为输入等概，由信道条件可知，⎪⎪⎩⎪⎪⎨⎧=++++====101)8181818121(101)(101)(为偶数为奇数i i y p i i y p 即输出等概，则)(Y H =log 10)|(X Y H =)|(log )(i j jjiix y p yx p ∑∑-=)|(log )(i j j i j i x y p y x p ∑∑-偶-)|(log )(i j j i j i x y p y x p ∑∑奇=0-)|(log )(i j j i j i x y p y x p ∑∑奇= -)|(log )|()(97,5,3,1i i i ii ix y p x yp x p ∑=，-)|(log )|()(97531i j j i i i jix y p x yp x p ∑∑≠，，，，＝=101⨯21log 2⨯5+101⨯21⨯41log 8⨯4⨯5 =4341+=1 bit);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2.3219 bit2.11 令{821,,u u u ，⋯}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，5u =1001，6u =1010，7u =1100，8u =1111通过转移概率为p 的BSC 传送。
求：(a)接收到的第一个数字0与1u 之间的互信息量。
(b)接收到的前二个数字00与1u 之间的互信息量。
(c)接收到的前三个数字000与1u 之间的互信息量。
(d)接收到的前四个数字0000与1u 之间的互信息量。
解：即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I)0(p =4)1(81⨯-p +481⨯p =21)0;(1u I =)0()|0(log1p u p =211log p-=1+)1log(p - bit)00(p =]2)1(4)1(2[8122p p p p +-+-=41)00;(1u I =)00()|00(log 1p u p =4/1)1(log 2p -=)]1log(1[2p -+ bit)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81)000;(1u I =3[1+)1log(p -] bit)0000(p =])1(6)1[(814224p p p p +-+-)0000;(1u I =42244)1(6)1()1(8log p p p p p +-+-- bit2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
解：根据题2.9分析)(Z H =2(216log 2161+3216log 2163+6216log 2166+10216log21610+ 15216log 21615+21216log 21621+25216log 21625+27216log 21627) =3.5993 bit);(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit)|;(X Z Y I =)|(X Z H -)|(XY Z H =)(Y H -)(X H =0.6894 bit )|;(Y Z X I =)|(Y Z H -)|(XY Z H =)(X H -)(X H =0 bit2.14 对于任意概率事件集X,Y ,Z ，证明下述关系式成立 (a))|,(X Z Y H ≤)|(X Y H +)|(X Z H ，给出等号成立的条件 (b))|,(X Z Y H =)|(X Y H +),|(Y X Z H (c)),|(Y X Z H ≤)|(X Z H证明：(b) )|,(X Z Y H =-∑∑∑xyzx yz p xyz p )|(log )(=-∑∑∑xyzxy z p x y p xyz p )]|()|(log[)(=-∑∑∑xyzx y p xyz p )|(log )(-∑∑∑xyzxy z p xyz p )|(log )(=)|(X Y H +)|(XY Z H (c) ),|(Y X Z H =-∑∑∑xyzxy z p xyz p )|(log )(=∑∑xyxy p )([-∑zxy z p xy z p )|(log )|(]≤∑∑xyxy p )([-∑zx z p x z p )|(log )|(]=-∑∑∑xyzx z p xyz p )|(log )(=)|(X Z H当)|(xy z p =)|(x z p ，即X 给定条件下，Y 与Z 相互独立时等号成立 (a) 上式(c)左右两边加上)|(X Y H ，可得)|(X Y H +),|(Y X Z H ≤)|(X Y H +)|(X Z H于是)|,(X Z Y H ≤)|(X Y H +)|(X Z H2.28 令概率空间⎥⎥⎦⎤⎢⎢⎣⎡-=21,211,1X ，令Y 是连续随机变量。
已知条件概率密度为⎪⎩⎪⎨⎧≤-<-=其他,022,41)|(x y x y p ，求：(a)Y 的概率密度)(y ω (b));(Y X I(c) 若对Y 做如下硬判决⎪⎩⎪⎨⎧-≤⋯⋯-≤<-⋯⋯>⋯⋯=1,111,01,1y y y V求);(V X I ，并对结果进行解释。
解：(a) 由已知，可得)1|(-=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯elsey 01341)1|(=x y p =⎪⎩⎪⎨⎧⋯⋯≤<-⋯⋯elsey 03141)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p=⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧⋯⋯≤<⋯⋯≤<-⋯⋯-≤<-⋯⋯elsey y y 0318111411381(b) )(Y H C =⎰⎰---+⨯11134log 4128log 81=2.5 bit)|(X Y H C =⎰--=-=-=-13)1|(log )1|()1(dy x y p x y p x p⎰-===-31)1|(log )1|()1(dy x y p x y p x p=dy dy ⎰⎰----311341log 412141log 4121 =2 bit);(Y X I =)(Y H C -)|(X Y H C =0.5 bit(c) 由)(y ω可得到V 的分布律再由)|(x y p 可知5.14log 2412log 21)(=⨯+=V H bit 2]2log 212log 21[21)|(⨯+=X V H =1 bit);(V X I =)|()(X V H V H -= 0.5 bit2.29 令)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，相应的熵分别为1)(U H 和2)(U H 。
(a)对于10≤≤λ，证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 是概率分布(b))(U H 是相应于分布)(x Q 的熵，试证明)(U H ≥λ1)(U H +)1(λ-2)(U H证明：(a) 由于)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，于是)(1x q ≥0，)(2x q ≥0dx x q x⎰)(1=1，dx x q x⎰)(2=1又10≤≤λ，则)(x q =λ)(1x q +)1(λ-)(2x q ≥0dx x q x⎰)(=dx x q x⎰)(1λ+dx x q x⎰-)()1(2λ=1因此，)(x Q 是概率分布。