第二章信息量和熵习题解

合集下载

信息论与编码理论习题答案

信息论与编码理论习题答案LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。

问各得到多少信息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61得到的信息量 =)(1loga p =6log = bit (2) 可能的唯一，为 {6，6})(b p =361得到的信息量=)(1logb p =36log = bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521信息量=)(1loga p =!52log = bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

信息论与编码习题与答案第二章

36第一章信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法？冗余度？具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ）条件自信息量：|（X i= —log p （X i y i ）平均自信息量、平均不确定度、信源熵：H （X ）二-為p （x ）log p （x ）iH (XY )=送 p (X i ,y j )|(X i y j ) 一瓦ijij联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j)ijij互信息：弋pyx)亍 pyx) l(X;Y)=W p(X i , y .)log=S p(X i )p(y . X i )log j 入儿p(y j )j 入儿入p(y j )熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:（1） “3和5同时出现”这事件的自信息；（2） “两个1同时出现”这事件的自信息；（3）两个点数的各种组合（无序）对的熵和平均信息量；（4）两个点数之和（即2, 3, , , 12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息量。

解: （1）I (xj =-log p(xj 工「log 丄 4.170 bit181l(xj - - log p(xj - - log 5.170 bit条件熵: p (X i ,y j )lo gp (X i y j )p(X i )11116 6 6 61 181 p(x"61 36(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉一log — +15 汉一log — 丨=4.337 bit/symbol i< 36 36 18 18 丿(4)两个点数求和的概率分布如下：X234 5 6 7 8 9 10 11 12\=V1 115 15 11 1 1P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =p(X i )log p(X i )i(1 1 11 1 1 1 1 5511)=_2汉 log +2 乂 log+2 工 log +2乂 log +2 工 log + log< 36 36 181812 12 9 936 36 6 6 J= 3.274 bit / symbol(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}11 l(x 」--log p(x 」-- log 1.71036X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 32.7设有一离散无记忆信源，其概率空间为=f 丿 <3/8 1/41/4 1/8 丿(1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321010 021032 011 223210}，求该序列的自信息量和平均每个符号携带的信息量18I (x 1) = log 2log 21.415bit p(x 1)3同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit11 12 13 14 1516 21 22 23 24 2526 31 32 33 34 3536 41 42 43 44 4546 51 52 53 54 5556 616263646566共有21种组合：其中11，22,33， 44,55, 66的概率是 1 1 X —6 6 ⑶两个点数的排列如下:1 1 1其他15个组合的概率是2 ——二—6 6 181 36p(X i )— 11 6 6 11 36bit解:2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解：四进制脉冲可以表示 4个不同的消息，例如八进制脉冲可以表示 8个不同的消息，例如二进制脉冲可以表示 2个不同的消息，例如假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。

信息编码习题答案或提示

第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。

2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？答案：1.415比特/符号。

提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。

提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。

2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。

信息论与编码第三版答案

信息论与编码第三版答案《信息论与编码》是一本非常经典的书籍，已经成为了信息科学领域中的经典教材。

本书的第三版已经出版，相比于前两版，第三版的变化不小，主要是增加了一些新内容，同时也对一些旧内容做了修改和完善。

作为一本教材，上面的题目和习题都是非常重要的，它们可以帮助读者更好地理解书中的相关概念和知识点，同时也可以帮助读者更好地掌握理论和技术。

因此，本文将介绍《信息论与编码》第三版中部分习题的答案，方便读者快速查阅和学习。

第一章：信息量和熵1.1 习题1.1Q：两个随机变量的独立性和无关性有什么区别？A：独立性和无关性是两个不同的概念。

两个随机变量是独立的，当且仅当它们的联合概率分布等于乘积形式的边缘概率分布。

两个随机变量是无关的，当且仅当它们的协方差等于0。

1.2 习题1.7Q：什么样的随机变量的熵等于0？A：当随机变量的概率分布是确定的（即只有一个概率为1，其余全为0），其熵等于0。

第二章：数据压缩2.5 习题2.9Q：为什么霍夫曼编码比熵编码更加高效？A：霍夫曼编码能够更好地利用信源的统计特征，将出现频率高的符号用较短的二进制编码表示，出现频率低的符号用较长的二进制编码表示。

这样一来，在编码过程中出现频率高的符号会占用较少的比特数，从而能够更加高效地表示信息。

而熵编码则是针对每个符号分别进行编码，没有考虑符号之间的相关性，因此相比于霍夫曼编码更加低效。

第四章：信道编码4.2 习题4.5Q：在线性块码中，什么是生成矩阵？A：在线性块码中，生成矩阵是一个包含所有二元线性组合系数的矩阵。

它可以用来生成码字，即任意输入信息序列可以通过生成矩阵与编码器进行矩阵乘法得到相应的编码输出序列。

4.3 习题4.12Q：简述CRC校验的原理。

A：CRC校验是一种基于循环冗余校验的方法，用于检测在数字通信中的数据传输错误。

其基本思想是将发送数据看作多项式系数，通过对这个多项式进行除法运算，得到余数，将余数添加到数据尾部，发送给接收方。

第三版信息论答案

【】设有 12 枚同值硬币，其中有一枚为假币。

只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。

现用比较天平左右两边轻重的方法来测量。

为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。

【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。

【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。

4第二章3-熵的计算

q
q
（3）根据概率关系，可以得到联合熵与条件熵的关系：根据概率关系，可以得到联合熵与条件熵的关系：联合熵与条件熵的关系
H ( X1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j )
i =1 j =1
q q
q
qபைடு நூலகம்
= −∑∑ P (ai a j ) log( P (ai )P (a j | ai ))
得：
H ( X ) = −∑ P(ai ) logP(ai ) = 1.542( Bit / Symbol)
i =1 3
H ( X 2 / X 1 ) = −∑∑ P(ai a j ) logP(a j / ai ) = 0.87(Bit / Symbol)
i =1 j =1 3
3
3
H ( X 1 X 2 ) = −∑∑ P(ai a j ) logP(ai a j ) = 2.41( Bit / Symbols)
0.71比特/符号
•
从另一角度（来研究信源X的信息熵的近似值）从另一角度（来研究信源X的信息熵的近似值）：
（ 1 ）由于信源 X 发出的符号序列中前后两个符号之间有依由于信源X 赖性，可以先求出在已知前面一个符号X 已知前面一个符号赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性的平均不确定性：下一个符号的平均不确定性：
0.71比特/符号
二维平稳信源X：
条件熵H(X2|X1）平均符号熵H2(X) 简单信源X符号熵H(X)
H(X2|X1) ≤H2(X) ≤H(X) H(X1X2)=H(X1)+H(X2|X1)=2H2(X)
有记忆平稳信源的联合熵、条件熵、有记忆平稳信源的联合熵、条件熵、平均符号熵与无记忆信源熵之间的定量关系。与无记忆信源熵之间的定量关系。

《信息论与编码理论》(王育民李晖梁传甲)课后习题问题详解高等教育出版社

信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:1544.0312.032=⨯+⨯秒每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以信息速率为444.34159183.0=⨯比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=⨯比特/秒2.3 解:(a)一对骰子总点数为7的概率是366 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是361 所以得到的信息量为 17.5361log 2= 比特 2.4 解: (a)任一特定排列的概率为!521,所以给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为13521313521344!13C A =⨯所以得到的信息量为 21.134log 1313522=C 比特.2.5 解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 解: 可能有的排列总数为27720!5!4!3!12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y图中X 表示白杨或白桦，它有⎪⎪⎭⎫⎝⎛37种排法，Y 表示梧桐树可以栽种的位置，它有⎪⎪⎭⎫⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫⎝⎛37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得比特比特比特)01(log )01()0()00(log )00()0()(8113.04log 4134log 43)()(02698.04110435log 104354310469log 10469)1()01(log )01()0()00(log )00()0;(104352513/41)522121()0(/)1())11()1,10()10()1,00(()01(104692513/43)104109101()0(/)0())01()0,10()00()0,00(()00()(4512.04185log 854383log 83)1()01(log )01()0()00(log )00()0;(8551/4121)0(/)1()10()01(8351/43101)0(/)0()00()00()(,251225131)1(,2513100405451)10()1()00()0()0(,54511)1(,51101432141)10()1()00()0()0(,41)1(,43)0(222222222222+=====+=======+==+======+========⨯⨯+========+=========⨯⨯+========+=========+======+========⨯=========⨯=========-===⨯+====+======-===⨯+⨯====+=========x y p x y p x p x y p x y p x p X Y H X H c x p z x p z x p x p z x p z x p z X I z p x p x y p x y z p x y p x y z p z x p z p x p x y p x y z p x y p x y z p z x p b x p y x p y x p x p y x p y x p y X I y p x p x y p y x p y p x p x y p y x p a z p y z p y p y z p y p z p y p x y p x p x y p x p y p x p x p2.8 解:令{}{}R F T Y B A X ,,,,==，则比特得令同理03645.0)()(5.0,02.03.0)2.05.0(log 2.0)()2.05.0(log )2.05.0()2.03.0(log )2.03.0(5.0log 5.03.0log 3.0)5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)()()()()(5.0max 2'2222223102231022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-⨯+=+==p p I p I p pp p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P pp p B P B T P A P A T P T P2.9 & 2.12解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= 6log 2 比特 H(X)= H(X 1) = 6log 2 =2.585比特 H(Y)= H(X 2+X 3)=6log 61)536log 365436log 364336log 363236log 36236log 361(2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)=)27216log 2162725216log 2162521216log 2162115216log 2161510216log 216106216log 21663216log 2163216log 2161(222222222++++++= 3.5993比特所以H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744 =0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y)=1.0143比特 I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X 等概,接收数字为Y,显然101)(101)()()(919===∑∑==i j p i j p i Q j w i iH(Y)=log10比特奇奇奇奇偶18log 81101452log 211015)(log)()()(log )()(0)(log ),()(log ),()(22,2222=⨯⨯⨯⨯+⨯⨯⨯=--=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x所以I(X;Y)= 3219.2110log 2=-比特2.11 解:（a ）接收前一个数字为0的概率 2180)0()()0(==∑=i i i u p u q wbits p pw u p u I )1(log 11log )0()0(log )0;(2212121-+=-==（b ）同理 418)00()()00(==∑=ii iu p u q wbits p p w u p u I )1(log 22)1(log )00()00(log )00;(24122121-+=-== （c ）同理 818)000()()000(==∑=ii iu p u q wbits p p w u p u I )1(log 33)1(log )000()000(log )000;(28132121-+=-== （d ）同理 ))1(6)1(()0000()()0000(4226818p p p p u p u q w ii i+-+-==∑=bitsp p p p p p p p p p w u p u I 42264242268142121)1(6)1()1(8log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==2.12 解:见2.9 2.13 解: (b))/()/()/(1log)()/(1log)()/()/(1log)()/(1log)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z xyzxyzxyz+=+===∑∑∑∑∑∑∑∑∑∑∑∑(c))/()/(1log)/()()/(1log)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H xyzxyz=≤=∑∑∑∑∑∑（由第二基本不等式）或)1)/()/((log )/()()/()/(log)/()()/(1log)/()()/(1log)/()()/()/(=-⨯≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H xyzxyzxyzxyz（由第一基本不等式）所以)/()/(X Z H XY Z H ≤(a))/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

信息论基础第二版习题答案

信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。

信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。

而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。

本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。

第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。

求当p=0.5时，事件的信息量。

答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。

习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。

答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。

1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。

答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。

习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。

答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。

第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。

答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。

习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。

答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。

第二章习题解2013

=1960种排法保证没有两棵梧桐树相邻。
因此，若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为
log2 27720 log2 1960 =3.822 比特
2.9 随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、 H(Z|XY)，H(XZ|Y)和H(Z|X)。
解:易证每次出现i点的概率为 i
21
所以
I (x
i)

log 2
i ,i 21
1,2,3,4,5,6
I ( x 1) 4.392 比特
I ( x 2) 3.392 比特
I ( x 3) 2.807 比特
I (x 4) 2.392 比特
I ( x 5) 2.070 比特
第二章习题
2.1 莫尔斯电报系统中，若采用点长为0.2s，划长为0.4s，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。
解: 平均每个符号长为
2 0.2 1 0.4 4 秒
3
3
15
每个符号的熵为 2 log 3 1 log 3 0.9183 比特
解: d ( X , X ) H ( X / X ) H ( X / X ) 0
d ( X ,Y ) H ( X / Y ) H (Y / X ) 0
d(X ,Y ) H (X /Y ) H (Y / X ) H (Y / X ) H (X /Y ) d(Y, X )
z
p(z
/
xy) log
1 p(z /

通信原理第1-9 11章习题测试题 1-15 答案 ok

1-2 某信源符号集由A 、B 、C 、D 和E 组成，设每一符号独立出现，其概率分布分别为1/4、1/8、1/8、3/16和5/16。

试求该信源符号的平均信息量。

解：平均信息量（熵）H (x )符号）/(22.252.045.0375.025.01635.8162.7838321)67.1(165)4.2(163)3(81)3(81)2(41165log 165163log 16381log 8181log 8141log 41)(log )()(2222212bit x P x P x H i Mi i =++⨯+≈++++=----------=-----=-=∑=1-3 设有四个符号，其中前三个符号的出现概率分别为1/4、1/8、1/8，且各符号的出现是相对独立的。

试该符号集的平均信息量。

解：各符号的概率之和等于1，故第四个符号的概率为1/2，则该符号集的平均信息量为：符号）/(75.15.0375.025.021838321)1(21)3(81)3(81)2(4121log 2181log 8181log 8141log 41)(2222bit x H =+⨯+≈+++=--------=----=1-6 设某信源的输出由128个不同的符号组成，其中16个出现的概率为1/32，其余112个出现的概率为1/224。

信源每秒发出1000个符号，且每个符号彼此独立。

试计算该信源的平均信息速率。

解：每个符号的平均信息量符号）/(405.6905.35.2)81.7(2241112)5(32116224log 224111232log 32116)(22bit x H =+=⨯+⨯≈⨯+⨯=已知符号速率R B =1000(B)，故平均信息速率为： R b = R B ×H = 1000×6.405 = 6.405×103 (bit /s)2-6 设信号s (t )的傅里叶变换S ( f ) = sin πf /πf ，试求此信号的自相关函数R s (τ)。

第二章信源熵练习题

6、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、H(Y/X)则，X 和 Y 之间的平均互信息 I(X;Y)=（）
A、 H(XY)-H(Y)； B、 H(XY)-H(X)； C、 H(X)-H(X/Y)； D、 H(X)-H(Y/X)
7、已知离散随机变量 X 和 Y，及相应的熵 H(X)、H(Y)、H(XY)、 H(X/Y)、H(Y/X)则，X 和 Y 之间的平均互信息 I(X;Y)=（）
期望（或者概率统计/加权平均），在数学上表达为
H XY p( xi y j )I ( xi y j ) p( xi y j ) log p( xi y j ) 。
i 1 j 1 i 1 j 1
n
m
n
m
7. 条件熵是联合离散符号集合 XY 上，条件自信息量的的数学期望（或者概率统计/加权平均），在数学上表达为
是互信息在对应联合概率空间上的数学期望（概率统计平均/概率加权平均），也具有对称性 I (X; Y) I (Y; X) ，有三种表达形式：1）
I ( X; Y) H X H X / Y ；2） I (Y; X) H Y H Y / X ；3） I ( X; Y) H X H Y H XY 。
H X Y p ( xi y j )I ( xi y j ) p ( xi y j ) log p ( xi y j )
i 1 j 1 i 1 j 1
n
m
n
mቤተ መጻሕፍቲ ባይዱ
8. 平均符号熵是离散平稳信源输出 N 长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号熵，记为 H N X ，数学上表达为

第二章信息量和熵习题解09-08-11

第二章-信息量和熵习题解2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

解: 平均每个符号长为:1544.0312.032=⨯+⨯秒每个符号的熵为9183.03log 3123log 32=⨯+⨯比特/符号所以，信息速率为444.34159183.0=⨯比特/秒2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。

解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以，信息速率为600010006=⨯比特/秒2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。

试问各得到了多少信息量?解: (a)一对骰子总点数为7的概率是366 所以，得到的信息量为 585.2)366(log 2= 比特(b) 一对骰子总点数为12的概率是361所以，得到的信息量为 17.5361log 2= 比特2.4 经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少?(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解: (a)任一特定排列的概率为!521, 所以，给出的信息量为 58.225!521log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 13131313525213!44A C ⨯=所以，得到的信息量为 21.134log 1313522=C 比特.2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。

解:易证每次出现i 点的概率为21i,所以比特比特比特比特比特比特比特398.221log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21log )(2612=-==============-==∑=i i X H x I x I x I x I x I x I i ii x I i2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。

通信原理1-8章习题及答案(哈工程版)

7
T = (3 ~ 5)τ m = (9 ~ 15)ms 。
【题 2－7】若两个电阻的阻值都为 1000 Ω ，它们的噪声温度分别为 300K 和
400K，试求两个电阻串连后两端的噪声功率谱密度。
【答案 2－7】两个电阻的噪声功率普密度分别为
P 1 ( w) = 2kT 1 R1 P2 ( w) = 2kT2 R2
当 cos
ωτ
2
= 0 时，传输衰耗最大，此时
1 = n + π 即 2 2
1 所以，当 f = n + kHz ， n = 0,1, 2,L 时，对传输信号衰耗最大；当 f = nkHz ， 2 n = 0,1, 2,L 时，对传输信号最有利。
1 ω 1 f = = 2 = (n + )kHz 。 2π 2 τ nt
字母 x 出现的概率为 p ( x) = 0.002 ，由信息量公式，可知其信息量为： I x = log 2 1 1 = log 2 ( ) = 8.97bit p ( x) 0.002
【题 1－2】某信息源的符号集由 A,B,C,D 和 E 组成，设每一符号独立出现，其出现概率分别为 1/4,1/8,1/8,3/16 和 5/16。试求该信息源符号的平均信息量。【答案 1－2】直接利用公式 H ( x) = −∑ p ( xi ) log 2 p ( xi ) ( bit/ 符号 ) ，将 p ( A) = 1/ 4 ，
4
讨论：和理想信道的传输特性相比较可知，该恒参信道的幅频特性
H (ω ) = (1 + cos ωT0 ) 不为常数，所以输出信号存在幅频畸变。其相频特性

信息论第二章课后习题解答

这样，平均每个像素携带的信息量为：
每帧图像含有的信息量为：
按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率为：
（2）需30个不同的色彩度，设每个色彩度等概率出现，则其概率空间为：
由于电平与色彩是互相独立的，因此有
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
【2.13】每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？
解：信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述c) ，
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源, X={白黑} ，设黑色出现的概率为 P(黑) =0.3 ，白色出现的概率为P(白)=0.7。（1）假设图上黑白消息出现前后没有关联，求熵H(X) ；（2）假设消息前后有关联，其依赖关系为P(白|白)=0.9 ， P(白|黑)=0.2 ，P(黑|白)=0.1 ，P(黑|黑)=0.8 ，求此一阶马尔克夫信源的熵H2 。（3）分别求上述两种信源的冗余度，并比较H(X)和H2的大小，并说明其物理意义。
解：（1）如果出现黑白消息前后没有关联，信息熵为：
（2）当消息前后有关联时，首先画出其状态转移图，如下所示：
设黑白两个状态的极限概率为Q(黑) 和Q (白) ，
解得：
此信源的信息熵为：（3）两信源的冗余度分别为：
结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。

通信原理第二章(信道)习题及其答案

第二章（信道）习题及其答案【题2－1】设一恒参信道的幅频特性和相频特性分别为0()()d H K t ωϕωω⎧=⎨=-⎩其中，0,d K t 都是常数。

试确定信号()s t 通过该信道后的输出信号的时域表达式，并讨论之。

【答案2－1】恒参信道的传输函数为：()0()()d j t j H H e K e ωϕωωω-==，根据傅立叶变换可得冲激响应为：0()()d h t K t t σ=-。

根据0()()()i V t V t h t =*可得出输出信号的时域表达式：000()()()()()()d d s t s t h t s t K t t K s t t δ=*=*-=-讨论：题中条件满足理想信道（信号通过无畸变）的条件：()d d H ωωφωωτττ⎧=⎨⎩常数（）＝－或＝所以信号在传输过程中不会失真。

【题2－2】设某恒参信道的幅频特性为[]0()1cos d j t H T e ωω-=+，其中d t 为常数。

试确定信号()s t 通过该信道后的输出表达式并讨论之。

【答案2－2】该恒参信道的传输函数为()0()()(1cos )d j t j H H e T e ωϕωωωω-==+，根据傅立叶变换可得冲激响应为：0011()()()()22d d d h t t t t t T t t T δδδ=-+--+-+根据0()()()i V t V t h t =⊗可得出输出信号的时域表达式：0000011()()()()()()()2211 ()()()22d d d d d d s t s t h t s t t t t t T t t T s t t s t t T s t t T δδδ⎡⎤=⊗=⊗-+--+-+⎢⎥⎣⎦=-+--+-+讨论：和理想信道的传输特性相比较可知，该恒参信道的幅频特性0()(1cos )H T ωω=+不为常数，所以输出信号存在幅频畸变。

其相频特性()d t ϕωω=-是频率ω的线性函数，所以输出信号不存在相频畸变。

信息论第二章习题

（3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特
已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵
解：
2 P 3 1
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=ε*1/2 + (1-ε)*(1/2) =1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε
已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时，传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信息量 I(a1；b1)和I (a1；b2)
解： p(a 1/b1) p(a 1/b1) I(a1;b1)=log =log
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 H（X）= 4 x （ 1 log 2 1）
4 4
= 2比特/球
一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息所含的信息量和平均信息量。
解：平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号信息量 H1(X)=60*1.905=114.3比特

第二章课后习题

第二章课后习题2.2：假设一副充分洗乱了的扑克牌（含52张牌），（1）任一特定排列所给出的信息量是多少？（2）若从中抽取13张牌，所给出的信息量是多少？解：（1）任一特定排列所给出的信息量为事件A ；52张扑克牌的排列方式有A 5252，则牌P ()a =!521；即任一特定的信息量是I a )(=-㏒52！；（2）若从中抽取13张则其概率为P=1352134C ; 即其信息量为a I =-㏒1352134C ; 2.3：居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160CM 一上的，而女孩子中身高160cm 以上的占总数的一半。

假如我们得知“身高160cm 以上的某女生是大学生”的消息，问获得多少信息量？解：设某地区的女孩子是大学生为A 事件：则)(A P =0.25; 女孩中身高160cm 以上的为B 事件：则)(B P =0.5;且P(B/A)=0.75，则P(A/B)=)()(B P AB P =)()/()(B P A B P A P ∙=0.375; 则已知该事件获得的信息量为:I=㏒0.375= 1.415比特。

2.4：设离散无记忆信源⎪⎪⎭⎫ ⎝⎛)(X P X =⎭⎬⎫⎩⎨⎧8/14/14/18/34321a a a a ，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息量是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源无记忆，所以各消息之间相互独立，根据已知条件发出个消息所包含的信息量分别为:I(00=a )=㏒38=1.415比特 I(11=a )=㏒4=2比特I(22=a )=㏒4=2比特I(33=a )=㏒8=3比特得“0”共有14个，“1”有13个，“2”有12个，“3”有6个；得到的消息为I=14×1. 415+13×2+12×2+6×3≈87.81比特；（2）每个符号携带的信息量：I=4581.87=1.95比特/符号。

通信原理复习+习题

4. 码元传输速率与信息传输速率
二进制数字通信系统
码元速率＝信息速率
M进制(M=2n)数字通信系统
信息速率＝码元速率 log2 M= n 码元速率
【例】四进制系统的码元传输速率rd=2400波特，则信息传输速率 r＝rd log2 M=2400 log2 22 4800bps e
频率选择性衰落和时间弥散
频率选择性衰落造成的波形畸变称为“时间弥散”
频率选择性衰落——二径信道模型
V0 f t
V0
时延t0
V0 f t t0
V0 f t t0 V0 f t t0
f t
＋
V0 f t
V0
时延 t0＋τ
V0 f t t0
抽样速率的最小值
二进制代码的码元速率（n为编码位数）
传输速率最小传输带宽
复用路数
实际中用升余弦的传输特性，此时所需传输带宽为
速率等级
以1.5Mbps为基础的系列
群次日本体制
0次群 64
以2Mbps为基础的系列
北美体制
64
欧洲体制
64
1次群
2次群 3次群 4次群
1544
6312 32064 97728
3. 变参信道
变参信道对信号传输的影响
(1)产生瑞利型衰落，引起频率弥散 (2)产生频率选择性衰落，引起时间弥散
频率弥散与快衰落
从波形上看，多径传播的结果使确定的单一载频信号Vcosωct变成了包络和相位都随机变化的窄带信号，这种信号称为衰落信号；通常将由于电离层浓度变化等因素所引起的信号衰落称为慢衰落；而把由于多径效应引起的信号衰落称为快衰落

《信息论与编码理论》(王育民李晖梁传甲)课后习题答案高等教育出版社

信息论与编码理论习题解第二章 -信息量和熵2.1 解: 平均每个符号长为 :20.2 10.4 4 秒3315每个符号的熵为 2log31 log 3 0.9183 比特 /符号 32 3所以信息速率为 0.9183 15 3.444 比特 /秒42.2 解: 同步信号均相同不含信息,其余认为等概 ,每个码字的信息量为 3*2=6 比特；所以信息速率为 6 10006000 比特 /秒2.3 解:(a) 一对骰子总点数为 7 的概率是 636所以得到的信息量为log 2( 6) 2.585 比特36(b)一对骰子总点数为 12 的概率是 136所以得到的信息量为log 21 比特5.17362.4 解: (a)任一特定排列的概率为1,所以给出的信息量为52!1log252 !225.58比特(b) 从中任取 13 张牌 ,所给出的点数都不相同的概率为13! 413413A 5213C 135213所以得到的信息量为 log 2C 5213.21 比特 .4132.5 解:易证每次出现 i 点的概率为i,所以21I (x i )log 2i, i 1,2,3,4,5,6 21I (x1) 4.392 比特I (x2) 3.392 比特I (x3) 2.807 比特I (x4) 2.392比特I (x5) 2.070 比特I (x6) 1.807 比特6i log2i比特H(X)212.398i 1212.6 解: 可能有的排列总数为12!277203! 4! 5!没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中 X 表示白杨或白桦，它有73种排法， Y 表示梧桐树可以栽种的位置，它有8种排法，所以共有8 *7=1960种排法保证没有553两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为 log2 27720log 2 1960 =3.822比特2.7 解: X=0 表示未录取， X=1 表示录取；Y=0 表示本市， Y=1 表示外地；Z=0 表示学过英语， Z=1 表示未学过英语，由此得p( x0) 3 ,p(x1)4 p( y0)p( x 0) p( y 1 1 3 142 410 p( y 1)1 1 4 ,5 5p( z 0)p( y 0) p(z 14405 5 100 p( z 1)1 13 12 ,25 25(a) p( x0 y 0) p( yp( x1 y 0) p( y1 , 40 x 0)p( x 1) p( y 0 x 1)1 , 50 y 0) p( y 1) p( z 0 y 1)13 , 250 x 0) p( x 0) / p( y0)13 1310/5 84 0 x 1) p( x 1) / p( y0) 1 1 / 152 4 58I ( X ; y 0)p(x0 y p(x 0 y 0) p( x 1 y 0)0) log 2p(x 1 y 0) log 2p( x 0)p( x 1)3 log 2 35log 2 58 8 8 3 8 14 40.4512比特(b) p( x0 z 0)( p( z 0 y 0, x 0) p( y 0 x 0) p( z 0 y 1, x 0) p( y 1x 0)) p(x0) / p( z 0)(19 4 ) 3/1369 10 10 10 4 25 104p( x 1z 0)( p( z 0 y 0, x 1) p( y 0 x 1) p(z 0 y1, x 1) p( y 1 x 1)) p( x1) / p(z 0)(11 2) 1/13 3522 5 4 25104I ( X ; z 0)p( x 0 zp( x 0 z 0)p( x p(x 1 z 0)0) log 21z 0) log 21)p( x 0)p( x6969log 2104104343510435log 21041 40.02698 比特(c) H ( X )3 log 24 1 log 2 40.8113 比特4 3 4H(Y X)p( x 0) p( y 0 x 0) log 2 p( y 0 x 0) p( x 0) p( y 1 x 0) log 2 p( y 1x 0)p( x 1) p( y 0 x1) log 2 p( y 0 x 1)p( x 1) p( y 1 x1) log 2 p( y 1 x1)3 1log 2 10 3 9log 2 10 1 1 log 2 2 11log 2 2 410410 9 4 2 4 20.6017比特2.8 解:令X A,B,Y T,F,R ，则P(T)P(T A)P(A)P(T B)P(B)0.5 p0.3(1p)0.3 0.2 p同理P(F )0.50.2 p,P(R)0.2I ( p) I ( X ; Y)H (Y)H(Y X)(0.30.2p) log2 (0.30.2 p)(0.50.2p) log2 (0.50.2 p)0.2log 2 0.2(0.5 p log2 20.3 plog 21030.2 p log2 50.3(1p) log2103 0.5(1 p) log2 20.2(1p) log2 5)0.3log 2 0.30.5log 2 0.5(0.30.2p) log2 (0.30.2 p)(0.50.2 p) log2 (0.5 0.2 p)令I '( p)0.2 log2(0.50.2 p)0,得p0.50.30.2 pI ( p)max I ( p) p0 .50.03645比特2.9 & 2.12解:令 X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)= log26比特H(X)= H(X 1) = log26=2.585 比特H(Y)= H(X 2+X 3)=2( 1log 2 362log 2363log 2364log 2365log 236 )1log 2 6363623633643656 = 3.2744 比特H(Z)= H(X 1+X 2+X 3)=2( 1 log 2 216 3 log 2 216 6log 2 216 10 log 2 216 15 log 2 216216 216 3 216 6 216 10 216 15 21 216 25 216 27 216 )log 2 21 log 2 log 2 27216 216 25 216= 3.5993 比特所以H(Z/Y)= H(X 3)= 2.585 比特H(Z/X) = H(X 2+X 3)= 3.2744 比特H(X/Y)=H(X)-H(Y)+H(Y/X)= 2.585-3.2744+2.585 =1.8955 比特H(Z/XY)=H(Z/Y)= 2.585 比特 H(XZ/Y)=H(X/Y)+H(Z/XY)=1.8955+2.585=4.4805 比特I(Y;Z)=H(Z)-H(Z/Y)=H(Z)- H(X 3)= 3.5993-2.585 =1.0143 比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249 比特I(XY ;Z)=H(Z)-H(Z/XY)=H(Z)-H(Z/Y)=1.0143 比特I(Y;Z/X)=H(Z/X)-H(Z/XY)=H(X 2+X 3)-H(X3) =3.2744-2.585=0.6894 比特I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y)=02.10 解:设系统输出10 个数字 X 等概 ,接收数字为 Y,9191显然 w( j )Q(i ) p( j i )p( j i )i010 i 110H(Y)=log10H(YX)p( x, y) log 2 p( y x)p( x, y) log2 p( y x)y x 偶y x 奇0p( x) p( x x) log 2 p( x x)p(x) p( y x) log 2 p( y x) i奇y x,奇 x奇511log2 2 5 411log2 81021081比特所以I(X;Y)=log 2 10 1 2.3219比特2.11 解:（a）接收前一个数字为0 的概率81w( 0)q(u i ) p( 0 u i )2i 0I (u1 ;0)log2p(0 u1)1p(1 p) bitslog 21 1 log 2w(0)28（b ）同理w(00)q(u ) p(00 u ) 41iI (u 1;00)p(00u 1)log 2 (1p)22 2 log 2 (1 p) bitslog 2 w(00)14（c ）同理 w(000)8q(u i ) p(000 u i )81i 0I (u 1;000) log 2 p(000u 1 ) log 2 (1 p)33 3log 2 (1p)bitsw(000)18（d ）同理 w(0000 )8q(u i ) p(0000 u i )81((1p)66 p 2 (1 p)2p 4 )i 0p(0000u 1 )(1 p)4I (u 1;0000)log 2w(0000)log 281((1 p)6 6 p 2 (1p) 2p 4 )log 2 8(1 p) 4bits(1 p) 6 6 p 2 (1 p) 2p 42.12 解:见 2.92.13 解:(b)H(YZ/ X)xyzxyzxyzH(Y/ X)1p( xyz)logp( yz / x)1p( xyz) logp( y / x) p(z / xy)11p( xyz) logp(xyz)logp( y / x)x yzp( z / xy)H(Z/ XY)(c)H (Z / XY )p(xy)p( z / xy) log1xyzp(xy)xyzH(Z / X)p(z / xy)1p( z/ xy) log （由第二基本不等式） p(z / x)或H(Z/XY)H(Z/X)p(xy)1p( z / xy) logxyzp(z / xy)p( xy)p( z/ xy) log1p( z / x)xyzp( xy)p( z/ xy) logp(z / x)（由第一基xyzp( z / xy )p( xy)p(z / xy) log e( p(z / x)1)xyzp(z / xy)本不等式）所以H(Z/XY) H(Z/X)(a)H(Y/ X) H(Z / X)H(Y/ X) H(Z/XY) H(YZ/X)等号成立的条件为 p(z / xy) p( z / x) ,对所有 xX , y Y, z Z ,即在给定 X条件下 Y 与 Z 相互独立。

《通信原理》课后习题答案

解：E[X(t)]=P( =0)2 +P( = /2)
习题2.2设一个随机过程X(t)可以表示成：
判断它是功率信号还是能量信号？并求出其功率谱密度或能量谱密度。
解：为功率信号。
习题2.3设有一信号可表示为：
试问它是功率信号还是能量信号？并求出其功率谱密度或能量谱密度。
解：它是能量信号。X(t)的傅立叶变换为：
则能量谱密度G(f)= =
习题2.4X(t)= ，它是一个随机过程，其中和是相互统计独立的高斯随机变量，数学期望均为0，方差均为。试求：
(1)E[X(t)]，E[ ]；(2)X(t)的概率分布密度；(3)
解：(1)
因为相互独立，所以。
又因为，，所以。
故
(2)因为服从高斯分布，的线性组合，所以也服从高斯分布，其概率分布函数。
第一章习题
习题1.1在英文字母中E出现的概率最大，等于0.105，试求其信息量。
解：E的信息量：
习题1.2某信息源由A，B，C，D四个符号组成，设每个符号独立出现，其出现的概率分别为1/4，1/4，3/16，5/16。试求该信息源中每个符号的信息量。
解：
习题1.3某信息源由A，B，C，D四个符号组成，这些符号分别用二进制码组00，01，10，11表示。若每个二进制码元用宽度为5ms的脉冲传输，试分别求出在下列条件下的率谱密度和功率P。
解：
习题1.8设一条无线链路采用视距传输方式通信，其收发天线的架设高度都等于80 m，试求其最远的通信距离。
解：由，得
习题1.9设英文字母E出现的概率为 0.105， x出现的概率为0.002 。试求 E
和x的信息量。
解：
习题1.10信息源的符号集由 A，B，C，D 和E 组成，设每一符号独立1/4出现，其出现概率为1/4,1/8,1/8,3/16和5/16。试求该信息源符号的平均信息量。