信息论与编码试卷及答案2
信息论与编码习题与答案第二章
36第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、 噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？ 计算方法？ 冗余度？具有概率为p （x ）的符号x 自信息量：I （X ）- -iogp （x ） 条件自信息量：|（X i= —log p （X i y i ）平均自信息量、平均不确定度、信源熵：H （X ）二-為p （x ）log p （x ）iH (XY )=送 p (X i ,y j )|(X i y j ) 一瓦ijij联合熵： H (XY )=：Z p (X i ,y j )I(X i ,y j ^Z p (X i ,y j )log p (X i ,y j)ijij互信息： 弋pyx)亍 pyx) l(X;Y)=W p(X i , y .)log=S p(X i )p(y . X i )log j 入儿p(y j )j 入儿入p(y j )熵的基本性质：非负性、对称性、确定性2.3同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求:（1） “3和5同时出现”这事件的自信息； （2） “两个1同时出现”这事件的自信息；（3） 两个点数的各种组合（无序）对的熵和平均信息量； （4） 两个点数之和（即2, 3, , , 12构成的子集）的熵； （5） 两个点数中至少有一个是1的自信息量。
解: （1）I (xj =-log p(xj 工「log 丄 4.170 bit181l(xj - - log p(xj - - log 5.170 bit条件熵: p (X i ,y j )lo gp (X i y j )p(X i )11116 6 6 61 181 p(x"61 36(1 1 11、 H(X)=—E p(X j )log p(xj = — 6汉 一log — +15 汉一log — 丨=4.337 bit/symbol i< 36 36 18 18 丿(4)两个点数求和的概率分布如下：X234 5 6 7 8 9 10 11 12\=V1 115 15 11 1 1P(X)広 18 12 9 36 6 36 9 12 18 36 H(X) =p(X i )log p(X i )i(1 1 11 1 1 1 1 5511)=_2汉 log +2 乂 log+2 工 log +2乂 log +2 工 log + log< 36 36 181812 12 9 936 36 6 6 J= 3.274 bit / symbol(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}11 l(x 」--log p(x 」-- log 1.71036X x 1 = 0 x 2 = 1 x 3 = 2 x 4 = 32.7设有一离散无记忆信源，其概率空间为=f 丿 <3/8 1/41/4 1/8 丿(1 )求每个符号的自信息量 (2)信源发出一消息符号序列为 {202 120 130 213 001 203 210 110 321010 021032 011 223210}，求该序列的自信息量和平均每个符号携带的信息量18I (x 1) = log 2log 21.415bit p(x 1)3同理可以求得 1(x2)二 2bit, I (x3) = 2bit, I (x4) = 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就I =141(X 1) 131(X 2) 121(X 3) 61(X 4)=87.81bit11 12 13 14 1516 21 22 23 24 2526 31 32 33 34 3536 41 42 43 44 4546 51 52 53 54 5556 616263646566共有21种组合：其中11，22,33， 44,55, 66的概率是 1 1 X —6 6 ⑶两个点数的排列如下:1 1 1其他15个组合的概率是2 ——二—6 6 181 36p(X i )— 11 6 6 11 36bit解:2.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解：四进制脉冲可以表示 4个不同的消息，例如 八进制脉冲可以表示 8个不同的消息，例如 二进制脉冲可以表示 2个不同的消息，例如 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量 H (XJ = log n = Iog4 = 2 bit/symbol 八进制脉冲的平均信息量 H (X 2) = log n = Iog8 = 3 bit/symbol 二进制脉冲的平均信息量 H (X 0) = log n = log2 = 1 bit/symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2倍和3倍。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码习题参考答案(全)
1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？
解:
2.21设某信道的信道矩阵为
试求：
(1)该信道的信道容量C；
(2)I(a1;Y)；
(3)I(a2;Y)。
解:
2.22设某信道的信道矩阵为
试该信道的信道容量C；
解:
2.23求下列二个信道的信道容量，并加以比较(其中0<p,q<1,p+q=1)
(1)
(2)
解:
2.27设某信道的信道矩阵为
其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，CN表示N个离散信道的容量。试证明，该信道的容量 比特/符号，且当每个信道i的利用率pi＝2Ci-C(i＝1,2,…,N)时达其容量C。
解：
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是：
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3;
P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3;
解:
2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算：
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
专升本《信息论与编码》_试卷_答案
专升本《信息论与编码》_试卷_答案专升本《信息论与编码》⼀、（共48题,共150分）1. H(X)____________0，⼩概率事件对熵的贡献____________，确定事件的信息量____________0。
（6分）标准答案：1. >= ;2. ⼩;3. =;2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。
（4分）标准答案：1. =;2. ;3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率________，码长⽅差________。
（6分）标准答案：1. ⼀样;2. ⼀样;3. 不⼀定⼀样;4. N个独⽴并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输⼊要________________，.所有信道的输⼊概率分布是各⾃信道的________________。
（4分）标准答案：1. 相互独⽴;2. 最佳分布;5. 通信系统中的编码器包括____________________，____________________，____________________。
（6分）标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器;6. 率失真函数R（D）的最⼤值为________________，最⼩值为________________。
（4分）标准答案：1. H(X);2. 0;7. 某事件的概率为p(x)，则⾃信息量为（）。
（2分）A.-p(x)B.1/ p(x)C.-log p(x)D.log p(x)标准答案：C8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。
（2分）A.1 bitB.2 bitC.3 bitD.4 bit标准答案：A9. 下列关于条件熵的结论，不成⽴的是（）（2分）A.H(X/Y)C.H(X/Y)标准答案：B10. 使I(X;Y)=0成⽴的条件是（）: （2分）A.X和Y相互独⽴B.H (X) =H(Y)C.X和Y的概率分布相同标准答案：A11. 以下关于离散⽆记忆信源（熵为H(X)）的结论，不正确的是（）: （2分）A.是平稳信源B.其N次⽆记忆扩展信源的熵是NH(X)C.其极限熵⼤于H(X)标准答案：C12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分）A.C RB.C=RC.C R 标准答案：A13. 某信源有8个符号，其信源熵为2.4 bit，进⾏⼆元定长编码（不扩展），则其编码效率⾄少可达（）（2分）A.80%B.85%C.90%D.95%标准答案：A14. 在准对称信道中，要达到信道容量，要求（）: （2分）A.信源和信宿的概率分布⼀致B.信源为等概分布C.信宿为等概分布标准答案：B15. 在信道编码中，简单重复编码可以（）: （2分）A.减⼩但降低了信息传输率B.提⾼了信息传输率，但增⼤了PEC.减⼩并提⾼了信息传输率标准答案：A16. ⼆元码C={(000),(011),(101),(110)，该码的最⼩码距是（）:。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码期末复习试题2套含答案(大学期末复习资料)
莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。
3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。
求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。
信息论与编码考试答案
B 卷答案一、设有一离散无记忆信源，其概率空间为⎥⎦⎤====⎢⎣⎡=⎥⎦⎤⎢⎣⎡8141418343213210x x x x P X （1）求每个符号的自信息量；（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 22 3 210}，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）每个符号携带的自信息量：I(0)=－log3/8=1.42bit, I(1)=－log1/4=2bit I(2)=－log1/4=2bit, I(3)=－log1.8=3bit （2）消息序列的自信息量：I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号 二、某信源有8个符号{1u ，···，8u }，概率分别为21，41，81，161，321，641，1281，1281，试编成000,001,010,011,100,101,110,111的码。
（1）求信源的符号熵H(U)； （2）求这种码的编码效率；（3）求出相应的香农码和费诺码； （4）求该码的编码效率。
解： （1）H(U)=i i ip p261log ∑=-=1.984（bit/符号）（2）编码效率LU H )(=η=66.15﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪ 三、有四个符号a ，b ，c ，d 对应概率分别为p(a)=21，p(b)=41，p(c)=81，p(d)=81，对序列S=abda 做算术编码。
解：设起始状态为空序列φ，则A(φ)=1，C(φ)=0，递推得 C(a,b,d,a)=0.010111 A(a,b,d,a)=0.0000001 因此编码的码字为010111 四、某线性二进制码的生成矩阵为G=⎢⎢⎢⎣⎡011100111100101011100⎥⎥⎥⎦⎤，求： （1）用系统码[I ︱P]的形式表示G ；（2）计算该码的校验矩阵H ；（3）列出该码的伴随式表； （4）计算该码的最小距离。
信息论与编码试卷及答案
信息论与编码试卷及答案一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√ ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（√ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
(完整word版)信息论与编码试卷及答案分解
-、(11'填空题(1) 1948年，美国数学家香农_________ 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。
(2) 必然事件的自信息是_0 ________ 。
(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 _________ 。
(4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为「信源符号等概分布_(5) 若一离散无记忆信源的信源熵H(X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为」________ 。
(6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
(7) 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2 _________ 个码元错误，最多能纠正1__个码元错误。
(8) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R _小于_ C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9) 平均错误概率不仅与信道本身的统计特性有关，还与—译码规则_______________ 和_编码方法___有关三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示"大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2分) I(A|B)=-Iog0.375=1.42bit ( 1 分)四、(5)证明：平均互信息量同信息熵之间满足l(X;Y)=H(X)+H(Y)-H(XY)证明：< p(x yj )l(X;Y) = Z 送pgy j )og ----------- -----X Y p(x )=-Z Z p(xy j )og pg )—」—E Z p(xy j Jog p(x y ji (2分)X Y X Y=H X -H XY同理I X;Y =HY -HYX (1分)则HYX 二H Y -I X;Y因为H(XY )=H(X )+H(Y|X ) (1 分)故H XY =HX H Y -I X;Y即I X;Y = H X H Y - H XY (1 分)五、（18' •黑白气象传真图的消息只有黑色和白色两种，求：X的数学模型。
信息论与编码试卷及答案2.doc
（119填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是_0 ________ o（3）离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的嫡的N倍。
（4）对于离散无记忆信源，当信源炳冇最大值时，满足条件为一信源符号等概分布（5）若一离散无记忆信源的信源癇H（X）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ o（6）対于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是_______________ o （7）已知某线性分组码的最小汉明距离为3,那么这组码戢多能检测出 ____________ 个码元错误，最多能纠正_ 个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R —小丁〔 C （大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错课概率不仅与信道本身的统计特性有关，还与____________ 和—编码方法有关二、（99判断题（1）信息就是一•种消息。
（x ）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的冇效性和可靠性。
（7 ）（3）概率大的事件自信息量大。
（x ）（4）互信息量可正、可负亦可为零。
（7 ）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（x ）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（V ）(7)非奇界码一定是唯一可译码，唯一可译码不一定是非奇界码。
(x )(8)信源变长编码的核心问题是寻找紧致码(或最住码)，崔夫曼编码方法构造的是最佳码。
(7 )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. (x )三、(5‘)居住在某地区的女孩中有25%是大学生，在女人学生中有75%是身高1.6米以上的, 而女孩屮身高1.6米以上的占总数的一半。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
篇一：信息论与编码期末题(全套)〔一〕7、某二元信源一、判断题共 10 小题，总分值 20 分.1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕2. 由于构成同一空间的基底不是唯一的，所以不同的基1X0P(X)1/21/2，其失真矩阵0a，那么该信源的Dmax= Da0三、此题共 4 小题，总分值 50 分.1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0. 〔〕10.必然事件和不可能事件的自信息量都是0. 〔〕二、填空题共 6 小题，总分值 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是的目的是 .3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .4、香农信息论中的三大极限定理是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么I(XN,YN)NI(X,Y)成立的条件6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . iP1/21/201/21/41/4.〔1〕计算接收端的平均不确定度H(Y)；〔2〕计算由于噪声产生的不确定度H(Y|X)；〔3〕计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移图2-13图如右图所示，信源X的符号集为{0,1,2}. 〔1〕求信源平稳后的概率分布；〔2〕求此信源的熵；〔 3 〕近似地认为此信源为无记忆时，符号的概率分布为平 X )稳分布.求近似信源的熵H(并与H进行比拟.4 、设二元( 7 , 4 ) 线〔1〕给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；)，试计算出其对应的伴随式S并按照最小距离译码准那么试着对其译码. 〔二〕一、填空题〔共15分，每空1分〕1、信源编码的主要目的是，信道编码的主要目的是。
2、信源的剩余度主要来自两个方面，一是，二是。
XY3、三进制信源的最小熵为，最大熵为。
4、无失真信源编码的平均码长最小理论极限制为。
5、当时，信源与信道到达匹配。
6、根据信道特性是否随时间变化，信道可以分为和。
7、根据是否允许失真，信源编码可分为和。
8、假设连续信源输出信号的平均功率为2，那么输出信号幅度的概率密度是时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“,,,〞或“〞〔1〕当X和Y相互独立时，H〔XY〕H(X)+H(X/Y) H(Y)+H(X)。
〔2〕HHX1X2HX1X2X32X2H3X3〔3〕假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y)H(X)。
三、〔16分〕信源Ss1s2s3s4s5s6P0.20.20.20.20.10.1〔1〕用霍夫曼编码法编成二进制变长码；〔6分〕〔2〕计算平均码长L;〔4分〕〔3〕计算编码信息率R;〔2分〕〔4〕计算编码后信息传输率R;〔2分〕〔5〕计算编码效率。
〔2分〕四、〔10分〕某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5s。
计算：〔1〕信息传输速率Rt。
〔5分〕五、(16分)一个一阶马尔可夫信源，转移概率为PS|S23|S111,PS213,PS1|S21,PS2|S20。
(1) 画出状态转移图。
(4分)(2) 计算稳态概率。
(4分)(3) 计算马尔可夫信源的极限熵。
(4分)(4) 计算稳态下H1,H2及其对应的剩余度。
(4分) 六、设有扰信道的传输情况分别如以下图。
试求这种信道的信道容量。
七、(16分)设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。
定义另一个二元随机变量Z=XY(一般乘积)。
试计算 (1) HX,HZ;(2) HXY,HXZ;(3) HX|Y,HZ|X;(4) IX;Y,IX;Z;八、(10分)设离散无记忆信源的概率空间为Xx1x2P0.80.2，通过干扰信道，信道输出端的接收符号集为Yy1,y2，信道传输概率如以以下图所示。
x1y1x2y2(1) 计算信源X中事件x1包含的自信息量； (2) 计算信源X的信息熵； (3) 计算信道疑义度HX|Y； (4) 计算噪声熵HY|X；(5) 计算收到消息Y后获得的平均互信息量。
信息论根底2参考答案一、填空题〔共15分，每空1分〕 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为log32 4、无失真信源编码的平均码长最小理论极限制为信源熵〔或H(S)/logr= Hr(S)〕。
5、当R=C或〔信道剩余度为0〕时，信源与信道到达匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、假设连续信源输出信号的平均功率为2，那么输出信号幅度2的概率密度是高斯分布或正态分布或fx2x时，信源具有最大熵，其值为值1log2e22。
9、在下面空格中选择填入数学符号“,,,〞或“〞〔1〕当X和Y相互独立时，H〔XY〕=H(X)+H(X/Y)=H(Y)+H(X)。
〔2〕HHX1X2HX1X2X32X2H3X3〔3〕假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
三、〔16分〕信源Ss1s2s3s4s5s6P0.20.20.20.20.10.1〔1〕用霍夫曼编码法编成二进制变长码；〔6分〕〔2〕计算平均码长L;〔4分〕〔3〕计算编码信息率R;〔2分〕〔4〕计算编码后信息传输率R;〔2分〕〔5〕计算编码效率。
〔2分〕〔1〕S10.200S20.21S1.030.20S140.21S050.11S60.11编码结果为：S100S201S3100S4101 S5110S61116〔2〕LPii0.420.632.6码元i1〔3〕Rlogr=2.6〔4〕RHS2.530.973bit2.6其中，HSH0.2,0.2,0.2,0.2,0.1,0.12.53〔5〕HSSlogrH0.973评分：其他正确的编码方案：1，要求为即时码 2，平均码长最短四、〔10分〕某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5s。
计算：〔1〕信息传输速率Rt。
〔5分〕〔1〕R1ttHXHXHX18log184112log21log81log2 22312log22log22log22bitR2bitts41060.5bps五、(16分)一个一阶马尔可夫信源，转移概率为PS211|S13,PS2|S13,PS1|S21,PS2|S20。
(1) 画出状态转移图。
(4分)(2) 计算稳态概率。
(4分)(3) 计算马尔可夫信源的极限熵。
(4分)(4) 计算稳态下H1,H2及其对应的剩余度。
(4分) 解：(1)1(2)由公式PSi2PSi|SjPSjj1有2PS1PS|SPS2PS1PS21iii132PS12PS2|SiPSiPS1 i13PS1PS21PS3得14PS124(3)该马尔可夫信源的极限熵为：22HPSiPSj|SilogPSj|Sii1j13423log2311343log3120.578141.5990.681bit符号0.472nat符号0.205hart(4)在稳态下：2Px3311ilogPxii14log44log40.811bit符号H2H0.205hart符号0.472nat0.681bit对应的剩余度为H10.81111H10.189012log11122log221H20.681H10.319 0112log2112log2六、设有扰信道的传输情况分别如以下图。
试求这种信道的信道容量。
XY解：信道传输矩阵如下112200011P220Y|X1001 221122可以看出这是一个对称信道，L=4,那么信道容量为Clog4H112,2,0,0LlogLpyj|xilogpyj|xij1log42112log21bit七、(16分)设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。
定义另一个二元随机变量Z=XY(一般乘积)。
试计算 (1) HX,HZ; (2) HXY,HXZ; (3) HX|Y,HZ|X; (4) IX;Y,IX;Z;HXH12,121bitH(2)H34,140.8113bit(2) HXYHXHY112bit对HXZHXHZ|X11112H1,012H2,21.5bit对(3) HX|YHX1bitHZ|X112H1,02H112,20.5bit(4) IX,YHYHY|XHYHY0 IX,ZHZHZ|X0.81130.50.3113bit八、(10分)设离散无记忆信源的概率空间为Xx1x2P0.80.2，通过干扰信道，信道输出端的接收符号集为Yy1,y2，信道传输概率如以以下图所示。
x1y1x2y2(6) 计算信源X中事件x1包含的自信息量； (7) 计算信源X的信息熵； (8) 计算信道疑义度HX|Y； (9) 计算噪声熵HY|X；(10) 计算收到消息Y后获得的平均互信息量。
解：(1) Ix1log0.80.322bit0.0969hart0.223nat (2) HXH0.8,0.20.722bit0.5nat0.217hart符号 (3)HXYH23,215,320,1201.404bit符号0.973nat0.423hartHYH49/60,11/600.687bit0.476nat0.207hart符号HX|YHXYHY0.717bit0.497nat0.216hart(4)HY|XHXYHX0.682bit0.473nat符号0.205hart符号(5)IX;YHXHX|Y0.00504bit符号0.00349nat符号0.00152hart(三)一、选择题〔共10分，每题2分〕1、有一离散无记忆信源X，其概率空间为Xx1x2x3x4P0.50.250.1250.125，那么其无记忆二次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。