信息论与编码技术复习题3-4
信息论与编码理论-第3章信道容量-习题解答
信息论与编码理论-第3章信道容量-习题解答-071102(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位3-2 求下列三个信道的信道容量及其最佳的输入概率分布。
信息论与编码题库及答案
信息论与编码题库及答案信息论是一门关于信息传输和处理的学科，主要研究信息的传输、存储与处理，以及在信息传输过程中可能产生的各种噪声和干扰。
信息论在近年来得到了广泛的应用，尤其在计算机科学、通信工程、数据处理以及加密技术等领域中得到了广泛应用。
作为信息处理学科的一个分支，编码学是信息论中重要的研究领域之一，主要研究在信息传输的过程中如何将信息进行编码，并在保证高可靠性的同时减少信息传输的开销。
现代编码学研究所涉及到的内容非常广泛，包括错误检测、纠正编码、信息压缩以及密码学等领域。
为了帮助广大信息与通信工程学习者更好地掌握编码理论及其应用，以下总结了一些编码学的题库及答案，供大家参考。
一、错误检测编码1. 什么是奇偶校验码？答：奇偶校验码是一种简单的错误检测编码方式，它采用了消息的一位奇偶性作为编码方式。
具体而言，对于一组位数固定的二进制数，在其中加入一个附加位，使得这组数的位数为偶数。
然后将这些二进制数按照某种规则排列，例如相邻的两位组成一组，计算每组中1的个数。
如果某组中1的个数是偶数，则附加位赋值为0，否则为1。
这样，如果在传输的过程中数据出现了单一位的错误，则会被检测出来。
2. 什么是海明编码？答：海明编码是一种通过添加校验位来实现错误检测和纠正的编码方式。
在海明编码中，校验位的数目为2的k次幂个，其中k 表示数据位中最大1的位置数。
具体而言，将原始信息看作一组二进制数，再将这些数按照某种规则排列，然后按照一定的算法计算出每个校验位的值，并将这些值添加到原始信息中。
在传输的过程中，如果发现了错误的位，则可以通过一系列错误检测和纠正的操作来确定和修复出错的信息位。
二、信息压缩编码1. 什么是霍夫曼编码？答：霍夫曼编码是一种基于无损数据压缩的编码方式，它的特点是可以将原始信息中出现最频繁的字符用最短的二进制码来表示，同时将出现次数较少的字符用较长的二进制码来表示。
具体来说，霍夫曼编码首先对原始信息中的字符进行统计，确定每个字符出现的频率。
《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是什么？2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码复习题
一、填空题（共10小题，每题1分）1.即时码又称为（非延长码），有时叫做（异前缀码）。
d）。
2.码的纠检错能力取决于码字的（最小距离min3.如果信源为X，信宿为Y，那么信道疑义度为（），噪声熵为（）。
4.把信息组原封不动地搬到码字前k位的（n,k）码就叫做（系统码）。
5.循环码的任何一个码字的循环移位仍是码字，因此用一个基底就足以表示循环码的特征。
所以描述循环码的常用数学工具是（码多项式）。
6.香农于1948年发表了（通信的数学理论），这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
7.冗余度来自两个方面，一是（信源符号之间的相关性），二是（信源符号分布的不均匀性）。
8.差错控制的途径是：（增大信道容量C），（减小码率R），（增加码长N）。
9.信源编码的主要任务是(减少冗余，提高编码效率)。
10.汉明码是能纠正1个随机错误码元的完备码，它的码长n与监督位长度m（=n-k）之间的关系式为( )。
11.信道编码的主要目标是(提高信息传送的可靠性)。
12.信源可分为两大类，及（）信源和（）信源。
13.唯一可译码又分为（）码和（）码。
14.游程编码的码字通常由（）和（）组合而成。
15.从系统的角度，运用纠/检错码进行差错控制的基本方式有（）、（）和（）。
16.常用的译码方法有（）译码和（）译码。
二、判断题（共10小题，每题1分）1.由于构成同一线性分组码空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。
2.可以用生成多项式来描述任何线性分组码。
3.只要传信率R大于信道容量C，总存在一种信道码及解码器，可以以所要求的任意小的差错概率实现可靠通信。
4.码字长度i k符合克劳夫特不等式，是唯一可译码存在的充分必要条件。
5.对于m阶马尔科夫信源来说，在某一时刻出现的符号，取决于前面已出现的m个符号。
6.根据熵的可加性，序列的熵等于组成序列的各符号熵之和。
7.哈夫曼码在编码时充分考虑了信源符号分布的不均匀性和符号之间的相关性。
信息论与编码理论-第3章信道容量-习题解答-071102
第3章 信道容量习题解答3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3⎡⎤⎢⎥⎣⎦解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2i=13311H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-⨯-=∑符号111121*********j j j=132117p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125p(b )=p(a )p(b |a )+p(a )p(b |a )=4343127755H(Y)=p(b )log(b )=log()log()0.9799(/)12121212bit ⨯+⨯=⨯+⨯=---=∑符号 22i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )2211log()log()0.9183(/)3333i jjbit -=-=-⨯-⨯=∑∑符号I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)=-plog(p)-(1-p)log(1-p)1122C =1-H(P)=1+log()+log()=0.0817(bit/)3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，}注意单位3-4 设BSC 信道的转移概率矩阵为112211Q εεεε-⎡⎤=⎢⎥-⎣⎦1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中()log (1)log(1)H εεεεε=----。
信息论与编码学考试试题
信息论与编码学考试试题1. 信息的概念信息：是指各个事物运动的状态及状态变化的方式。
（具有不确定性，任何已经确定的事物都不含有信息）2. 相对熵的概念及计算连续信源可以假设是一个不可数的无限多个幅度值的信源，需要无限多个二进制数来表示，因此它的熵为无穷大。
连续信源的熵具有相对性，有时也叫相对熵。
连续信源熵（相对熵）：Hc(X)=x p x P X X )(log )(?∞∞--3. 信源熵的概念及计算信源中各个符号不确定度的数学期望叫做信源熵H(X)=E[I(X)]= )(log )()()(21i i ni i i i x p x p x I x p ∑∑=-= 单位：比特/符号其中：0≤ )p(x i ≤1，当信源中只含一个符号x 时，必定有)p(x i =1.4. 分组码将信源消息分成若干组，即符号序列X i ，X i =（X 1，X 2 (X)l ...X L ),序列中的每个符号取自于符号集A,X l ∈{a 1,a 2,...,a i ,...,a n }.而每个符号序列X i 依照固定的码表映射成一个码字Y i ，这样的码称为分组码，也叫快码。
只有分组码才有对应的码表，而非分组码中不存在。
5. 唯一可译码任意有限长的码元序列，只能被唯一的分割成一个个的码字，便称为唯一可译码。
唯一可译码分为：非即时码和即时码6. 唯一可译码存在的充分必要条件的概念及应用用树的概念可导出唯一可译码存在的充分必要条件，即各码字的长度Ki 应符合克劳夫特不等式：∑=-n K i m1i ≤1 （m 是进制数，n 是信源符号数）7. 疑义度的概念及计算条件熵H(X/Y)可以看做是信道上的干扰和噪声所造成的对信源符号x 的不确定度，故又称为疑义度或损失熵。
H(X/Y)=E[I(x i /y i )]= )/()(j ,i i i ii y x I y x p ∑ =)/(log )(-j,i i i i i y x p y x p ∑ 散布度或噪声熵H(Y/X)=E[I(y i /x i )]= )/y ()(j ,i i i ii x I y x p ∑ =)/y (log )(-j,i i i i i x p y x p ∑8. 恒重码的概念如果码集的所有码字都具有相同的重量，这种码就叫做恒重码9. 平均自信息量的概念及计算平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。
信息论与编码技术练习题
一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）14、互信息的统计平均为平均互信息量，都具有非负性。
（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）18、在信息处理过程中，熵是不会增加的。
（√）19、熵函数是严格上凸的。
（√）20、信道疑义度永远是非负的。
（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论与编码试卷_信息论与编码试卷题目及答案
最大熵值为组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。
只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。
息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。
信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。
《信息论与编码》第三章部分习题参考答案
第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。
如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。
其中C1,C2,C3,C6都是唯一可译码。
对于码C2和C4都满足craft 不等式。
但是不满足码树的条件。
就只能举例来判断。
对C5：61319225218ki i ---==+⨯=>∑，不满足该不等式。
所以C5不是唯一可译码。
(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。
特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。
其中C1,C3,C6都是即时码。
对C2：“0”是“01”的前缀，……，所以C2不是即时码。
(1) 由平均码长61()i i i K p x k ==∑得1236 3 1111712(3456) 241681111712(3456) 2416811152334 24162K bitK bitK bitK bit==⨯+⨯+⨯+++==⨯+⨯+⨯+++==⨯+⨯+⨯⨯=62111223366()()log () 2 /()266.7%3()294.1%178()294.1%178()280.0%52i i i H U p u p u H U K H U K H U K H U K ηηηη==-=============∑比特符号3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。
(2) 先求熵和平均码长，二者的比值即信息传输速率2()()log () 2 /()...2/()1 bit/i i Ii i IH p x p x bit k p x k H R k=-======∑∑X X 符号码元符号码元时间(3)编码效率：η = 1 =100%3-11解：(1)621()()log () 2.355/i i i H X p x p x ==-=∑比特符号(2)香农编码如下表所示：61()0.322(0.220.180.16)30.0840.0452.84/i i i k p x k ===⨯+++⨯+⨯+⨯=∑码元符号() 2.3550.82982.9%2.84H X kη==== （3）费诺编成二进变长制码，%1.984.2355.2)(4.24*04.04*08.03*16.02*18.02*22.02*032)(61====+++++==∑=k x H k x p K ii iη（4）huffman 编码%1.984.2355.2)(4.21=====k x H ii iη（5）huffman 三进制%7.7511.3355.2)(11.33log *)3*04.03*08.03*16.02*18.02*22.01*032(3log *)(2261====+++++==∑=k x H k x p K ii iη（6）log 26=2.58 采用定长码则必须使得K=3才能完成编码 效率%5.783355.2)(===k x H η（7）046.0%1.98355.2355.2)()(==+=+=εεεηx H x HL ≧23865810*046.0505.0*3222==-δεσ3-12解：(1) 821()()log () 2.56/i i i H X p x p x ==-=∑比特符号R=H(X)=2.56 bit/s{}505.0355.2)04.0(log *04.0)08.0(log *08.0)16.0(log *16.0)18.0(log *18.0)22.0(log *22.0)32.0(log *32.0)]([)]()[log ()]()([2222222221222=-+++++=-=-=∑=X H x p x p X H x I E ni iiiσ。
信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，求： （1） 信源X 中事件1x 和2x 分别含有的自信息量；（2） 收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3） 信源X 和信宿Y 的信息熵；（4） 信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5） 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解：（1）12()0.737,() 1.322I x bit I x bit ==（2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-，22(;)0.907I x y bit =（3）()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==（4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =（5）(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦，信源信宿概率分布为：1111()(){,,,}4444P X P Y ==， H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源X 包含两种消息：12,x x ，且12()() 1/2P x P x ==，信道是有扰的，信宿收到的消息集合Y 包含12,y y 。
信息论与编码复习题
信息论与编码复习题⼀、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最⼤值，为__2__，此时各个消息的⾃信息量为__2 __。
2.如某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。
3.克劳夫特不等式是唯⼀可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。
5._信源___提⾼通信的有效性，_信道____⽬的是提⾼通信的可靠性，_加密__编码的⽬的是保证通信的安全性。
6.信源编码的⽬的是提⾼通信的有效性，信道编码的⽬的是提⾼通信的可靠性，加密编码的⽬的是保证通信的安全性。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最⼤值，为___3____。
8.⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越_⼩___。
9.信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的__相关性__，⼆是信源符号分布的 __不均匀性__。
10.最⼤后验概率译码指的是译码器要在已知r 的条件下找出可能性最⼤的发码作为译码估值，即令 =maxP( |r)_ __。
11.常⽤的检纠错⽅法有__前向纠错___、反馈重发和混合纠错三种。
⼆、单项选择题1.下⾯表达式中正确的是（A ）。
A.∑=ji j x y p 1)/( B.∑=ii j x y p 1)/(C.∑=jj j i y y x p )(),(ω D.∑=ii j i x q y x p )(),(2.彩⾊电视显像管的屏幕上有5×105个像元，设每个像元有64种彩⾊度，每种彩度⼜有16种不同的亮度层次，如果所有的彩⾊品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独⽴。
信息论与编码复习题
信息论与编码复习题1.从⼤量统计中知道，男性红绿⾊盲的发病率为116，⼥性发病率为164，如果你问⼀对男⼥“你是否是红绿⾊盲？”他们分别回答可能是“是”。
问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/322. 地区的⼥孩中有25％是⼤学⽣，在⼥⼤学⽣中有75％是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占半数⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？28log 33.设有⼀连续随机变量，其概率密度函数为：2,01()0,bx x p x others ?≤≤=??，试求这随机变量的熵。
⼜若1(0)Y X K K =+>，22Y X =，试分别求出1Y 和2Y 的熵1()C H Y 和2()C H Y 。
4. 设随机变量X 取值于0{}k X k +∞==，()k P X k P ==，0,1,,k = 已知X 的数学期望0EX A =>,求使()H X 达到最⼤的概率分布和该分布的熵.5.设Markov 信源的状态空间为：12{,}{0,1}S S =，其⼀步转移概率如下:11211222(|)0.25, (|)0.75, (|)0.6, (|)0.4.P S S P S S P S S P S S ====1)画出状态转移图？2)求该信源的平稳分布.4/9,5/93)求该信源的极限分布.6. ⼀信源产⽣概率为995.0)0(,005.0)1(==P P 的统计独⽴⼆进制数符。
这些数符组成长度为100的数符组。
我们为每⼀个含有3个或少于3个“1”的源数符组提供⼀个⼆进制码字，所有码字的长度相等。
①求出为所规定的所有源符组都提供码字所需的最⼩码长。
18 ②求信源发出⼀数符组，⽽编码器⽆相应码字的概率。
0.001685157 .设有⼀Markov 信源，其状态集为123{,,}S s s s =，符号集为123{,,}x x x ，在某状态下发出符号的概率如图所⽰。
信息论与编码试卷及答案
信息论与编码试卷及答案一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（?）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√ ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（√ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码期末考试题----学生复习用
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号 （5）()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
《信息论与编码》复习试题
填空1.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
2.信息的 可度量性 是建立信息论的基础。
3.统计度量 是信息度量最常用的方法。
4.熵 是香农信息论最基本最重要的概念。
5.事物的不确定度是用时间统计发生 概率的对数 来描述的。
6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
8.自信息量的单位一般有 比特、奈特和哈特 。
9.必然事件的自信息是 0 。
10.不可能事件的自信息量是 ∞ 。
11.两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
18.对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
19.对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与编码技术》复习题（3）
一、填空题（共20分，每空2分）
1. ___________________________________ 信息的基本概念在于它的。
2. 一个随机事件的___________ 定义为其出现概率对数的负值。
3. 按树图法构成的码一定满足____________ 的定义。
4. _______________________ 称为香农第二极限定理。
5. 纠错码的检、纠错能力是指___________________________________________________ 。
6. 信息率失真函数R（D）是关于D的严格单调___________ 函数。
7. 如果转移概率矩阵P的每一行 ________________________ ，称该矩阵是输入对称的。
8. 加密编码的主要目的是____________________________________ 。
9. 若最小码距为d min的码同时能检测e d个错误、纠正e c个错误，则三个量之间的关系
为_____________________________ 。
10. 稳定的马尔可夫信源必须有不可约性和_________________________________ 。
二、选择题（共10分，每题2分）
1. 给定为条件下，随机事件y j所包含的不确定度和条件自信息量l（y j|X i）,
（a）数量上不等，单位不同；（b）数量上不等，单位相同；
（c）数量上相等，单位不同；（d）数量上相等，单位相同。
2. 下面哪一项不属于熵的性质：
（a ）非负性；（b ）完备性；（c）对称性；（d ）确定性。
3. 下面哪一项不是增加信道容量的途径：
（a）减小信道噪声功率；（b ）增大信号功率；（c）增加码长；（d）增加带宽。
4. 香农编码方法是根据_______ 推导出来的。
（a）香农第一极限定理；（b）香农第二极限定理；
（c）香农第三极限定理；（d）香农第四极限定理。
5. 下面哪一项不属于最简单的通信系统模型：
（a）信源；（b）加密；（c）信道；（d）信宿。
三、名词解释（共10分，每题5分）
1. 唯一可译码。
2. 最小码距。
四、简答题（共20分，每10分）
1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。
2. 简单介绍霍夫曼编码的步骤。
五、计算题（共40 分）（Iog2（3） =，log2（5）=）
1. 某信源含有三个消息，概率分别为P（0）=, P（1）=，P（2）=，失真矩阵为 4 2 1。
求
D max、
D 0 3 2
2 0 1
D min 和R（D max）。
（10 分）
2. 设对称离散信道矩阵为P1/3 1/3 1/6 1/6，求信道容量G（10分）
1/6 1/6 1/3 1/3
3. 有一稳态马尔可夫信源，已知转移概率为p（S1/S1）=2/3, p（S1/S2）=1。
求：
（1）画出状态转移图和状态转移概率矩阵；（2）求出各状态的稳态概率；
（3）求出信源的极限熵。
（20分）
信息论与编码技术》复习题（ 4）
1. （ 5 分）简述信源编码、信道编码和保密编码三种编码的联系。
2. （10 分）已知一离散无记忆信源
u 1 u 2 u 3 u 4 u 5 u 6 u 7 u 8
0.2 0.15 0.15 0.1 0.1 0.1 0.1 0.1
译码。
4. （10分）下面以码字集合的形式给出 5 种不同的编码，第一个码的码符号集合为 {x, y, z}，
其它 4 个码都是二进制： （1）｛xx, xz, y, zz, xyz ；｝ （2）｛000, 10, 00, 11｝； （3）｛100, 101, 0, 11｝；
（4）｛01, 100, 011,00,111,1010, 1011, 1101｝ ；
（5）｛01, 111, 011, 00, 010, 110｝。
对于上面列出的 5 种编码，分别回答下述问题： （a ）此码的码长分布是否满足 Kraft-McMilian 不等式 b ）此码是否是即时码如果不是，请给出反例。
（c ）此码是否唯一可译如果不是，请给出反例。
（1） 当信源X 的概率分布为p （a i ）=2/3，p （a 2）=p （a 3）=1/6时，按最大后验概率准则选择译码函 数，并计算其平均错误译码概率 p e 。
（2） 当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概 率 p e 。
3
6. （ 10 分）已知 （7, 4）循环码的生成多项式 g （x ） x x 1，若已知接收码的最高位码元 发生错误，求其伴随多项式；若已知接收码字为 0111000，求发送码字。
7. （10分）设（3, 1, 2）卷积码的生成子矩阵 g 1=[1 1 1]， g 2=[0 1 0]， g 3=[0 0 1]。
（1） 求卷积码的生成矩阵 Gw
（2） 若输入信息序列 U=[1 0 1 1 0 1 0 1 0 0...]时，求卷积码的输出码字序列。
8. （ 5 分）什么是对称密码体制和非对称密码体制各有何优缺点
9. （30 分）网络信息论研究的主要问题是什么目前的研究热点主要之中在哪几个问题上它 们与历史上相关的研究成果有哪些不同采用的模型和分析技术是什么
u p
（u 试利用三元码编成霍夫曼码， 哪种编码实用性更好。
用两种方法使得它们有相同的最小码长但方差不相同，
并说明
3. （10 分）已知二元信源 u p （u
01
1/8 7/8
，试对序列进行算术编码，并对结果进行
5. （10 分）设有一个离散信道，其信道矩阵为
a 1
b 1
b 2
b 3
1/2 1/4 1/4 a 2 1/4
1/2 1/4 a 3
1/4
1/4 1/2。