信息论与编码技术复习题2
信息论与编码题库及答案
信息论与编码题库及答案信息论是一门关于信息传输和处理的学科，主要研究信息的传输、存储与处理，以及在信息传输过程中可能产生的各种噪声和干扰。
信息论在近年来得到了广泛的应用，尤其在计算机科学、通信工程、数据处理以及加密技术等领域中得到了广泛应用。
作为信息处理学科的一个分支，编码学是信息论中重要的研究领域之一，主要研究在信息传输的过程中如何将信息进行编码，并在保证高可靠性的同时减少信息传输的开销。
现代编码学研究所涉及到的内容非常广泛，包括错误检测、纠正编码、信息压缩以及密码学等领域。
为了帮助广大信息与通信工程学习者更好地掌握编码理论及其应用，以下总结了一些编码学的题库及答案，供大家参考。
一、错误检测编码1. 什么是奇偶校验码？答：奇偶校验码是一种简单的错误检测编码方式，它采用了消息的一位奇偶性作为编码方式。
具体而言，对于一组位数固定的二进制数，在其中加入一个附加位，使得这组数的位数为偶数。
然后将这些二进制数按照某种规则排列，例如相邻的两位组成一组，计算每组中1的个数。
如果某组中1的个数是偶数，则附加位赋值为0，否则为1。
这样，如果在传输的过程中数据出现了单一位的错误，则会被检测出来。
2. 什么是海明编码？答：海明编码是一种通过添加校验位来实现错误检测和纠正的编码方式。
在海明编码中，校验位的数目为2的k次幂个，其中k 表示数据位中最大1的位置数。
具体而言，将原始信息看作一组二进制数，再将这些数按照某种规则排列，然后按照一定的算法计算出每个校验位的值，并将这些值添加到原始信息中。
在传输的过程中，如果发现了错误的位，则可以通过一系列错误检测和纠正的操作来确定和修复出错的信息位。
二、信息压缩编码1. 什么是霍夫曼编码？答：霍夫曼编码是一种基于无损数据压缩的编码方式，它的特点是可以将原始信息中出现最频繁的字符用最短的二进制码来表示，同时将出现次数较少的字符用较长的二进制码来表示。
具体来说，霍夫曼编码首先对原始信息中的字符进行统计，确定每个字符出现的频率。
信息论与编码考试题库
第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。
123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P （0/1）=1/8。
信息论与编码试题集与答案
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码第2章习题解答
信息论与编码第2章习题解答2.1设有12枚同值硬币，其中⼀枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现⽤⽐较天平左右两边轻重的⽅法来测量（因⽆砝码）。
为了在天平上称出哪⼀枚是假币，试问⾄少必须称多少次？解：分三组，每组4个，任意取两组称。
会有两种情况，平衡，或不平衡。
(1) 平衡：明确假币在其余的4个⾥⾯。
从这4个⾥⾯任意取3个，并从其余8个好的⾥⾯也取3个称。
⼜有两种情况：平衡或不平衡。
a ）平衡：称⼀下那个剩下的就⾏了。
b ）不平衡：我们⾄少知道那组假币是轻还是重。
从这三个有假币的组⾥任意选两个称⼀下，⼜有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，⾃然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个⾃然是假币，并且我们也知道他是轻还是重。
(2) 不平衡：假定已经确定该组⾥有假币时候：推论1：在知道该组是轻还是重的时候，只称⼀次，能找出假币的话，那么这组的个数不超过3。
我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称⼀次就可以找出来假币了。
从不平衡的两组中，⽐如轻的⼀组⾥分为3和1表⽰为“轻（3）”和“轻（1）”，同样重的⼀组也是分成3和1标⽰为“重（3）”和“重（1）”。
在从另外4个剩下的，也就是好的⼀组⾥取3个表⽰为“准（3）”。
交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称⼀下。
⼜会有3种情况：(1)左⾯轻：这说明假币⼀定在第⼀次称的时候的轻的⼀组，因为“重（1）”也出现在现在轻的⼀边，我们已经知道，假币是轻的。
那么假币在轻（3）⾥⾯，根据推论1，再称⼀次就可以了。
(2)右⾯轻：这⾥有两种可能：“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。
这两种情况，任意取这两个中的⼀个和⼀个真币称⼀下即可。
(3)平衡：假币在“重（3）”⾥⾯，⽽且是重的。
根据推论也只要称⼀次即可。
2.2 同时扔⼀对骰⼦，当得知“两骰⼦⾯朝上点数之和为2”或“⾯朝上点数之和为8”或“骰⼦⾯朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰⼦⾯朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰⼦都为1，这⼀种结果。
信息论与编码学考试试题
信息论与编码学考试试题1. 信息的概念信息：是指各个事物运动的状态及状态变化的方式。
（具有不确定性，任何已经确定的事物都不含有信息）2. 相对熵的概念及计算连续信源可以假设是一个不可数的无限多个幅度值的信源，需要无限多个二进制数来表示，因此它的熵为无穷大。
连续信源的熵具有相对性，有时也叫相对熵。
连续信源熵（相对熵）：Hc(X)=x p x P X X )(log )(?∞∞--3. 信源熵的概念及计算信源中各个符号不确定度的数学期望叫做信源熵H(X)=E[I(X)]= )(log )()()(21i i ni i i i x p x p x I x p ∑∑=-= 单位：比特/符号其中：0≤ )p(x i ≤1，当信源中只含一个符号x 时，必定有)p(x i =1.4. 分组码将信源消息分成若干组，即符号序列X i ，X i =（X 1，X 2 (X)l ...X L ),序列中的每个符号取自于符号集A,X l ∈{a 1,a 2,...,a i ,...,a n }.而每个符号序列X i 依照固定的码表映射成一个码字Y i ，这样的码称为分组码，也叫快码。
只有分组码才有对应的码表，而非分组码中不存在。
5. 唯一可译码任意有限长的码元序列，只能被唯一的分割成一个个的码字，便称为唯一可译码。
唯一可译码分为：非即时码和即时码6. 唯一可译码存在的充分必要条件的概念及应用用树的概念可导出唯一可译码存在的充分必要条件，即各码字的长度Ki 应符合克劳夫特不等式：∑=-n K i m1i ≤1 （m 是进制数，n 是信源符号数）7. 疑义度的概念及计算条件熵H(X/Y)可以看做是信道上的干扰和噪声所造成的对信源符号x 的不确定度，故又称为疑义度或损失熵。
H(X/Y)=E[I(x i /y i )]= )/()(j ,i i i ii y x I y x p ∑ =)/(log )(-j,i i i i i y x p y x p ∑ 散布度或噪声熵H(Y/X)=E[I(y i /x i )]= )/y ()(j ,i i i ii x I y x p ∑ =)/y (log )(-j,i i i i i x p y x p ∑8. 恒重码的概念如果码集的所有码字都具有相同的重量，这种码就叫做恒重码9. 平均自信息量的概念及计算平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。
信息论与编码常考题
信息论与编码常考题信息论与编码常识题1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的可度量性是建立信息论的基础。
7、统计度量是信息度量最常用的方法。
8、熵是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
18、离散平稳有记忆信源的极限熵，。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m个不同的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。
21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。
22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。
信息论与编码第二章答案
第二章信息的度量2.1信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。
2.2平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。
2.3熵是对信源什么物理量的度量？答：平均信息量2.4设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？答：kk k xi q xi q X H i log 1log 1)(log )()(2.5根据平均互信息量的链规则，写出I(X;YZ)的表达式。
答：)|;();();(Y Z X I Y X I YZ X I 2.6互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量)()|(log );(xi q yj xi Q y x I ，若互信息量取负值，即Q(xi|yj)<q(xi)，说明事件yi 的出现告知的是xi 出现的可能性更小了。
从通信角度看，视xi 为发送符号，yi 为接收符号，Q(xi|yj)<q(xi)，说明收到yi 后使发送是否为xi 的不确定性更大，这是由于信道干扰所引起的。
2.7一个马尔可夫信源如图所示，求稳态下各状态的概率分布和信源熵。
答：由图示可知：43)|(41)|(32)|(31)|(41)|(43)|(222111110201s x p s x p s x p s x p s x p s x p 即：43)|(0)|(41)|(31)|(32)|(0)|(0)|(41)|(43)|(222120121110020100s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得：1)()()()(43)(31)()(31)(41)()(41)(43)(210212101200s p s p s p s p s p s p s p s p s p s p s p s p得：114)(113)(114)(210s p s p s p )]|(log )|()|(log )|()[()]|(log )|()|(log )|()[()]|(log )|()|(log )|()[(222220202121211111010100000s s p s s p s s p s s p s p s s p s s p s s p s s p s p s s p s s p s s p s s p s p H 0.25（bit/符号）2.8一个马尔可夫信源，已知：0)2|2(,1)2|1(,31)1|2(,32)1|1(x x p x x p x x p x x p 试画出它的香农线图，并求出信源熵。
信息论与编码复习题
信息论与编码复习题⼀、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最⼤值，为__2__，此时各个消息的⾃信息量为__2 __。
2.如某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。
3.克劳夫特不等式是唯⼀可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。
5._信源___提⾼通信的有效性，_信道____⽬的是提⾼通信的可靠性，_加密__编码的⽬的是保证通信的安全性。
6.信源编码的⽬的是提⾼通信的有效性，信道编码的⽬的是提⾼通信的可靠性，加密编码的⽬的是保证通信的安全性。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最⼤值，为___3____。
8.⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越_⼩___。
9.信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的__相关性__，⼆是信源符号分布的 __不均匀性__。
10.最⼤后验概率译码指的是译码器要在已知r 的条件下找出可能性最⼤的发码作为译码估值，即令 =maxP( |r)_ __。
11.常⽤的检纠错⽅法有__前向纠错___、反馈重发和混合纠错三种。
⼆、单项选择题1.下⾯表达式中正确的是（A ）。
A.∑=ji j x y p 1)/( B.∑=ii j x y p 1)/(C.∑=jj j i y y x p )(),(ω D.∑=ii j i x q y x p )(),(2.彩⾊电视显像管的屏幕上有5×105个像元，设每个像元有64种彩⾊度，每种彩度⼜有16种不同的亮度层次，如果所有的彩⾊品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独⽴。
信息论与编码习题与答案第二章
第一章信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度?具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )(y x y x iiiip I -=平均自信息量、平均不确定度、信源熵：∑-=ii i x x p p X H )(log )()(条件熵：)(log ),()(),()(y x y x y x y x jijijijijiji p p I p Y X H ∑∑-==联合熵：),(log ),(),(),()(y x y x y x y x ji jiji ji jiji p p I p Y X H ∑∑-==互信息：)()(log)()()()(log),();(y x yx yx y x yy x jiji jiji jijjiji p p p p p p p Y X I ∑∑==熵的基本性质：非负性、对称性、确定性2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2)bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下：11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 6162 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)两个点数求和的概率分布如下：sym bolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5){(1,2),(1,3),(1,4),(1,5),(1,6),(2,1),(3,1),(4,1),(5,1),(6,1),(1,1)}bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫=⎪ ⎪⎝⎭⎝⎭（1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得bit x I bit x I bit x I 3)4(,2)3(,2)2(===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
信息论与编码复习题
信息论与编码复习题1.从⼤量统计中知道，男性红绿⾊盲的发病率为116，⼥性发病率为164，如果你问⼀对男⼥“你是否是红绿⾊盲？”他们分别回答可能是“是”。
问此回答各含多少信息量？平均每个回答各含多少信息量？4,6,11/322. 地区的⼥孩中有25％是⼤学⽣，在⼥⼤学⽣中有75％是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占半数⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？28log 33.设有⼀连续随机变量，其概率密度函数为：2,01()0,bx x p x others ?≤≤=??，试求这随机变量的熵。
⼜若1(0)Y X K K =+>，22Y X =，试分别求出1Y 和2Y 的熵1()C H Y 和2()C H Y 。
4. 设随机变量X 取值于0{}k X k +∞==，()k P X k P ==，0,1,,k = 已知X 的数学期望0EX A =>,求使()H X 达到最⼤的概率分布和该分布的熵.5.设Markov 信源的状态空间为：12{,}{0,1}S S =，其⼀步转移概率如下:11211222(|)0.25, (|)0.75, (|)0.6, (|)0.4.P S S P S S P S S P S S ====1)画出状态转移图？2)求该信源的平稳分布.4/9,5/93)求该信源的极限分布.6. ⼀信源产⽣概率为995.0)0(,005.0)1(==P P 的统计独⽴⼆进制数符。
这些数符组成长度为100的数符组。
我们为每⼀个含有3个或少于3个“1”的源数符组提供⼀个⼆进制码字，所有码字的长度相等。
①求出为所规定的所有源符组都提供码字所需的最⼩码长。
18 ②求信源发出⼀数符组，⽽编码器⽆相应码字的概率。
0.001685157 .设有⼀Markov 信源，其状态集为123{,,}S s s s =，符号集为123{,,}x x x ，在某状态下发出符号的概率如图所⽰。
信息论与编码期末复习试题2套含答案(大学期末复习资料)
莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。
3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。
求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试卷及答案
一、概念简答题〔每题5分，共40分〕1.什么是平均自信息量与平均互信息，比拟一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最正确输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准那么？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题〔每题10分，共60分〕1.黑白气象图的消息只有黑色和白色两种，求：1〕黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2〕假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1〕假设，，求和；2〕求该信道的信道容量和最正确输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准那么与最大似然译码准那么确定译码规那么，并计算相应的平均错误概率。
5.一〔8，5〕线性分组码的生成矩阵为。
求：1〕输入为全00011和10100时该码的码字；2〕最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：〔1〕无过失传输需要的最小输入功率是多少？〔2〕此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题〔每题5分，共40分〕1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
信息论与编码试卷及答案2
信息论与编码试卷及答案2篇一：信息论与编码试卷及答案一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对二元信源时率失真函数的和？，其失真矩阵，求a>0二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为，白色出现的概率为。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，求其熵；，，2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为曼码，计算其平均码长和编码效率。
，试分别构造二元和三元霍夫4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与编码技术》复习题（2）
一、（32分）综合概念题
1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。
2. 根据平均互信息定义的信道容量是指：
a. 信道固定时的最大平均互信息；
b. 信道固定时的最小平均互信息；
c. 信源固定时的信道的最小平均互信息；
d. 信源固定时的信道的最大平均互信息。
3. 什么是离散平稳信源？
a. 任意两个不同时刻随机矢量的各维概率分布都相同；
b. 任意两个不同时刻随机矢量的各维概率分布都不相同；
c. 任意两个不同时刻随机矢量的各维概率密度函数都相同；
d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。
4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？
5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。
6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。
7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。
8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。
二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。
若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。
三、（15分）某离散无记忆信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4.06.0)(21a a x p X ，通过图1的信道传输，求：
图1 离散信道
（1）该信源中a 1和 a 2分别含有的自信息；
（2）X 和Y 的信息熵；
（3）信道的疑义度H (X|Y )；
（4）接收到信息Y 后获得的平均互信息量。
四、（16分）设有一个离散无记忆信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；
（2）对信源进行二元霍夫曼编码，计算其平均码长和编码效率。
五、（15分）已知(7, 4)循环码的生成多项式1)(3++=x x x g ，求：
（1）该码的编码效率；
（2）该码的生成矩阵和校验矩阵；
（3）若消息码多项式为1)(2++=x x x m ，求其码字。
六、（12分，电子信息专业）二元对称信道的信道矩阵为⎥⎦
⎤⎢⎣⎡9.01.01.09.0，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：
（1）能否在10秒内将信源消息序列无失真传送完毕？
（2）若信源概率分布为p (0)=0.7，p (1)=0.3，则无失真传送以上信源消息序列至少需要多长时间？
七（12分，通信工程专业）已知卷积码的编码器如图2所示，试用生成矩阵法分析当输入信息序列为11001时的输出码字。
图2 卷积码编码器。