信息论与编码试卷A2014标准答案和评分标准

信息论与编码题库及答案

信息论与编码题库及答案信息论是一门关于信息传输和处理的学科，主要研究信息的传输、存储与处理，以及在信息传输过程中可能产生的各种噪声和干扰。

信息论在近年来得到了广泛的应用，尤其在计算机科学、通信工程、数据处理以及加密技术等领域中得到了广泛应用。

作为信息处理学科的一个分支，编码学是信息论中重要的研究领域之一，主要研究在信息传输的过程中如何将信息进行编码，并在保证高可靠性的同时减少信息传输的开销。

现代编码学研究所涉及到的内容非常广泛，包括错误检测、纠正编码、信息压缩以及密码学等领域。

为了帮助广大信息与通信工程学习者更好地掌握编码理论及其应用，以下总结了一些编码学的题库及答案，供大家参考。

一、错误检测编码1. 什么是奇偶校验码？答：奇偶校验码是一种简单的错误检测编码方式，它采用了消息的一位奇偶性作为编码方式。

具体而言，对于一组位数固定的二进制数，在其中加入一个附加位，使得这组数的位数为偶数。

然后将这些二进制数按照某种规则排列，例如相邻的两位组成一组，计算每组中1的个数。

如果某组中1的个数是偶数，则附加位赋值为0，否则为1。

这样，如果在传输的过程中数据出现了单一位的错误，则会被检测出来。

2. 什么是海明编码？答：海明编码是一种通过添加校验位来实现错误检测和纠正的编码方式。

在海明编码中，校验位的数目为2的k次幂个，其中k 表示数据位中最大1的位置数。

具体而言，将原始信息看作一组二进制数，再将这些数按照某种规则排列，然后按照一定的算法计算出每个校验位的值，并将这些值添加到原始信息中。

在传输的过程中，如果发现了错误的位，则可以通过一系列错误检测和纠正的操作来确定和修复出错的信息位。

二、信息压缩编码1. 什么是霍夫曼编码？答：霍夫曼编码是一种基于无损数据压缩的编码方式，它的特点是可以将原始信息中出现最频繁的字符用最短的二进制码来表示，同时将出现次数较少的字符用较长的二进制码来表示。

具体来说，霍夫曼编码首先对原始信息中的字符进行统计，确定每个字符出现的频率。

信息理论与编码-期末试卷A及答案

题号一二三四总分统分人题分 35 10 23 32 100得分一、填空题（每空1分，共35分）得分| |阅卷人|1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

信息论与编码试题集与标准答案()改

信息论与编码试题集与答案(2014)改————————————————————————————————作者：————————————————————————————————日期：21、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量、发X 前后Y的平均不确定性减少的量、通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。

3、香农公式为为保证足够大的信道容量，采用（1用频带换信噪比；（2用信噪比换频带。

4、只要，当N足够长时，一定存在一种无失真编码。

5、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

7.研究信息论目的高效、可靠、安全地交换利用信息。

8. 可度量性建立信息论的基础。

9. 统计度量信息度量最常用方法。

10、单符号离散信源用随机变量描述，多符用随机矢量。

11、一随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量单位比特、奈特、笛特。

13、必然事件的自信息 0 。

14、不可能事件的自信息量是∞。

15、两相互独立随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：消息多级处理后，处理器数目增多，输入消息与输出之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于X的熵的 N倍。

18、离散平稳有记忆信源的极限熵=∞H)/(lim121-∞→NNNXXXXHΛ。

19、n元m阶马尔可夫信源，状态空间有 n m 个不同状态。

20、一维连续随即变量X在[a，b]内均匀分布，信源熵log2（b-a）。

21、平均功率为P高斯分布连续信源，信源熵Hc （X）=ePπ2log212。

22、对限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵最大值。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、和。

信息论与编码理论1(A卷答案)

2012-2013 (2) 信息论与编码理论1 A 卷答案一、单项选择题（每题3分，总计15分） 1．当底为e 时，平均互信息的单位为（ C ）。

A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量当Y X ,交换位置时（ C ）没有对称性。

A );(Y X IB ),(Y X HC )|(Y X HD )|,(Z Y X I3．下列（ A ）陈述是错误的。

A 算术编码不需要知道信源的分布B LZ 编码不需要知道信源的分布C 游程编码不需要知道信源的分布D KY 编码不需要知道信源的分布 4．下列数组中（ A ）不满足两个字母上的Kraft 不等式。

A (1，2，1)B (2,2)C (1,2,3)D （3，3，3） 5．下列译码法则中（ A ）一定是错误概率最小的。

A 最大后验概率译码准则B 最大似然译码准则C 最小距离译码准则D 最大先验概率译码准则二、填空题（每空2分，总计12分）1．若某离散信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号。

2．若一个信道的输入熵为8.1)(=X H 比特/符号，输出熵为2.2)(=Y H 比特/符号，6.0);(=Y X I 比特/符号，则=),(Y X H __3.4比特/符号__，疑义度为1.2比特/符号_。

3．平均互信息对信源概率分布是上凸函数，对信道的状态转移概率分布是下凸函数。

4．对信源U 任一个D 元唯一可译码的平均码长必大于等于DU H log )(。

三、计算题（73分）1）（15分）设随机变量Y X ,的联合概率分布如下：Y X Z ⊕=，⊕为模2加。

分别求);(),|(),(),(Z X I Y X H Y H X H 。

解: X 的分布率为则1)(=X H 比特/符号..3分Y 的分布率为则3log 432)(2-=Y H =0.811比特/符号. …………………………………………………..……..6分)0()0,0()0|0(======Y P Y X p Y X p =1,)1()1,0()1|0(======Y P Y X p Y X p =31)0()0,1()0|1(======Y P Y X p Y X p =0,)1()1,1()1|1(======Y P Y X p Y X p = 32)1|0(log )1,0()0|0(log )0,0()|(22p p p p Y X H --=)1|1(log )1,1()0|1(log )0,1(22p p p p --=32log 210log 031log 411log 412222----=213log 432-=0.688比特/符号. ……………..10分)0()0,0()0|0(======Z P Z X p Z X p =31,)1()1,0()1|0(======Z P Z X p Z X p =1 )0()0,1()0|1(======Z P Z X p Z X p =32,)1()1,1()1|1(======Z P Z X p Z X p =0则)1()1|1(log )1,1()1()0|1(log )0,1()0()1|0(log )1,0()0()0|0(log )0,0();(2222=+=+=+==X p p p X p p p X p p p X p p p Z X I =210log 02132log 41211log 412131log 412222+++=9log 4112-=0.2075比特/符号. …………………..15分2）（22分）若离散无记忆信源的概率分布为⎪⎪⎭⎫ ⎝⎛=3.01.04.005.005.01.0654321a a a a a a U① 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出），Shannon 编码，Fano编码，Shannon-Fano-Elias 编码。

信息论与编码理论1(A卷答案)

广州大学 2016—2017 学年第一学期考试卷课程《信息论与编码理论1》考试形式（闭卷，考试）一、单项选择题（每题2分，总计10分） 1．当底为e 时，信道容量的单位为（ C ）。

A 奈特B 哈特C 奈特/符号D 哈特/符号 2．下列量中（ D ）一定最大。

A );(Y X IB ),(X Y IC )|(Y X HD ),(Y X H3．下列（ A ）陈述是错误的。

A 算术编码不需要知道信源的分布B 游程编码不需要知道信源的分布C LZ 编码不需要知道信源的分布D LZW 编码不需要知道信源的分布 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。

A (2，2，1)B (2,2)C (1,1,3)D （3，3，3） 5．下列（ A ）是准对称信道的状态转移概率矩阵。

A ⎪⎪⎪⎪⎭⎫ ⎝⎛613121216131 B ⎪⎪⎪⎭⎫ ⎝⎛5.05.05.05.05.05.05.05.05.0 C ⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛323132313231 D ⎪⎪⎭⎫ ⎝⎛2.02.08.02.08.02.0 二、填空题（每空2分，总计20分）1．若二元离散无记忆信源25.0)0(=p ，75.0)1(=p ，则当给出10比特的信源序列，其中有4个1，其自信息为3log 4202-比特，整个序列的熵为)3log 432(102-比特/符号。

2．若某离散信道信道转移概率矩阵为⎥⎦⎤⎢⎣⎡125.0125.05.025.0125.0125.025.05.0，则其信道容量为43log 352-比特/符号；转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡5.05.04.06.06.04.0，则其信道容量为1比特/符号。

3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为⎥⎦⎤⎢⎣⎡--p pp p 11 ，则级联信道的信道转移矩阵为⎥⎦⎤⎢⎣⎡+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为⎥⎦⎤⎢⎣⎡5.05.05.05.0。

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

2014-2015年信息论与编码试卷答案

一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。

；1）若，，求和；2）求该信道的信道容量和最佳输入分布。

3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

2014-2015第二学期信息论与编码-期末考试试卷(A卷)答案

山东科技大学2014—2015学年第二学期《信息论与编码》期末考试试卷（A 卷）答案一、填空（每空3分，共36分，）1、可靠性2、不确定性3、()()(|)H XY H X H X Y =+4、信源概率()P X5、 1.75bit6、信源必须传送给用户的信息量7、找紧致码8、log '()MR R D nε==+ 9、 3 10、 0.749bit 11、 0.0817bit 12、E=(01000000) 二、简答题（每题8分，共24分）1、请给出信息熵的物理含义。

答：三种物理含意(1)表示信源输出后，每个消息所提供的平均信息量；(2)表示信源输出前，信源的平均不确定性；(3)表征变量X 的随机性。

2、请叙述数据处理定理，并说明简要含义。

答：对于通信系统有 ()(;)(;)(;)H X I X Y I X Z I X W ≥≥≥≥L说明，在任何信息传输系统中，最后获得的信息至多是所提供的信息。

3、若码符号个数2r =，问是否存在码长1,3,3,3,4,5,5i l =的即时码，为什么？如果有，试构造出一个这样的码。

答：因为它满足Craft 不等式，所以存在这样的即时码。

此码为： {0,100,101,110,1110,11110,11111}三、计算题(本题40分，第1、2小每题15分，第3小题10分)1、设离散无记忆信源11110123()1814143X a a a a p x ====⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。

根据已知条件，发出各消息所包含的信息量分别为：8I (a 1 = 1) = log 4 = 2 比特 I (a 2 = 2) = log 4 = 2 比特 I (a 3 = 3) = log 8 = 3 比特在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为：14 1.4151321226387.81I =⨯+⨯+⨯+⨯≈比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为87.811.95/45I ==比特符号注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H ( X ) = -∑ P (x ) log P (x ) = 1.91比特/符号2、对于二元对称信道的输入概率空间为1()1X P X ωωω⎡⎤⎡⎤=⎢⎥⎢⎥=-⎣⎦⎣⎦(01)ω≤≤。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字1、0、1之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

信息论与编码试题集与答案（2014）

信息论与编码试题集与答案（2014）⼀填空题1、平均⾃信息为表⽰信源的平均不确定度，也表⽰平均每个信源消息所提供的信息量。

平均互信息表⽰从Y 获得的关于每个X 的平均信息量，也表⽰发X 前后Y 的平均不确定性减少的量，还表⽰通信前后整个系统不确定性减少的量。

2、最⼤离散熵定理为：离散⽆记忆信源，等概率分布时熵最⼤,最⼤熵值为。

3、⾹农公式为为保证⾜够⼤的信道容量，可采⽤（1）⽤频带换信噪⽐；（2）⽤信噪⽐换频带。

4、只要，当N ⾜够长时，⼀定存在⼀种⽆失真编码。

5、当R ＜C 时，只要码长⾜够长，⼀定能找到⼀种编码⽅法和译码规则，使译码错误概率⽆穷⼩。

6、1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。

7.⼈们研究信息论的⽬的是为了⾼效、可靠、安全地交换和利⽤各种各样的信息。

8.信息的可度量性是建⽴信息论的基础。

9.统计度量是信息度量最常⽤的⽅法。

10、单符号离散信源⼀般⽤随机变量描述，⽽多符号离散信源⼀般⽤随机⽮量描述。

11、⼀个随机事件发⽣某⼀结果后所带来的信息量称为⾃信息量，定义为其发⽣概率对数的负值。

12、⾃信息量的单位⼀般有⽐特、奈特和哈特。

13、必然事件的⾃信息是 0 。

14、不可能事件的⾃信息量是 ∞ 。

15、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数⽬的增多，输⼊消息与输出消息之间的平均互信息量趋于变⼩。

17、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

20、⼀维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ）。

21、平均功率为P 的⾼斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。

信息论与编码期末复习试题A含答案.doc

莆田学院期末考试试卷（A）卷2011 — 2012学年第一学期课程名称：信息论与编码适用年级/专业：09/电信（通信）试卷类别开卷（）闭卷（V）学历层次本科考试用时120分钟《考生注意:答案要全部抄到答题纸上,做在试卷上不给分》一'简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

2.香农信息论研究了哪些内容？试讲述香农第二编码定理。

3.什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10 分）4.什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y,试证明下列不等式成立：H（X|Y）〈=H（X）,并说明等式成立的条件。

三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X詔黑，白｝。

设黑色出现的概率为P（黑）=0.3,白色的出现概率P（白）=0. 7o求（1）假设图上黑白消息出现前后没有关联，求爛H（X）；（2）假设消息前后有关联，其依赖关系为P（白/白）=0.9, P（黑/白）=0. 1, P （白/黑）=0.2, P （黑/黑）=0.8,求此一阶马尔可夫信源的嫡H2（X）；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。

2.（12分）一信源产生概率为P（l）=0. 005, P（0）=0. 995的统计独立二进制数符。

这些数符组成长度为100的数符组。

我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

（1）求出为所规定的所有源符组都提供码字所需的最小码长。

（2）求信源发出一数符组，而编码器无相应码字的概率。

3.（10分）已知一个（6, 3）线性分组码的全部码字为00101L 11001L 010110,101110, 10010L 111000, 01110L 000000。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

《信息论与编码》试卷(A1)

2、简单介绍哈夫曼编码的步骤。
四、证明题(10 分)
证明：平均互信息量同信息熵之间满足: I(X;Y)=H(X)+H(Y)-H(XY)
A1-2
……………………………… 装 ……………………………… 订 ………………………………… 线 ………………………………
课程
《信息论与编码》
班级
__________________
2. （10 分）求右图所示的信道的容量及达到信道容量时的输入分布。
a1
X
1 1/2
Y b1
a2 1/2 a3 1 b2
A1-3
……………………………… 装 ……………………………… 订 ………………………………… 线 ………………………………
课程
《信息论与编码》
班级
__________________
题号得分
一二三四五
徽
六
工
七八
业
九
大
十
学
十一十二
试
十三
题
十四
纸（一）
十五十六十七十八十九二十总分
2013~2014 学年第一学期期末考试《信息论与编码》试卷（A1）
一、填空题（共 20 分，每空 2 分）
1. 按照信源发出的消息在时间和幅度上的分布情况，可将信源分成
X x1 x2 x3 x 4 ，则信源的熵为 2. 离散信源 p( x) 1 / 2 1 / 4 1 / 8 1 / 8
6. 如果所有码字都配置在二进制码树的叶节点，则该码字为 7. 信源编码的主要目的是提高通信的有效性大
8. 信源符号的相关程度越大，信源的剩余度越

信息论与编码课堂小测验2014(含答案)

《信息论与编码》课堂测验Log 3 = 1.5851. 掷两颗均匀的骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：每颗骰子各有六面,每面分别有1、2、3、4、5、6个小圆点以示区分，又知两颗骰子是均匀的，所以每个骰子每面出现的概率均为1/6,1）因圆点之和为3的情况是（1,2）、（2,1）两种情况，设x为圆点之和为3的情况，所以其出现的概率为：1()(1,2)(2,1)18p x p p =+=该消息自信息量()log ()log18 4.170I x p x bit =-==2）因圆点之和为7的情况是（1,6）、（6,1）、（2,5）、（5,2）、（3,4）、（4,3）六种情况，设x 为圆点之和为7的情况，所以其出现的概率为：1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log()log 6 2.585I x p x bit =-==2. 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在16384个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1) 因为每像素可取128个不同的亮度电平，并设亮度电平是等概率出现.设X 为像素这一信源，则其有128中等概率的不同亮度电平情况，所以像素的平均信息量为:22()log log 1287 /H X n bit symbol ===每帧电视图像由3 105个像素组成，所有像素均是独立变化，所以每帧图像是单个像素的3 105次扩展，每帧图像的平均信息量为:56()()3107 2.110 /N H X NH X bit symbol ==⨯⨯=⨯2) 16384个汉字等概率出现，每个汉字的平均信息量为：22()log log 1638414 /H X n bit symbol ===用1000个汉字描述该图像，包含的信息量有（因为相互独立，所以是1000次的扩展）：()()10001414000 /N H X NH X bit symbol ==⨯=3)若要完整描述该图像，需要的汉字数为：6() 2.110150000()14N H X N H X ⨯===3. 一阶马尔可夫信源消息集},,{321a a a X ∈，状态集},,{321S S S S ∈，且令3,2,1,==i a S i i ，条件转移概率为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=03121311214141)/(i j S a P ，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题参考答案(全)

(1,3)
(1,4)
(1,5)
(1,6)
P(X)
1/36
2/36
2/36
2/36
2/36
2/36
X
(2,2)
(2,3)
(2,4)
(2,5)
(2,6)
P(x)
1/36
2/36
2/36
2/36
2/36
X
(3,3)
(3,4)
(3,5)
(3,6)
P(x)
1/36
2/36
2/36
2/36
X
(4,4)
(4,5)
信息论与编码习题参考答案
第一章单符号离散信源
同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量；
(2)“两个5同时出现”这一事件的自信息量；
(3)两个点数的各种组合的熵；
(4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。
解：
(3)信源空间：
X
(1,1)
(1,2)
解:
设电话信号的信息率为×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多少W若
F→∞则P是多少W
解:
已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少若信噪比提高到15dB,求理论上传送同样的信息率所需的频带.
(1)求状态极限概率并找出符号的极限概率;
(2)计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj);
(3)信源的极限熵H∞.
解:
下图所示的二进制对称信道是无记忆信道,其中 ,试写出N=3次扩展无记忆信道的信道矩阵[P].

信息理论与编码期末试卷A及答案

信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。