信息论与编码期中试卷及答案
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题集与答案(新)
0.柑应的编码器转移概率矩阵[/<vA)]-； 7・已知用户A 的RSA 公开密钥(匕八)=(3,55),“ = 5凶=11,贝I]0(”)=40 ,他的秘密密钥(仆)=(27・55)。
若用户B 向用户A 发送加=2的加密消息，则该加密后的消息为& 二、判断题 1.可以用克劳夫特不等式作为唯一可译码存在的判据。
(«〉2. 线性码一定包含全零码。
(«)3•算术编码是一种无失頁•的分组信源编码，苴基本思想是将一企精度数值作为序列的 编码，是以另外一种形式实现的最佳统讣匹配编码。
(X)4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息虽。
(X)5. 离散平稳有记忆信源符号序列的平均符号爛随着序列长度L 的增大而增大。
(X 〉6. 限平均功率最大:W 定理指出对于相关矩阵一定的随机矢MX.当它是正态分布时具有最大墻。
(V)7.循环码的码集中的任何一个码字的循环移位仍是码字。
(5/ )&信道容量是信道中能够传输的最小信息量。
(X)9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
10. 在已知收码R 的条件下找出可能性最大的发码Cj 作为译码估计值，法叫做最佳译码。
(«) 三、计算题某系统(7, 4)码£ =(5©5 q Cj c, c, Co) = (g nt, “ 叭 c,系为：為=竹 + /Mj +' C, = /«3 ++ /ZljC 0= W, +Z», + 加0 求对应的生成矩阵和校验矩阵： 计算该码的最小距离： 列出可纠差错图案和对应的伴随式: 若接收码字/?=! 110011,求发码。
1・在无失真的信源中，信源输出由 H(X)来度量:在有失竟的信源中，信源输出由_ R(D)来度量• 2•要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码, 然后—加密—编码,再_ 信道 编码.最后送入信逍。
信息论与编码期中考试答案
《信息论与编码》期中考试答案1. 香农在《通信的数学理论》中提出“通信的基本问题”是什么？（5分）答：通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。
2. 消息、信号、信息三者关系；用货车、集装箱、青花瓷瓶分别指代前面的三者。
（10分）答：1、消息是信息的携带者，信息包涵于消息中；2、消息不一定含有信息；3、信号是消息的载体，消息是信号的具体内容；货车：信号，集装箱：消息，青花瓷瓶：信息；3. 信息的最基本特征。
（5分）答：不确定性；4. 概率论与随机过程各自研究对象的区别。
（10分）答：概率论只是单纯研究事件发生的概率；而随机过程是放在随时间变化的过程中研究事件发生的概率及其相互关系；5. 编码器主要包括信源编码器和信道编码器，试用两个字分别描述信源编码器和信道编码器各自的作用。
（5分）答：信源编码器：高效/有效；信道编码器：可靠；6. 概率论中相互独立与互不相容的区别，两者各自针对的对象是什么。
（10分）答：相互独立：事件A的出现对于事件B的出现概率没有影响，且事件B的出现对于事件A的出现概率也没有影响；互不相容：事件A与事件B不能同时发生；相互独立：针对概率，互不相容：针对集合；7. 马尔可夫随机过程的无后效性、平稳性，试解释。
（10分）答：无后效性：f（t0）已知，f（t> t0）的条件概率与t0之前的状态无关，只与t0—t之间的状态有关；即f（t）的条件概率只受就近时刻状态的影响。
平稳性：条件概率与转换前后的状态及转换时间有关，与起始时刻无关。
8. 先验概率与后验概率的含义。
（10分）答：先验概率：事件未传输之前的已经具有的概率，与是否传输无关；后验概率：已知接收事件的条件下，判断发送事件的概率；9. 不确定度与自信息量的联系与区别。
（10分）答：不确定度与自信息量数值、单位相同；区别：不确定度表征事件的本身性质，与是否传输无关；自信息量表示事件发生后观察者得到的消除不确定度需要的信息量；不确定度强调传输前，自信息量强调传输后，经过通信系统的传输过程。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高米以上的，而女孩中身高米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则P(A)= p(B)= p(B|A)= （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （2分）I(A|B)== （1分）四、（5）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为，白色出现的概率为。
信息论与编码试卷及答案分解
信息论与编码试卷及答案分解⼀、（11’）填空题（1）1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
（2）必然事件的⾃信息是0 。
（3）离散平稳⽆记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为__信源符号等概分布_。
（5）若⼀离散⽆记忆信源的信源熵H（X）等于2.5，对信源进⾏等长的⽆失真⼆进制编码，则编码长度⾄少为 3 。
（6）对于⾹农编码、费诺编码和霍夫曼编码，编码⽅法惟⼀的是⾹农编码。
（7）已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有⼀离散⽆记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__⼩于___C（⼤于、⼩于或者等于），则存在⼀种编码，当输⼊序列长度n⾜够⼤，使译码错误概率任意⼩。
（9）平均错误概率不仅与信道本⾝的统计特性有关，还与___译码规则____________和___编码⽅法___有关三、（5'）居住在某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设A表⽰“⼤学⽣”这⼀事件，B表⽰“⾝⾼1.60以上”这⼀事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满⾜I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
信息论与编码试题集与答案(新)解析
一填空题1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试题集与答案（新）
信息论与编码试题集与答案（新）1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
信息论与编码期中试卷及答案
信息论与编码期中试题答案一、（10’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
二、（10'）判断题（1）信息就是一种消息。
（⨯）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（⨯）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（√）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（⨯）（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。
（√）（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ⨯)三、（10'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分）I(A|B)=-log0.375=1.42bit （1分）四、（10'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （4分）同理()()()X Y H Y H Y X I -=; （2分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （2分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （2分）五、（30’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码试题集与答案
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。
信息论与编码考试答案
B 卷答案一、设有一离散无记忆信源，其概率空间为⎥⎦⎤====⎢⎣⎡=⎥⎦⎤⎢⎣⎡8141418343213210x x x x P X （1）求每个符号的自信息量；（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 22 3 210}，求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）每个符号携带的自信息量：I(0)=－log3/8=1.42bit, I(1)=－log1/4=2bit I(2)=－log1/4=2bit, I(3)=－log1.8=3bit （2）消息序列的自信息量：I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号 二、某信源有8个符号{1u ，···，8u }，概率分别为21，41，81，161，321，641，1281，1281，试编成000,001,010,011,100,101,110,111的码。
（1）求信源的符号熵H(U)； （2）求这种码的编码效率；（3）求出相应的香农码和费诺码； （4）求该码的编码效率。
解： （1）H(U)=i i ip p261log ∑=-=1.984（bit/符号）（2）编码效率LU H )(=η=66.15﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪平均码长∑==81i ii Lp L =1.984编码效率LX H )(=η=100﹪ 三、有四个符号a ，b ，c ，d 对应概率分别为p(a)=21，p(b)=41，p(c)=81，p(d)=81，对序列S=abda 做算术编码。
解：设起始状态为空序列φ，则A(φ)=1，C(φ)=0，递推得 C(a,b,d,a)=0.010111 A(a,b,d,a)=0.0000001 因此编码的码字为010111 四、某线性二进制码的生成矩阵为G=⎢⎢⎢⎣⎡011100111100101011100⎥⎥⎥⎦⎤，求： （1）用系统码[I ︱P]的形式表示G ；（2）计算该码的校验矩阵H ；（3）列出该码的伴随式表； （4）计算该码的最小距离。
信息论与编码试题集与答案(新)Word版
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码试题集与答案（新）Word版
信息论与编码试题集与答案（新）Word版一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息论与编码试卷C(参考答案)
一、（10分）设信源发出两个消息x1和x2，它们的概率分别为p（x1）=3/4，p（x2）=1/4。
求该信源的熵和冗余度。
解：（1）由信源的熵的计算公式有H（X）=0.81比特。
（2）最大熵出现在等概率情况，这时的熵为1比特。
冗余度为19%。
（1）由信源的熵的计算公式有H（X）=H（13,44）=0.81比特/信源符号。
（2）最大熵出现在等概率情况，即p（x1）=p（x2）=1/2，这时的熵为H（11,22）=1比特。
（3）冗余度为10.810.191γ-==。
二、（15分）已知一个信源包含八个符号消息,它们的概率分布如下表,进行费诺编码并计算信源熵、平均码长以及编码效率。
解：（1）对应的码字分别为00，01，100，101，1100，1101，1110，1111。
（2）信源熵H（S）=2.75比特/信源符号。
（3）平均码长L=2.75码元/信源符号。
（4）编码效率为1。
进行费诺编码并计算信源熵、平均码长以及编码效率。
解：（1）费诺编码如下：（2）信源熵1()()ii H s p s ==-∑㏒()ip s =2.75（比特/信源符号）。
（3）平均码长1() 2.75q i ii L p s l ===∑（码元/信源符号）。
（4） 编码效率为()1H S Lη==。
三、（15分）以下以码字集合的形式给出2种不同的编码，第一个码的码符号集合为{x ，y ，z}，第二个码为二进制编码, {xx ，xz ，y ，zz ，xyz}；{01，100，011,00,111,1010，1011，1101}，对上面列出的编码分别回答下述问题：(1)此码码长是否满足Kraft-McMillan 不等式? (2)此码是否是即时码?如果不是，请给出反例。
(3)此码是否是唯一可译码？如果不是，请给出反例。
解：(1)此码不满足克劳夫特不等式：233234441722222222116--------+++++++=≥； (2) 因为此码不满足克劳夫特不等式，此码不是即时码；(3) 因为此码不满足克劳夫特不等式，此码不是唯一可译码。
信息论与编码期中考试答案(2013-2014-I)
《信息论与编码》期中考试答案1. 香农在《通信的数学理论》中提出“通信的基本问题”是什么？（5分）答：通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。
2. 消息、信号、信息三者关系；用货车、集装箱、青花瓷瓶分别指代前面的三者。
（10分）答：1、消息是信息的携带者，信息包涵于消息中；2、消息不一定含有信息；3、信号是消息的载体，消息是信号的具体内容；货车：信号，集装箱：消息，青花瓷瓶：信息；3. 信息的最基本特征。
（5分）答：不确定性；4. 概率论与随机过程各自研究对象的区别。
（10分）答：概率论只是单纯研究事件发生的概率；而随机过程是放在随时间变化的过程中研究事件发生的概率及其相互关系；5. 编码器主要包括信源编码器和信道编码器，试用两个字分别描述信源编码器和信道编码器各自的作用。
（5分）答：信源编码器：高效/有效；信道编码器：可靠；6. 概率论中相互独立与互不相容的区别，两者各自针对的对象是什么。
（10分）答：相互独立：事件A的出现对于事件B的出现概率没有影响，且事件B的出现对于事件A的出现概率也没有影响；互不相容：事件A与事件B不能同时发生；相互独立：针对概率，互不相容：针对集合；7. 马尔可夫随机过程的无后效性、平稳性，试解释。
（10分）答：无后效性：f（t0）已知，f（t> t0）的条件概率与t0之前的状态无关，只与t0—t之间的状态有关；即f（t）的条件概率只受就近时刻状态的影响。
平稳性：条件概率与转换前后的状态及转换时间有关，与起始时刻无关。
8. 先验概率与后验概率的含义。
（10分）答：先验概率：事件未传输之前的已经具有的概率，与是否传输无关；后验概率：已知接收事件的条件下，判断发送事件的概率；9. 不确定度与自信息量的联系与区别。
（10分）答：不确定度与自信息量数值、单位相同；区别：不确定度表征事件的本身性质，与是否传输无关；自信息量表示事件发生后观察者得到的消除不确定度需要的信息量；不确定度强调传输前，自信息量强调传输后，经过通信系统的传输过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码期中试题答案
一、（10’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
二、（10）判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（）
（3）概率大的事件自信息量大。
（）
（4）互信息量可正、可负亦可为零。
（）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（）
（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（）
（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。
（）
（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )
三、（10）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则
P(A)= p(B)= p(B|A)= （5分）
故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （4分）
I(A|B)== （1分）
四、（10）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY) 证明：
()()()
()
()()()()
()()
Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X
Y
i j i j i -=⎥⎦⎤
⎢⎣⎡---==∑∑∑∑∑∑log log log
; （4分）
同理
()()()
X Y H Y H Y X I -=; （2分） 则
()
()()Y X I Y H X Y H ;-= 因为
()()()
X Y H X H XY H += （2分） 故
()()()()Y X I Y H X H XY H ;-+=
即
()()()()XY H Y H X H Y X I -+=; （2分）
五、（30’）.黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为，白色出现的概率为。
给出这个只有两个符号的信源X 的数学模型。
假设图上黑白消息出现前后没有关联，求熵()X H ；
2） 假设黑白消息出现前后有关联，其依赖关系为
，
，
，
，求其熵()X H ∞。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
解：1）信源模型为 （4分）
（6分）
2）由题意可知该信源为一阶马尔科夫信源。
（2分） 由
（4分）
得极限状态概率
（2分）
（2分）
3）
119.02log )
(121=-=X H γ （4分）
447.02log )
(122=-
=∞X H γ （4分）
12γγ>。
说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。
而信源冗余度正是反
映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。
（2分）
六、（10
）一个信源含有三个消息,概率分布为p 1=,p 2=,p 3=,失真函数矩阵为
[]421032d ⎡⎤
⎢⎥=⎢⎥
求:D max ,D min , R(D max ),R(D min )
p 1=,p 2=,p 3=
在给定的失真函数矩阵中,对每一个x i 找一个最小的d ij 然后求
R(D max )=0,
R(D min )=R(0)=H max (x)=[七、（10
）有一信源它有四种可能的输出，其概率分布如下图所示，
表中给出了对应的码A 、B 、C 、D 和E 。
1）求这些码中哪些是唯一可译码。
2）求哪些是非延长码（即时码）3）对所有唯一可译码求出其平均码长和编码效率
解：
1、唯一可译码为A 、B 、C 、D
2、即时码为A 、C 、D
3、信源熵H （X ）= bit/符号
A 码平均码长为2 bit/符号，效率为%
B 码平均码长为 bit/符号，效率为%
C 码平均码长为 bit/符号，效率为%
D 码平均码长为 bit/符号，效率为100%
)
15.033.02.01;3.032.02;25.003.042.0(m in 1
...2,1max ⨯+⨯+⨯⨯+⨯⨯+⨯+⨯==∑
==n
i ij i m j d p D min ()min j
i
ij
y i
D p x d
=
∑。