信息论与编码填空题新
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（⨯）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（⨯）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（ √ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。
（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。
二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。
(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0。
5。
计算:（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。
信息论与编码试题集与答案
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
信息论与编码复习题
一、填空题（共10小题，每题1分）1.即时码又称为（非延长码），有时叫做（异前缀码）。
d）。
2.码的纠检错能力取决于码字的（最小距离min3.如果信源为X，信宿为Y，那么信道疑义度为（），噪声熵为（）。
4.把信息组原封不动地搬到码字前k位的（n,k）码就叫做（系统码）。
5.循环码的任何一个码字的循环移位仍是码字，因此用一个基底就足以表示循环码的特征。
所以描述循环码的常用数学工具是（码多项式）。
6.香农于1948年发表了（通信的数学理论），这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
7.冗余度来自两个方面，一是（信源符号之间的相关性），二是（信源符号分布的不均匀性）。
8.差错控制的途径是：（增大信道容量C），（减小码率R），（增加码长N）。
9.信源编码的主要任务是(减少冗余，提高编码效率)。
10.汉明码是能纠正1个随机错误码元的完备码，它的码长n与监督位长度m（=n-k）之间的关系式为( )。
11.信道编码的主要目标是(提高信息传送的可靠性)。
12.信源可分为两大类，及（）信源和（）信源。
13.唯一可译码又分为（）码和（）码。
14.游程编码的码字通常由（）和（）组合而成。
15.从系统的角度，运用纠/检错码进行差错控制的基本方式有（）、（）和（）。
16.常用的译码方法有（）译码和（）译码。
二、判断题（共10小题，每题1分）1.由于构成同一线性分组码空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。
2.可以用生成多项式来描述任何线性分组码。
3.只要传信率R大于信道容量C，总存在一种信道码及解码器，可以以所要求的任意小的差错概率实现可靠通信。
4.码字长度i k符合克劳夫特不等式，是唯一可译码存在的充分必要条件。
5.对于m阶马尔科夫信源来说，在某一时刻出现的符号，取决于前面已出现的m个符号。
6.根据熵的可加性，序列的熵等于组成序列的各符号熵之和。
7.哈夫曼码在编码时充分考虑了信源符号分布的不均匀性和符号之间的相关性。
信息论编码的填空题
信息论编码的填空题1、1、信息论的三大要素是：信源；信道；信宿2、2、一个随机事件的不确定度是指：自信息量3、某事件发生的概率是0.5，则这个事件的信息量是：1bit 。
3、4、编码调制的两条基本途径是：概率均化；解除相关性5、一个全损离散信道的信道容量是： 0bit/符号。
6、已知一个离散信源有8个符号，每个符号出现的概率均一样，则该信源的信源熵是：符号log bit/87、信息表达可通过哪三层实现：消息；信息；信号8、（N、K）线性码的任意一个码字C与校验矩阵H的关系是：0 TCH（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X 的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
信息论与编码试卷及答案分解
信息论与编码试卷及答案分解⼀、（11’）填空题（1）1948年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。
（2）必然事件的⾃信息是0 。
（3）离散平稳⽆记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为__信源符号等概分布_。
（5）若⼀离散⽆记忆信源的信源熵H（X）等于2.5，对信源进⾏等长的⽆失真⼆进制编码，则编码长度⾄少为 3 。
（6）对于⾹农编码、费诺编码和霍夫曼编码，编码⽅法惟⼀的是⾹农编码。
（7）已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有⼀离散⽆记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__⼩于___C（⼤于、⼩于或者等于），则存在⼀种编码，当输⼊序列长度n⾜够⼤，使译码错误概率任意⼩。
（9）平均错误概率不仅与信道本⾝的统计特性有关，还与___译码规则____________和___编码⽅法___有关三、（5'）居住在某地区的⼥孩中有25%是⼤学⽣，在⼥⼤学⽣中有75%是⾝⾼1.6⽶以上的，⽽⼥孩中⾝⾼1.6⽶以上的占总数的⼀半。
假如我们得知“⾝⾼1.6⽶以上的某⼥孩是⼤学⽣”的消息，问获得多少信息量？解：设A表⽰“⼤学⽣”这⼀事件，B表⽰“⾝⾼1.60以上”这⼀事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满⾜I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分）则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分）故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。
信息论与编码填空汇总
1.喷泉码的编码方法主要为：（LT码）和（Raptor码）。
2.数字喷泉码是一种（信道）编码，主要为了提高通信系统的（可靠性）。
3、如果在解码时已知信道的确切信息，则空时编码可分为（空时分层编码）（空时格形编码）（空时分组编码）。
4、空时格形编码的优点：具有较高的（编码增益）和（分集增益）5、无线定位技术利用了（Wi-Fi、蓝牙）技术。
写出两种即可6、定位技术的运用领域（军事、医疗）等7、在通信系统中,信源编码能提高系统的______性,信道编码能提高系统的______性,加密编码能提高系统的______性。
参考答案:有效性,可靠性,安全性8、写出两个常见的加密编码算法______。
(填一个不得分)参考答案:任意两个即可,例如：AES,DES,IDEA,RC4,RC2,3DES,DSS9.LTE信道主要用到哪两种编码：Turbo码，卷积码。
10.Turbo码编码时，如果不进行删余，得到的码率是：1/311.DCT变换可以消除图像的（空间）冗余，Huffman编码可以消除图像的（信息熵）冗余。
12 任写出一种水印算法？答：最低有效位算法(LSB)；Patchwork算法；纹理块映射编码；文本微调算法；DCT变换域数字水印算法；直接序列扩频水印算法；其他变换域数字水印算法13.目前网络编码主要的2种实现方式是(确定性线性网络编码)和(随机线性网络编码).14.C- Coding是一种网络编码的机密性保障机制，旨在解决抵御(全局窃听)攻击的问题.15. LBG算法主要思想是：从一组码矢量出发，将所有的图像矢量进行划分，然后再重新计算码矢量，直到码矢量的变化收敛时，即完成了码书的选择。
16. 矢量量化压缩图像的方法就是对图像进行比较，选出最贴近码书中码字的数值，用码书中的数值代替该图像中对应位置上的数值。
17、语音压缩编码方法中有失真压缩主要包括哪三类（波形编码）（参数编码）（混合编码）。
18、矢量量化在语音通信中的应用时，通信系统中有两个完全相同的码本，分别位于系统那两个位置：一个在（编码器（发送端）），另一个在（解码器（接收端））。
信息理论与编码答案 人民邮电出版社
第一章 自我测试题一、填空题1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。
2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。
3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。
4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。
5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。
二、判断题1. 信息传输系统模型表明，噪声仅仅来源于信道（×）2. 本体论层次信息表明，信息不依赖于人而存在（√）3. 信道编码与译码是一对可逆变换（×）4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ． 信息是数据B ． 信息是集合之间的变异度C ． 信息是控制的指令D ． 信息是收信者事先不知道的报道 2.___B__是最高层次的信息 A ． 认识论 B ． 本体论 C ． 价值论 D ． 唯物论 3.下列不属于狭义信息论的是__D___ A ． 信息的测度 B ． 信源编码 C ． 信道容量 D ． 计算机翻译 4.下列不属于信息论的研究内容的是__A___ A ． 信息的产生 B ． 信道传输能力 C ． 文字的统计特性 D ． 抗干扰编码 5.下列关于信息论发展历史描述不正确的是__B___A ． 偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B ． 1952年，香农发展了信道容量的迭代算法C ． 哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D ． 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码期末考试题学生复习
《信息论基础》参考答案一、填空题 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度 该信源的绝对熵为无穷大。
三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分） （3）计算编码信息率R ';（2分） （4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论与编码试题集与答案(新)Word版
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码题库
信息论与编码 模拟题一 、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。
则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈____________分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为100001010001010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的DMC 的信道容量为 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最小码重为 8 。
11．汉明码是一种线性分组码，其最小码距为 3 。
12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。
13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码填空题新
1. 在无失真的信源中,信源输出由 HX 来度量；在有失真的信源中,信源输出由 RD 来度量;2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码,然后_加密_编码,再_信道编码,最后送入信道;3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB,我们将它称作香农限,是一切编码方式所能达到的理论极限;4. 保密系统的密钥量越小,密钥熵HK 就越 小 ,其密文中含有的关于明文的信息量IM ；C 就越 大 ;5. 已知n ＝7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式hx = 31x x ++ ;6. 设输入符号表为X ＝{0,1},输出符号表为Y ＝{0,1};输入信号的概率分布为p ＝1/2,1/2,失真函数为d 0,0 = d 1,1 = 0,d 0,1 =2,d 1,0 = 1,则D min ＝ 0 ,RD min ＝ 1bit/symbol ,相应的编码器转移概率矩阵py/x ＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ,RD max ＝ 0 ,相应的编码器转移概率矩阵py/x ＝1010⎡⎤⎢⎥⎣⎦; 7. 已知用户A 的RSA 公开密钥e,n =3,55,5,11p q ==,则()φn = 40 ,他的秘密密钥d,n ＝27,55 ;若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 ;１．设Ｘ的取值受限于有限区间a,b,则X 服从 均匀 分布时,其熵达到最大；如X 的均值为μ,方差受限为2σ,则X 服从 高斯 分布时,其熵达到最大;2．信息论不等式：对于任意实数0>z ,有1ln -≤z z ,当且仅当1=z 时等式成立;3．设信源为X={0,1},P0=1/8,则信源的熵为 )8/7(log 8/78log 8/122+比特/符号,如信源发出由m 个“0”和100-m 个“1”构成的序列,序列的自信息量为)8/7(log )100(8log 22m m -+比特/符号;4．离散对称信道输入等概率时,输出为 等概 分布;5．根据码字所含的码元的个数,编码可分为 定长 编码和 变长 编码;6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ,用二元符号表}1,0{21===x x X 对其进行定长编码,若所编的码为{000,001,010,011,100,101},则编码器输出码元的一维概率=)(1x P , =)(2x P ;1. 在现代通信系统中,信源编码主要用于解决信息传输中的 有效性 ,信道编码主要用于解决信息传输中的 可靠性 ,加密编码主要用于解决信息传输中的 安全性 ;2. 离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x x p X ,则信源的熵为 符号 ; 3. 对称DMC 信道的输入符号数为n,输出符号数为m,信道转移概率矩阵为p ij ,则该信道的容量为ij m j ij p p m C log log 1∑=+=;4. 采用m 进制编码的码字长度为K i ,码字个数为n,则克劳夫特不等式为11≤∑=-n i K i m ,它是判断 唯一可译码存在 的充要条件;5. 差错控制的基本方式大致可以分为 前向纠错 、 反馈重发 和 混合纠错 ;6. 如果所有码字都配置在二进制码树的叶节点,则该码字为 唯一可译码 ;7. 齐次马尔可夫信源的一步转移概率矩阵为P ,稳态分布为W ,则W 和P 满足的方程为 W=WP ;8. 设某信道输入端的熵为HX,输出端的熵为HY,该信道为无噪有损信道,则该信道的容量为 MAX HY ;9. 某离散无记忆信源X,其符号个数为n,则当信源符号呈 等概_____分布情况下,信源熵取最大值_logn ;10. 在信息处理中,随着处理级数的增加,输入消息和输出消息之间的平均互信息量趋于 减少 ;12．信息论不等式：对于任意实数0>z ,有1ln -≤z z ,当且仅当1=z 时等式成立;3．设信源为X={0,1},P0=1/8,则信源的熵为 )8/7(log 8/78log 8/122+比特/符号,如信源发出由m 个“0”和100-m 个“1”构成的序列,序列的自信息量为)8/7(log )100(8log 22m m -+比特/符号;4．离散对称信道输入等概率时,输出为 等概 分布;5．根据码字所含的码元的个数,编码可分为 定长 编码和 变长 编码;6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ,用二元符号表}1,0{21===x x X 对其进行定长编码,若所编的码为{000,001,010,011,100,101},1． 信息的基本概念在于它的 不确定性 ;2． 按照信源发出的消息在时间和幅度上的分布情况,可将信源分成 离散 信源和 连续 信源两大类;3．一个随机事件的自信息量定义为其出现概率对数的负值;4．按树图法构成的码一定满足即时码的定义;5．有扰离散信道编码定理称为香农第二极限定理;6．纠错码的检、纠错能力是指检测、纠正错误码元的数目;7．信道一般指传输信息的物理媒介,分为有线信道和无线信道;8．信源编码的主要目的是提高通信系统的有效性;1.设信源X包含4个不同离散消息,当且仅当X中各个消息出现的概率为___1/4___时,信、、源熵达到最大值,为__2__,此时各个消息的自信息量为__2 __;2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出___3____个随机错,最多能纠正__1____个随机错;3.克劳夫特不等式是唯一可译码___存在___的充要条件;4.平均互信息量IX;Y与信源熵和条件熵之间的关系是___X;Y=HX-HX/Y___;5._信源___提高通信的有效性,_信道____目的是提高通信的可靠性,_加密__编码的目的是保证通信的安全性;6.信源编码的目的是提高通信的有效性 ,信道编码的目的是提高通信的可靠性 ,加密编码的目的是保证通信的安全性 ;7.设信源X包含8个不同离散消息,当且仅当X中各个消息出现的概率为__1/8__时,信源熵达到最大值,为___3____;8.自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越_小___;9.信源的冗余度来自两个方面,一是信源符号之间的__相关性__,二是信源符号分布的__不均匀性__;10.最大后验概率译码指的是译码器要在已知r的条件下找出可能性最大的发码作为译码估值 ,即令=maxP |r_ __;11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种;1.给定x i条件下随机事件y j所包含的不确定度和条件自信息量py j /x i,DA．数量上不等,单位不同B．数量上不等,单位相同C．数量上相等,单位不同D．数量上相等,单位相同2.条件熵和无条件熵的关系是：CA．HY/X＜HY B．HY/X＞HYC．HY/X≤HY D．HY/X≥HY3.根据树图法构成规则, DA．在树根上安排码字B．在树枝上安排码字C．在中间节点上安排码字D．在终端节点上安排码字4.下列说法正确的是：CA．奇异码是唯一可译码B．非奇异码是唯一可译码C ．非奇异码不一定是唯一可译码D ．非奇异码不是唯一可译码5. 下面哪一项不属于熵的性质：B A ．非负性 B ．完备性C ．对称性D ．确定性 1.下面表达式中正确的是A ;A.∑=j i j x y p 1)/(B.∑=ii j x y p 1)/(C.∑=j j j i y y x p )(),(ωD.∑=ii j i x q y x p )(),(2.彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64种彩色度,每种彩度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之间相互独立;每秒传送25帧图像所需要的信道容量C ;A. 50106B. 75106C. 125106D. 2501063.已知某无记忆三符号信源a,b,c 等概分布,接收端为二符号集,其失真矩阵为d=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1 21 12 1,则信源的最大平均失真度max D 为 D ;A. 1/3B. 2/3C. 3/3D. 4/34.线性分组码不具有的性质是 C ;A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积c m H T=05.率失真函数的下限为B;A .HU U; V D.没有下限6.纠错编码中,下列哪种措施不能减小差错概率 D ;A. 增大信道容量B. 增大码长C. 减小码率D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗;一人随手取出3颗,经测量恰好找出了假珠,不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多6次能找出,结果确是如此,这一事件给出的信息量 A ;A. 0bitB. log6bitC. 6bitD. log240bit8.下列陈述中,不正确的是 D ;A.离散无记忆信道中,HY是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说,线性码的最小距离越大,意味着任意码字间的差别越大,则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码9.一个随即变量x的概率密度函数Px= x /2,V≤x,则信源的相对熵为 C ;20≤A . B. C. 1bit D.10.下列离散信源,熵最大的是 D ;A. H1/3,1/3,1/3；B. H1/2,1/2；C. H,；D. H1/2,1/4,1/8,1/811.下列不属于消息的是B ;A.文字B.信号C.图像D.语言12.为提高通信系统传输消息有效性,信源编码采用的方法是 A ;A.压缩信源的冗余度B.在信息比特中适当加入冗余比特C.研究码的生成矩阵D.对多组信息进行交织处理13.最大似然译码等价于最大后验概率译码的条件是 D ;A.离散无记忆信道B.无错编码C.无扰信道D.消息先验等概14.下列说法正确的是C ;A.等重码是线性码B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0重量D.线性分组码中包含一个全0码字15.二进制通信系统使用符号0和1,由于存在失真,传输时会产生误码,用符号表示下列事件,u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到则已知收到的符号,被告知发出的符号能得到的信息量是 A ;A. HU/VB. HV/UC. HU,VD. HUV16. 同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为 B ;A. －log36bitB. log36bitC. －log 11/36bitD. log 11/36bit17.下列组合中不属于即时码的是 A ;A. { 0,01,011}B. {0,10,110}C. {00,10,11}D. {1,01,00}18.已知某6,3线性分组码的生成矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110001111010G ,则不用计算就可判断出下列码中不是该码集里的码是 D ;A. 000000B. 110001C. 011101D. 11111119.一个随即变量x 的概率密度函数Px= x /2,V 20≤≤x ,则信源的相对熵为 C ;A. 符号B. 符号C. 1bit/符号D. 符号20.设有一个无记忆信源发出符号A 和B,已知4341)(,)(==B p A p ,发出二重符号序列消息的信源,无记忆信源熵)(2X H 为 A ;6、只要,当N 足够长时,一定存在一种无失真编码;7、当R ＜C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小;8、在认识论层次上研究信息的时候,必须同时考虑到 形式、含义和效用 三个方面的因素; 9、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论;按照信息的性质,可以把信息分成 语法信息、语义信息和语用信息 ;按照信息的地位,可以把信息分成 客观信息和主观信息 ;人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息;信息的 可度量性 是建立信息论的基础;统计度量 是信息度量最常用的方法;熵 是香农信息论最基本最重要的概念;事物的不确定度是用时间统计发生 概率的对数 来描述的;10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述;11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值 ;12、自信息量的单位一般有 比特、奈特和哈特 ;13、必然事件的自信息是 0 ;14、不可能事件的自信息量是 ∞ ;15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 ;16、数据处理定理：当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 ;17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 ;18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H ;19、对于n 元m 阶马尔可夫信源,其状态空间共有 nm 个不同的状态;20、一维连续随即变量X 在a,b 区间内均匀分布时,其信源熵为 log2b-a ;21、平均功率为P 的高斯分布的连续信源,其信源熵,HcX=eP π2log 212;22、对于限峰值功率的N 维连续信源,当概率密度 均匀分布 时连续信源熵具有最大值;23、对于限平均功率的一维连续信源,当概率密度 高斯分布 时,信源熵有最大值;24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 ;25、若一离散无记忆信源的信源熵HX 等于,对信源进行等长的无失真二进制编码,则编码长度至少为 3 ;26、m 元长度为ki,i=1,2,···n 的异前置码存在的充要条件是：∑=-≤ni k i m 11;27、若把掷骰子的结果作为一离散信源,则其信源熵为 log26 ; 28、同时掷两个正常的骰子,各面呈现的概率都为1/6,则“3和5同时出现”这件事的自信息量是 log2181+2 log23;29、若一维随即变量X 的取值区间是0,∞,其概率密度函数为m x e m x p -=1)(,其中：0≥x ,m是X 的数学期望,则X 的信源熵=)(X H C me 2log ;30、一副充分洗乱的扑克牌52张,从中任意抽取1张,然后放回,若把这一过程看作离散无记忆信源,则其信源熵为 52log 2 ;31、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散或半连续 信道;32、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 无记忆 信道;33、具有一一对应关系的无噪信道的信道容量C= log2n ;34、强对称信道的信道容量C= log2n-Hni ;35、对称信道的信道容量C= log2m-Hmi ;36、对于离散无记忆信道和信源的N次扩展,其信道容量CN= NC ;37、对于N个对立并联信道,其信道容量 CN = ∑=NkkC1 ;38、多用户信道的信道容量用多维空间的一个区域的界限来表示;39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道;40、广播信道是只有一个输入端和多个输出端的信道;41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时,此信道称为加性连续信道 ;42、高斯加性信道的信道容量C=)1(log212NXPP+;43、信道编码定理是一个理想编码的存在性定理,即：信道无失真传递信息的条件是信息率小于信道容量 ;44、信道矩阵⎥⎦⎤⎢⎣⎡12/12/1代表的信道的信道容量C= 1 ;45、信道矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡111代表的信道的信道容量C= 1 ;46、高斯加性噪声信道中,信道带宽3kHz,信噪比为7,则该信道的最大信息传输速率Ct= 9 kHz ;47、对于具有归并性能的无燥信道,达到信道容量的条件是 pyj=1/m ;48、信道矩阵⎥⎦⎤⎢⎣⎡1001代表的信道,若每分钟可以传递6105个符号,则该信道的最大信息传输速率Ct= 10kHz ;49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础;50、求解率失真函数的问题,即：在给定失真度的情况下,求信息率的 极小值 ;51、信源的消息通过信道传输后的误差或失真越大,信宿收到消息后对信源存在的不确定性就 越大 ,获得的信息量就越小;52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 ;53、单符号的失真度或失真函数dxi,yj 表示信源发出一个符号xi,信宿再现yj 所引起的 误差或失真 ;54、汉明失真函数 dxi,yj=⎩⎨⎧≠=j i j i 10 ;55、平方误差失真函数dxi,yj=yj- xi2;56、平均失真度定义为失真函数的数学期望,即dxi,yj 在X 和Y 的 联合概率空间PXY 中 的统计平均值;57、如果信源和失真度一定,则平均失真度是 信道统计特性 的函数;58、如果规定平均失真度D 不能超过某一限定的值D,即：D D ≤;我们把D D ≤称为 保真度准则 ;59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍;60、试验信道的集合用PD 来表示,则PD= {}m j n i D D x y p i j ,,2,1,,,2,1;:)/( ==≤ ;61、信息率失真函数,简称为率失真函数,即：试验信道中的平均互信息量的 最小值 ;62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 ;63、平均失真度的上限Dmax 取{Dj ：j=1,2,···,m}中的 最小值 ;64、率失真函数对允许的平均失真度是 单调递减和连续的 ;65、对于离散无记忆信源的率失真函数的最大值是 log2n ;66、当失真度大于平均失真度的上限时Dmax 时,率失真函数RD= 0 ;67、连续信源X 的率失真函数RD= );()/(Y X I P x y p InfD ∈ ;68、当2σ≤D 时,高斯信源在均方差失真度下的信息率失真函数为 =)(D R D22log 21σ ; 69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数RD ;70、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ,则该信源的Dmax= a/2 ;71、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ,则该信源的Dmin= 0 ;72、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ,则该信源的RD= 1-HD/a ;73、按照不同的编码目的,编码可以分为三类：分别是 信源编码、信道编码和安全编码 ;74、信源编码的目的是： 提高通信的有效性 ;75、一般情况下,信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 ;76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 ;77、在香农编码中,第i 个码字的长度ki 和pxi 之间有)(log 1)(log 22i i i x p k x p -<≤- 关系; 78、对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/1(87654321x x x x x x x x X P X ）进行二进制费诺编码,其编码效率为 1 ;79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加 2 个概率为0的消息;80、对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是 香农编码 ;81、对于二元序列00111111,其相应的游程序列是 ;82、设无记忆二元序列中,“0”和“1”的概率分别是p0和p1,则“0”游程长度L0的概率为 11)0(0)]0([p p L p L -= ;83、游程序列的熵 等于 原二元序列的熵;84、若“0”游程的哈夫吗编码效率为η0,“1”游程的哈夫吗编码效率为η1,且η0>η1对应的二元序列的编码效率为η,则三者的关系是 η0>η>η1 ;85、在实际的游程编码过程中,对长码一般采取 截断 处理的方法;86、“0”游程和“1”游程可以分别进行哈夫曼编码,两个码表中的码字可以重复,但 C码必须不同;87、在多符号的消息序列中,大量的重复出现的,只起占时作用的符号称为冗余位 ;88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个缩短了的多元序列 ;89、L-D编码是一种分帧传送冗余位序列的方法;90、L-D编码适合于冗余位较多或较少的情况;91、信道编码的最终目的是提高信号传输的可靠性 ;92、狭义的信道编码即：检、纠错编码 ;93、BSC信道即：无记忆二进制对称信道 ;94、n位重复码的编码效率是 1/n ;95、等重码可以检验全部的奇数位错和部分的偶数位错 ;96、任意两个码字之间的最小汉明距离有称为码的最小距dmin,则dmin=)',(min'ccdcc≠;97、若纠错码的最小距离为dmin,则可以纠正任意小于等于t=⎥⎦⎥⎢⎣⎢-21mind个差错;98、若检错码的最小距离为dmin,则可以检测出任意小于等于l= dmin-1 个差错;99、线性分组码是同时具有分组特性和线性特性的纠错码;100、循环码即是采用循环移位特性界定的一类线性分组码;。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_.（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码. （7）已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关三、（5')居住在某地区的女孩中有25％是大学生，在女大学生中有75％是身高1。
6米以上的,而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量?解：设A表示“大学生"这一事件,B表示“身高1.60以上”这一事件，则P（A）=0。
25 p（B)=0.5 p（B｜A)=0。
75 （2分)故 p（A｜B）=p（AB）/p（B）=p（A)p（B｜A）/p（B）=0。
75*0。
25/0.5=0.375 （2分)I(A｜B)=—log0.375=1.42bit （1分）四、（5'）证明:平均互信息量同信息熵之间满足I（X；Y）=H（X)+H（Y)—H(XY）证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分)则()()()Y X I Y H X Y H ;-=因为()()()X Y H X H XY H += （1分)故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、(18'）。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，然后—加密—编码，再_信道编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是C Wlog(1 SNR);当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时 E b /N 。
为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H(K )就越 小，其密文中含有的关于明文的信息量 I (MC )就越 大。
5. 已知n = 7的循环码g(x) x 4x 2 x 1，则信息位长度k 为_3_，校验多项式h(x)=_x 3 x 1_。
6. 设输入符号表为 X = {0,1}，输出符号表为 Y = {0 , 1}。
输入信号的概率分布为 p = (1/2 , 1/2)，失 真函数为d (0 , 0) = d (1 , 1) = 0 , d (0 , 1) =2 , d (1 , 0) = 1 ，贝U DU = _0_, R (Dn in ) = 1bit/symbol ,1 0相应的编码器转移概率矩阵[p(y/x )] =; D max = 0.5 , R Dn ax ) = 0，相应的编码器转移概率矩0 1阵[p(y/x )]=7. 已知用户A 的RSA 公开密钥(e,n )=(3,55) , p 5,q 11,贝U (n) 40 ，他的秘密密钥(d,n )=(27,55)。
若用户B 向用户A 发送n =2的加密消息，则该加密后的消息为 _8_。
1 •设X 的取值受限于有限区间]a,b ],则X 服从 均匀 分布时，其熵达到最大；如 X 的均值为，方差受限为 2，则X 服从 高斯 分布时，其熵达到最大。
2 .信息论不等式：对于任意实数 z 0，有In z z 1，当且仅当z 1时等式成立。
3 •设信源为 X={0, 1}, P (0) =1/8，则信源的熵为_1/8Iog 2 8 7/8log 2(7/8)比特/符号，如信源发 出由m 个“0”和(100-m)个“1 ”构成的序列，序列的自信息量为 mlog 28 (100 m)Iog 2(7/8)比特/符号。
4 .离散对称信道输入等概率时，输出为 等概 分布。
5 •根据码字所含的码元的个数，编码可分为定长 编码和 变长 编码。
Uu 1 u 2 u 3 u 4 u 5 u 66•设DMS 为，用二元符号表 X {x 1 0,x 2 1}对F U 0.37 0.25 0.18 0.10 0.07 0.03其进行定长编码，若所编的码为{000 , 001, 010, 011, 100, 101}，则编码器输出码元的一维概率 P(x 1)0.747, P(x 2)0.253_。
1. 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性，信道编码主要用于解决信息传 输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
2. 离散信源XX 1X 2 X 3，则信源的熵为1.75bit/ 符号 。
p(x) 1/2 1/4 1/8 1/81.在无失真的信源中，信源输出由H (X )来度量；在有失真的信源中，信源输出由R (D)来度量。
3.对称DMC信道的输入符号数为n,输出符号数为m信道转移概率矩阵为P j ,则该信道的容量为mC log m p j log p i j。
j 1n4.采用m进制编码的码字长度为 K，码字个数为n,则克劳夫特不等式为 m Ki1 , 它是判断_唯i 1一可译码存在的充要条件。
5.差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。
6.如果所有码字都配置在二进制码树的叶节点，则该码字为唯一可译码。
7.齐次马尔可夫信源的一步转移概率矩阵为P,稳态分布为 W则W和P满足的方程为 W=WP 。
8.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为MAXH (Y) 。
9.某离散无记忆信源 X其符号个数为 n，则当信源符号呈等概______ 分布情况下，信源熵取最大值_log ( n)。
10.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于减少。
12 •信息论不等式：对于任意实数z 0，有lnz z 1，当且仅当z 1时等式成立。
3•设信源为 X={0, 1}, P (0) =1/8，则信源的熵为_1/8log2 8 7/8log2(7/8)比特/符号，如信源发出由m个“0”和(100-m)个“ 1”构成的序列，序列的自信息量为mlog 28 (100 m)log2(7/8)比特/符号。
4.离散对称信道输入等概率时，输出为等概分布。
5•根据码字所含的码元的个数，编码可分为定长编码和变长编码。
6•设DMS为.1 2 3 4 5 6，用二兀符号表X {x1 0,x2 1}对F U 0.37 0.25 0.18 0.10 0.07 0.03其进行定长编码，若所编的码为{000 , 001 , 010, 011, 100, 101},1•信息的基本概念在于它的—不确定性_。
2•按照信源发出的消息在时间和幅度上的分布情况，可将信源分成____ 离散 ___ 信源和_______ 连续信源两大类。
3• 一个随机事件的—自信息量—定义为其出现概率对数的负值。
4•按树图法构成的码一定满足—即时码__________ 的定义。
5•—有扰离散信道编码定理________ 称为香农第二极限定理。
6•纠错码的检、纠错能力是指_______ 检测、纠正错误码元的数目__________ 。
7•信道一般指传输信息的物理媒介，分为—有线 ____ 信道和—无线—信道。
8•信源编码的主要目的是 _提高通信系统的有效性___________ 。
1.设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为—1/4_ 时，信、、源熵达到2.如某线性分组码的最小汉明距dmin=4,则该码最多能检测出 __3 ________ 个随机错，最多能纠正__1 ____ 个随机错。
3.克劳夫特不等式是唯一可译码—存在—的充要条件。
4.平均互信息量l(X;Y)与信源熵和条件熵之间的关系是—(X;Y)=H(X)-H(X/Y )_。
5._信源___提高通信的有效性，—信道______ 目的是提高通信的可靠性，—加密__编码的目的是保证通信的安全性。
6•信源编码的目的是提高通信的有效性，信道编码的目的是提高通信的可靠性，加密编码的目的是保证通信的安全性。
7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为 _1/8 —时，信源熵达到最大值，为_____ 3 ___ 。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9•信源的冗余度来自两个方面，一是信源符号之间的__相关性__,二是信源符号分布的不均匀性。
10.最大后验概率译码指的是译码器要在已知 r的条件下找出可能性最大的发码作为译码估值，即令=maxP( |r)_ _。
11.常用的检纠错方法有—前向纠错—、反馈重发和混合纠错三种。
B.数量上不等，单位相同D.数量上相等，单位相同(CB. H(Y/X) > HY)D. H(Y/X) > HY)(D)B.在树枝上安排码字D.在终端节点上安排码字(CB.非奇异码是唯一可译码D.非奇异码不是唯一可译码(B)B.完备性p(y j/G 1ip(X i,y j) q(X i)1.给定X i条件下随机事件y j所包含的不确定度和条件自信息量p(y j/X i)，( D)A.数量上不等，单位不同C.数量上相等，单位不同2.条件熵和无条件熵的关系是：A.H(Y/X) v HY)C. H(Y/X) < HY)3.根据树图法构成规则，A.在树根上安排码字C.在中间节点上安排码字4.下列说法正确的是：A.奇异码是唯一可译码C.非奇异码不一定是唯一可译码5.下面哪一项不属于熵的性质：A.非负性C.对称性1.下面表达式中正确的是(A )。
A. p(y j/G 1B.jC. p(x,y j) (y j)D.jA . 0.5bit B. 0.72bit C. 1bit D. 1.44bit2. 彩色电视显像管的屏幕上有 5X 105个像元，设每个像元有 64种彩色度，每种彩度又有 16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
每秒传 送25帧图像所需要的信道容量（C ）。
A. 0bitB. Iog6bitC. 6bitD. Iog240bit 8. 下列陈述中，不正确的是（D ）。
A.离散无记忆信道中，H （Y ）是输入概率向量的凸函数B. 满足格拉夫特不等式的码字为惟一可译码C. 一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码 9. 一个随即变量x 的概率密度函数P （x ）= x /2 ，0 x 2V ，则信源的相对熵为（C ）。
A. 50 106B. 75 106C. 125 106D. 250 1063.已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为1 2d= 1 1 ,则信源的最大2 1平均失真度D max 为（D ）。
A. 1/3 B. 2/3 C. 3/3D.4/34. 线性分组码不具有的性质是（ C ）。
A. 任意多个码字的线性组合仍是码字 B. 最小汉明距离等于最小非 0重量 C. 最小汉明距离为 3D. 任一码字和其校验矩阵的乘积 C m H =05. 率失真函数的下限为（ B ）。
没有下限6.纠错编码中，下列哪种措施不能减小差错概率（D ）。
7. 一珍珠养殖场收获 240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差 异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久 却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（A ）。
10. 下列离散信源，熵最大的是（ D ）。
A. H (1/3,1/3,1/3 ) ;B. HC. H (0.9,0.1 );D. H11.下列不属于消息的是( B )。
A.文字B. 信号C. 12.为提高通信系统传输消息有效性，信源编码采用的方法是（ A ）。
A.压缩信源的冗余度B. 在信息比特中适当加入冗余比特C.研究码的生成矩阵D.对多组信息进行交织处理13. 最大似然译码等价于最大后验概率译码的条件是（ D ）。
A.离散无记忆信道B.无错编码C.无扰信道D.消息先验等概14. 下列说法正确的是（ C ）。