信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案
信息理论与编码-期末试卷A及答案
⼀、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。信息论的基础理论是，它属于狭义信息论。 2、信号是的载体，消息是的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的⾃信息量为 bit ，此信源的熵为 bit/符号。
4、某离散⽆记忆信源X ，其概率空间和重量空间分别为1
234 0.50.250.1250.125X x x x x P =???
和1234
0.5122X x x x x w
=
，则其信源熵和加权熵分别为和。 5、信源的剩余度主要来⾃两个⽅⾯，⼀是，⼆是。 6、平均互信息量与信息熵、联合熵的关系是。 7、信道的输出仅与信道当前输⼊有关，⽽与过去输⼊⽆关的信道称为信道。 8、马尔可夫信源需要满⾜两个条件：⼀、；
⼆、。
9、若某信道矩阵为
01000
1
000001
100
，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是：概率⼤的信源符号⽤，概率⼩的信源符号⽤。（填短码或长码）
12、在现代通信系统中，信源编码主要⽤于解决信息传输中的性，信道编码主要⽤于解
决信息传输中的性，保密密编码主要⽤于解决信息传输中的安全性。
13、差错控制的基本⽅式⼤致可以分为、和混合纠错。
14、某线性分组码的最⼩汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。
信息论与编码试卷及答案2
篇一：信息论与编码期末题(全套)
〔一〕
7、某二元信源
一、判断题共 10 小题，总分值 20 分.
1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕
2. 由于构成同一空间的基底不是唯一的，所以不同的基
1X0
P(X)1/21/2，其失真矩阵
0a
，那么该信源的Dmax= Da0
三、此题共 4 小题，总分值 50 分.
1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端
底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕
3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕
4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通
信
〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕
7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0
. 〔〕
10.必然事件和不可能事件的自信息量都是0. 〔〕
二、填空题共 6 小题，总分值 20 分.
1
、
码
的
检
、
纠
错
能
力
取
决
于 .
2、信源编码的目的是的目的是 .
3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .
4、香农信息论中的三大极限定理
是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么
I(XN,YN)NI(X,Y)成立的
信息论与编码试卷及答案2
篇一：信息论与编码期末题(全套)
〔一〕
7、某二元信源
一、判断题共 10 小题，总分值 20 分.
1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). 〔〕
2. 由于构成同一空间的基底不是唯一的，所以不同的基
1X0
P(X)1/21/2，其失真矩阵
0a
，那么该信源的Dmax= Da0
三、此题共 4 小题，总分值 50 分.
1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端
底或生成矩阵有可能生成同一码集.符号 y( j 1 ,2) ，转移概率矩阵为有3 种,3〔〕
3.一般情况下，用变长编码得到的平均码长比定长编码大得多. 〔〕
4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通
信
〔〕 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 〔〕 6. 连续信源和离散信源的熵都具有非负性. 〔〕
7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. 〔〕 9. 率失真函数的最小值是0
. 〔〕
10.必然事件和不可能事件的自信息量都是0. 〔〕
二、填空题共 6 小题，总分值 20 分.
1
、
码
的
检
、
纠
错
能
力
取
决
于 .
2、信源编码的目的是的目的是 .
3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .
4、香农信息论中的三大极限定理
是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么
I(XN,YN)NI(X,Y)成立的
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，
则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1
234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢
⎥⎣⎦⎣⎦和1234
0.5122X x x x x w ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣
⎦
，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是
，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、
。
9、若某信道矩阵为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢
⎣⎡01000
1
000001
100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用
于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1
234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢
⎥⎣⎦⎣⎦和1234
0.5122X x x x x w ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣
⎦
，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ；
二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢
⎣⎡01000
1
000001
100
，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填短码或长码）
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解
决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
信息论与编码试卷及答案
信息论与编码试卷及答案
⼀、概念简答题（每题5分，共40分）
1.什么是平均⾃信息量与平均互信息，⽐较⼀下这两个概念的异同？
2.简述最⼤离散熵定理。对于⼀个有m个符号的离散信源，其最⼤熵是多少？
3.解释信息传输率、信道容量、最佳输⼊分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
4.对于⼀个⼀般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出⾹农公式，并说明其物理意义。当信道带宽为5000Hz，信噪⽐为30dB时求信道容量。
6.解释⽆失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对⼆元信源，其失真矩阵，求a>0
时率失真函数的和？
⼆、综合题（每题10分，共60分）
1.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：
1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上⿊⽩消息出现前后没有关联，求熵；2）假设⿊⽩消息出现前后有关联，其依赖关系为：，，
，，求其熵；
2.⼆元对称信道如图。；
1）若，，求和；
2）求该信道的信道容量和最佳输⼊分布。
3.信源空间为，试分别构造⼆元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有⼀离散信道，其信道传递矩阵为，并设，试分别按最⼩错误概率准则与最⼤似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知⼀（8，5）线性分组码的⽣成矩阵为。
求：1）输⼊为全00011和10100时该码的码字；2）最⼩码距。
6.设某⼀信号的信息传输率为5.6kbit/s，在带宽为4kHz的⾼斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。试求：
信息理论与编码
1、
单选题下列不属于消息的是( ）。
2分
文字
信号
图像
语言
标准答案： B
2、
单选题设有一个无记忆信源发出符号A和B，已知[如图1]，发出二重符号序列消息的信源，无记忆信源熵[如图2]为( ）。
2分图1图2
0.81bit/二重符号
1.62bit/二重符号
0.93 bit/二重符号
1.86 bit/二重符号
标准答案： B
3、
单选题同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12，则得到的自信息为( ）。
2分
－log36bit
log36bit
－log（11/36）bit
log（11/36)bit
标准答案： B
4、
单选题二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、x1: 发出一个1、y0 ：收到一个0、y1：收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是( ）。
2分
H（X/Y)
H(Y/X)
H（X，Y)
H(XY）
标准答案： A
5、
单选题一个随即变量x的概率密度函数P（x）= x /2,[如图1]，则信源的相对熵为( ）。
2分图1
0.5bit
0.72bit
1bit
1.44bit
标准答案： C
6、
单选题下面哪一项不属于熵的性质：( ）。
2分
非负性
完备性
对称性
确定性
标准答案： B
7、
单选题根据树图法构成规则，( ）。
2分
在树根上安排码字
在树枝上安排码字
在中间节点上安排码字
在终端节点上安排码字
标准答案： D
8、
单选题下列组合中不属于即时码的是( ）。
2分
｛0，01,011}
｛0，10，110｝
｛00，10，11}
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
武汉理工信息理论编码试卷(07电信科)
二、简答题（共24分）
1. 在通信系统中信源编码的主要功能是什么?（6分）
2. 写出Fano不等式，并说明其物理含义。（6分）
3. 目前对卷积码有哪些描述方法？这几种描述方法各从什么角度
考虑的？（6分）
4. 试阐述变长编码定理。（6分）
设两个信源分布q1(x)和q2(x)，分别对应的平均互信息量为I1(X ; Y)和I2(X ; Y)，记概率分布
q(x)=θq1(x)+(1-θ)q2(x) （式中0 θ 1），对应平均互信息量I(X ; Y)，若
I(X ; Y)是信源概率分布的n型凸函数，证明θI1(X ; Y)+(1-θ)I2(X ; Y)
I(X ; Y) 。
四、计算题（共46分）
1. 设某班学生在一次考试中获优（A）、良（B）、中（C）、及格
（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不
及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要
多少信息量？（8分）
2．给定信源分布，失真测度矩阵，求R(D)的定义域和值域。（8分）
3．设二元对称信道的转移矩阵为，
（1）若信源分布，，求，，和
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。（10分）
（注：，，）
4、设线性分组码的生成矩阵，求：
（1）此（n,k）码的n=?k=?，写出此（n,k）码的所有码字；
（2）求其对应的校验矩阵H。
（3）确定最小码距，问此码能纠正几位错？列出其能纠错的所有错误图样和对应的伴随式；
（4）若接收码字为000110，用伴随式法求译码结果。（10分）
5、设信源。 （10分）
1）求信源熵；
信息理论与编码答案 人民邮电出版社
第一章 自我测试题
一、填空题
1. 在认识论层次上研究信息的时候，必须同时考虑到形式、__语义___和__语用___三个方面的因素。
2. 如果从随机不确定性的角度来定义信息，信息是用以消除__随机不确定性___的东西。
3. 信源编码的结果是__减小_冗余；而信道编码的手段是__增加___冗余。
4. _1948_年，香农发表了著名的论文__通信的数学理论__，标志着信息论诞生。
5. 信息商品是一种特殊商品，它有__保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。 二、判断题
1. 信息传输系统模型表明，噪声仅仅来源于信道（×）
2. 本体论层次信息表明，信息不依赖于人而存在（√）
3. 信道编码与译码是一对可逆变换（×）
4. 1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（×）
5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（√）
三、选择题
1.
下列表述中，属于从随机不确定性的角度来定义信息的是__D___ A ． 信息是数据
B ． 信息是集合之间的变异度
C ． 信息是控制的指令
D ． 信息是收信者事先不知道的报道 2.
___B__是最高层次的信息 A ． 认识论 B ． 本体论 C ． 价值论 D ． 唯物论 3.
下列不属于狭义信息论的是__D___ A ． 信息的测度 B ． 信源编码 C ． 信道容量 D ． 计算机翻译 4.
下列不属于信息论的研究内容的是__A___ A ． 信息的产生 B ． 信道传输能力 C ． 文字的统计特性 D ． 抗干扰编码 5.
信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于2.5，对信源进
行等长的无失真二
进制编码，则编码
长度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9?）判断题
（1）信息就是一种消息。（?）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（?）
（3）概率大的事件自信息量大。（?）
（4）互信息量可正、可负亦可为零。（?）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（?）
（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（?）
信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于2.5，对信源
进行等长的无失真
二进制编码，则编
码长度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9'）判断题
（1）信息就是一种消息。（⨯）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）
（3）概率大的事件自信息量大。（⨯）
（4）互信息量可正、可负亦可为零。（√）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
【西安电子科技大学】信息论与编码理论试题-l答案（供参考勿外传）
西安电子科技大学
考试时间120分钟
试题
1.考试形式：闭卷；
2.本试卷共七大题，满分100分。
班级 学号 姓名 任课教师
一（30分）基本概念题
（1）请判断正误：平均互信息I （X ；Y ）不大于条件平均互信息I （X ；Y|Z ）。 （2）请给出Kraft 不等式，并说明它是否为判断唯一可译码的充要条件。 （3）请说明最大似然译码准则是否为最佳译码准则。 （4）请给出信息率失真函数R(D)的定义并解释其物理含义。
（5）请说明为什么对于平均功率受限的时间离散恒参可加噪声信道，高斯干扰是最
坏的干扰及该结论在实际通信中的作用。
（6）设有一硬币，其正面出现的概率为1/3，令0表示正面，试说明在ε→0情况下一
个典型序列应具备的特点，并给出这一序列出现的概率。
（7）若失真矩阵为⎥⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡130102，输入集合X 的概率为（1/3、1/3、1/3），请分别给出D min
和D max 。
解：
（1）该结论错误。
（2）craft 不等式：长度为n 1,n 2,…,n K 的D 元异字头码存在的充分必要条件是
∑=-≤K
k k
n
D
1
1。该不等式可以用来判断是否存在对应长度的唯一可译码，但是
不能作为判断唯一可译码的充要条件。
（3）当先验等概时，最大似然准则等价于最佳译码准则；当先验不等概时，不符合
最佳译码准则。
（4）信息率失真函数R (D )定义为在满足D 保真度准则下所有许可试验信道所对应的
平均互信息的最小值。其物理含义为：当给定失真度D 时，R(D)是满足保真度
第2页共6页
准则情况下传输信源信息速率的最低值，即信源压缩的下限。 （5）对平均功率受限的时间离散的恒参可加噪声信道容量C 满足：
《信息理论与编码》-答案-考试重点(1--3章)
《信息理论与编码》习题参考答案
1. 信息是什么?信息与消息有什么区别和联系?
答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。
第2章
1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？
答：依据题意，这一随机事件的概率空间为
120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
其中：
1
x 表示摸出的球为红球事件，
2
x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是
()()11log log0.8
I x p x =-=-（比特）
b)如果摸出的是白球，则获得的信息量是
()()22log log0.2
I x p x =-=-（比特）
c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n 次，红球出现的次数为
()
1np x 次，白球出现的次数为
()
2np x 次。随机摸取n 次后总共所获得信息量为
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）
1、平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：
5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
信息论与编码理论(最全试题集+带答案+各种题型)
5.什么是码元速率？什么是信息速率？两者有何关系？
答：码元传输速率，又称为码元速率或传码率。码元速率又称为波特率，指每秒信号的变化次数。信息速率（Rb）：指每秒传送的信息量。单位为“bit/s”。码元速率：单位时间（1秒）传送码元的数目。信息速率：单位时间内传递的平均信息量或比特数。
四
五．计算（
1.同时掷一对骰子，要得知面朝上点数这和，描述这一信源的数学模型。
2.设有一个二街二元马尔科夫信源，其四中状态的转移概率矩阵为：
画出状态图并求稳态下个状态出现的概率。
p(s0) =0.8p(s0) +0.5p(s2)
p(s1) =0.2p(s0) +0.5p(s2)
p(s2) =0.5p(s1)+ 0.3p(s3)
20．若随机事件发生 的概率为 ，那么它的自信息量为 。
21．在信息论中，常用的对数底为2时，信息量的单位为比特（bit）。
22．一个以等概率出现的二进制码（0,1）所包含的自信息量为1bit。
23． 说明该事件是必然事件，所以不含任何信息量。
24. 是 的单调递减函数。
25．概率越大的事件，不确定性越小，发生后提供的信息量就越小。
23．译码器分为信源译码器和信道译码器。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100
得分 一、填空题（每空1分，共35分） 得分| |阅卷人|
1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为123
4 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=
__________。
10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填
短码或长码）
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 得分| |阅卷人|
1、下列不属于消息的是（ ）。
A. 文字
B. 信号
C. 图像
D. 语言
2、设有一个无记忆信源发出符号A 和B ，已知43
41)(,)(==B p A p ，发出二重符号序列消息的信源，
无记忆信源熵)(2X H 为（ ）。
A. 0.81bit/二重符号
B. 1.62bit/二重符号
C. 0.93 bit/二重符号 D . 1.86 bit/二重符号
3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit
4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知
发出的符号能得到的信息量是（ ）。
A. H(X/Y)
B. H(Y/X)
C. H( X, Y)
D. H(XY)
5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit
6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性
7、根据树图法构成规则， （ ） A ．在树根上安排码字 B ．在树枝上安排码字 C ．在中间节点上安排码字 D ．在终端节点上安排码字
8、下列组合中不属于即时码的是（ ）。 A. { 0，01，011} B. {0，10，110} C. {00，10，11} D. {1，01，00}
9、 已知某（6，3）线性分组码的生成矩阵⎥⎥
⎥⎦⎤
⎢⎢⎢⎣⎡=011101110001111010G ，则不用计算就可判断出下列码中不是该
码集里的码是（ ）。 A. 000000 B. 110001 C. 011101 D. 111111 10、下列保密编码中属于现代密码体制的是（ ） A. 凯撒密码 B. Vigenere 密码 C. 韦维纳姆密码 D. DES 加密算法 三、简答题（四小题，共23分） 得分| |阅卷人| 1、请简述现代密码系统应当满足的条件。(4分)
2、请简述连续信源最大熵定理的主要内容。（6分）
3、请解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则的含义，并说明三者的关
系。（5分）
答：
4、已知密钥为yes ，请利用多表代换密码中的Vigenere （维吉尼亚）密码原理分别对下列明文和密文
进行编码和译码。明文：A Mathematical Theory of Communication ； 密文：G ee y hgaxgp (需给出
码表或编译码过程，8分)
四、计算题（四小题，共32分） 得分| |阅卷人| 1、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？（5分） 2、设离散符号信源为1
21/43/4x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，试求：
（1）信源的熵、熵的相对效率以及剩余度； （2）求二次扩展信源的概率空间及其信源熵。(10分) 3、已知6符号离散信源的出现概率为⎥⎥⎦⎤⎢⎢⎣⎡321321161814121654321a a a a a a ，试写出Huffman 编码的码字并求其平均码长。（7分）
4、已知一个(5, 3)线性分组码C 的生成矩阵为：11001G 0110100111⎡⎤
⎢⎥
=⎢⎥⎢⎥⎣⎦,
（1）求系统生成矩阵及校验矩阵； （2）列出C 的信息位与系统码字的映射关系； （3）求收到r =11101时的译码步骤与译码结果。(10分)