信息论与编码试卷

合集下载

信息论与编码试题集

信息论与编码试题集题目一：1. 请解释以下术语的含义：a) 信源熵b) 信源编码c) 香农定理d) 奈奎斯特准则e) 奇偶校验码2. 在一个二进制对称信道中，如果发送方发送的比特为0，接收方接收到的比特也为0的概率为0.9，发送方发送的比特为1，接收方接收到的比特也为1的概率为0.8。

请计算该信道的信道容量。

题目二：1. 在一个具有4个等概率输出符号的信源中，计算该信源的熵。

2. 一个典型的英文字母出现的概率如下：P(A) = 0.4, P(B) = 0.3, P(C) = 0.2, P(D) = 0.1。

请计算该信源的平均码长以及编码效率。

题目三：1. 请解释Huffman编码的原理及步骤。

2. 使用Huffman编码对以下信源的输出编码：A: 0.3，B: 0.2，C: 0.15，D: 0.1，E: 0.1，F: 0.05，G: 0.05，H: 0.05。

计算编码的平均码长和编码效率。

题目四：1. 请解释线性分组码和卷积码的区别。

2. 针对一个二进制码串11001011，使用以下生成矩阵计算该码串的卷积码：G = [1 1 0 1; 1 0 1 0]。

给出计算过程和最终编码结果。

题目五：1. 请解释码激励方法。

2. 针对一个码激励线性分组码，当收到的码字为101010时，给出该码字的输入和输出码字。

题目六：1. 请解释BCH编码的原理及应用场景。

2. 对一个BCH(n, k)码，当n=15，k=11时，请给出该BCH码的生成矩阵。

题目七：1. 请解释LDPC码以及LDPC码的译码方法。

2. 对于一个n=7，k=4的LDPC码，给出该LDPC码的校验矩阵。

题目八：1. 请比较分组密码与流密码的特点和应用场景。

2. 使用RC4流密码算法对明文"HELLO"进行加密，已知初始密钥为"KEY"，给出加密后的密文。

题目九：1. 请解释区块密码与流密码的工作原理和区别。

信息论与编码期末考试题(全套)

H(Y/X)0,I(X;Y) H(X)。
三、（16分）已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）
（2）计算平均码长 ;（4分）
（3）计算编码信息率 ;（2分）
（4）计算编码后信息传输率 ;（2分）
（5）计算编码效率。（2分）
四、（10分）某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5 。计算：
（1）信息就是一种消息。（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（）
（3）概率大的事件自信息量大。（）
（4）互信息量可正、可负亦可为零。（）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（）
7、根据是否允许失真，信源编码可分为和。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“ ”或“ ”
（1）当X和Y相互独立时，H（XY）H(X)+H(X/Y)H(Y)+H(X)。
（2）
（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0,
5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）
6.连续信源和离散信源的熵都具有非负性.（）
7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确
定性就越小，获得的信息量就越小.
8.汉明码是一种线性分组码.（）

信息论与编码期末考试题

信息论与编码期末考试题信息论与编码期末考试题（一）一、判断题.1.当随机变量和相互独立时，条件熵等于信源熵.（）2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（）4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5.各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）6.连续信源和离散信源的熵都具有非负性.（）7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8.汉明码是一种线性分组码.（）9.率失真函数的最小值是.（）10.必然事件和不可能事件的自信息量都是.（）二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是.3、把信息组原封不动地搬到码字前位的码就叫做.4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为和，则成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源，其失真矩阵，则该信源的= .三、计算题.1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.3、设码符号为，信源空间为试构造一种三元紧致码.4、设二元线性分组码的生成矩阵为.（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则试着对其译码.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是2、信源的剩余度主要来自两个方面，一是，二是3、三进制信源的最小熵为，最大熵为4、无失真信源编码的平均码长最小理论极限制为5、当时，信源与信道达到匹配。

信息论与编码试题与答案

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

信息论与编码试卷与答案

一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。

由得，则6.解释无失真变长信源编码定理。

.答：只要，当N足够长时，一定存在一种无失真编码。

7.解释有噪信道编码定理。

答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0，所以有，而。

二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

信息论与编码试卷_信息论与编码试卷题目及答案

最大熵值为组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。

只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。

息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。

信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。

平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。

信息论与编码试卷

三, 简答题(22 分)
1.简述信息传输系统的五个组成部分及其作用. (10 分) 2.简述 Shannon 关于信息论的三大定理. 分) (6 3.写出 Fano 不等式,并说明其物理意义. 分) (6
四.编码题(共 12 分)
x X 1 1 对信源 = q( x) 6 均码长和编码效率. x2 1 6 x3 1 8 x4 1 8 x5 1 8 x6 1 8 x 7 x8 1 1 设计 D=3 的霍夫曼编码,并求出平 12 12
6. 通信系统形式上传输的是消息,实质上传输的是信息,消息中包含信息. (
第 1 页共 3页
7. 利用标准阵列进行译码时,译码正确的概率大小与陪集首的选择无关. ( 0.5 0.5 0 8. 信道 p ( y / x) = 是准对称信道. 0 0.5 0.5 (
) )
9. 对于同一个信源,香农,费诺和霍夫曼三种编码方法中,费诺编码得到的编码效率最高. ( ) 10. R(D)=0 表示信源无任何失真. ( )
五.计算题(每小题 8 分,共 24 分)
X x1 x 2 x3 1. 给定信源分布 = ,失真测度矩阵 q( x) 0.3 0.5 0.2
3 2 0 [d ] = 1 0 2 ,求率失真函数的定义域和值域 0 3 1
1 2.已知离散无记忆信道分布 [ p( y / x)] = 3 1 6
对于某个含有 7 个消息的信源, 其熵的最大值为
, 对应为
分布. 型凸函数. ,要纠正
4. 当信道给定,平均互信息量 I(X;Y)是信源概率分布 q(x)的 5. (n,k)线性分组码,要检测 e 个错误,则码的最小距离 d≥
t 个错误,码的最小距离 d≥
. . . 译码

信息论与编码试卷及答案

一、（11'）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 .（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码. （7）已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C(大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小. （9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25％是大学生,在女大学生中有75％是身高1.6米以上的,而女孩中身高1。

6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0。

25 p(B）=0.5 p(B｜A）=0.75 （2分)故 p（A｜B)=p（AB)/p(B)=p(A)p（B|A）/p(B)=0。

75＊0。

25/0。

5=0。

375 （2分）I（A|B)=—log0.375=1。

42bit （1分)四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X）+H(Y)—H（XY)证明:（2分）同理（1分）则因为（1分）故即(1分）五、（18’）。

黑白气象传真图的消息只有黑色和白色两种,求:1）黑色出现的概率为0。

专升本《信息论与编码》_试卷_答案

专升本《信息论与编码》_试卷_答案专升本《信息论与编码》⼀、（共48题,共150分）1. H(X)____________0，⼩概率事件对熵的贡献____________，确定事件的信息量____________0。

（6分）标准答案：1. >= ;2. ⼩;3. =;2. 确定信道的H(Y/X) ____0，H(X/Y) ____0。

（4分）标准答案：1. =;2. ;3. 霍夫曼编码可以编出不同的码，这些码的平均码长________，.编码效率________，码长⽅差________。

（6分）标准答案：1. ⼀样;2. ⼀样;3. 不⼀定⼀样;4. N个独⽴并联的信道，每个信道的信道容量为C，为了达到总的信道容量NC，所有信道的输⼊要________________，.所有信道的输⼊概率分布是各⾃信道的________________。

（4分）标准答案：1. 相互独⽴;2. 最佳分布;5. 通信系统中的编码器包括____________________，____________________，____________________。

（6分）标准答案：1. 信源编码器;2. 纠错编码器;3. 调制器;6. 率失真函数R（D）的最⼤值为________________，最⼩值为________________。

（4分）标准答案：1. H(X);2. 0;7. 某事件的概率为p(x)，则⾃信息量为（）。

（2分）A.-p(x)B.1/ p(x)C.-log p(x)D.log p(x)标准答案：C8. 有事件x，y，I(x)=2 bit，I(x/y)=1 bit，则互信息量I(x；y)的值为（）。

（2分）A.1 bitB.2 bitC.3 bitD.4 bit标准答案：A9. 下列关于条件熵的结论，不成⽴的是（）（2分）A.H(X/Y)C.H(X/Y)标准答案：B10. 使I(X;Y)=0成⽴的条件是（）: （2分）A.X和Y相互独⽴B.H (X) =H(Y)C.X和Y的概率分布相同标准答案：A11. 以下关于离散⽆记忆信源（熵为H(X)）的结论，不正确的是（）: （2分）A.是平稳信源B.其N次⽆记忆扩展信源的熵是NH(X)C.其极限熵⼤于H(X)标准答案：C12. 以下关于信道容量C和信息传输率R间的关系，正确的是（）: （2分）A.C RB.C=RC.C R 标准答案：A13. 某信源有8个符号，其信源熵为2.4 bit，进⾏⼆元定长编码（不扩展），则其编码效率⾄少可达（）（2分）A.80%B.85%C.90%D.95%标准答案：A14. 在准对称信道中，要达到信道容量，要求（）: （2分）A.信源和信宿的概率分布⼀致B.信源为等概分布C.信宿为等概分布标准答案：B15. 在信道编码中，简单重复编码可以（）: （2分）A.减⼩但降低了信息传输率B.提⾼了信息传输率，但增⼤了PEC.减⼩并提⾼了信息传输率标准答案：A16. ⼆元码C={(000),(011),(101),(110)，该码的最⼩码距是（）:。

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

信息论与编码试卷及答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。

（⨯）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（√）（3）概率大的事件自信息量大。

（⨯）（4）互信息量可正、可负亦可为零。

（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

（⨯）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。

（ √ ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

（ ⨯ ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

（ √ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

信息论与编码期末考试测试

信息论与编码期末考试测试信息论与编码期末考试测试选择题（10 分，每小题2 分）1、设有一个离散无记忆信源X，其符号数为n,则有（）成立。

A、;B、;C、;D、以上结论都不对。

2、设有一个离散无记忆信道，其信道矩阵为，则信道容量是（）。

; B、；C、；D、。

3、若一离散无记忆信源的符号熵为,对信源符号进行m 元变长编码，一定存在一种无失真编码方法，其码字平均长度满足（）。

A、；B、；C、；D、。

4、设X 是一个离散无记忆信源，、、分别是其2、3、4 次扩展信源。

由变长无失真信源编码定理知，对上述 4 个信源进行二元香农变长编码，则对（）进行编码时，编码效率最高。

A、；B、；C、；D、。

5、关于信息率失真函数，下列说法正确的是（）。

A、函数表示信源X 和允许的失真度D 给定的情况下，需要由信源传送给信宿的最小信息率；2( ) log H X n 2( ) log H X n 2( ) 2log H X n 2 / 1 6 / 1 3 / 13 / 1 2 / 1 6 / 16 / 1 3 / 1 2 / 1P21 1 1log 3 ( , , )2 3 6H 21 1 1log 3 ( , , )3 6 2H 21 1 1log 5 ( , , )2 3 6H 21 1 1log 6 ( , , )3 6 2H ( ) H XK2 2( ) ( )1log logH X H XKm m2 2( ) ( )1log logH X H XKm m2( )1logH XKm2( )logH XKm2X3X4__2X3X4X( ) R D( ) R DB、函数表示信源和允许的失真度D 给定的情况下，需要由信源传送给信宿的最大信息率；C、函数的取值范围是（-∞，0）；D、以上说法都不对。

填空题（20 分，每空2 分）1、线性循环码中，生成多项式的最高项次数为____ ，校验多项式的最高项次数为_____ ，和满足_________ 的关系，若其最小码距，则能检错的位数为，能纠错的位数为。

信息论与编码题集

信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。

2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。

3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。

将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。

4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。

信息论与编码考试试题

信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。

A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。

A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。

2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。

3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。

4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。

5、一个码组为{000, 111, 010, 101}，其最小码距为__________。

6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。

三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。

信息熵是用来度量信息不确定性的一个重要概念。

它反映了信源输出符号的平均不确定性。

物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。

例如，抛硬币的结果只有正反两面，其概率各为 05。

信息论与编码期末试卷

信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分）解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分）解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。

信息论与编码期末考试题（全套）

信息论与编码期末考试题（全套）（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性.（）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码.（）9. 率失真函数的最小值是0.（）10.必然事件和不可能事件的自信息量都是0. （）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =???，其失真矩阵00a D a ??=，则该信源的max D = . 三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{.图2-13（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 4、设二元)4,7(线性分组码的生成矩阵为=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。

《信息论与编码》复习试题

填空1.人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

2.信息的可度量性是建立信息论的基础。

3.统计度量是信息度量最常用的方法。

4.熵是香农信息论最基本最重要的概念。

5.事物的不确定度是用时间统计发生概率的对数来描述的。

6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

8.自信息量的单位一般有比特、奈特和哈特。

9.必然事件的自信息是 0 。

10.不可能事件的自信息量是 ∞ 。

11.两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。

16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ）。

17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。

18.对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。

19.对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。

20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。

21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。

22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。

信息论与编码期末试卷

9:若循环码的生成多项式为，则接收向量为（1111011）的伴随多项式为_______________
10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码.
11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集.
1：写出信道矩阵。
2：求此信道的噪声熵，疑义度，信息传输率。
3：求此信道的信道容量与最佳分布。
2：（本题满分2知条件概率为p(0/0)=0.25, P(0/1)=0.5
计算该信源的状态极限概率分布与极限熵
用3个符号合成一个来编2进制HUFFMAN码,要求有具体的编码过程，再求新符号的平均码字长度和编码效率。
6:若某信道的信道矩阵为，则该信道为具有____归并____性能的信道
7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________
8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________.
3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________.
4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________.
5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性.
12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位.