信息论与编码习题

可能生成同一码集。

最小距离为dmin时检错和纠错能力
信息论基础
7
密码学相关内容

加密时使用的密钥与解密时使用的密钥允许不同吗？ 根据密钥的性质，密码体制可分为哪两种密码体制?请举例 明文消息的冗余度越小，破译密文的难度越大。说法对吗? 一个理想的保密系统，应满足对合法用户能安全、保密地给出信 源明文的全部信息，即I(M；C，K)= 得不到任何明文信息，即I(M；C)= H(M) 0 。 小 ，其密文中含有 ；而对窃听者应使之

保密系统的密钥量越小，密钥熵H(K)就越 者间的关系为 I(M；C)≥H(M)－ H(K) 。
的关于明文的信息量I(M；C)就越 大 。H(M)、H(K)及I(M；C)三 DES的中文名称是什么？（数据加密标准）。它采用的是什么密码 体制。IDEA呢？（国际数据加密算法）RSA是什么密码体制？
信息论基础

8. 码集、生成多项式g(x)、h(x)、G矩阵、H矩阵、差错图案
根据收码，结合伴随式，解出发码 9. RSA编码、译码

10. 作业本上所有的题目
9
信息论基础




信息论基础
2
Baidu Nhomakorabea
什么是信息不增性：数据处理过程中只会。。。。。 率失真函数研究的是什么？信源还是信道？ 在无失真的信源中，信源输出由 在有失真的信源中，信源输出由 来度量； 来度量。
能获得最佳码的编码方法主要有哪些？
请写出香农公式，并说明香农限为多少？ 问：哈夫曼编码方法得到的码唯一码吗？为什么？ 克劳夫特不等式的作用？答：判断唯一可译码存在的判据 最大熵定理： 限峰功率最大熵定理：对于定义域一定的随机变量X，当它是均匀分 布时具有最大熵 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态 分布时具有最大熵

信息论基础
5

可以有哪三种方法减小差错概率？ 答：增加信道容量、减小码率、增加码长 信道编码纠错能力的获取可以归结为两条，一条是利用冗 余度，另一条是噪声均化。（p131）


采用噪声均化的方法以获得纠错能力的提高，一般有哪三 种方法？（增加码长-补充计算、卷积、交织）
什么是最大后验概率译码？什么是最大似然译码？两者等 效于的前提条件是什么？（p133-134）
3
信息论基础

Shannon三大极限定理是： 无失真信源编码定理 、 信道编 码定理 、 限失真信源编码定理

无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第二极限定理； 限失真信源编码定理称为第三极限定理
信息论基础
4

什么是随机差错、什么是突发差错？
从系统角度，运用纠\检错码进行差错控制的基本方式大致分为哪 三类？
从功能角度讲，差错码可分为两类：一类用于发现差错， 叫 ；另一类能自动纠正差错，叫 。



有扰离散信道编码定理内容是什么？

正定理：只要传信率R小于信道容量C，总存在一种信道码（及解 码器），可以以所要求的任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R的上边界，如果R >C， 就不可能有任何一种编码能使差错概率任意小。
习题课
任课老师：唐贵进 江苏省图像处理与图像通信重点实验室
1

香农在1948年发表了一篇论文， 为信息论创立奠定了基础，论文 名字叫什么？（ 通信的数学理论） 在信息论中，重点关注通信系统的三项指标，分别是什么？各通 过什么编码来实现？三者编码顺序如何？ （信源编码的目的是提高通信系统的什么性？信道编码的目的 是提高通信系统的什么性？） 叙述条件熵与绝对熵的关系、多条件熵与单条件熵的关系、联合 熵与熵的和的关系 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大 变大还是变小？ 问：冗余度来自哪两个方面？

信息论基础
6
线性分组码：

什么是系统码？（p136） 对一个码的生成矩阵进行系统化，不会改变码集。 对线性分组码的生成矩阵系统化的过程中采用的是行运算，而不是列 运算。 伴随式与差错图案是一一对应的吗？为什么？ 线性分组码的最小距离等于码集中非零码字的最小重量。 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有

8
计算题

1. 自信息量的计算 2. 熵的计算 3. 马尔可夫信源状态转移图 4. 平稳分布、极限熵 5. 信道容量（包括级联信道如课本p54例3-4）的计算，怎么达到信道容 量 6. Dmin、Dmax、R(Dmin) 、R(Dmax)以及编码器转移概率矩阵 7. 信源编码方法：香农、费诺、huffman