信息论复习资料

判断30

名词解释4*5

计算3道20分

第一章

1、自信息和互信息P6 公式

2、信道P9 概念

第二章

1、离散平稳信源P18概念

2、离散无记忆信源P19概念

3、时齐马尔可夫信源P20概念

4、自信息P22概念

5、信息熵P25概念

6、信息熵的基本性质P28

1)对称性

2)确定性

3)非负性

4)扩展性

5)可加性

6)强可加性

7)递增性

8)极值性

9)上凸性

7、联合熵条件熵P42公式P43例题

8、马尔克夫信源P54公式P55例题

9、信源剩余度P58

10、熵的相对率信源剩余度P58

11、课后作业：2、4、13、21、22

第三章

1、有记忆信道P73概念

2、二元对称信道BSC P74

3、前向概率、后向概率、先验概率、后验概率P76

4、条件熵信道疑义度、平均互信息P77

5、平均互信息、联合熵、信道疑义度、噪声熵计算公式P78

6、损失熵噪声熵 P79

7、平均互信息的特性P82

1)非负性

2)极值性

3)交互性

4)凸状性

8、信息传输率R P86

9、无噪无损信道P87概念

10、有噪无损信道P88概念

11、对称离散信道 P89概念

12、对称离散信道的信道容量P90公式

张亚威2012/06/20

张亚威

2012/06/21

16、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9

第五章

1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。

2、 等长码 P172概念

3、 等长信源编码定理 P178

4、 编码效率 P180

5、 克拉夫特不等式 P184

6、 香农第一定理 P191

7、 码的剩余度 P194

第六章

1、 最大后验概率准则 最小错误概率准则 P200

2、 最大似然译码准则 P201

3、 费诺不等式 P202

4、 信息传输率（码率） P205

5、 香农第二定理 P215

6、 课后习题 3、

第八章

1、 霍夫曼码 最佳码 P273

2、 费诺码 P279

3、 课后习题 11、

第八章

1、 编码原则 译码原则 P307

2、 定理9.1 P313

3、 分组码的码率 P314公式

4、 课后习题 3、

一、 填空题

1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息

传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。 2、 采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为11≤∑=-n

i K i m ， 它是判断 唯

一可译码存在 的充要条件。

3、 差错控制的基本方式大致可以分为 前向纠错 、 反馈重发 和 混合纠错 。

4、 如果所有码字都配置在二进制码树的叶节点，则该码字为 唯一可译码 。

5、 某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 等概_____分布情况下，信源熵取最大

值___log （n ） 。

6、 信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

7、 信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 8、 三进制信源的最小熵为0，最大熵为32log bit/符号。

张亚威 2012/06/20

根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。12、 根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 13、 连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞

∆→∞

--∆⎰

）

14、 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 15、 无记忆信源是指 信源先后发生的符号彼此统计独立 。

16、 离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率

大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。

17、 为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道

编码 。

18、 八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 19、 即时码是指 任一码字都不是其它码字的前缀 。

20、 一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 21、 信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不

均匀性 。

22、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 23、 同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17

比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 二、 判断题

1、 信息就是一种消息。 （ ⨯ ）

2、 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（ √ ）

3、 概率大的事件自信息量大。 （ ⨯ ）

4、 互信息量可正、可负亦可为零。 （ √ ）

5、 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（ ⨯ ）

6、 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ）

7、 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ⨯ ）

8、 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。（ √ ）

9、 信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )

三、 名词解析题

1. 什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。

答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息为

表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2. 解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。