信息论与编码复习整理1

信息论与编码

1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？

答：3类，分别是：信源编码，信道编码，和加密编码。

2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X 、Y 、Z 组成一个马尔可夫链，且有

，

。说明经数据处理后，一般只会增加信息的损失。

3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

答：平均自信息为:

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息:

表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

4.简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是多少？

答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为

。

5.熵的性质什么？

答：非负性，对称性，确定性，香农辅助定理，最大熵定理。

6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

答：信息传输率R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。

7.信道疑义度的概念和物理含义？

答：概念：)|(log )()|(j i j i j

i

b a p b a p Y X

H ∑

∑

-=

物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。

8.写出香农公式，并说明其物理意义。当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。

答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。

由得，则

9.解释无失真变长信源编码定理?

答：只要，当N 足够长时，一定存在一种无失真编码。

10.解释有噪信道编码定理？

答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

11.最佳变长编码有哪些？

答：香农编码方法，费诺编码方法和哈夫曼编码方法。

12.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？

答：等长信源编码定理：对于任意，只要，则当L 足够

长时必可使译码差错

。

变长信源编码定理：只要

，一定存在一种无失真编码。

等长码和变长码的最小平均码长均为

，编码效率最高可达100%。

13.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。

答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二

元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

14.

什么是保真度准则？对二元信源，其失真矩阵，

求a>0

时率失真函数的

和

？

答：1）保真度准则为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0，所以有，而。

15.差错控制系统分类有哪些？

答：前向纠错，反馈重发，混合纠错。

16.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互

信息与信道容量的关系。

答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。

17.香农第二定理的内容和含义？

答：内容：设有一离散无记忆平稳信道，其信道容量为C ，只要待传送的信息传输率 R ＜C ，则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小.

含义：只要R ＜C ，就可以在有噪信道中以任意小的错误概率(E p ＜ε)传输信息. 当输入序列长度n 足够大时，可以以任意接近信道容量C 的信息传输率传递信息。 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H (X ) log n log4 2 bit / symbol 1 = = = 八进制脉冲的平均信息量H (X ) log n log8 3 bit / symbol 2 = = = 二进制脉冲的平均信息量H (X ) log n log2 1 bit / symbol 0 = = = 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍

2.4 设离散无记忆信源⎭⎬⎫

⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？

解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：