信息论与编码复习整理1

信息论与编码1.根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。

2.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

答：通信系统模型如下：数据处理定理为：串联信道的输入输出X 、Y 、Z 组成一个马尔可夫链，且有，。

说明经数据处理后，一般只会增加信息的损失。

3.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为:表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息:表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

4.简述最大离散熵定理。

对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

最大熵值为。

5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。

6.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。

信道容量是一个信道所能达到的最大信息传输率。

信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U 型凸函数。

7.信道疑义度的概念和物理含义？答：概念：)|(log )()|(j i j i jib a p b a p Y XH ∑∑-=物理含义：输出端收到全部输出符号Y 以后，对输入X 尚存在的平均不确定程度。

8.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz ，信噪比为30dB 时求信道容量。

答：香农公式为 ，它是高斯加性白噪声信道在单位时 间内的信道容量，其值取决于信噪比和带宽。

由得，则9.解释无失真变长信源编码定理?答：只要，当N 足够长时，一定存在一种无失真编码。

10.解释有噪信道编码定理？答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

11.最佳变长编码有哪些？答：香农编码方法，费诺编码方法和哈夫曼编码方法。

12.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？答：等长信源编码定理：对于任意，只要，则当L 足够长时必可使译码差错。

变长信源编码定理：只要，一定存在一种无失真编码。

等长码和变长码的最小平均码长均为，编码效率最高可达100%。

13.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。

答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。

最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。

最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。

在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

14.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0，所以有，而。

15.差错控制系统分类有哪些？答：前向纠错，反馈重发，混合纠错。

16.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。

答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。

平均互信息的最大值为信道容量。

17.香农第二定理的内容和含义？答：内容：设有一离散无记忆平稳信道，其信道容量为C ，只要待传送的信息传输率 R ＜C ，则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小.含义：只要R ＜C ，就可以在有噪信道中以任意小的错误概率(E p ＜ε)传输信息. 当输入序列长度n 足够大时，可以以任意接近信道容量C 的信息传输率传递信息。

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H (X ) log n log4 2 bit / symbol 1 = = = 八进制脉冲的平均信息量H (X ) log n log8 3 bit / symbol 2 = = = 二进制脉冲的平均信息量H (X ) log n log2 1 bit / symbol 0 = = = 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：sym bolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.15 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)symbol bit x p x p X H ii i / 811.043log 4341log 41)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑(2)bit m x p x I x p mi i m mmi 585.15.4143log)(log )(434341)(100100100100100+=-=-==⎪⎭⎫⎝⎛⨯⎪⎭⎫ ⎝⎛=---(3) symbol bit X H XH / 1.81811.0100)(100)(100=⨯==2.16 一阶马尔可夫信源的状态图如下图所示。

信源X 的符号集为{0, 1, 2}。

(1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。

解： (1)⎪⎩⎪⎨⎧===⎩⎨⎧=++==⎪⎪⎩⎪⎪⎨⎧⋅+⋅=⋅+⋅=⋅+⋅=⎪⎩⎪⎨⎧+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()()()()/()()/()()()/()()/()()()/()()/()()(321321321133322211131333332322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡⎪⎪⎩⎪⎪⎨⎧=+=⋅+⋅=+==+=⋅+⋅=+=⋅=+=3/123/113/10)(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p pp p e x p e p e x p e p x p (2)()sym bolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H iji j i j i / log log log 31log 31log 31log 31log 31log 31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31 )/(log )/(31)/(log )/(31)/(log )/(31)/(log )/()(33333232313123232222212113131212111133⋅+⋅-=⎥⎦⎤⎢⎣⎡⋅⋅+⋅⋅+⋅⋅+⋅⋅+⋅+⋅⋅-=⎥⎦⎤++++++⎢⎣⎡++-=-=∑∑∞2.17黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。

设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，PPPP(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H 2(X);(3) 分别求上述两种信源的剩余度，比较H(X)和H 2(X)的大小，并说明其物理含义。