无失真信源编码

第3章无失真信源编码

教学内容包括：信源编码概述、定长编码、变长编码常用的信源编码

3．1信源编码概述

讲课内容：

1、信源编码及分类

2、信源编码定义

3、信源编码基础

1、给出编码译码示意图

2、编码：信源编码、信道编码。

信源 = 信息 + 冗余

信源编码：针对信源的编码，能更加有效地传输、存储信息。编码后尽可能减少所需信息的损失，提高编码后携带信息的效率。

3、信源编码的主要任务

a、减少冗余

b、提高编码效率

4、信源编码的基本途径

a、解除相关性

b 、概率均匀化

4、信源编码的两个基本定理

a 、无失真编码定理（可逆编码的基础、只适用于离散信源）

b 、限失真编码定理（连续信源） 5、信源编码的分类

a 、冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 统计特性：Huffman 编码，算术编码Arithmetic Coding

b 、熵压缩编码，不可逆压缩 压缩超过一定限度，必然带来失真 允许的失真越大，压缩的比例越大

译码时能按一定的失真容许度恢复，保留尽可能多的信息

本章讨论离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及几种实用的无失真信源编码，如香农编码、费诺编码、哈夫曼编码等。 6、信源编码的定义

首先给出信源编码的定义，

信源编码就是从信源符号到码符号的一种映射f ，它把信源输出的符号u i 变换成码元序列w i 。

f ：u i ——>w i ，i =1，2，…，q

译码是从码符号到信源符号的映射。若要实现无失真编码，这种映射必须是一一对应的、可逆的。

给出马元、码字、马块、二元编码的概念

结合P34例3.1.1给出编码的分类如下：

给出平均码长的定义和公式。

结合P34例3.1.1进行二进制信源的简单编码，并计算平均码长。

3．2克拉夫特（Kraft）不等式

讲课内容：

1、变长码的码字分离技术

2、即时码的引入和码树表示方法

3、即时码与克拉夫特不等式

1、变长码的码字分离技术

a、同步信号

b、可分离码字

2、即时码和码树表示法

即时码是一种实时的惟一可译码，这类码无需另加同步信息，就能在接收端被分离出来。在信源编码和数据压缩中，这类编码无论在理论还是在实际中都有很大意义，对较简单的信源，可以很方便地用码树法直接且直观地构造出可以分离码（异前缀码）。

根据码树判定即时码：

3、即时码与克拉夫特不等式

但是当信源较复杂，直接画码树就比较复杂。针对这一问题，在数学上给出一个与码树等效的，表达码字可分离的充要条件，即著名的克拉夫特不等式。

【定理3.1.1】对于码长分别为l1，l2，…，l n的m元码，若此码为即时码，则必定满足

(3.1.4)

反之，若码长满足不等式（3.1.4），则一定存在具有这样码长的即时码。

给出该定理的理论意义与证明过程

【定理3.1.2】对于任意r进制惟一可译码，各码字的码长l i，i=1，2，…，n，必须满足Kraft不等式

，

反过来，若上式成立，就一定能构造一个r进制惟一可译码。

给出该定理的理论意义与证明过程

3．3定长编码

讲课内容：

1、定长编码定理

2、定长编码方法

3、定长编码的编码效率与差错率

1、定长编码定理

a、引入离散无记忆信源进行编码的最小平均码长问题

前面讨论编码时，都是对信源输出的单个符号进行编码，现在考虑更一般的情况，即对信源输出的符号序列进行编码。假设离散无记忆信源为[U，P U]=[u i，P(u

)|i=1，2，…，q]，现要对U发出的N长符号序列进行编码。对信源U的N i

长符号序列进行r进制编码，实质上就是对扩展信源U N的单个符号进行编码，

既可定长编码，也可变长编码。若用代表对U N编码所得的平均码长，则我们

追求的是最小的码，这就引出了一个理论问题，平均码长可小到什么程度呢？对此问题，定长无失真编码定理和变长无失真编码定理都给予了明确的回答。只要可用的码字数不少于U N的符号数，即

就可做到惟一译码。将上式整理一下得

U的一个符号所需用去的码元数目/N以U的最大r进制熵为

下界，再小就不能惟一可译了。

b、给出解决方法----定长编码定理

【定理3.2.1(定长编码定理)】用r元符号表对离散无记忆信源U的N长符号序列进行定长编码，N长符号序列对应的码长为，若对于任意小ε>0，δ>0，只要满足

(3.2.3) 就几乎能实现无失真编码，且随着N的增大，译码错误率小于δ。反之，若

(3.2.4)

时，不可能实现无失真编码，且随着N的增大，译码错误概率近似等于1，几乎必定出错。

c、给出该定理的理论意义并分析定理的结论。

d、给出定长编码的效率

给出公式分析：

为使编码真正有效，必须增大信源序列的分组长度N，这就会使编、译码的延时增大，同时也会使编、译码器的复杂程度增加，因此，定长编码在冗余度压缩编码中的理论意义远大于其实用价值。

2、定长编码方法（P82例3.2.1）

a、计算平均码长

b、计算信源熵

c、计算编码效率

3、定长编码的失真与差错率

当

有望使更小。根据切比雪夫不等式可推得，

（）

当ζ2(U)和ε2均为定值时，只要N足够大，就可以使P e小于任意一正数δ，即，也就是当信源序列长度N满足

(3.2.12)

时，就能达到差错率要求。

定长编码在引入失真的前提下，还需要取很长的信源序列进行编码，才能达到较高的编码效率。既要不失真，又要很高的编码效率，只能采用变长编码。

结合【例 3.2.2】分析上述结论。

3．4变长编码

讲课内容：

变长编码定理（香农第一定理）

变长编码方法

变长编码的编码效率

1、变长编码定理