信息论基础第5章无失真信源编码[56页]

0
1
为 0，向左走一节，遇到了码字 W2 。然后再回
W3
W4
到树根，从头开始，遇到了码字后又回到树根。
这样就可完成对即时码的即时译码。码字
100110010 译码得到的码字分别为 W2 10 ，
W1 0 ， W3 110 ， W1 0 ， W2 10 。
对较简单的信源，可以很方便地用码树法直观地构造出即时码。但是 当信源较复杂时，直接画码树就比较复杂。1949 年 L. G. Kraft 提出一个 在数学上与码树等效的、表达即时码存在充要条件的不等式。
三位 101 作为 s 的代码。
香农编码是依据香农第一编码定理而来的，有着重要的理 论意义。但香农编码的冗余度稍大，实用性不强。比如信源有 3 个符号，概率分布为（0.5，0.4，0.1），根据香农编码方法求出 各个符号的码长对应为 1，2，4，码字为（0，10，1110）。下面 将看到如果采用霍夫曼编码，可以构造出平均码长更短的即时 码（0，10，11）。
《信息论基础》
5.1 信源编码的基本概念
几个术语
①码元（码符号） ②码元集X ③码字（由码元组成） ④码字长度 ⑤平均码长
码树还可以用来对即时码进行译码。例如 0 1
收到一串码字 100110010。从码树的树根出发， W1 0 1
第一个码符号为 1，向右走一节；第二个码符号
W2
上述不等式只是即时码存在的充要条件，而不能作为判别的依据。
需要注意的是，克拉夫特不等式是即时码存在的充要条件，而 不能作为判别的依据。后来麦克米伦（B. McMillan）证明唯一可译 码也满足克拉夫特不等式。这说明在码长选择的条件上，即时码与 唯一可译码是一致的。
【例】 对于二元码，即 r 2 ，如果 q 4 ， L1 2 ， L2 2 ，
解： 以消息 s5 为例来介绍。计算 log( p5 ) log 0.15 2.74 ，
取整数 L5 3 作为 s5 的码长。计算 s1, s2, s3, s4 的累积分布函数
4
F5 Psk 0.2 0.19 0.18 0.17 0.74 k 1
将 0.74 变换成二进制小数 (0.74)10 (0.1011110)2 ，取小数点后面
L3 2 ， L4 2 ，是否存在这样的唯一可译码和即时码？
q
解：因为 2Li 22 22 22 22 1 i 1
所以满足克拉夫特不等式，则一定可以构成至少一种具有这样码长 的唯一可译码和即时码。
在 1956 年，麦克米伦（B. McMillan）证明唯一可译码也满足该不等 式。这说明唯一可译码在码长的选择上并不比即时码有什么更宽松的条 件。在码长选择的条件上，两者是一致的。如前所述，即时码必定是唯 一可译码，它可以很容易地用码树法来构造，因此要构造唯一可译码， 只需讨论构造即时码即可。
《信息论基础》
第5章 无失真信源Biblioteka Baidu码
第 2 章已经讨论了离散信源的信息度量—信源熵， 本章将讨论信源的另一个重要问题：如何对信源的输出 进行适当的编码，才能用尽可能少的码元来表示信源信 息，做到以最大的信息传输率无差错地传输信息呢？即 无失真信源编码，它解决的是通信的有效性问题。
本章将首先介绍信源编码器；然后从理论上阐述无 失真信源编码定理，得出“平均码长的理论极限值就是
本节主要介绍对无记忆离散信源进行的统计编码。统计编码 通常采用变长码。将介绍几种常见的变长码，即香农编码、费诺 编码、霍夫曼编码、算术码和 LZ 码。
【例】 已知信源共 6 个符号，其概率空间为
S
Ps
s1 0.2
s2 0.19
s3 0.18
s4 0.17
s5 0.15
s6 0.11
试进行香农编码。
编码效率: 衡量信源编码的效果.
1．平均码长
2．编码后信道的信息传输率 R
3．编码效率
《信息论基础》
5.2 无失真信源编码定理
当二元编码时（r = 2）
编码器容许的输出信息率
编码效率
R L LN N
H(S)
L
《信息论基础》
5.3 常见的无失真信源编码方法
原始信源普遍存在剩余度，香农信息论认为信源的剩余度主 要来自两个方面：一是信源符号间的相关性，二是信源符号概率 分布的不均匀性。为了去除信源剩余度，提高信源的信息传输率， 必须对信源进行压缩编码。
目前去除信源符号间相关性的主要方法是预测编码和变换编 码，而去除信源符号概率分布不均匀性的主要方法是统计编码。
定理 5.1 对于码长分别为 L1, L2, , Lq 的 r 元码，若此码为即时码，
则必定满足
q
r Li 1
i 1
反之，若码长满足上式，则一定存在具有这种码长的 r 元即时码。 克拉夫特（Kraft）不等式是即时码存在的充要条件。其中，r 为码元
的进制数，q 为信源的符号数，Li 为信源符号对应的码字长度。注意的是，
信源熵 Hr S ”这个结论；最后给出几种无失真信源编
码方法。
本章的主要内容
5.1 信源编码的基本概念 5.1.1 信源编码的数学模型 5.1.2 信源编码的分类 5.1.3 唯一可译码和即时码 5.1.4 编码效率
5.2 无失真信源编码定理 5.3 常见的无失真信源编码方法
5.3.1 香农（Shannon）码 5.3.2 霍夫曼（Huffman）码 5.3.3 费诺（Fano）码
【例 5.1】 对四进制信源符号 s1 、s2 、s3 和 s4 采用二元码进行信源编码。
(1) 如果 L1 2 ， L2 2 ， L3 2 ， L4 2 ，是否存在这样码长的二
元即时码？
(2) 如果将此信源编码为 r 元唯一可译码，对应的码长 L1 1，L2 2 ，
L3 2 ， L4 3 ，求 r 值的最佳下限。
【例】 离散无记忆信源:
U P
u1 0.5
u2 0.25
u3 0.125
u4 0.125
对应的霍夫曼编码？
说明：
霍夫曼编码方法得到的码并非唯一。
每次对信源缩减时，赋予信源最后的两个概率最小的符号， 用0和1是可以任意的，所以可以得到不同的霍夫曼码， 但是不会影响码字的长度。
对信源进行缩减时，两个概率最小的符号合并后的概率与 其他信源符号的概率相同时，这两者在缩减信源中进行概 率排序，其位置放置次序是可以任意的，故会得到不同的 霍夫曼码。这时将影响各码字的长度，但是平均码长相同。 一般将合并后的概率放在上面，这样可以获得较小的码方 差。