信源编码

6.1 信源编码概论
信源编码的基本途径有两个：

使序列中的各个符号尽可能地互相独立，即解 除相关性； 使编码中各个符号出现的概率尽可能地相等， 即概率均匀化。

信源编码的分类：离散信源编码、连续信
源编码和相关信源编码三类。

离散信源编码：独立信源编码，可做到无失真
编码；

连续信源编码：独立信源编码，只能做到限失
i 0 j 1
xi x1 x2 x3 x4 x5 x6
p(xi) 0.25 0.25 0.20 0.15 0.10 0.05
pa(xj) 0.000 0.250 0.500 0.700 0.850 0.950
ki 2 2 3 3 4 5
码字 00(0.000)2 01(0.010)2 100(0.100)2 101(0.101)2 1101(0.1101)2 111110(0.11110)2
该信源的熵为
平均码长为
H ( X ) p( xi ) log 2 p( xi ) 2.35(比特 / 符号)
i 1
6
L p( xi )li 2.4(码元 / 符号)
i 1
6
对上述信源采用费诺编码的信息率为
R L 2.4 log 2 m log 2 2 2.4(比特/符号） 这里N 1, m 2 N 1
u u2 U 1 1 1 P(U ) 2 4 u3 1 8 u4 1 16 u5 1 16
试分别求其二元霍夫曼编码和费诺编码，并求其编码效率。
第6章 信源编码
6.1 信源编码概论
6.2 变长编码方法
6.3 实用的无失真信源编码方法
通信系统的性能指标主要是有效性、可 靠性、安全性和经济性，除了经济性外， 这些指标正是信息论研究的对象。 编码的目的是为了优化通信系统，使这 些指标达到最佳； 按不同的编码目的，编码分为三类：信 源编码、信道编码和安全编码/密码。
试对该信源编二进制香农码。
二进制香农码的编码步骤如下：
（1）将信源符号按概率从大到小的顺序排列
p(x1)≥ p(x2)≥…≥ p(xn) （2）令 p(x0)=0，用 pa(xj)，j=i+1 表示第 i 个码字的累加概率，则
pa ( x j ) p( xi ), j 1,2,, n
xi x1 x2 x3 x4 x5 x6
p(xi) 0.25 0.25 0.20 0.15 0.10 0.05
pa(xj) 0.000 0.250 0.500 0.700 0.850 0.950
ki 2 2 3 3 4 5
• 计算出给定信源香农码的平均码长
L 0.25 2 2 (0.2 0.15) 3 0.10 4 0.05 5 2.7(码元 / 符号)
(1) 将信源符号按概率从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xn)
(2) 信源的第一次缩减信源：给两个概率最小的信源符号 p(xn－1)
和 p(xn) 各分配一个码位“0”和“1”，将这两个信源符号合并成
一个新符号，并用这两个最小的概率之和作为新符号的概率，结 果得到一个只包含 (n－1) 个信源符号的新信源，用 S1 表示。
（3）确定满足下列不等式的整数 li ，并令 li 为第 i 个码字的长 度
－log2 p(xi) ≤ li < 1－ log2 p(xi)
（4）将 pa(xj) 用二进制表示，并取小数点后 li 位作为符号 xi 的 编码。
码字 00(0.000)2 01(0.010)2 100(0.100)2 101(0.101)2 1101(0.1101)2 111110(0.11110)2
编码效率为
若采用定长编码，码长 L=3，则编码效率
编码效率提高了 12.7%。

缩减信源时，若合并后的新符号概率与其他符
号概率相等，从编码方法上来说，这几个符号
的次序可任意排列，编出的码都是正确的，但 得到的码字不相同。不同的编法得到的码字长 度 ki 也不尽相同。
[例] ：单符号离散无记忆信源 ， 用两种不同的方法对其编二进制哈夫曼码。 方法一：合并后的新符号排在其它相同概率符号的后面。
真信源编码；

相关信源编码：非独立信源编码。
信源编码的基础是信息论中的两个编码定理：
无失真编码定理只适用于离散信源 限失真编码定理
对于连续信源，只能在失真受限制的情况下进行限失真编码
6.2 变长编码方法
6.2.1 香农编码 例 设一单符号离散无记忆信源
x2 x3 x4 x5 x6 X x1 P( X ) 0.25 0.25 0.2 0.15 0.1 0.05
•编码效率为信源熵和信息率之比
H ( X ) 2.42 89.63% R 2.7
6.2.2 费诺编码
例:设有一单符号离散信源
x2 , x3 , x4 , x5 , x6 X x1 , P( X ) 0.32 0.22 0.18 0.16 0.08 0.04
方法二：合并后的新符号排在其它相同概率符号
的前面。
编法一的平均码长为
编法二的平均码长为
可见
，本例两种编法的平均码长相 同，所以编码效率相同。
讨论：

码字长度的方差σ2：长度 li 与平均码长 平方的数学期望，即
L之差的

编法一码字长度方差：

编法二码字长度方差：
比
相同点：
较
• 香农编码、费诺编码、霍夫曼编码属于无失真信源编码。
(3)将缩减信源 S1 的符号仍按概率从大到小顺序排列，重复步骤减信源 S2。
(4) 重复上述步骤，直至缩减信源只剩两个符号为止，此时所
剩两个符号的概率之和必为 1。然后从最后一级缩减信源开
始，依编码路径向前返回，就得到各信源符号所对应的码字。
信源熵为 平均码长为
对该信源编二进制费诺码。
（1）将概率按从大到小的顺序排列 p(x1)≥ p(x2)≥…≥ p(xn) （2）按编码进制数将概率分组，使每组概率尽可能接近 或相等。如编二进制码就分成两组，编 m 进制码就分
成 m 组。
信源符号 x1 x2 x3 x4 x5 x6 概率 0.32 0.22 0.18 0.16 0.08 0.04 1 0 0 1 0 0 1 1 0 1 编码 码字 00 01 10 110 1110 1111 码长 2 2 2 3 4 4
（3）给每一组分配一位码元。 （4）将每一分组再按同样原则划分，重复步骤 2 和 3， 直至概率不再可分为止。
信源符号 x1 x2 x3 x4 x5 x6 概率 0.32 0.22 0.18 0.16 0.08 0.04 1 0 0 1 0 0 1 1 0 1 编码 码字 00 01 10 110 1110 1111 码长 2 2 2 3 4 4
编码效率为
H ( X ) 2.35 97.92% R 2.4
6.2.3 霍夫曼编码 霍夫曼(Huffman) 编码是一种效率比较高的变长无失 真信源编码方法。 例：设单符号离散无记忆信源如下，要求对信源
编二进制霍夫曼码。
x7 x8 X x1 , x2 , x3 , x4 , x5 , x6 P( X ) 0.4 0.18 0.1 0.1 0.07 0.06 0.05 0.04
诺码也可以编 m 进制码，但 m 越大，信源的符号数越多， 可能的编码方案就越多，编码过程就越复杂，有时短码未 必能得到充分利用；
结论：霍夫曼码对信源的统计特性没有特殊要求，编码效
率比较高，对编码设备的要求也比较简单，因此综合性能 优于香农码和费诺码。
作业：6.1 6.2
6-1 信源符号X有6种字母，概率为：(0.32, 0.22, 0.18, 0.16, 0.08, 0.04) (1) 求符号熵 H(X) (2) 用香农编码编成二进变长码，计算其编码效率。 (3) 用费诺编码编成二进变长码，计算其编码效率。 (4) 用哈夫曼编码编成二进变长码，计算其编码效率。 6-2 设有一个离散无记忆信源
• 香农编码、费诺编码、霍夫曼编码主要针对无记忆信源。 • 香农码、费诺码、霍夫曼码都考虑了信源的统计特性，
使经常出现的信源符号对应较短的码字，使信源的平均 码长缩短，从而实现了对信源的压缩；
不同点：
•香农码有系统的、惟一的编码方法，但在很多情况下编码
效率不是很高；
•费诺码和霍夫曼码的编码方法都不惟一； •费诺码比较适合于对分组概率相等或接近的信源编码，费
• 由离散无记忆信源熵定义，可计算出信源熵为：
H ( X ) p( xi ) log 2 p( xi ) 2.42(比特 / 符号)
i 1 6
•信息率为
R L log 2 m是编码后平均每个信源符号能载荷的最大信息量 N
R L 2.7 log 2 m log 2 2 2.7(比特/符号） N 1 这里N 1, m 2