哈夫曼编码

School of Information and Mathematics
回顾：信源编码定理
信源编码定理（定理2.4.1） 设X1，X2…为无记忆信源，服从共同分布p(x) ，则 当码率 R log M H ( X ) 时，存在码率为R 的编码，使得当
1 n
n→∞ 时，误差码率Pe→0.
School of Information and Mathematics
哈夫曼编码 哈夫曼编码(Huffman Coding)
基本思想 • 完全依据字符出现概率进行编码 • 出现概率高的字符使用较短的编码 • 出现概率低的字符使用较长的编码 • 编码后平均码字长最短
School of Information and Mathematics
i 1
码方差
E[(li L ) ] P( si )(li L ) 2
2 2 i 1
q
P(si )(li L1 )2 1.36
2 1 i 1
5
P(si )(li L2 )2 0.16
2 2 i 1
5
School of Information and Mathematics
单个字母编码时编码效率不高
信源字母集大时不易实现（香农-费诺码可解决）
硬件实现时需要缓冲寄存器（变长码固有的缺陷） 差错扩散（可增加信道校验码） 必须知道信源的统计特性（通用信源编码不需要）
School of Information and Mathematics
谢谢各位老师！
哈夫曼编码
哈夫曼编码算法： (1) 信源符号按概率分布大小，以递减次序排列； (2) 取两个最小的概率，分别赋以“0”,“1”; 然后把这两个概率值相加，作为新概率值与其他概率重新排序 (3) 按重排概率值，重复(2)…,
直到概率和达到1为止
(4) 由后向前排列码序，即得哈夫曼编码
School of Information and Mathematics
最优码的存在性
如何构造最优码？
School of Information and Mathematics
回顾：最优码的构造
等长码：每个码字的码长相等
变长编码：每个码字的码长可以不相等
School of Information and Mathematics
引例—色子游戏
顺序编码
是否最优？
School of Information and Mathematics
结论
结论：在哈夫曼编码过程中，对缩减信源符号按概率 由大到小的顺序重新排列时，应使合并后的新符号尽 可能排在靠前的位置，这样可使合并后的新符号重复
编码次数减少，使短码得到充分利用。
School of Information and Mathematics
结论
定理：在变长编码中，若各码字长度严格按照所对应符号
例题

可见：第二种编码方法的码长方差要小许多。意味着第 二种编码方法的码长变化较小，比较接近于平均码长。

第一种方法编出的5个码字有4种不同的码长；

第二种方法编出的码长只有两种不同的码长；
显然，第二种编码方法更简单、更容易实现，所以

更好。
School of Information and Mathematics
哈夫曼编码
邹健
School of Information and Mathematics
回顾：通信系统模型
信源 干百度文库 源 信宿
信源编码器 调 制 器
信源译码器 解 调 器
信道编码器
信道 编码信道
信道译码器
信源：产生消息和消息序列的来源。 信源编码器：将信源的输出进行适当的变换，以提高 信息传输的有效性。
符出现的估算概率而建立起来的（出现概率高的字符使用较短
的编码，反之出现概率低的则使用较长的编码，这便使编码之 后的字符串的平均期望长度降低，从而达到无损压缩数据的目 的）。实际上，哈夫曼编码是传真图像的压缩标准。
School of Information and Mathematics
哈夫曼编码的缺点
思考：国际求救信号SOS
School of Information and Mathematics
哈夫曼编码 哈夫曼编码(Huffman Coding)
1952年，David A. Huffman在麻省理工攻读博士时发表了
《一种构建极小多余编码的方法》（A Method for the
Construction of Minimum-Redundancy Codes）一文， 提出Huffman编码算法。 是可变长编码(VLC)的一种
x2 0.2 000 x3 0.2 0010 x4 0.1 0011 x5 0.1
School of Information and Mathematics
例题
方法二： 合并后概率上放
0.4 0 0.2 0 0.6 0 1
1.0
00 x1 0.4
10 x2 0.2 11 x3 0.2 1 010 x4 0.1 0 011 x5 0.1 1 ＊两法平均码长相同，故信 息率R、冗余度相同；
出现概率的大小逆序排列，则其平均长度为最小。
结论：哈夫曼编码方法，它完全依据字符出现概率来构造
平均长度最短的异字头码字，有时称之为最佳编码。
School of Information and Mathematics
哈夫曼编码的应用
无损压缩 在计算机信息处理中，“哈夫曼编码”是一种一致性编码法 （又称“熵编码法”），用于数据的无损耗压缩。这一术语是 指使用一张特殊的编码表将源字符（例如某文件中的一个符号） 进行编码。这张编码表的特殊之处在于，它是根据每一个源字
1
School of Information and Mathematics
例题 两种方法的比较
平均码长
L1 P(si )li 0.4 1 0.2 2 0.2 3 0.1 4 0.1 4 2.2
i 1 5 5
L2 P(si )li 0.4 2 0.2 2 0.2 2 0.1 3 0.1 3 2.2
引例—色子游戏
点数出现 的频率
School of Information and Mathematics
引例—色子游戏
按概率编码
School of Information and Mathematics
引例—莫尔斯电报码
莫尔斯电报码：按照英文字母出现的概率编码，
在英文中，e的出现概率很高，而z的出现概率则最低。
例题
例题： 设一个信源变量X 服从以下概率分布
X:p(x)~(0.4,0.2,0.2,0.1,0.1)
设计二进哈夫曼编码
School of Information and Mathematics
例题
方法一：
1 01
合并后概率下放
0.6
0 1 0.4 1.0
x1 0.4
0
1 0 0 1 0.2 1