第4章 离散无记忆信源无失真编码 4.5.1

5
码子不唯一（1）
u2 u3 u4 u5 u6 u7 U u1 P 0.35 0.30 0.20 0.10 0.04 0.005 0.005 U
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi
符号 概率
ui u1 u2 u3 u4 u5 u6
P (ui )
码字 Wi 1
码长 li 1
码字 Wi 11
码长 li 2
01 001 0001 00001 000001 000000
2 3 4 5 6 6
10 01 001 0001 00001 00000
2 2 3 4 5 5
码字不同，码长也不 同，但平均码长相同， 因此编码效率相同。 码方差：
( l ) E[( li l ) ] P ( ui )( l i l )2
1.00 011
001 000
0.5975
0 0
u1 u3
u3 u1 u2 u3 u3 u2 u3 u3
9
0.09
0.09 0.07 0.07 0.04
1
0.16 0
0.20
1 1
0 0
101
0
0101 0100 1001 1000
0.11
0
3 4 4 4 4
H (U 2 ) 2 1.518 99.0% l2 P ( u j )l j 3.0675 码元/符号 c l2 log r 3.0675 log 2 j 1
2 2 i 1 q
12 ( l ) 1.4259
2 2 ( l ) 0.3059
8
r 进制霍夫曼编码
• 每次求缩减信源时，求r个最小概率之和，即 将r个概率最小的符号缩减为一个新符号，并 分别用 1,2,…r-1 码元表示，直到最后一次缩 减时，r 个概率之和为1终止。 • 新问题：缩减到最后时剩下不到 r 个符号了。 • 为保证平均码长最小，希望缩减到最后刚好 还剩下 r 个符号。为达到此目的，可给信源 添加几个无用的符号（概率为0的符号），使 得添加符号后的信源符号数 q 满足： q = (r-1)θ+ r
定长编码与变长编码冗余压缩效果比较
u U 1 P 1 U 2 u2 1 22 u3 1 23 u4 1 24 u5 1 25 u6 1 26 u7 1 6 2
H (U ) 63 32 bit/符号
1
H (U ) 63 32 1 0.3 H max (U ) log 7
0.35
0.30 0.20
1 1 1 1
0
1 1
0.65
1
1.00
码长 li 1 2 3
01 001
0.10
0.04
0.005 0.005
0.05
0.01 0
0.35 0.15
0 0
0
0001
00001 000001
4
5 6
0
u7
000000
6
6
l 0.35 1 0.30 2 0.20 3 0.10 4 0.04 5 0.005 6 0.005 6 2.21
2
u U 1 P 1 U 2
u2 1 22
u3 1 23
u4 1 24
u5 1 25
u6 1 26
u7 1 6 2
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi
1
符号 概率
ui
P (ui )
码长 li 1 2
u1 u2 u3 u4 u5 u6 u7
码元/符号
log 2
霍夫曼编码的基本特点
• 编出的码是非续长码：霍夫曼编码实际上构造了 一个码树，码树从最上层的端点开始构造，直到 树根结束，最后得到一个横放的码树，而且码字 在终端节点上。 • 平均码长最小：霍夫曼编码采用概率匹配方法来 决定各码字的码长，概率大的符号对应于短码， 概率小的符号对应于长码。 • 码字不唯一：每次对概率最小的两个符号求概率 之和形成缩减信源时，就构造出两个树枝，由于 给两个树枝赋码元是任意的，码字不唯一。 4
P (ui )
0.35 0.30 0.20 0.10 0.04
0.005 0.005
1 1 1
1
0.65 1
码长 li 2
2 2 3 4 5 5
7
0
0.35
10 01 001 0001 00001 00000
1
0.15
0 0
0.05 0.01 0
0
0
l 0.35 2 0.30 2 0.20 2 0.10 3 0.04 4 0.005 5 0.005 5 2.21 码元/符号
码字 码长 Wi li
2
P (ui )
l log r
2.35 93.8% 1.58 log 3
2 1
u1 u2 u3 u4 u5 u6 u7
0.32 0.22 0.18 0.16 0.08 0.04 0.00
2 2
1 1 2 2 3 3
(1.00)
1 02
(0.46)
1
0
01 002
(0.12)
1
0
001
0
10
l 0.32 1 0.22 1 0.18 2 0.16 2 0.08 3 0.04 3 1.58 码元/符号
符号串的霍夫曼编码
例：对如下DMS进行2进制霍夫曼编码，分别 对单个符号和二元符号串进行编码。
对 单 个 符 号 进 行 编 码
c
H (U ) 1.518 97.9% l log r 1.55 log 2
11
对二元符号串进行编码
符号 概率
u1 u1 u1 u2 u2 u1 u2 u2
0.2025 0.1575 0.1575 0.1225
1 1 1
0
0.28
0.4025 1 0.3175 1
码字
11
码长
2 3 3 3
4.5 变长编码方法
变长编码采用非续长码； •力求平均码长最小，此时编码效率最高，信 源的冗余得到最大程度的压缩； •对给定的信源，Βιβλιοθήκη Baidu平均码长达到最小的编码 方法称为最佳编码，编出的码称为最佳码； •三种变长编码方法：霍夫曼编码、费诺编码 以及香农编码； •霍夫曼编码是真正意义下的最佳编码。
1
4.5.1 霍夫曼编码
二进制霍夫曼编码过程如下： (1)将信源符号按概率大小排序；
(2)对概率最小的两个符号求其概率之和，同 时给两符号分别赋予码元“0”和“1”；
(3)将“概率之和”当作一个新符号的概率， 与剩下符号的概率一起，形成一个缩减信 源，再重复上述步骤，直到“概率之和” 为1为止；
(4)按上述步骤实际上构造了一个码树，从树 根到端点经过的树枝即为码字。
定长编码：{001，010，011，100，101，110，111} 变长编码：{1，01，001，0001，00001，000001，000000} 定长编码
l l 3 码元/符号
H(X ) H (U ) 63 32 0.65625 bit/码元 l 3
变长编码
l 63 32 码元/符号
信源缩减的次数
9
u2 u3 u4 u5 u6 U u1 P U 0.32 0.22 0.18 0.16 0.08 0.04
q ( r 1) r 2 3
符号 概率 H (U ) c u
i
3进制霍夫曼编码。 码元集：X={0, 1, 2} ∴q=7
12
1
1.00
1 1 1 1 1
2 23 24 25 26
2
1
01
1
1 1 1
0
12
12 1 23
0
2
0 0
001
0001 00001
3
4 5
1 24
0
1 26
1 25 0
000001
000000
H (U ) c l log r
63 32 63 32
6
6
100%
3
1 1 1 1 1 1 1 63 l 1 2 2 3 3 4 4 5 5 6 6 6 6 2 2 2 2 2 2 2 32
u2 u3 U u1 P U 0.45 0.35 0.20
H (U ) 1.518 bit/符号
符号 概率 u1 0.45
1
1
0
码字 码长
(1.00)
1 01 00 1 2 2
u2
u3
3 i 1
0.35
0.20
(0.55) 0
l P ( ui )li 0.45 1 0.35 2 0.20 2 1.55 码元/符号
12
H(X ) H (U ) 63 32 1 bit/码元 l 63 32
c
H(X ) 0.65625 65.625% H max ( X ) log 2
c
H(X ) 1 100% H max ( X ) log 2
c 1 c 0.34375
c 1 c 0
码元/符号
码子不唯一（2）
u2 u3 u4 u5 u6 u7 U u1 P U 0.35 0.30 0.20 0.10 0.04 0.005 0.005
2进制霍夫曼编码。 码元集：X={0, 1}
码字 Wi 11
1.00
符号 概率
ui u1 u2 u3 u4 u5 u6 u7