第五章信源编码

树----既有根、枝，又有节点,(如图所示)
最上端A-----根节点
A、B、 C、D、E-----皆为节点， E-------终端节点。 A、B、C、D----为中间节点
A
0 B
0 C
1
0
1
1 1
01
中间节点不安排码字，而只在终端 D
节点安排码字，
1
001
每个终端节点所对应的码字----由 根节点出发到终端节点走过的路径
设信源共有7个符号组成，其概率如表所示，
信源消息符号
x1 x2 x3 x4
x5 x6
x7
xi 符号概率 0.20 0.19
0.18 0.17 0.15 0.10 0.01
p(xi )
编码过程及编码结果如下表所示
消息符号
x1 x2 x3 x4 x5 x6 x7
符号概率 0.20 0.19 0.18 0.17 0.15 0.10 0.01
(1)将信源消息符号按其出现的概率大小依次排列：
p(x1) p(x2 ) p(xn )
(2)确定满足下列不等式的整数码长 K i
log2 p(xi ) Ki log2 p(xi ) 1 i1
i (3)为了编成唯一可以码，计算第 个消息的累加概率 Pi
p(xk )
(4)将累加概率 P变i 换成二进制数。
例1 ：
[X P]: 0s.14
s2 0.2
s3 0.2
s4 0.1
s5 0.1
w1 1 s1 : 0.4 0.4 w2 01 s2 : 0.2 0.2 w3 000 s3 : 0.2 0.2 0 w4 0010 s4 : 0.1 0 0.2 1 w5 0011 s5 : 0.1 1
0.4 0.4 0 0.2 1
码的分类
信源编码可看成是从信源符号集到码符号集的一种映射，即将 信源符号集中的每个元素（可以是单符号，也可以是符号序列）映 射成一个长度为n的码字。对于同一个信源，编码方法是多种的。
【例3.3】 用{u1 ，u2 ，u3，u4}表示信源的四个消息，码符号集为 {0,1}，表3-1列出了该信源的几种不同编码。
2.34
3
000
2.41
3
001
2.48
3
011
2.56
3
100
2.74
3
101
3.34
4
1110
6.66
7
1111110
log2 0.17 K4 log2 0.17 1 即2.56 K4 3.56，因此K4 3
2〉将pi转换为二进制数的方法
累加概率 Pi 0，.5变7成二进制数，为0.1001…，
✓码字集合是唯一的。 ✓分解完了，码字出来了，码长也有了。 ✓因此，费诺编码方法又称为子集分解法。 ✓费诺编码方法比较适合于每次分组概率
都很接近的信源，特别是对每次分组概 率都相等的信源进行编码时，可达到理 想的编码效率。
3. 哈夫曼（Huffman）编码方法－－一种最佳的逐个符 号的编码方法。 1952年哈夫曼提出了一种构造最佳码的方法。
码的平均长度为 K 2.75码元 ，/信符源号的熵为
是最佳码。原因是概率分布满足一定的条件。
码字
码长
00
2
01
2
100
3
101
3
1100
4
1101
4
1110
4
1111
4
H ( X ) 2.75bit/符号
评述
➢费诺编码特点：
✓概率大，则分解的次数小；概率小, 则分 解的次数多。这符合最佳编码原则。
(3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概 率最小的两个信源符号分别用“0”和“1”表示，并将其合并成 一个符 号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。 (4)依此继续下去，直至信源只剩下两个符号为止。将这最后两个
信源符号分别用“0”和“1”表示。
(5)然后从最后一级缩减信源开始，向前返回，就得出各信源符号 所对应的码符号序列，即对应的码字。
无前缀码）。
8即时码
如果收到一个完整的码字以后，就可以立即译码，则叫做即时码。 即时码要求任何一个码字都不是其他码字的前缀部分，也叫做异
前缀码。
s1 1 s2 01
非奇异码
1010010001
s3 001
s4 0001
即
01
即时
时
s2
码
任何一个码字不是其它码字的延长或前缀
即时码可用树图法来构造。
码字Байду номын сангаас100
可以看出，编码所得的码字是即时码（唯一可译码）。
平均码长为：
7
K p(xi )Ki 3.14码元/符号 i 1
编码效率为
H (X ) 2.61 0.831
K 3.14
香农编码的效率不高，实用意义不大，但对其它编码方法有 很好的理论指导意义。
评述
➢香农编码方法特点：
✓ 由最于 佳b的i总；是进一取整，香农编码方法不一定是 ✓ 由于第一个消息符号的累加概率总是为0，故
它对应的码字总是0、00、000、0…0的式样； ✓ 码字集合是唯一的，且为即时码； ✓ 先有码长再有码字； ✓ 对于一些信源，编码效率不高，冗余度稍大，
因此其实用性受到较大限制。
2. 费诺编码方法
• 1)将信源符号以概率递减的次序排列起来，将排列好的信源符 号分成两组，使每一组的概率之和相接近，并各赋予一个二元 码符号“0”或者“1”；
第五章信源编码
• 通信的实质：信息的传输。
• 信息传输的基本问题：高速度、高质量地传送 信息。
• 这就需要解决两个问题：
• 第一，在不失真或允许一定失真的条件下，如何用尽 可能少的符号来传送信源信息；
• 第二，在信道受干扰的情况下，如何增加信号的抗干 扰能力，同时又使得信息传输率最大。为了解决这两 个问题，就要引入信源编码和信道编码。
0001 E
上所对应的符号组成
图5.2
如图中的终端节点E，走过的路径为ABCDE，所对应的码符号
分别为0、0、0、1，则E对应的码字为0001。
• 即时码：它可引用很直观的“码树”概念来说明：
将变长码与码树建立“一一对应”关 系：
树根码字起点 树枝数码的进制数 节点码字或码字的一部分 终止节点码字 节数码长 非满树变长码 满树等长码
k 1
(5)取 P二i 进制数的小数点后 位K，i 即为该消息符号的二进制码字。
可以证明，这样得到的编码一定是唯一可译码，且码长比较短，接近于最佳编码。 严格意义上来说不是最佳码。
例题：设信源共有7个符号组成，其概率如表所示，求其 香农码。
信源消息符号
x1 x2 x3 x4
x5 x6
x7
xi 符号概率 0.20 0.19
一)编码步骤如下： (1)将q个信源符号按概率分布的大小，以递减次序排列起来，设
p(x1) p(x2 ) p(xq )
(2)用“0”和“1”码符号分别代表概率最小的两个信源符号， 并将这两个概率最小的符号合并成一个符号，合并的符号概率为 两个符号概率之和，从而得到只包含q-1个符号的新信源， 称为缩减信源。
§5.1.4 信源编码 最佳码定义：
能载荷一定的信息量； 且码字平均长度最短； 可分离的变长码的码字集合。
常用的编码方法：香农码、费诺码、哈夫曼编码。
使出现概率大的信源符号编码后码长尽量短一些。-------编码方法的出发点。
1. 香农编码方法 香农编码是采用信源符号的累计概率分布函数来分配码字。 设信源符号集 X {x1, x2，,并,设xq所}有的P(x)>0， 则香农编码方法如下：
K 2.74
例题：离散无记忆信源及其符号概率分布如下表所示， 求其费诺码。
求费诺码的过程
信源符号
x1 X2 X3 X4 X5 X6 X7 x8
符号概率
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
第一次分 组
0
1
第二次分 组
0 1
0
1
第三次分 组
0 1 0
1
第四次分 组
0 1 0 1
s1 1 s2 10 s3 100
非奇异码
1101001000
s4 1000
0
10
不即时
s2 ? 1
任何一个码字是其它码字的延长或前缀
8. 即时码
对于变长码，又有如下定义
定义3.2 对于码字c = c1 c2 … cn,称c、 = c1 c2 … ci (i< n)为码字c的字头（前缀）
。
定义3.3 若码中任一码字 都不是另一码字的字头 ，称该码为异字头码（
一、 通信系统的优化模型：
信
信
信
源
UL 源
编
S
m
加 密
Cm
道 编
Xn 信道
码
码
信
Yn
道 译
码
信
C’m
解 密
S’m
源 译
码
VL 信
宿
K1
n
UL
密钥源
噪声
K2
密钥源
VL
信源编码目的：提高通信系统有效性，实现信源与通信 系统间的统计匹配。
无失真信源编码， — 文字、文件信源； 分类
限失真信源编码， — 语音、图像信源；
0.18 0.17 0.15 0.10 0.01
p(xi )
解：
xi 符号概率 p(xi ) 累加概率 Pi
x1 0.20
0
x2 0.19
0.2
x3 0.18
0.39
x4 0.17
0.57
x5 0.15
0.74
x6 0.10
0.89
x7 0.01
0.99
1〉码字长度计算 以 i 为4例，
log2 p(xi ) 码字长度 K i 码 字
【例】 用树图法表示表3-2中的码3，如图3-3所示（D =2）。 树根
0
0 1
深度 编码
u1
u1：1
0
1 u2
u2：01
1
1
u3
u4
u3：001 u4：0001
图3-3 用树图法编码
•二、码树：
1、即时码的构造方法------树图法。 对给定码字的全体集合来说，可以用码树来描述。C {W1,W2,,Wq}
4.奇异码
对奇异码来说，从信源消息到码字 的影射不是一一对应的。例表3-1中 的码1，信源消息u2和u4都用码字11 对其编码，因此这种码就是奇异码 ，奇异码不具备惟一可译性。
5.非奇异码
从信源消息到码字的影射是一一对应的，每一个不同的信源消 息都用不同的码字对其编码，例表3-1中的码2、码3和码4都是 非奇异码。
6）唯一可译码：
若码的任意一串有限长的码符号序列只能唯一地被译成所 对应的信源符号序列，则此码称为唯一可译码，否则就称 为非唯一可译码。
s1 00
等长码
s2 01 s3 10
非奇异码
唯一可译
s4 11
0 0 0 1 1 0 1 1 s1s2s3s4
7 非即时码：
如果接收端收到一个完整的码字后，不能立即译码，还要等下一 个码字开始接收后才能判断是否可以译码，这样的码叫做非即 时码。
• 2)将每一组的信源符号再分成两组，使每一小组的符号概率之 和也接近相等，并又分别赋予一个二元码符号。
• 3)依此下去，直到每一个小组只剩下一个信源符号为止。 • 这样，信源符号所对应的码符号序列则为编得的码字。
费诺编码也不是最佳编码方法，但有时可以得到最佳编码。
例题：信源符号及其概率仍如香农码中的例题所示。
2.等长码
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相同， 则称这组码C为等长码，表3-1中列出的码1、码2 就码长n = 2等长码 。
3.变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同，称 码C为变长码，表3-1中列出的码3、码4 就是变长码。
第一次分组 0
1
第二次分组 第三次分组
0
0
1
1
0
0 1
1
第四次分组
0 1
二元码字 00 010 011 10 110 1110 1111
码长 2 3 3 2 3 4 4
可以求得，该费诺码的平均码长为
7
K p(xi )Ki 2.74码元/符号 i 1
编码效率为
H (X ) 2.61 0.953
表3-1 同一信源的几种不同编码
信 源 各消息
消息
概率
码1
码2
码3 码4
u1
q(u1)
00
00
0
1
u2
q(u2)
11
01
1
10
u3
q(u3)
10
10
00 100
u4
q(u4)
11
11
11 1000
一般，可以将码简单的分成如下几类：
1.二元码
若码符号集为{0，1}，则码字就是二元序列，称为二元码,二元码 通过二进制信道传输，这是数字通信和计算机通信中最常见的一种 码，表3-1列出的4种码都是二元码。
0.6 0 0.4 1
二）总结编码规则：
• 1)将信源消息U按概率大小排序（由大至小）。 • 2) 从最小两个概率开始编码，并赋予一定规则，如下
支路小概率为“1”，上支路大概率为“0”。 • 3) 将已编码两支路概率合并，重新排队，编码。 • 4) 重复步骤3）直至合并概率归一时为止。 • 5) 从概率归一端沿树图路线逆行至对应消息编码。
奇异码：
若一组码中有相同的码字，则称为奇异码。
例：
s1 0
s1
s2 11
s3
s3 0
s2
s4 11
s4
奇异码
非奇异码： 若一组码中所有码字都不相同，则称为非奇异码。
s1 0 s2 10 s3 00 s4 01
非奇异码
0 1 0 0 0 0 1 0 s1s2s3s4s1
0 1 0 0 0 0 1 0 s4s3s3s2