信息论基础 第三章 数据压缩与信源编码I-文档资料

(4)
(5) 信源符号所对应的码字即为费诺码
2019/5/14
13
2.费诺编码方法
例 3 对例1的信源进行费诺编码，过程见下 页表
平均码长为：
7
K p(ai)Ki 2.74码 元 /符 号
i1
平均信息传输率为：
R ＝ H (X )2.610.953bit/码 元 K 2.74
01
10
10
10
100
a3
1/16 010
011
110
110
1100 101
a4
1/16 011
0111 1110 1110 1101 110
a5
1/16 100
01111 11110 1011 1110 111
a6
1/16 101
011111 111110 1101 1111 011
2019/5/14
其他码字可类似求出，见下页图
2019/5/14
8
1.香农编码方法
香农编码过程
2019/5/14
9
1.香农编码方法
各码字之间至少有一位数字不同，故是唯 一可译码；
7个码字都不是延长码，故是即时码
这里L＝1，m＝2
平均码长为：
7
K p(ai)Ki 3.14码 元 /符 号
平均信息传输率为：i1
(3) 对重排后的两个概率最小符号重复步骤(2) (4) 不断继续上述过程，直到最后两个符号配以0和1为止。
(5) 从最后一级开始，向前返回得到各个信源符号所对应 的码元序列，即相应的码字。
就可以得到这种码。这种编码方法称为香农编码。 编码方法如下：
(1) p(x1)≥p(x2)≥…≥p (xn)
(2) 确定满足下列不等式的整数码长K i
l o g 2 p ( x i) K i l o g 2 p ( x i) 1
(3) 为了编成唯一可译码，计算第i
i 1
pi p(k)
信息论基础
杜春娟 ducjscnu.edu QQ:22282998 Tel:31889581
2019/5/14
1
第三章 数据压缩和信源编码
一．最佳编码 1. 香农码 2. 费诺码 3. 哈夫曼码
二．算术码 1. 香农－费诺码 2. 自适应算术码
三．其他无失真信源编码方法
2019/5/14
2
唯一可译码的判断法
可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀，再将由这 些尾随后缀产生的新的尾随后缀列出。然后再观察这些新的尾随后缀是否是某 些码字的前缀，再将产生的尾随后缀列出。这样，首先获得由最短的码字能引 起的所有尾随后缀。接着，按照上述将次短的码字…等等，所有码字可能产生 的尾随后缀全部列出。由此得到码C的所有可能的尾随后缀组成的集合F。
(4) 将累加概率Pi
k 1
(2501)9制/5取/14码Pi字二。进数的小数点后K i位即为该消息符号的二进 7
1.香农编码方法
例1：设信源共7个符号消息，其概论和累加 概率如图所示。以i＝4为例， －log0.17≤K4 ≤ －log0.17+1 2.56≤K4 ≤3.56 则K4＝3 则累加概率P4＝0.57, 变换为二进制为：0.1001…… 故第四个消息的编码码字为100
2019/5/14
12
2.费诺编码方法
编码过程如下：
(1) 将信源消息符号按其出现的概率大小依次排列： p(x1)≥p(x2)≥…≥p(xn)
(2) 将依次排列的信源符号按概率值分为两大组，使两个组的概率 之和近于相同，并对各组赋予一个二进制码元“0”和“1”
(3) 将每一大组的信源符号进一步再分成两组，使划分后的两个组 的概率之和近于相同，并又赋予两个组一个二进制符号“0”和 “1”
2019/5/14
ຫໍສະໝຸດ Baidu
3
练习：有一信源，它有六个可能的输出，其概率分布如下表所示， 表中给出了对应的码A、B、C、D、E和F,
(1) 求这些码中哪些是唯一可译码；
(2) 求哪些码是即时码；
(3) 对所有唯一可译码求出其平均码长
消息 P(ai) A
B
C DE F
a1
1/2
000
0
0
0
0
0
a2
1/4
001
计算得码长分别为（1，2，4） 概率分布分别为（0，10，1110） 但实际上直观可看出（0，10，11）是更短
的码，也是惟一可译码
所以，由此可知，香农编码的冗余度稍大， 实际应用价值不强，但由于它是从编码定 理直接得来，具有理论意义
另外当 左边等号 成l o g 立2 p 时( x ，i) 编K 码i 效 率l o g 比2 p 较( x 高i) 1
2019/5/14
R ＝ H (X )2.610.831 bit/码 元 K 3.14
10
1.香农编码方法
香农码实用性如何？
例2 设信源有3个符号，概率分布为（0.10.5, 0.4,
0.1）
根据香农编码方法求出各个符号的码长分 别为：？
码字分别为？
2019/5/14
11
1.香农编码方法
首先观察是否是非奇异码。若是奇异码，肯定不是唯一可 译码；
其次，计算是否满足Kraft不等式。若不满足一定不是唯一 可译码；
然后将码画成一棵树图，观察是否满足异前置码的树图的 构造，若满足则是唯一可译码。
或用Sardinas和Patterson设计的判断法：计算分组码中所 有可能的尾随后缀集合F,观察F中有没有包含任一码字，若 无则为唯一可译码；若有则一定不是唯一可译码。集合F的 构造：首先观察码C中最短的码字是否是其它码字的前缀。若是，将其所有
4
几种编码方法
1. 香农编码 2. 费诺编码 3. 哈夫曼编码
2019/5/14
5
最佳编码
最佳码: 定义:能载荷一定的信息量，且码字的 平均长度最短，可分离的变长码的码字 集合.
2019/5/14
6
1.香农编码方法
香农指出，选择每个码字的长度 K i满足下式 I (xi )≤ K i＜I(xi)+1，
显然费诺要比香农的平均码长小 消息的传输速率大，说明编码效率高。
2019/5/14
14
2.费诺编码方法
费诺编码过程
2019/5/14
15
3.哈夫曼编码方法
编码过程如下：
(1) 将n p(x1)≥p(x2)≥…≥p(xn)
(2) 取两个概率最小的字母分别配以0和1两码元，并将这 两个概率相加作为一个新字母的概率，与未分配的二进符