CH5-信源编码

码树的例子 非满
树
1 0 0 1 1 0 0 S1 1 1 0 1 1 0 0 1 0 0 1 1 0 0
1
1 S3
S2 S4
S5
该树的5个叶节点S1 S2 S3 S4 S5 分别表示 5 个二进制码字 0，100， 111，1010，1011.
2012年12月7日
二进码树，满树 叶子节点的二进 制码字码长为3
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系23
码字平均长度
码字平均长度: 设 N 个码字中的第 i 个码字 的码长为ki ，它所代表的编码对象 Si 的出 现的概率为 p(Si)，则码字的平均长度为
K
Q：P (Ci)=？

N
p ( S i )k i
i 1
现代信息论基础
The Elements of Information Theory
程琳
兰州大学信息科学与技术学院电信系
M.P: +86-13993113069 Email: chenglin@ Address：Department of Electronics & Information Science, School of Information Science&Engineering, Lanzhou University, Tianshui Southern Road 222#， Gansu Province，P.R.China
-兰州大学信息科学与工程学院电信、通信工程系-
19
唯一可译码存在定理
存在 N 个长度为K1,K2,…,KN 的唯一可译码的充 要条件为 N K Kraft ' s inequality M 1
i
i 1
其中M为进制数，N为码字的数目，n1 ,n2 ,…,nN 为码字C1,C2 ,…CN 分别对应的码长。
如，M=3，A={+1，0，-1 } or A={0，1，2 }
+1+10-10-100+1
1020011220
2012年12月7日
-兰州大学信息科学与工程学院电信、通信工程系-
10
非奇异码和奇异码
如果码中所有的码字都不相同（即所有信源符号 映射到不同的码符号序列，不同信源符号可分 辨 ），称为非奇异码； 反之，若码组中含有相同的码字则为奇异码。 例：信源符号 符号出现的概率 码1 码2 码3 码4
-兰州大学信息科学与工程学院电信、通信工程系-
16
码树
对给定的码字的全体集合C={C1,C2,…,Cn} 来说，可以用树图法来描述它。 码树的构造：对一棵树（倒置的树），给每 个节点所伸出的枝分别标上码元符号0、 1、…、r-1，这样，叶节点所对应的码字就 是从根出发到叶节点经过的路径所对应的码 元符号组成。 按树图法构成的码一定满足非延长码的充要 条件，因为从根到叶所走的路径各不相同， 而且中间节点不安排为码字，所以一定满足 对前缀的限制。
定理证明（略）； 该定理给出了唯一可译码的存在性，但并未 指出如何构造； 该定理不能作为唯一可译码的判据。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系20
例子
在码长n1=1, n2=n3=n4=2 的条件下，一定不能构成二元唯 一可译码，因为 4 n 5 1 2 2 2 i 2 2 2 2 1 2 i 1 4 对于码长n1=1, n2=2, n3=3, n4=4 的二元码可以有很多种， 但可能构成的许多种码中至少可以找到一种是唯一可译的， 4 因为 15 ni 1 2 3 4

2
2
2
2
2

1
i 1
16
例：
信源符号 S1 S2 S3
码1 1 10 00
码2 1 01 001
S4
2012年12月7日
01
0001
21
-兰州大学信息科学与工程学院电信、通信工程系-
唯一可译码的判断方法和步骤
（1）首先观察其是否是非奇异码。若是奇 异码则一定不是唯一可译码。 （2）其次计算其是否满足Kraft不等式。 若不满足则一定不是唯一可译码。 （3）将码画成一棵码树图，观察其是否满 足即时码的树图的构造，若满足则是唯一可 译码。 （4）计算出码中所有可能的尾随后缀集合 F，观察其中有没有包含任一码字。若无则 为唯一可译码，若有则一定不是唯一可译码。
2012年12月7日
-兰州大学信息科学与工程学院电信、通信工程系-
2
第五章 信源编码
1、信源编码的目的：
将模拟信号转换为数字信号(A/D变换) ； 提高信息传输的有效性；
2、信源编码的基本思想：
信源编码提高信息传输有效性的基本思想，就 是针对信源输出符号序列的统计特性，通过概 率匹配的编码方法，将出现概率大的信源符号 尽可能编为短码，从而使信源输出的符号序列 变换为最短的码字序列。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系9
二元码、M元码
若码符号集A＝{0，1 }，所得码字为一些 二元序列，则称二元码。[在二元信道中传 输] 类推，若符号集A中有M个基本元素，所得 码字为相应的M元序列，则称为M元码(M 进制码，一般A={0,1,2…,M-1 } )。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系13
非即时码和即时码（非延长码、异前缀码）
设 Ci={xi1,xi2,…,xim} 是码 C 中的任一码字，而 其他码字 Ck={xk1,xk2,…,xkj} (j < m) 都不是码 字 Ci 的前缀，则称此码为即时码，也称为非延长码 即时码（非延长码）一定是单义码；反之，单义码 不一定都是即时码（非延长码） 。 例：对某个信源符号集合按照下面两种方式编码， 试分析其异同。
结论：码1是延长码，码2是非延长码。这两种码的 结构有重要区别。非延长码的性能要好于延长码。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系15
码的分类
非分组码
码
分组码
奇异码
非单义码 非奇异码 非即时码
单义码
所有的码
即时码
非延长码、 异前缀码
非奇 异码 唯一可 译码
即时码
2012年12月7日
限失真信源编码定理 ——第三极限定理
特别指出：本章讨论离散信源编码。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系4
第五章 信源编码 主要内容提要：
》编码的定义 》无失真信源编码 》限失真（保真度准则下的）信源编码 》常用信源编码方法简介
2012年12月7日
-兰州大学信息科学与工程学院电信、通信工程系-
5
本章的教学基本要求
本章要求熟练掌握编码中的几个基本 概念；要求掌握Kraft不等式；要求掌握离 散信源无失真编码定理（定长和变长~）； 要求掌握香农码、费诺码和哈夫曼编码的基 本步骤；要求理解限失真信源编码定理；要 求了解常用的信源编码方法的基本思想，包 括游程编码、算术编码、矢量量化、预测编 码、变换编码。
2012年12月7日
-兰州大学信息科学与工程学院电信、通信工程系-
6
§5. 1 编码的定义
信源编码的实质：对信源的原始符号按一定 的数学规则进行的一种变换； 信源编码器示意图：
信源 S={S1,S2,…,Sn} 符号集A={a1,a2,…,ar}
编码器
码字 C={C1,C2,…,Cn}
信源编码：把信源符号Si映射为码字Ci的过程。 无失真编码：映射是一一对应、可逆的。
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系8
§5. 1 编码的定义
0、二元码、M元码 1、非奇异码和奇异码 2、等长码（固定长度码）和变长码 3、单义码（唯一可译码）和非单义码 4、非即时码和即时码（非延长码、异前缀 码） 5、码树、唯一可译码存在定理 6、码字平均长度 7、编码效率
2012年12月7日
编码的意义
通信的基本问题：如何高速、高质量地传送 信息？ 高速和高质＝鱼和熊掌。 编码讨论的问题：
（1）质量一定，如何提高信息传输速度（提高 编码效率或压缩比）---- 信源编码（本章讨论 问题） （2）信道传输速度一定，如何提高信息传输质 量（抗干扰能力）----信道编码（下一章讨论）
结论：码0——等长码；码1、2、3、4——变长码
2012年12月7日 -兰州大学信息科学与工程学院电信、通信工程系12
单义码（唯一可译码）和非单义码
任意有限长的码元序列，只能有唯一的方式 分割成一个个的码字，叫单义码（或唯一可 译码），反之，为非单义码（或非唯一可译 码）； 例: C1 = (1, 01, 00) 是单义码，如码字序列 10001101只可唯一划分为1、00、01、1、 01; C2 = (0, 10, 01) 为非单义码，如序列 01001可划分为0、10、01或01、0、01。
信源符号 S1 S2 S3 S4 码1 1 10 100 1000 码2 1 01 001 0001
2012年12月7日
-兰州大学信息科学与工程学院电信、通信工程系-
14
非即时码和即时码（非延长码、异前缀Байду номын сангаас）
相同点：码1、码2都是单义码； 不同点：
码2中，每个码字都以“1”结束，这样在接收过程中，只 要一出现“1”时，就知道这是一个码字已经终结，新的 码字就要开始，因此当出现“1”后，就可以立即将收到 的码元序列译成对应的信源符号；——即时码（非延长码） 码1中，当收到一个或几个码元符号后，不能即时判断码 字是否已经终结，必须等待下一个或几个码元符号收到后， 才能作出判断。——非即时码（延长码） 例：码1组成的序列：1000100101；码2组成的序列： 0001011001