第5章信源编码

第5章信源编码
信源编码的基本途径
使序列中的各个符号尽可能地互相独立，即解 除相关性，去冗余；
使编码中各个符号出现的概率尽可能地相等， 即概率均匀化。
本章讨论离散信源编码。首先从无失真编码定理 出发，重点讨论以香农码、费诺码和霍夫曼码为 代表的最佳无失真码。
第5章信源编码
5.1 编码的定义
信源编码：信源输出符号经信源编码器编码后 转换成另外的压缩符号
在不失真或允许失真的条件下，用 尽可能少的符号传送信源信息。
第5章信源编码
• 信道编码： – 是以提高信息传输的可靠性为目的的编码。 – 通常通过增加信源的冗余度来实现。采用的 一般方法是增大码率/带宽。
在信道受干扰的情况下增加信号的抗干 扰能力，同时又使得信息传输率最大。
• 密码： –是以提高通信系统的安全性为目的的编码。 –通常通过加密和解密来实现。
第5章信源编码
无失真信源编码定理称为第一极限定理 离散信源 信道编码定理称为第二极限定理 离散和连续信道 限失真信源编码定理称为第三极限定理 连续信源
信源编码的主要任务 符号变换：使信源输出符号与信道输入符号匹配。
减少冗余，提高编码效率。 针对信源输出符号序列的统计特性，寻找一定的方 法把信源输出符号序列变换为最短的码字序列。
按不同的编码目的，编码分为三类： 信源编码 信道编码 安全编码/密码
第5章信源编码
信源编码
信源编码是以提高通信的有效性为目的编码。 通常通过压缩信源的冗余度来实现。 采用的一般方法是压缩每个信源符号的平均比特 数或信源的码率。同样多的信息用较少的码率来 传送，使单位时间内传送的平均信息量增加，从 而提高通信的有效性。
第 5 章 信源编码
5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码定理 5.4 常用信源编码方法简介
第5章信源编码
编码
通信的实质是传输信息，通信系统的性能指标主 要有有效性、可靠性、安全性等，这些指标正是信息 论研究的对象。编码的目的是为了优化通信系统，就 是使这些指标达到最佳。
2 唯一可译码 任意有限长的码元序列，只能 被唯一地分割成一个个码字。
例： {0,10,11} 是一种唯一可译码。
任意一串有限长码序列，如 100111000 ，只能被分割 成 10、0、11、10 、0、0 。任何其他分割法都会产生 一些非定义的码字。
奇异码不是唯一可译码 非奇异码 非唯一可译码 —码 2 ，可译成 a1a1或a3
• 任一即时码都可用树图法来表示。 • 当码字长度给定，即时码不是唯一的。
该码树从根到终端节点所经路径上， 每一个中间节点皆为码字，因此码 3 不是即第5时章信码源编，码 但它是唯一可译码。
第5章信源编码
信源编码 无失真编码 无失真信源编码定理 限失真编码 限失真信源编码定理
无失真 ( 冗余度压缩编码 ) ：仅对信源的冗余度进行 压缩，不改变信源的熵。无失真编码是可逆的，即当 信源符号变换成代码后，可从代码无失真地恢复出原 信源符号。只适用于离散信源。
限失真 ( 熵压缩编码 ) ：在失真受限的情况下进行限 失真编码。在连续信源的情况下，由于信源的信息量 趋于无限，显然不能用离散符号序列来完成无失真编 码，而只能进行限失真编码。
若将信源 X 通过二元信道传输，就必须把信源符 号ai 变换成由0 、 1符号组成的码符号序列，这个 过程就是信源编码。第5章信源编码
定长码 固定长度的码，码中所 有码字的长度都相同。
变长码 可变长度码，码中的码字 定长码 变长码长短不一。
若 0 、 01 都是码字，译码时如何分离？
分组码 / 块码将信源符号集中的每个符号映射成一个固 定的码字。分组码必须具有某些属性，才能保证在接 收端能够迅速可靠地译码第5章。信源编码
码的不同属性
信源
信源符号
符号 ai 出现概率 p(ai) 码 1
a1
1/2
0
a2
1/4
11
a3
1/8
00
a4
1/8
11
码表 码2 码3
0
1
10 10
00 100
01 1000
码4 1 01
001 0001
1 奇异码和非奇异码
奇异码
若信源符号和码字是一一对应的，则该码为非奇异
码。反之为奇异码。
第5章信源编码
任意一个码字都不是其它码字的前缀部分 第5章信源编码
ai
码1
码2
码3
码4
a1
0
0
1
1
a2
11
10
10
01
a3
00
00
100
001
a4
11
01
1000
0001
奇异码 非唯一 非即时码 可译码源自文库5章信源编码
即时码
用码树来构造码字
码树从树根开始向下长出 m 个树枝，成为 m 进 码树制，树枝代表码元，树枝与树枝的交点叫做节点。 经过 r 个树枝才能到达的节点称为 r 阶节点。向下不长 出树枝的节点称为终端节点或端点。 m 进制码树各节 点 ( 包括树根 ) 向下长出的树枝不会超过m，若等于m 称为满树 (整树) ，否则称为非满树 (非整树 ) 。
唯一可译码第5章信源编—码 码 3 ， 但译码有延时
非即时码 唯一可译码
即时码
非即时码 接收端收到一个完整的码字后，不能立即译码，还需 等下一个码字开始接收后才能判断是否可以译码。 码 3
即时码 ( 非延长码 ) ( 异前缀码 )
在译码时无需参考后续的码符号就能立即作出判断，
译成对应的信源符号。
码4
无失真信源编码：可精确无失真地复制信源输 出的消息
第5章信源编码
编码器的作用
将信源符号集 X 中的符号 符号集 y 中的码元 一对应的码字 。
变换成由码 组成的长度为 Ki 的一
码字集合叫做代码组Y；码字
为该码字的码长，记为 Ki 。
第5章信源编码
所含码元的个数称
分组码 将信源消息分成若干组，即符号序列，每个符号 序列依照固定码表映射成一个码字，这样的码称 为分组码，有时也叫块码。只有分组码才有对应 的码表，而非分组码中则不存在码表。 例：
码树上任一节点都对应一个码字，组成该码字的 码元就是从树根开始到该节点所经过的树枝 ( 码元 ) 。
若一个码所有码字均处于终端节点，则该码为即时码。
第5章信源编码
满树 — 等长码 节数 — 码长
非满树 — 变长码
第5章信源编码
树码：若有 n 个信源符号，那么在码树上就要选择 n
个终端节点，用相应的 m 元基本符号表示这些码字。