第三章无失真信源编码

00
11
11 10 10 01
00 00 100 001
11 01 1000 0001
（2）唯一可译码
任意有限长的码元序列，只能被唯一地分割
成一个个的码字，便称为唯一可译码。
❖ 例如{0，10，11}是一种唯一可译码。 因为任意一串有限长码序列，如100111000， 只能被分割成10，0，11，10，0，0。任何其他 分割法都会产生一些非定义的码字。显然，奇 异码不是唯一可译码，而非奇异码中有非唯一 可译码和唯一可译码。表3-1-2中码3是唯一可译 码，但码2不是唯一可译码。
• 信源编码的基本途径 是什么?
信源编码的基本途径有两个，一是使序 列中的各个符号尽可能地互相独立，即 解除相关性；二是使编码中各个符号出 现的概率尽可能地相等，即概率均匀化。
• 信源编码的基础是什么?
信源编码的基础是：两个编码定理，即 无失真编码定理和限失真编码定理。
编码定理证明：
（1）必存在一种编码方法，使代码的平均长 度可任意接近但不能低于符号熵 （2）达到这目标的途径，就是使概率与码长 匹配。
rn
唯一可译码存在的充分和必要条件
用树的概念可导出唯一可译码存在的充分和必要 条件，即各码字的长度Ki应符合克劳夫特不等 式：
n
mKi 1
i 1
(3-1-1)
式中，m是进制数，n是信源符号数。
看书P36(例3-1-1）
例3-1-1：设二进制码树中X (a1， a2 ，
码树图
通常可用码树来表示各码字的构成
0
A1
0
1
0
1
01
01
01
01
0 1 0 10 10 1 0 10 10 1 0 1
（a)二进制码树
0
1Leabharlann Baidu
2
0 1 2 01 2 01 2 01 2
01 2
(b)三进制码树
其中A点是树根，分成r个树枝，成为r进制树。树枝的尽头是节点，中间节点生出树枝， 终端节点安排码字。码树中自根部经过一个分枝到达r个节点称为一级节点。二级节点的 可能个数为 个，一般n几节点有 个。
说明：
（1）无失真编码或可逆编码只适用于离散信源。
（2）对于连续信源，编成代码后就无法无失真 地恢复原来的连续值，因为后者的取值可有无 限多个。此时只能根据限失真编码定理进行限 失真编码 。
第一节 编码的定义
L长序列
信源编码器
K长码字
图3-1-1 信源编码器
❖ 什么分组码？ 设: 信源消息为符号序列Xi， Xi (X1X2 Xl XL)，
X P
x1 p(x1)
x2 p(x2)
xn p(xn)
二元信道的信道基本符号集为{0，1}。若将信源
X通过一个二元信道传输，就必须把信源符号xi 变换成由0，1符号组成的码符号序列，即编码。
可用不同的码符号序列，如表3－1-1所示。
见书 (P35)
不同的码符号序列，如表3-1-1所示。
引言
❖ 编码分为信源编码和信道编码，其中信源 编码又分为无失真信源编码和限失真信源 编码。 无失真信源编码：适用于离散信源或数字 信号。 限失真信源编码：主要用于连续信源或模 拟信号，如语音、图像等信号的数字处理。
❖ 香农信息论三大定理 :
1. 第一极限定理:无失真信源编码定理. 2. 第二极限定理: 信道编码定理（包括离
信源 信源符号出
码表
符号ai 现概率p(ai) 码1 码2
a1
p(a1)
00 0
a2
p(a2)
01 01
a3
p(a3)
10 001
a4
p(a4)
11 111
码可分为两类： 一、固定长度的码，码中所有码字的长度 都相 同，如表3-1-1中的码1就是定长码 二、可变长度码，码中的码字长短不一，如表中码 2就是变长码。
散和连续信道）. 3. 第三极限定理: 限失真信源编码定理.
❖ 信源编码的主要任务是什么?
由于信源符号之间存在分布不均匀和相 关性，使得信源存在冗余度，信源编码 的主要任务就是减少冗余，提高编码效 率。具体说，就是针对信源输出符号序 列的统计特性，寻找一定的方法把信源 输出符号序列变换为最短的码字序列。
序列中的每个符号取自于符号集A，
Xl a1, a2, , ai, , an 。而每个符号序列Xi依照固
定的码表映射成一个码字Yi，这样的码称为分组 码，有时也叫块码。只有分组码才有对应的码表， 而非分组码中则不存在码表。
设: 信源输出的序列长度为1，即信源符号集
X (x1, x2 xn)
信源概率空间为：
分组码的一些直观属性
（1）奇异码和非奇异码 若信源符号和码字是一一对应的，则该码为 非奇异码。反之为奇异码。 如表3-1-2中的码1是奇异码，码2是非奇异 码。
表3-1-2 码的不同属性
信源符号 ai a1 a2 a3 a4
符号出现概率 p(ai) 1/2
1/4
1/8
1/8
码1 码2 码3 码4
若字将表从示每。个节点发出的r个分r支n 分别标以0，1，…，r-1，则每个n级节点需要用n个rr元2 数
如果指定某个n级节点为终端节点表示一个信源符号，则该节点就不再延伸，相应的码 字既为从树根到此端点的分支标号序列，其长度为n。这样构造的码满足即时码的要求。 因为从树根到每一个终端节点所走的路径均不相同，故一定满足对前缀的限制。 如果有q个信源符号，那么在码树上就要选择q个终端节点，用相应的r元基本符号表示这 些码字。由这样的方法构造出来的码称为树码，若数码的各个分支都延伸到最后一级端 点，此时将共有 个码字，这样的树称为满树，如图a所示。否则就称为非满树，如图b 所示，这时的码字就不是定长的了。
唯一可译码中又分为非即时码和即时码： 如果接收端收到一个完整的码字后，不能 立即译码，还需等下一个码字开始接收后 才能判断是否可以译码，这样的码叫做非 即时码。
表3-1-2中码3是非即时码，而码4是即时码。 码4中只要接收到符号1就表示该码字已完 整，可以立即译码。
即时码：只要收到符号就表示该码字已完整， 可以立即译码。
即时码又称为非延长码，任意一个码字都不是 其它码字的前缀部分，有时叫做异前缀码。
在延长码中，有的码是唯一可译的，主要取决 于码的总体结构，如表3-1-2中码3的延长码就 是唯一可译的。
分组码的一些直观属性
{ 非分组码
码
奇异码
{ 分组码
非奇异码
非唯一可译码
{ { 唯一可译码
非即时码
即时码（非延长码）