信源编码.ppt

18
• 例如：对于二元码 C1 {1, 01, 0，0}当任意给定一 串码字序列，例如“10001101”，只可唯一地 划分为1,00,01,1,01，因此是惟一可译码；而 对另一个二元码C2 {0,10,01}，当码字序列为 “01001”时，可划分为0,10,01或01,0,01，所 以是非惟一可译的。
12:Байду номын сангаас9:35
17
• 4）惟一可译码
若任意一串有限长的码符号序列只能被惟 一地译成所对应的信源符号序列，则此码称为 惟一可译码（或称单义可译码）。否则就称为 非惟一可译码或非单义可译码。
若要使某一码为惟一可译码，则对于任意 给定的有限长的码符号序列，只能被惟一地分 割成一个个的码字。
12:39:35
12:39:35
32
•
在二元无噪无损信道中
H(S) r 2, Hr (S) H (S), L
• 在二元信道中，若编码效率=1，R=1比特／码符
号，则达到信道的信道容量，此时编码效率最高，
码的剩余度为零。
• 前面已经说明，对于某一个信源和某一符号集来 说，凡是满足克拉夫特不等式的惟一可译码可以 有多种，在这些惟一可译码中，如果有一种（或 几种）码，其平均编码长度小于所有其他惟一可 译码的平均编码长度，则该码称为最佳码（或紧 致码）。
12:39:34
2
• 一般来说，抗干扰能与信息传输率二者相互矛 盾。然而编码定理已从理论上证明，至少存在 某种最佳的编码能够解决上述矛盾，做到既可 靠又有效地传输信息。
• 信源虽然多种多样，但无论是哪种类型的信源， 信源符号之间总存在相关性和分布的不均匀性， 使得信源存在冗余度。信源编码的目的就是要 减少冗余，提高编码效率。
12:39:35
20
• 综上所述，可将码作所示的分类：
12:39:35
21
5.1.2 码树
• 对于给定码字的全体集合，可以用码树来描述。 • 对于r进制的码树，如下页图所示，其中图(a)
为二元码树，图(b)为三元码树。在码树中点 是树根，从树根伸出个树枝，构成元码树。树 枝的尽头是节点，一般中间节点会伸出树枝， 不伸出树枝的节点为终端节点，编码时应尽量 在终端节点安排码字。
Bi {Wi1 ,Wi2 ,L ,WiN }; i1,L , iN 1,L ,q; i 1,L ,qN
即码C的N次扩展码中，每个码字Bi 与信源的N 次 扩 展 信 源 SN 中 的 每 个 信 源 符 号 vi {si1, si 2 ,L , siN }是一一对应的：
vi Bi (Wi1 ,Wi2 ,L ,WiN ), vi S N ,Wil C
– 阶数码长；
非整树变长码；
– 整树等长码。
12:39:35
25
5.1.3 Kraft不等式
• 利用码树可以判断给定的码是否为惟一可译码， 但需要画出码树。在实际中，我们可以利用克 拉夫特（Kraft）不等式，直接根据各码字的长 度来判断惟一可译码是否存在，即各码字的长 度应符合克拉夫特不等式：
编码1 编码2
s1 s2 s3 s4
12:39:35
p(s1) p (s2) p (s3) p (s4)
00
0
01
01
10
001
11
101
11
• (4)分组码
若每个信源符号按照固定的码表映射成一 个码字，则称为分组码。否则就是非分组码.
如果采用分组编码方法，需要分组码具有 某些属性，以保证在接收端能够迅速而准确地 将接收到的码译成与信源符号对应的消息。下 面讨论分组码的一些直观属性。
12:39:35
22
12:39:35
23
• 码树中自树根经过一个分枝到达一阶节点，一阶节点最 多为r个，二阶节点的可能个数为r2个，n阶节点最多有 rn个，若将从每个节点发出的个分枝分别标以0，1，…， r-1，则每个n阶节点需要用n个r元数字表示。如果指定 某个n阶节点为终端节点，用于表示一个信源符号，则 该节点就不再延伸，相应的码字即为从树根到此端点的 分枝标号序列，该序列长度为n，用这种方法构造的码 满足即时码的条件，因为从树根到每一个终端节点所走 的路径均不相同，所以一定满足对即时码前缀的限制。 如果有个q信源符号，那么在码树上就要选择q个终端节 点，用相应r的元基本符号表示这些码字。
12:39:35
12
• 1）非奇异码和奇异码
若一组码中所有码字都不相同(即所有信 源符号映射到不同的码符号序列)，则称为非 奇异码。反之，则为奇异码。如表中的“编码 2”是奇异码，其他码是非奇异码。
12:39:35
13
信源符号
a1 a2 a3 a4
概率
p(ai )
1/2
1/4
1/8
1/8
编码1 编码2 编码3 编码4 编码5
12:39:35
31
• 为了衡量各种编码是否达到极限情况，定义变长 码的编码效率为： Hr (S )
L
常通过编码效率来衡量各种编码的优劣.
• 为了衡量各种编码与最佳码的差距，定义码的剩
余度为：1 1 H r (S ) L
•
信息传输率定义为：
R

H (S)

L
– 注意:虽然与在数值上相同，但它们的单位不同，编码 效率没有单位，而信息传输率的单位是比特/码符号。
第五章 信源编码
• 信息通过信道传输到信宿的过程即为通信。 要做到既不失真又快速地通信，需要解决两 个问题：
– 在不失真或允许一定失真条件下，如何提高 信息传输速度----这是本章要讨论的信源编码 问题.
– 在信道受到干扰的情况下，如何增加信号的 抗干扰能力，同时又使得信息传输率最大---这是下章要讨论的信道编码问题.
12:39:35
24
• 若树码的各个分支都延伸到最后一级端点，此时 将共有个码字，这样的码树称为整树，如图(a)所 示。否则就称为非整树，如图(b)所示，这时的码 字就不是等长码了。
• 因此，码树与码之间具有如下一一对应的关系：
– 树根码字起点；
树枝数码的进制数；
– 节点码字或码字的一部分； 终端节点码字；
LN 为对扩展信源进行编码后，每个信源符号
编N 码所需的等效的平均码长。
12:39:35
29
• 要做到无失真的信源编码，平均每个信源符号 所需最少的r元码元数为信源的熵Hr (S) 。 即 它是无失真信源压缩的极限值。
• 若编码的平均码长小于信源的熵值Hr (S)，则惟 一可译码不存在，在译码或反变换时必然要带 来失真或差错。
• (2)等长码
若一组码中所有码字的长度都相同---（即 li l,i 1,L ,q ），则称为等长码.
12:39:35
10
• (3) 变长码
若一组码中码字的码长各不相同（即码字 长度 不等），则称为变长码 . 码。如li 表中“编码1”为等长码，“编码2”为变长
信源符号si
符号出现概率p(si)
q
r li 1
i 1
式中，r为进制数也即码符号的个数，q为信源 符号数。
12:39:35
26
• Kraft不等式是惟一可译码存在的充要条件， 其必要性表现在如果码是惟一可译码，则必 定满足Kraft不等式;充分性表现在如果满足 Kraft不等式，则这种码长的惟一可译码一定 存在，但并不表示所有满足Kraft不等式的码 一定是惟一可译码。
• 本章主要介绍信源编码的基本思路与主要方法， 以无失真、统计编码为主，期望通过本章学习 能建立起信源压缩编码的基本概念。
12:39:35
5
5.1 编码器及相关概念
• 为了分析方便和突出问题的重点，当研究信源 编码时，我们把信道编码和译码看成是信道的 一部分，从而突出信源编码。同样，在研究信 道编码时，可以将信源编码和译码看成是信源 和信宿的一部分，从而突出信道编码。
12:39:35
8
• 二.码的分类:
对于编码器而言，根据码符号集合X中码 元的个数不同以及码字长度是否一致，有以下 一些常用的编码形式：
12:39:35
9
• (1)二元码和r元码
若码符号集 X {0,1，} 编码所得码字为一些 适合在二元信道中传输的二元序列，则称二元 码。二元码是数字通信与计算机系统中最常用 的一种码。若码符号集共有 r 个元素，则所得 之码称为 r 元码.
12:39:35
19
• 对惟一可译码又分为即时码和非即时码：如果在 接收端收到一个完整的码字后，就能立即进行译 码，这样的码叫做即时码；而在接收端收到一个 完整的码字后，还需等下一个码字接收后才能判 断是否可以译码，这样的码叫做非即时码。
• 即时码又称为非延长码，对即时码而言，在码本 中任意一个码字都不是其它码字的前缀部分。对 非即时码来说，有的码是惟一可译的，有的码是 非惟一可译的，主要取决于码的总体结构。
• 通过对扩展信源进行变长编码，当N时， 平均码长Hr (S)
12:39:35
30
• 无失真信源编码的实质：
对离散信源进行适当的变换，使变换后形 成的新的码符号信源(即信道的输入信源)尽可 能为等概率分布，以使新信源的每个码符号平 均所含的信息量达到最大，使信道的信息传输 率达到信道容量，实现信源与信道理想的统计 匹配。这实际上就是香农第一定理的物理意义。
12:39:35
15
• 3）码的N次扩展码
假定某一码，它把信源 S {s1, s2,L , sq} 中的符 号 si 一一变换成码C中的码字Wi，则码C的N次 扩展码是所有N个码字组成的码字序列的集合。
12:39:35
16
• 例如：若码 C {W1,W2,L ,Wq}
满足： si Wi ( xi1, xi2,L , xili ), si S, xil X 则码C的N次扩展码集合B {B1, B2,L , BqN } ,其中：
00
0
0
0
1
01
0
1
10
01
10
1
00
110
001
11
10
11
111 0001
12:39:35
14
• 2）同价码
若码符号集X：{ x1, x2 ,..., xr }中每个码符号所 占的传输时间都相同，则所得的码为同价码。
我们一般讨论同价码，对同价码来说等长 码中每个码字的传输时间相同，而变长码中 每个码字的传输时间就不一定相同。
• 由码符号 xi组成的输出序列Wi 称为码字.
其长度li 称为码字长度或码长，全体码字Wi 的集 合C称为码或码书 .
• 编的码 信器 源将 符信 号源 序符列号vi）集变中成的由信码源符符号号组si（成或的长长为为N 的与信源符号一一对应的输出序列。即 :
si (i 1, 2,L , q) Wi (i 1, 2,L , q) ( xi1, xi2,L , xili ), xij X
• 因此，克拉夫特不等式是惟一可译码存在的 必要条件，而不是惟一可译码的充要条件。
12:39:35
27
5.2 变长编码
• 变长码往往在码长的平均值不很大时，就可编 出效率很高而且无失真的码，其平均码长受香 农第一定理所限定，即：
• 若对信源离散无记忆信源S的N次扩展信源S N 进行编码，则总可以找到一种编码方法，构成 惟一可译码，使信源S中每个信源符号所需的 平均码长满足：
12:39:35
6
5.1.1 码的分类
• 一.编码器模型
由于信源编码可以不考虑抗干扰问题，所 以它的数学模型比较简单。下图为一个编码器 模型:
12:39:35
7
• 输入是信源符号集: S {s1, s2 ,L , sq}
• x为编码器所用的编码符号集，包含r个元素
{ x1, x2 ,..., xr }，称为码符号(码元) .
H (S) 1 LN H (S) log r N N log r
12:39:35
28
• 且当 N 时有：
lim LN
N N
Hr (S)
q
{ Hr (S)
i 1
p(ai ) logr
p(ai ) }
• 其长中，l，i LN为信 qi源N1 p符(v号i )扩li为展N序次列扩展v i的信码源长的.平均码
12:39:34
3
• 信源编码的基本途径有两个:
– 一是编码后使序列中的各个符号之间尽可能地 互相独立，即解除相关性----方法包括预测编 码和变换编码.
– 二是使编码后各个符号出现的概率尽可能相等， 即均匀化分布----方法主要是统计编码.
12:39:34
4
• 信源编码常分为无失真信源编码和限失真信源 编码，前者主要用于文字、数据信源的压缩， 后者主要用于图像、语音信源的压缩。