信息论与编码 曹雪芹 Chap5

12
码1是非即时码，码2是即时码
信源符号 si s1 s2 s2 s4 码1 1 10 100 1000 码2 1 01 001 0001
13
编码的定义
非分组码 码 奇异码 分组码 非唯一可译码 非即时码 非奇异码 唯一可译码 即时码 (非延长码)
14
• 码树
– 表示各码字的构成；构造即时码
树根—码字的起点
27
例
设消息集合共有7个元素 s1 , s2 , s3 , s4 , s5 , s6 , s7 ， 它们分别被编码为 a, c, ad , abb, bad , deb, bbcde ，判断 是否是唯一可译码。 解:
C a c ad abb bad deb bbcde F1 d bb F2 eb cde F3 de F4 b F5 ad bcde
11
编码的定义
• 唯一可译码 • 非即时码： – 如果接收端收到一个完整的码字后不能立即 译码,还需等下一个码字开始接收后才能判 断是否可以译码 • 即时码： (非延长码) (异前缀码) – 在译码时无需参考后续的码符号就能立即作 出判断,译成对应的信源符号。 – 任意一个码字都不是其它码字的前缀部分 • 在延长码中,有的码是唯一可译的,取决于码的 总体结构
码0 00 01 10 11
码1 0 11 00 11
码 表 码2 0 10 00 01
码3 1 10 100 1000
码4 1 01 001 0001
• • • •
等长码：码中所有码字的长度都相同 变长码：码中的码字长短不一 非奇异码：信源符号与码字是一一对应的 奇异码：码1
8
对离散无记忆信源的N次扩展信源进行编码得到N次扩 展码。 S {s1 , s2 , sq } 假定信源符号集为
17
编码的定义
• 满树：
– 每个节点上都有r个分枝的树——等长码
• 非满树：
– 变长码 • 用树的概念可导出唯一可译码存在的充分和必 要条件,即各码字的长度Li应符合Kraft不等式
r
i 1
q
li
1
式中: r是进制数 q是信源符号数
18
编码的定义
定理 设信源符号集为 S {s1 , s2 , sq，码符号集 } 为 X {x1 , x2 , xr } ，对信源进行编码，得到的码 为 C w1 , w2 , wq ，码长分别为 l1 , l2 , lq 。即时码存在的充要 条件是
0
0
00
01 10 11
1
1
1
1 0 0
01
码0
1
001
1 0001 1 0
码4
0
1
• 任一即时码都可用树 图法来表示。 • 当码字长度给定,即时 码不是唯一的。
0 0
0
10 110
1
0 1
1
1110 0
16
码3
编码的定义
• 码3对应的树如下图:
1 1 0 10 0 100 0 1000
• 该码树从根到终端节点所经路径上每一个中间 节点皆为码字,因此不满足前缀条件。 • 虽然码3不是即时码,但它是唯一可译码。
… 111111
9
编码的定义
分组码和非分组码
将信源符号集中的每个信源符号 si 固定地映 射成一个码字 wi ，这样的码称为分组码，也叫块 码 与分组码对应的是非分组码，又称为树码、 树码编码器输出的码符号通常与编码器的所有信 源符号都有关。
10
编码的定义
• 唯一可译码：
• •
• • – 任意有限长的码元序列,只能被唯一地分割 成一个个的码字。 例：{0,10,11}是一种唯一可译码。 任意一串有限长码序列,如100111000,只能被分 割成10,0,11,10,0,0。任何其他分割法都会产生 一些非定义的码字。 奇异码不是唯一可译码 非奇异码 – 唯一可译码 — 码3 – 非唯一可译码 — 码2
24
唯一可译码的判别准则
A.A.Sardinas和G.W.Patterson于1957年提出下述算法用 于判断码C的唯一可译性．此算法的原理如下所示：
A1 B1 B2 A2
A3 Am
B3 Bn
其中 Ai , Bi都是码字。可知，当且仅当某个有限长的码符 号序列能译成两种不同的码字序列时，此码不是唯一可 译码，此时B1 一定是 A1 的前缀，而A1 的尾随后缀一定是 另一码字 B2 的前缀；而B2的尾随后缀又是其他码字的前 缀．最后，码符号序列的尾部一定是一个码字。
• 若对信源进行定长编码,必须满足: nL≤mK
X
信源
L长序列
信源编码器
Y
信道
32
码表
• 信道编码
– 在信道受干扰的情况下如何增加信号的抗干扰 能力,同时又使得信息传输率最大。
4
编码的定义
• 信源编码:
– 将信源输出符号,经信源编码器后变换成另外的 压缩符号,然后将压缩后信息经信道传送给信宿 • 信源符号之间存在分布不均匀和相关性,使得信源 存在冗余度,信源编码的主要任务就是减少冗余,提 高编码效率。 • 针对信源输出符号序列的统计特性,寻找一定的方 法把信源输出符号序列变换为最短的码字序列。
(3) F Fi 即为码C的尾随后缀集合；
i
(4) 若F中出现了C中的元素，则算法终止，返回假(C不是 唯一可译码)；否则若F中没有出现新的元素，则返回真。
26
定理 一个码是唯一可译码的充要条件是的 F1 , F2 , 的 并集中没有C中的码字。 直观理解，当码字组成码字序列时，所有后缀不能 是一个码字。
KL 1 K log m log M 最小 L L
31
_
5.2.1 定长编码定理
• 在定长编码中,K是定值。 • 我们的目的是寻找最小K值。 • 编码器输入X=(X1 X2…Xl …XL), Xl∈{a1,…an}, 输入的消息总共有nL种可能的组合 • 输出的码字Y=(Y1 Y2 …Yk… YK ) , Yk∈{b1,…bm} 输出的码字总共有mK种可能的组合。
若要实现无失真编码，映射必须是一一对应的、可逆的。
7
编码的定义
• 若码集为{0,1},所得码字为二元序列,称为二元码 • 例如,信源符号X＝{a1,a2,a3,a4},对应不同码字如表
信源符号
信源符号
出现概率
a1 a2 a3 a4
p(a1)=1/2 p(a2)=1/4 p(a3)=1/8 p(a4)=1/8
X
信源
L长序列
信源编码器 码表
Y
信道
30
K长码字
无失真信源编码
• 实现无失真的信源编码,要求: – 信源符号X1 X2…Xl …XL 是一一对应的 – 码字Y1 Y2…Yk… YK • 能够无失真或无差错地从Y恢复X,也就是能正 确地进行反变换或译码 ; • 传送Y时所需要的信息率最小 信息率最小就是找到一种编码方式使
0 0 0 0 1 0 10 1 0 1 0 1 0
A
1 0 1 0 0 1
分成r个树枝—码的进制数 中间节点—码字的一部分
1 1 0 0 1 2 0
终端节点—码字1101
1
1 2 2 0 1 2
0 1 0 1
二进制码树 节数—码长
01 2
0
1
2
三进制码树
15
• 树码
– 如果有n个信源符号,那么在码树上就要选择n 个终端节点,用相应的r元基本符号表示这些 码字。
i 1 i 1
对于唯一可译码，该不等式又称为McMillan不等式。
21
定理 唯一可译码存在的充要条件是
r li 1
i 1
q
li r为码符号个数，为码字长度，q为信源符号个数。
McMillan不等式指出了唯一可译码中r、q、 之间的关 li 系，如果满足这个不等式的条件，则一定能够构成至 少一种唯一可译码，否则，无法构成唯一可译码．它 给出了唯一可译变长码的存在性。
S {s1 , s2 , sq N } N次扩展信源符号集为 N次扩展码为 C {w1 , w2 , wq N } 二次扩展码
二次扩展信源符 号si s 1= s 1 s 1 s 2= s 1 s 2 s 3= s 1 s 3
二次扩展码字 wj 11 110 1100
… s16= s4 s4
第5章
信源编码
内容
5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码
5.4 常用信源编码方法简介
2
5.1 编码的定义
3
• 编码
• 信源编码：
– 无失真信源编码—第一极限定理 离散信源 – 限失真信源编码—第三极限定理 连续信源 • 信道编码 第二极限定理
• 信源编码
– 在不失真或允许一定失真条件下,如何用尽可 能少的符号来传送信源信息,以便提高信息传 输率
必要性： 由于即时码必然可以用树图构造。可取l阶的r叉树且 l max li i l ，在第l阶上共有 r 个节点，于是长为li 的码字相当于砍去了 l l 该叉树第l阶上的 r i 个节点，q个码字共砍去第l阶的节点数 q q l 必小于 r ，即 l li l ， r li 1 r r
X
信源
信源编码器
Y
信道
码表
5
编码的定义
码序列: 信源输出符号序列变换成适合信道传 输的符号序列 编码: 对信源输出的原始符号按照一定数学规则 进行的变换 编码器: 完成编码功能的器件 译码器: 接收端完成与编码相反功能的器件
6
信源编码器
码元或码符号 码字：输出的码符号序列；与信源符号一一对应。 码：码字的集合C；码字长度或码长。 信源编码就是把信源符号序列变换到码符号序列的一 种映射。