第五章 信源编码

X {x1 , x2 ,..., xr }
wi 称为码字， Li 为码字 wi 的码元个数，称为码字 wi 的码 字长度，简称码长。码字的集合C称为码书。 xi 称为码元。
5.1编码器
例：二元信道的信源编码器：码符号集X={0,1}， 如果要将信源通过二元信道传输，必须将信源编成 二元码，这也是最常用的一种码。 等长码 非等长码
N N次扩展信源符号集 S {1 , 2 ,..., q N }, j s j1 s j2 s jN
N次扩展代码组 C N {W1 , W2 ,..., Wq N }, W j W j1W j2 W jN
5.2分组码
分组码
将信源符号集中的每个信源符号si的映射成一个固定的码 字wi，这样的码称为分组码。为了保证在信道的输出端能够 正确、迅速译码，分组码需要满足的一些性质：
H(X ) 0.9 得 =0.28 H(X )
Δ若要求: 译码差错率δ=10-6 , 则L太大 2 ( x) 1.323 L 2 16.875 106 0.282 106 H ( X ) 2.55 85% 此外， 编码效率不高 H0 ( X ) 3
编码后的码字为： 1 ,W2 ,...,Wn 码长为： 1 , k2 ,..., kn W k (1)平均码长 K p(a )k (码符号/信源符号) i i
i 1
——平均每个信源符号所需的码长 (2)信息率
K R log2 m(bit/信源符号 ) L
——编码后，平均每个信源符号能载荷的最大信息量
信息论基础
第五章 信源编码
苗立刚 ligangmiao@ 实验楼417 电话8048018
东北大学秦皇岛分校自动化工程系 2009年3月
第五章 信源编码
本章主要讨论的问题：
5.1 离散信源编码 5.1.1 编码器 5.1.2 分组码 5.1.3 定长码 5.1.4 变长码 5.2 连续信源编码 5.3 相关信源编码
非奇异性：分组码是非奇异码是正确译码的必要条件，Fra bibliotek但非充分条件。
奇异码
非奇异码
5.2分组码
唯一可译性
一个分组码若对于任意有限的整数N，其N阶扩展码均为 非奇异的，则称之为唯一可译码。它不但要求不同的码字表 示不同的信源符号，还要求对由信源符号构成的符号序列进 行编码时，在接收端仍能够正确译码，而不发生混淆。
奇异码——信源符号～码字并非一一对应,译码将一对多 非唯一可译码——一码字是其他码字的组合 非即时码，又名延长码——一码字是其他码字的延长 即时码，又名异字头码，异前置码——收到一个完整码字后， 可立即译出
5.4变长码
树图法构造即时码(异前置码)
(1) 码树画法(m进制) 从树根出发，画m条树枝，树枝端点称为一级节点，有m个； 从第一级节点出发，再画m条树枝，得第二级节点，有m2个； 第n级节点，共有mn个。 串联的树枝成为联枝。从树根出发到每一个终节点的联枝 代表一个码字。 中间节点 终节点 树根
满树
非满树，全树
非全树
5.4变长码
满树 —— 每个码字的联枝数均相同时(定长码) 非满树 —— 当码字的联枝数不同时(变长码) 全树 —— 每个中间节点的后续分支数均为m 非全树 —— 有些中间节点的后续分支数不足m
中间节点 终节点 树根
非满树，全树 满树 非全树 即时码,异前置码——每个码字都被安排在终节点上 命题：一个唯一可译码成为即时码的充分必要条件是其中任 何一个码字都不是其他码字的前缀。
5.3定长码
信源编码
信源符号→码符号，以适合信道传输的一种映射(变换) L长序列
X ( X1 X 2 X l X L )
X l a1, a2 ,, ai , , an
信源编码器 信源编码器
K长码字
Y (Y1Y2 Yk X K )
Yk b1 , b2 ,, bj ,, bm
(5)结论 (单符号)信源熵H(X)实为一个界限 当 R＞H(X)时 —— 无失真译码 当 R＜H(X)时 —— 有失真译码
5.3定长码
[例] 给定信源模型：8种符号和概率 a2 a3 a4 a5 a6 a7 a8 X a1 P( X ) 0.4 0.18 0.10 0.10 0.07 0.06 0.05 0.04 算得：H(X)=2.55 bit /信源符号， 2(X) =1.323 Δ若要求：编码效率 =90%，由
命题：一个唯一可译码成为即时码的充分必要条件是其中任 何一个码字都不是其他码字的前缀。
即时码一定是唯一可译码；反之，唯一可译码不一定是 即时码。
5.3定长码
定长码
若对信源S进行等长编码，那么信源S存在唯一可译码的条 件是：
信源符号的个数
qr
l
码字的个数
其中，l是码长，r是码符号集中的码元数，q信源符号个数。 也就是说，码字的个数必须不小于信源符号的个数。 例：如果有四个信源符号{s1，s2，s3，s4}，采用二元编码， l=2，则可以编成s1=00，s2=01，s3=10，s4=11。
2 ( x) 只要 L 2 ,译码差错率必小于 2 ( x) E{[ I ( xi ) H ( X )]2} ——信源序列自信息方差
5.3定长码
(4)逆定理指出：
若R比H(X) 小一个 时，译码差错未必超过 若R比H(X) 小两个 时，译码差错必定大于
L→≦时必失真
简介
信源编码：以提高通信有效性为目的的编码。通常通过压缩信 源的冗余度来实现。采用的方法是压缩每个信源符号的平均比 特数或信源的码率。即同样多的信息用较少的码率传送，使单 位时间内传送的平均信息量增加，从而提高通信的有效性。
信源编码理论是信息论的一个重要分支，其理论基础是信源编 码的两个定理。 –无失真信源编码定理：是离散信源/数字信号编码的基础； –限失真信源编码定理：是连续信源/模拟信号编码的基础， 如语音、图像等信号。 信源编码的分类：离散信源编码、连续信源编码和相关信源编 码三类。 –离散信源编码：独立信源编码，可做到无失真编码； –连续信源编码：独立信源编码，只能做到限失真信源编码； –相关信源编码：非独立信源编码。
变长编码
5.4变长码
变长码的分类和主要编码方法
信源符号 出现概率 码1 码2 码3 码4
s1 s2 s3 s4
1/2 1/4 1/8 1/8
0 11 00 11
0 10 00 01
1 10 100 1000
1 01 001 0001
码1是一个奇异码，不是唯一可译码；码2是非奇异码，也 不是唯一可译码，因为收到一串序列无法唯一译出对应的原符 号序列，如01000，即可译作s4s3s1,也可译作s4s1s3,s1s2s3或 s1s2s1s1；码3和码4都是唯一可译的。
时译码差错必为有限值，且当L足够大时,译码几乎必定出错。
5.3定长码
K log 2 m H ( X ) (2.4.1) 说明： L (1)信息率(编码速率) R =(K/L)log2m bit/信源符号 log2m —— 每个码符号的最大熵(bit/码符号) Klog2m —— 每个码符号序列最大熵(bit/码序列) (K/L)log2m —— 编码后，平均每个信源符号所能载荷的最 大信息量 (2)编码效率
K 代表平均码序列长度。
已知信源平均输出信息率为
故有
K R log 2 m L
log 2 m H (X ) R H (X ) L
若一离散平稳无记忆序列信源的平均符号熵为H(X)，则必存在
一种无失真编码方法，使信息率R满足：H(X)≤R≤ H(X) +
5.4变长码
对信源进行变长编码一般所要求的信源符号长度L比定长 编码小得多。编码效率的下界为 H(X ) H(X ) log 2 m R H(X ) L 例如：二元编码，m=2，log2m=1。如果H(X)=2.5525,若要求
H(X ) (bit/码符号) (3)(信道)信息传输率 Rc K
——编码后, 平均每个码符号载荷的(信源)信息量
5.4变长码
单符号变长编码定理
若一离散无记忆信源的符号熵为H(X)，对信源符号以m进 制码元作变长编码，则必定存在一种无失真编码方法，其码字 平均码长满足
H(X ) H(X ) 1 K log 2 m log 2 m
唯一可译码 非即时码
唯一可译码 即时码
5.2分组码
即时码
无须考虑后续的码符号，即可从码符号序列中译出码字， 这样的唯一可译码称为即时码。
设一个码字 Wi Wi1Wi2 Wil ，对于任意的 1 j l ，称 码符号序列的前j个元素 Wi Wi Wi 为码字 Wi 的前缀。
1 2 j
等长码与变长码
非奇异码
非奇异码
码中各个码字都是由同样多个码元构成的，称为等长 码，反之，称为变长码。
5.1编码器
奇异码与非奇异码
若一组码中所有码字都不相同，称为非奇异码。否则成 为奇异码。
奇异码
奇异码
5.1编码器
N次扩展码
信源符号集 S {s1, s2 ,..., sq } 代码组（码书） C {W1 ,W2 ,...,Wq }


5.3定长码
定长编码定理：由L个符号组成的，平均符号熵为H(X)的平 稳无记忆符号序列X，可用由K个码符号(每个有m种取值)组成的 码序列作定长编码。对任意 ＞0, ＞0 ，有： (1)正定理：只要
K log 2 m H ( X ) (2.4.1) L 则当L足够大时，译码差错必小于 (2)逆定理：当 K log 2 m H ( X ) 2 (2.4.2) L
5.1编码器