2015秋.信息论.第4节无失真信源编码

00001 001 0000001 0000000 01 0000000 0001 000001 0001 0000001 5 3 7 7 2 7 4 6 4 7

1 01 001 0001 00001 000001 0000001 0000000

S1 s2 s3 s4 s5 s6 s7 s8

000 001 010 011 100 101 110 111

第四章无失真信源编码

将信源产生的全部信息无损地发送给信宿，这种信源编码称无失真信源编码。编码过程由编码器实现。

§4.1 编码器

r

编码器数学模型

1、编码器构成：

输入：

信源符号集S =(s 1,s 2, …s q )，由q 个符号组成码符号集X =(x 1,x 2…x r )，由r 个符号组成输出：

代码组C =(w 1, w 2,…w q )，由q 个码字组成

其中，称为码字，l i 称为码字长度)...(21i

l i i i i x x x w =2、编码器的作用：

将信源符号集S 中的符号s i ，i=1,2…,q

→ 变换成由码符号集X 中的码元x j ，j=1,2…,r 组成的长度为l i 的一一对应的码字

码字的集合称为代码组C 。

)...(21i l i i i i x x x w =

3、码分类：根据代码组C 中码字的长度

固定长度码：（定长码）代码组C 中所有码字的长度相同。可变长度码：（变长码）代码组C 中码字的长度不相同。

10

晴阴雨雪

0.40.30.20.1

1*0.4+2*0.3+3*0.2+3*0.1=1.9

4、码奇异性：

非奇异码：代码组C中所有码字都不相同。奇异码：代码组C中有相同的码字。

§4.2 即时码与唯一可译码1、分组码定义：

信源符号集S中的每一个符号s

i 都映射成一个固定的码

字w

i

，这种码称为分组码。

2、分组码性质：

(1) 奇异性：

•非奇异性是分组码正确译码的必要条件。

(2) 唯一可译性：

•如果一个分组码对于任意有限的整数N，其N次扩展码均为非奇异码，则称之为唯一可译码。

•不仅要求不同的码字表示不同的信源符号，而且还进一步要求对由信源符号构成的消息序列进行编码时，在接收端仍能正确译码，而不发生混淆。

01

001

0001

唯一可译码是正确译码的充要条件。

01

001

0001

111213142122232431323334414243s s s s s s s s s s s s s s s s s s s s s s s s s s s s s s s s 11101100110001011010101001010001

0011

00101

001001001000100011

000101000100100010000001…

唯一可译码判别准则

如果一个分组码对于任意有限的整数N ，其N 次扩展码均为非奇异码，则此码为唯一可译码。

首先由原始码集合S 0，构造集合S 1，S 2，…

①、S 1的构造：

若，且，则后缀A 放入S 1中。

②、S n (n >1)的构造：

将S 0和S n -1中的元素进行比较,若，或，且，则A 放入Sn 中。

A w w j i =10,-∈∈n S u S w 10,n w S u S -∈∈uA w =00,S w S w j i ∈∈

S 0

S 1S 2S 3S 4

S 5

S 6

a c abb

cee

bbcde

命题码集合S 0是唯一可译码的充要条件是S 1,S 2,…中没有一个含有S 0的元素。

bb cde

de

Φ

A

w w j i =00,S w S w j i ∈∈1

0,-∈∈n S U S W 10

,n W S U S -∈∈UA

W =例：S 0={a,c,abb,cee, bbcde}是否唯一可译码。

ee

例：{a b b c d e}

(3) 即时码：

•无需考虑后续的码符号，即可以从码符号序列中译出码字，这样的唯一可译码为即时码。例如：

•C1={1,10,100,1000}是唯一可译码，但非即时码C2={1,01,001,0001}是唯一可译码，也是即时码

)...(21l i i i i x x x w j

i i i x x x ...21•码前缀：

设为一个码字，对于任意的1≤j ≤l , 称码字w i 的前j 个元素为码字w i 的前缀。例如，码1000的前缀有1，10，100, 1000

•即时码存在充要条件：

唯一可译码成为即时码的充要条件是其中任意一个码字不是其他码字的前缀。

如果没有一个码字是其他码字的前缀，则在接收到一个相当于一个完整码字的码符号序列后，便可立即译码，而无需考虑其后的代码符号。

若设W

i 是W

j

的前缀，则在收到相当于Wi的码符号序列后，

还不能判定它是一个完整的码字；若想正确译码，还必须参考后续的码符号。这与即时码的定义相矛盾。

例如：

C={1,10,100,1000}是唯一可译码，但非即时码

C={1,01,001,0001}是唯一可译码，也是即时码