第5章 5.0信源编码定理

第1章概述

第2章信源熵

第3章信道容量

第4章信息率失真函数

第5章信源编码

第6章信道编码

第7章密码体制的安全性测度

信源编码

¾信源编码是以提高通信的有效性为目的编码。

¾通常通过压缩信源的冗余度来实现。¾采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码率来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。

信源编码的基本途径有两个：

¾使序列中的各个符号尽可能地互相独立，即解除相关性；

¾使编码中各个符号出现的概率尽可能地相等，即概率均匀化。

信源编码的基础是信息论中的两个编码定理：¾无失真编码定理

¾限失真编码定理

无失真编码只适用于离散信源；对于连续信源，只能在失真受限制的情况下进行限失真编码。本章首先介绍信源编码的相关概念以及信源编码定理，然后描述编码方法。

本章内容安排 信源编码定理 信源编码概念

香农第一定理

香农第三定理 信源编码方法 离散信源编码

连续信源编码

相关信源编码

变换编码

信源编码概念及信源编码定理

信源编码及有关概念

无失真信源编码定理

衡量编码效果的公式

定长信源编码定理

变长信源编码定理

限失真信源编码定理

无失真信源编码－概念

无失真信源编码

要求精确地复现信源的输出

保证信源的全部信息无损的送给信宿

研究方法

只考虑有效性，不考虑可靠性

将信道及信道编解码整体看成一个无噪无损信道

无失真信

源编码器

信源X={x

1

,x2 ,...,x q}码W=｛W1,W2,...,W q｝

码符号集C=｛c

1,c2,...,c m｝

无失真信源编码器－示意图

无失真信源编码器－输入输出描述

信源符号集X＝[x1,x2,…x n]，共有n个信源符号。 码符号集C＝[c1,c2,…c m]，共有m个码符号。

码符号集中的元素称为码元或者码符号。

码字集合W=[W1,W2,…W n]，与信源符号一一对应

码字W

i ＝（c

i1

c

i2

…c

iki

）

其中，长度k

i

称为码字长度，简称码长。

编码器的作用：

完成从信源符号到输出码符号的一种映射。

若要实现无失真编码，那么这种映射必须是一一对应的、可逆的。

例:对信源进行二元编码。

二元码符号集为{0,1}。

可用不同的码符号序列，即二元序列W i ，使其与信源符号s i 一一对应，这样可以有多种二元码，如表1所列。

表中信源符号s 3，对应码集2中的码字为001，码长为3。

1

2341234()

()

()

()s s s s S p s p s p s p s P ⎡⎤⎡⎤=⎢

⎥⎢⎥⎣⎦⎣⎦

无失真信源编码－示例

表1：多种二元编码

111

001010码2(变长码)11

100100码1(定长码)10

11

p(s 4)

s 4

0000p(s 3)s 31011p(s 2)s 200p(s 1)s 1码4

(奇异码)

码3(奇异码)信源符号出现概率

p(s i ) 信源符号s i

码的几个概念-定长码和变长码

根据码长，可分为两类：

定长码（等长码）

码集中所有码字的长度都相同，

如表1中的码1

变长码

码字长短不一，即码符号个数不同，

如表1中的码2

码的几个概念-二元码和多元码

二元码：

若码符号集为｛0，1｝，则所得码字为二元序列，即二元码。

多元码：

若码符号集=，对应的码为m 元码。

},,{:C 21m c c c ⋅⋅

码的几个概念-N次扩展码

若码W 对应于单符号信源X ，即 则码W 的N 次扩展码对应于X 的N 次扩展信源，即

例如，表1中码2的二次扩展码示于表2，其中码2的码字集为W ＝｛0，01，001，111｝

i i x X W W

∈⇔∈N

iN i i i N

iN i i i W

W W W B X

x x x ∈=⇔∈= 2121α

二次扩展码实例-表2

111111

α16=s 4s 4

............0001α3=s 1s 3001α2=s 1s 200α1=s 1s 1码字W i ,i=1,2,

...,16

二次扩展信源

符号αj ,j=1,2,...,16

111

001010码2(变长码)

p(s 4)

s 4

p(s 3)s 3p(s 2)s 2p(s 1)s 1信源符号出

现概率p(s i ) 信源符号s i

码的几个概念-奇异性

若一种码中的所有码字都互不相同，则称此码为非奇异码，否则称为奇异码。

非奇异码意味着信源符号和码字是一一对应的，即

“分组码是非奇异码”只是正确译码的必要条件，因为当码字排在一起时还有可能出现奇异性。

j

i j i W W x x ≠⇔≠