信息论与编码第四章.ppt

时，N几乎 可实现无
失真编码，即译码错误概率能为任意小。
反之，若 时， N 。
l ，H(s则) 2不 可能实现无失真编码，
N log r
pE 1
⑾可改写： l log r NH (s) ⒄
只要码字载荷的信息量大于信源序列携带的信 息量，总可实现几乎无失真编码，而且传输效率 接近于1
其中正确的译码概率： pE 1 pE p[G中rl个ai ] 1 pE 2N
pE 1 2N
⒃
N pE 1
等长信源编码定理
一个熵为H（S）的离散无记忆信源，若对信源
长为N的符号序列进行等长编码，设码字是从r个
字母的码符号集中选取 l 个字母组成，对于任
意 ，0 只要满足
l N
H，l(osg)当r
N
N
I (ai ) log p(ai ) log pik I (sik )
k 1
k 1
E[I (ai )] H (S N ) NH (S )
E(x) xP （x） m H(s)
x
D[I (ai )] ND[I (si )] N{E[I 2 (si )] [H (s)2 ]
第四章 无失真信源编码
高传输率与抗干扰是一对矛盾 ，但可以从理论
上证明，至少存在某种最佳的编码或信息处理方法， 能解决这一矛盾。
§4.1 编码器
s
coder
[s1, s2 sq ]
c : [w1, w2 wq ]
变换 （数学规则）：
x :[x1 xr ]
将信源符号用由码元组成的序列（长度为li）来表示
H (s)
D[I (si )]/
N 2
(N,)
⑴
方差为定值 表明 lim (N, ) lim D[I (si )] 0
N
N N 2
I (ai ) / N 依概率收敛于H (s)
G
ai
:
I (ai ) N
H(s)
Fra Baidu bibliotek
⑵
⑷
0 p(G) (N, )
G
ai
:
I (ai ) N
H(s)
若通过一个二进制信道进行传输，为使信源适合信道的传输，
将用0,1符号序列表示，码符号集为 s x， [0序,1] 列与 i的对应
形式可有多种，得不同的码。
码1 00 01 10 11 码2 0 01 001 111
码的基本分类：
固定长度码（等长码）
变长码：各码字的码长不等
非奇异码：码中所有码字都不相同
111111
同价码：每个码符号（元）所占的传输时间都相
同
§4.2 等长码和等长信源编码定理
实现无失真编码的条件：
1、信源符号与码字一一对应 2、任意一串有限长的码符号序列与信源s的符号序列也 是一一对应，即N次扩展后仍满足一一对应关系。 同时满足上述条件称为唯一可译码
s : s1 s2 s3 s4 w j c : 0 10 00 01
l log r N[H (s) ] l H (s) N log r
⑾
pE
p(G) (N, ]
D[I (si )] N 2
⑿
满足式⑾的条件下，N 时，译码错误概率 pE 0
但当
l H (s) 2 r l 2 N[H (s)2 ] N log r
⒀
由MG的下界式⑽可知，这种情况下选取的码字总数小
N
q
pi (log pi )2
q
pi
log
pi
2
i1
i1
（x - m）2p(x) x2p(x)- 2mxp(x) m2 p(x) p(x)x2 - 2m2 m2
由切贝雪夫不等式：
p
I (ai ) NH (s) N
D[I (ai )] (N )2
p
I (ai ) N
⑶
⑸
1 (N, ) p(G) 1
I (ai ) N
H (s)
N[H (s)
]
I (ai
)
N[H (s)
]
2 N[H (s) ] p(ai ) 2 N[H (s) ]
⑹
MG
• min i G
p(ai )
p(G)
1
⑺
min
i G
p(ai
)
2N[H (s) ]
M G 2 N[H (s) ]
s1s1 s1s2 s1s3 s1s4 s2 s1 s2 s2 s2 s3 s2 s4 s3 s1 s3s2 s3s3 s3 s4 s4 s1 s4 s2 s4 s3 s4 s4 00 010 000 00 100 1010 1000 1001 000 0010 0000 0001 010 0110 0100 0101
奇异码：有同码
码的N次扩展： s 2 [a1 s1s1; a2 s1s2 , a3 s1s3;, a16 s4 s4 ]
码2的二次扩展码为：
a1 a2 a3
a4 a5 a6
a7
a8
a9
a10
a16
00 001 0001 0111 010 0101 01001 01111 0010 00101
上界 ⑻
1 (N, ) p(G) MG • max p(ai ) ⑼
max p(ai ) 2 N[H (s) ]
下界 M G [1 (N , )]2 N[H (⑽ s) ]
我们可以只对集G中MG个信源序列进行一一对应的等长编码，
这就要求码字总数不小于MG就行，即
rl MG
M G 2 N[H (s) ] r l
除一些无效字符组合，扩展信源中的符号总数 所需q编N
码的码字个数可大大下降。
设离散无记忆信源： sN : a1,
p(a)
:
p(a1
),
aqN p(aqQ )
ai (si1, si2 ,siN )，i 1,, q N i1,i2 ,,iN 1,q
N
p(ai ) pik k 1
i 1,2,, q N
有重码，非唯一可译码 等长非奇异码一定单义可译
等长编码条件： q r l ，满足此条件，才有可能无
重码（非奇异）；扩展后：q N r l N log q l log r
l log q N log r
N 1 l log q / log r
l ：平均每个信源符号所需要的码符号（元）个数 N 考虑到符号出现的概率以及符号之间的依赖性 。再去
于集G中可能有的信源序列数，将有相应码字对应的信源
序列的概率和记作 p[G中rl个ai ] ，它必然满足：
p[G中r l个ai ]
rl
•
max
ai G
p(ai )
⒁
p[G中r l 个ai ] 2 N[H (s)2 ] • 2 N[H (s) ] 2 N
⒂
rl M G 造成有些序列没有码字对应，译码时必出错，