第3章 渐近均分性与香农第一定理

n
2
P(x i1 x i 2 x i n ) 2
n[ H ( X ) ]
渐近均分性与香农第一定理
1 log P( x i1 x i 2 x i n ) H(X) n
1 log P( x i1 x i 2 x i n ) H(X) n n[H(X) ] log P(x i1 x i 2 x i n ) n[H(X) ]
P( x P
max
x i2 x in )
n x i1 x i2 x in A
( x i1 x i 2 x i n )
n A 2 n[ H ( X ) ]
n A (1 )2n[ H ( X ) ]
n (1 )2 n[ H ( X ) ] A 2n[ H ( X ) ]
香农第一定理表明了n次扩展信源无失真信源编码 的存在性，明确了熵H(X)是无失真信源编码平均 码率的下界——香农界
L 如果 H(X) 2 n
n 2 L 2 n[ H ( X ) 2 ] A
必然有部分典型序列没有对应的码字
有一一对应码字的这些典型序列的编码无失真，它 们的概率之和为译码正确概率1-Pe
渐近均分性与香农第一定理
1 Pe
n x i1 x i2 x in A
渐近均分性与香农第一定理
3、n维离散平稳无记忆信源/n次扩展信源
定义
n维离散平稳信源的符号序列中各符号相互独立
P( x i 2 / x i1 ) P( x i 2 ) P( x i n / x i1 x i 2 x i n1 ) P( x i n )
渐近均分性与香农第一定理
表示
渐近均分性与香农第一定理
9 3 3 P(00) P(01) 16 16 4 3 1 1 P(10) P(11) 16 16 4
3 1 1 [P(00) P(01)] [P(10) P(11)] 4 4 2 9 3 3 P(00) P(01) 16 16 8 3 1 1 P(10) P(11) 16 16 8
渐近均分性与香农第一定理
1 P( x i1 x i 2 x i n )
i1 1 i 2 1 i n 1
N
N
N

n x i1 x i2 x in A
P( x P
min
i1
x i2 x in )
n x i1 x i2 x in A
P( x
i1
x i2 x in )
2 L Pmax ( x i1 x i 2 x i n ) 2 n[ H ( X ) 2 ] 2 n[ H ( X ) ] 2 n
译码错误概率
Pe 1 2
n
即使n ，Pe 1
渐近均分性与香农第一定理
x i1 x i 2 x i n X1X 2 X n P(X1X 2 X n ) P( x i1 )P( x i 2 ) P( x i n ) i1 , i 2 ,, i n 1,2,, N
X P( X n )
n
n维离散平稳无记忆信源——独立同分布，相当于 单符号离散信源的n次扩展信源
H(X) P( x i ) log P( x i )
i 1
3
1 1 1 1 log 2 log 1.5(bit ) 2 2 4 4
H(X ) 2H(X) 2 1.5 3(bit )
2
渐近均分性与香农第一定理
3.2 渐近均分性定理
1、n次扩展信源的渐进均分性
渐近均分性与香农第一定理
3.3 香农第一定理 定理
信源的熵为H(X)，对n次扩展信源进行二进制信源 编码，对任意给定的ε>0，只要平均码率
L H(X) ，当n足够大，编码无失真 n
L 如果平均码率 H(X) 2，无论n多大，编码 n 一定失真
渐近均分性与香农第一定理
(1)正定理 当n足够大，n次扩展信源的符号序列划分为典型 序列与非典型序列，典型序列的数量
渐近均分性与香农第一定理
4、n次扩展信源的联合熵
H(X k X k 1 X k n 1 ) H(X1X 2 X n ) H(X n )
H(X k )
k 1
n
nH (X)
渐近均分性与香农第一定理
例1
x1 x 2 x 3 P(X) 1 / 2 1 / 4 1 / 4 X
( x i1 x i 2 x i n )
A 2
n
n[ H ( X ) Fra Baidu bibliotek]
A 2
n
n[ H ( X ) ]
渐近均分性与香农第一定理
1 P(
n x i1 x i2 x in A

x i1 x i 2 x i n )
i1
n x i1 x i2 x in A
n A 2 n[ H ( X ) ]
无失真编码——保证对典型序列进行一一对应的 编码 无失真编码的码字数量
n A 2 n[ H ( X ) ] 2 L
渐近均分性与香农第一定理
L n[H(X) ] L H(X) n
渐近均分性与香农第一定理
(2)逆定理
渐近均分性与香农第一定理
27 9 27 P(000) P(001) P(010) P(100) 3 64 64 32 3 1 5 P(011) P(101) P(110) P(111) 3 64 64 32 27 5 22 [P(000) P(100)] [P(011) P(111)] 32 32 32 27 9 9 P(000) P(001) 64 64 32 3 1 1 P(011) P(111) 64 64 32
二次扩展信源及联合熵 二次扩展信源
X 2 x1 x1 x1 x 2 x1 x 3 x 2 x1 x 2 x 2 x 2 x 3 x 3 x1 x 3 x 2 x 3 x 3 2 P(X ) 1 / 4 1 / 8 1 / 8 1 / 8 1 / 16 1 / 16 1 / 8 1 / 16 1 / 16
渐近均分性与香农第一定理
第3章 渐近均分性与香农第一定理
n次扩展信源有什么特性？
香农第一定理明确了什么？
渐近均分性与香农第一定理
3.1 n次扩展信源
1、n维离散平稳信源
定义
多符号离散信源对任意两个不同时间起点k和1， 概率及直到n维的各维联合概率相同
渐近均分性与香农第一定理
P(X k ) P(X1 ) P(X k X k 1 ) P(X1X 2 ) P(X k X k 1 X k n 1 ) P(X1X 2 X n )
i1 , i 2 ,, i n 1,2,, N
渐近均分性与香农第一定理
1 log P( x i1 x i 2 x i n ) n 1 log P( x i1 )P( x i 2 ) P( x i n ) n 1 n log P( x i k ) n k 1
渐近均分性与香农第一定理
二次扩展信源的联合熵
H(X1X 2 ) P( x i1 x i 2 ) log P( x i1 x i 2 )
i1 1 i 2 1 3 3
1 1 1 1 1 1 log 4 log 4 log 3(bit ) 4 4 8 8 16 16
渐近均分性与香农第一定理
2、n维离散平稳信源的联合熵
H(X k X k 1 X k n 1 ) H(X1X 2 X n ) H(X1 ) H(X 2 / X1 ) H(X n / X1X 2 X n 1 )
H(X k )
k 1
n
nH (X )
渐近均分性与香农第一定理
三次扩展信源的概率分布
3 3 3 27 P(000) 4 4 4 64 3 3 1 9 P(001) 4 4 4 64 3 1 3 9 P(010) 4 4 4 64 3 1 1 3 P(011) 4 4 4 64 1 3 3 9 P(100) 4 4 4 64 1 3 1 3 P(101) 4 4 4 64 1 1 3 3 P(110) 4 4 4 64 1 1 1 1 P(111) 4 4 4 64
H(X) H(X k ) P( x i k ) log P( x i k )
i 1 N
E[ log P( x i k )]
渐近均分性与香农第一定理
当n足够大 由大数定理
1 P{ P( x i1 x i 2 x i n ) H(X) } n 1 n P{ log P( x i k ) E[ log P( x i k )] } n k 1 1
渐近均分性与香农第一定理
22 1 32 2
9 3 32 8 1 1 32 8
n次扩展信源的符号序列分为两组，n越大，组间 的概率之和相差越大，组内的概率相差越小—— 渐进均分性
渐近均分性与香农第一定理
2、渐进均分性定理
定理
n次扩展信源，任意给定ε>0，当n足够大
1 log P( x i1 x i 2 x i n ) H(X) n
2 n[ H( X)] P(x i1 x i 2 x i n ) 2 n[ H( X)]
渐近均分性与香农第一定理
推论2
记 A 为典型集A 中符号序列— —典型序列的 数量
n (1 )2 n[ H ( X ) ] A 2n[ H ( X ) ]
n n
渐近均分性与香农第一定理
满足该式的符号序列——典型序列 典型序列的联合自信息等于联合熵——典型序列 等概率
满足该式的符号序列——非典型序列
渐近均分性与香农第一定理
推论1
记P( x i1 x i 2 x i n )为典型集A 中符号序列— —典型 序列的概率
n[ H ( X ) ]
例1
1 X 0 P(X) 3 / 4 1 / 4
二次和三次扩展信源的概率分布特点
渐近均分性与香农第一定理
二次扩展信源的概率分布
3 3 9 P(00) P(0)P(0) 4 4 16 3 1 3 P(01) P(0)P(1) 4 4 16 1 3 3 P(10) P(1)P(0) 4 4 16 1 1 1 P(11) P(1)P(1) 4 4 16