无失真信源编码与香农第一定理

只要保证2nR≥2n(H(X)+ε)，即R≥H(X)+ε
所有典型序列有对应的码字，其概率之和为译码正确（无失真） 的概率1-Pe
1 Pe
i1 n x i1 x i2 x in *A ( X )
P( x
x i 2 x i n *)
n x i1 x i2 x in *A (X)
(3)平均码长与码率
码长——n次扩展信源发出消息xi的码字ck的长度，用l(ck) 表示，简记为lk i,k=1,2,…,Nn（各码字的码长不一定相等）
平均码长——对应于各消息码字的码长的数学期望，用L 表示
L E[l(ck )] P(ck )l(ck ) P(x k )l(ck ) P(x k )lk
H(X) P( x i ) log P( x i )
i 1 3
0.7 log 0.7 0.2 log 0.2 0.1log 0.1 1.157(bit )
例2中信源的该种信源编码的码率 R=1.3(bit)>H(X)=1.157(bit) 满足香农第一定理，例2中信源的该种信源编码无失真 例2中二次扩展信源的该种信源编码的码率 R=1.165(bit)>H(X)=1.157(bit) 满足香农第一定理，例2中二次扩展信源的该种信源编码无失 真
必然存在部分典型序列没有对应的码字 有对应码字的这部分典型序列，其概率之和为译码正确的概率 1-Pe
1 Pe
i1 n x i1 x i2 x in *A ( X )
P( x
x i 2 x i n *)
n x i1 x i2 x in *A (X)
n ( H ( X ) ) 2
k 1 k 1 k 1 Nn Nn Nn
码率——对应于各消息中每一个符号码字的平均码长， 用R表示，R=L/n
例1：二进制信源的概率 P(X) P(0) P(1) 0.9 0.1 其二次扩展信源的信源 编码及码率
P(X 2 ) P(00) P(01) P(10) P(11) 0.81 0.09 0.09 0.01
(2)例2中信源的另一种编码
x1 0 c1 0, x 2 1 c2 1, x3 2 c3 11
平均码长
L P(x k )lk (0.7 0.2) 1 0.1 2 1.1(bit )
k 1 3
码率R=L/n=1.1(bit)
例2中信源的另一种信源编码的码率 R=1.1(bit)<H(X)=1.157(bit) 不满足香农第一定理，例2中信源的该种信源编码失真
平均码长
L P ( x k )l k
k 1 9
0.491 2 0.14 3 (2 0.07 0.04) 4 0.02 5 (0.02 0.01) 6 2.33(bit )
码率R=L/n=2.33/2=1.165(bit)
问题：n次扩展信源各消息码字的码率，n越大，码率越小—— 应该小到什么程度？
k 1 4
码率R=L/n=1.29/2=0.645(bit)
例2：三进制信源的概率 P(X) P(0) P(1) P(2) 0.7 0.2 0.1 其信源和二次扩展信源 的信源编码及码率
信源的某种信源编码
x1 0 c1 0, x 2 1 c2 10, x 3 2 c3 11
1、无失真信源编码 (1) 信源编码
信源编码——n次扩展信源到码表的映射
(2)码表及其模型
码表——n次扩展信源发出消息的码字为不等长的码元序 列，码元序列中任何一个码元都随机取值于同一个二进制 集合 码表的模型——不等长二进制离散型随机变量序列 C1C2…Cl~P(C1C2…Cl)=P(X1X2…Xn) 不等长二进制随机变量序列C1C2…Cl的取值 ck1 ck 2 ckl 为 信源发出消息 xi1 xi2 xin 的码字 i1,i2,…,in=1,2,…,N k1,k2,…,kl=1,2
n ( H ( X )) 2
2 nR 2 n ( H ( X ) ) 2n ( H ( X )) 2n ( H ( X )) 1
译码错误概率 Pe 0 0
逆定理的证明
源自文库
如果R<H(X)-ε
n 2 n 2nR 2n ( H ( X )2) (1 )2n ( H ( X )) (1 )2n ( H ( X )) A ( X) 1
平均码长
L P(x k )lk 0.7 1 (0.2 0.1) 2 1.3(bit )
k 1 3
码率R=L/n=1.3(bit)
P(X 2 ) P(00) P(01) P(02) P(10) P(11) P(12) P(20) P(21) P(22) 0.49 0.14 0.07 0.14 0.04 0.02 0.07 0.02 0.01
2 nR 2 n ( H ( X ) ) 2 n ( H ( X ) 2 ) 2 n ( H ( X ) ) 2 n
译码错误概率 Pe 1 2n 1
香农第一定理表明熵H(X)是对应于n次扩展信源无失真信源编 码码率R的下界——香农界
例3：(1)利用香农第一定理验证例2中对应于信源和二次扩展 信源的信源编码无失真 (2)找例2中信源的另一种编码，利用香农第一定理验证 其失真 (1)信源的熵
二次扩展信源的某种信源编码
x1 00 c1 0, x 2 01 c2 11, x 3 10 c3 100, x 4 11 c4 101
平均码长
L P( x k )l k 0.811 0.09 2 (0.09 0.01) 3 1.29(bit )
二次扩展信源的某种信源编码
x1 00 c1 1, x 2 01 c2 000, x 3 10 c3 001 , x 4 02 c4 0100 , x 5 20 c5 0101 , x 6 11 c6 0111 , x 7 12 c7 01101 , x 8 21 c8 011000 , x 9 22 c9 011001
记n次扩展信源发出的消息 x i1 x i 2 x i n xi i1 , i 2 ,, i n 1,2,, N i 1,2,, N n n次扩展信源发出消息的 码字c k1 c k 2 c k l ck k1 , k 2 ,, k l 1,2 k 1,2,, N n
2、香农第一定理
离散信源的熵为H(X)，对n次扩展信源进行信源编码，对任意 给定的ε>0，只要码率R≥H(X)+ε，当n足够大，编码无失真 反之，如果码率R<H(X)-2ε，无论n多大，编码一定失真
正定理的证明
当n足够大，n次扩展信源产生接近等概率的典型序列，其数量 不超过2n(H(X)+ε)
设信源编码的码字数量为2L=2nR