离散无记忆的扩展信源

N N k 1
N );
p(ai ) P( X ai ) p(ai1 ) p(ai 2 ) p(aiN ) p(aik ) (ai ai1 , ai 2 ,, aiN )
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源

设离散无记忆信源 X，其样本空间为 a1 , a2 ,...aq ， 用一组长度为 N 的序列表示其输出消息序列。此时， 将输出序列等效为一个新的信源，用 N 维离散随机矢 量来描述，记作 X X1, X 2 ,..., X N ，则称 X 组成的新 信源为离散无记忆信源 X 的 N次扩展信源。 其中，每个分量 X i (i 1, 2..., N ) 都是随机变量， 它们都取决于同一信源 X ，并且分量之间统计独立。 用 N 重空间描述离散无记忆信源 X 的 N 次扩展信源， 记为 X N 。
二次扩展信源
a2 a3 a4 00 01 10 11 X 2 a1 p ( a ) p ( a ) p ( a ) p ( a ) p ( 00 ) p ( 01 ) p ( 10 ) p ( 11 ) P 1 2 3 4
扩展后的信源符号集合
1 2 N 1 2
N
N
,
i 1
i1
1
i2
2
iN
N
)

i1 1 q
q

i2 1
q
... pi1 pi2 ... piN
iN 1 q i2
q
pi1
i1 1
p
i2 1
... piN 1
iN
q
电子信息工程学院
信息论

上式表明离散无记忆信源 X 的 N 次扩展信源的概率空 N 间 [ X , P i ]也是完备集。 根据信息熵的定义，N次扩展信源熵
H ( X ) H ( X N ) P( X ) logP( X ) P(i ) log
XN XN
2.4 离散无记忆的扩展信源

1 P(i )
X
N

可以证明离散无记忆信源 X 的 N次扩展信源 等于信源 X 的熵值的 N倍，即：
的熵
H ( X N ) NH ( X )
电子信息工程学院
电子信息工程学院
i 1
2
9
上式可直观的理解，扩展信源 X N 的每一个输出符号 i 是由 N 个 a i 组成的序列 ，且序列中前后符号是统计独立 现已知每个信源符号 a i 含有的平均自信息量为 H ( X ) ， 则 N 个 a i 组成的平稳无记忆序列平均含有的自信息量 为NH ( X ) ，所以信源 X N 每个输出符号 i 含有的平均自信息 量为 NH ( X ) 。
1 1 = pi1 pi2 piN log pi1 X N pi1 q q q 1 q = pi1 log [ pi2 pi3 piN ] pi1 i2 1 i11 i3 1 iN 1
1 q 所以： P(i )log = pi1 log 1 H ( X ) pi1 i1 1 pi1 XN
X N 1 p(1 ) P( i )
2
p( 2 )
... ...
p( q N )
N
q
上式中，每个符号 i 是对应于某一个由N个 a源自文库组成的 i 的概率 P(i )是对应N个 ai 组成的序列概率。 序列。
电子信息工程学院
信息论
新概率的计算举例: p(000) p(0) p(0) p(0)...
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源

3、任意进制离散无记忆信源的N次扩展信源
X x1 P p( x ) 1 x2 xi p( x 2 ) p ( xi ) xq p( x q )
信息论

2.4.1 单符号离散无记忆信源
X x1 P p( x ) 1 x2 ... xi ...
2.4 离散无记忆的扩展信源
xq p( x2 ) ... p( xi ) ... p( xq )
0 p( xi ) 1
p( x ) 1
信息论
2.4 离散无记忆的扩展信源
证明:设 i 是 X N概率空间的一个符号，对应于由N个 ai 组 成的序列 p(i ) p(ai1 ai2 aiN ) p(ai1 ) p(ai2 ) p(aiN ) pi1 pi2 pi N
1 H ( X ) p( i ) logp( i ) p( i ) log p( i ) XN XN 1 p( i ) log p(ai1 ) p(ai2 ) p(aiN ) XN
电子信息工程学院
4、离散无记忆信源X 的N 次扩展信源
信息论

设一个离散无记忆信源的概率空间为:
X a1 P( x) p 1 a2 p2 ... ...
2.4 离散无记忆的扩展信源
aq q , pi 1( pi 0) pq i 1
则信源X的N次扩展信源XN是具有qN个符号的离散信 源，其中N重概率空间为
N
p( i ) log
XN
1 1 p( i ) log pi1 X N pi2
p( i ) log
XN
1 piN
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
先考察其中一项
P(i )log
XN
因为：
p
ik 1
q
ik
1,(k 2,3, , N )
X 2 X 1 X 2 {a1 , a2 , a3 , a4 } {00,01 ,10,11 }
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源

2 、离散无记忆二进制信源的三次扩展信源
X x1 P p( x ) 1
X 3 a1 P p(a1 ) a2 p(a 2 )
i 1 def q
电子信息工程学院
信息论

2.4.2 离散无记忆信源的扩展信源

2.4 离散无记忆的扩展信源
1、离散无记忆二进制信源的二次扩展信源
X x1 P p( x ) 1 x2 0 p( x2 ) p(0) 1 p(1)
2.4 离散无记忆的扩展信源
因为是无记忆的（彼此统计独立），若
i (ai ai ai ...ai )
1 2 3 N

则 P(i ) P(ai ) P(ai )...P(ai ) pi pi ... pi 其中 i1 , i2 ,..., iN 1, 2,.., q 又 0 P(i ) 1 q q q q 而 P( i ) P(ai ) P(ai )... P( ai
N次扩展信源
X N a1 p(a ) P 1 a2 p(a 2 ) aq N p(a q N )
其中： X N X1 X 2 X N ( X1, X 2 , , X N X ) ai ai1ai 2 aiN ; aik X ( x1, x2 , xq ); k (1, 2,
N 故： H ( X ) H ( X ) H ( X ) H ( X ) H ( X ) NH ( X )
电子信息工程学院
信息论

例2.6求离散无记忆信源的二次扩展信源及其熵。
a a X 1 2 p ( x) 1 1 2 4 a3 3 1 , pi 1 4 i 1
i 1 i
q

信源 X 的符号集 X x1 , x2 ,..., xq ，每个符号的发生概 率为 p( xi )，信源每次发出一个符号，且符号发生的概 率相互独立，称为单符号离散无记忆信源，简称离散
无记忆信源。
H ( X ) E I ( xi ) E log p( xi ) p( xi ) log p( xi )
2.4 离散无记忆的扩展信源
解：二次扩展信源的概率空间为
X2 1 2 1/8 3 1/8 4 1/8 5 6 7 8 9 序列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 P(i) 1/4 1/16 1/16 1/8 1/16 1/16
x2 0 p( x 2 ) p(0)
a3 p (a3 ) a4 p(a 4 ) a5
1 p(1)
a6 p(a6 ) a7 p(a7 ) a8 p ( a8 )
三次扩展信源
p ( a5 )
扩展后的信源符号集合
X 3 X 1 X 2 X 3 {a1 , a2 ,a8 } {000,001 ,010,011 ,100,101 ,110,111 }
电子信息工程学院
信息论
2.4 离散无记忆的扩展信源
1 1 1 1 1 1 H ( X ) log log log 1.5( Bit / Symbol ) 2 2 4 4 4 4
H ( X ) P(i ) log P(i ) 3( Bit / Symbols) 2 H ( X )