第4章 马尔科夫信源的熵率

i1 =1i 2 =1 i m+1 =1
n
其中P(xi1 xi2 Lxim ) = P(si ) P(xim+1 / xi1 xi2 Lxim ) = P(xi2 xi3 Lxim+1 / xi1 xi2 Lxim ) = P(xj1 xj2 Lxjm / xi1 xi2 Lxim ) = P(sj / si )
马尔科夫信源的熵率
第4章 马尔科夫信源的熵率 1、m阶马尔科夫信源 定义
N维离散平稳信源符号序列中第N个符号只与前m (≤N-1)个符号相关，该信源为m阶马尔科夫信源 马尔科夫信源是离散平稳有限记忆信源，其记忆 长度为m m阶马尔科夫信源符号序列的长度N=m+1
马尔科夫信源的熵率
表示
a2 L anm+1 Xm+1 / X1X2 LXm a1 P(X / X X LX ) = P(a ) P(a ) L P(a ) 2 m+1 1 2 m nm+1 1
马尔科夫信源的熵率
P(0/10) = P(00/10) = P(s1 / s3) = 0.5
0.8 s1
P(1/10) = P(01/10) = P(s2 / s3) = 0.5
P(0/11) = P(10/11) = P(s3 / s4 ) = 0.2
0.2 0.5 0.5 s2 0.5 0.5 s4 0.8 s3 0.2
0.5 0.5 s4 1
马尔科夫信源的熵率
马பைடு நூலகம்科夫链的遍历定理
P(sj ) = ∑P(si )P(sj / si )
i =1
nm
nm
j =1,2,L, nm
0 ≤ P(sj ) ≤1 ，且∑P(sj ) =1
j=1
3、m阶马尔科夫信源的极限熵
即使N→∞，m阶马尔科夫信源符号序列的有效长 度只有m+1
0.8 s1
0.2 0.5 0.5 s2 0.5 0.5 s4 0.8 s3 0.2
P(s2 ) = P(s1)P(s2 / s1) + P(s2 )P(s2 / s2 ) + P(s3)P(s2 / s3) + P(s4 )P(s2 / s4 ) = 0.2P(s1) + 0.5P(s3)
马尔科夫信源的熵率
马尔科夫信源的熵率
H∞ = lim H(XN / X1X2 LXN−1) = H(Xm+1 / X1X2 LXm)
N→∞
n
= −∑∑L ∑P(xi1 xi2 Lxim+1 ) log P(xim+1 / xi1 xi2 Lxim )
i1 =1i 2 =1
n n
n
n
i m+1 =1
= −∑∑L ∑P(xi1 xi2 Lxim )P(xim+1 / xi1 xi2 Lxim )log P(xim+1 / xi1 xi2 Lxim )
5 P(s1) = P(s4 ) = 14 2 P(s2 ) = P(s3) = 14
马尔科夫信源的熵率
H∞ = H2+1 = H3 = −∑∑P(si )P(sj / si )log P(sj / si )
i =1 j=1
4
4
5 2 = −[ (0.8log 0.8 + 0.2log 0.2) + (0.5log 0.5 + 0.5log 0.5) 14 14 2 5 + (0.5log 0.5 + 0.5log 0.5) + (0.2log 0.2 + 0.8log 0.8)] 14 14
P(0/ 00) = P(00/ 00) = P(s1 / s1) = 0.8
0.8 s1 0.2 0.5 s2 0.5 s4 s3
P(1/ 00) = P(01/ 00) = P(s2 / s1) = 0.2 P(0/ 01) = P(10/ 01) = P(s3 / s2 ) = 0.5
P(1/ 01) = P(11/ 01) = P(s4 / s2 ) = 0.5
P(s3) = P(s1)P(s3 / s1) + P(s2 )P(s3 / s2 ) + P(s3)P(s3 / s3) + P(s4 )P(s3 / s4 ) = 0.5P(s2 ) + 0.2P(s4 )
P(s4 ) = P(s1)P(s4 / s1) + P(s2 )P(s4 / s2 ) + P(s3)P(s4 / s3) + P(s4 )P(s4 / s4 ) = 0.5P(s2 ) + 0.8P(s4 )
= 0.8(bit / sym ) bol
其中，ai = xim+1 / xi1 xi2 Lxim
n
i =1,2,L, n
m+1
i1,i2,L,im+1 =1,2,L, n
0 ≤ P(ai ) = P(xim+1 / xi1 xi2 Lxim ) ≤ 1
且 ∑P(xim+1 / xi1 xi2 Lxim ) =1
i m+1 =1
马尔科夫信源的熵率
马尔科夫信源的熵率
强调m阶马尔科夫信源的长度特征，一般其极限熵 H∞记为Hm+1
H∞ = Hm+1 = −∑∑P(si )P(sj / si ) log P(sj / si )
i =1 j=1 nm nm
例2
图示二元二阶马尔科夫信源的极限熵
马尔科夫信源的熵率
遍历定理
P(s1) = P(s1)P(s1 / s1) + P(s2 )P(s1 / s2 ) + P(s3)P(s1 / s3) + P(s4 )P(s1 / s4 ) = 0.8P(s1) + 0.5P(s3)
马尔科夫信源的熵率
0.2P(s1) − 0.5P(s3) = 0 0.2P(s1) − P(s2 ) + 0.5P(s3) = 0 0.5P(s2 ) − P(s3) + 0.2P(s4 ) = 0 0.5P(s2 ) − 0.2P(s4 ) = 0
完备性
P(s1) + P(s2 ) + P(s3) + P(s4 ) =1
引入状态S
过态S取值于集合 s1,s2,L,snm } { si = xi1 xi2 Lxim i =1,2,L, nm i1,i2,L,im =1,2,L, n
现 S取 于 合 s1,s2,L,snm } 态 值 集 { sj = xj1 xj2 Lxjm = xi2 xi3 Lxim+1 j =1,2,L, nm j1, j2,L, jm =1,2,L, n
例1
X3 / X1X2 0/ 00 1/ 00 0/ 01 1/ 01 0/10 1/10 0/11 1/11 P(X / X X ) = 0.8 0.2 0.5 0.5 0.5 0.5 0.2 0.8 3 1 2
状态转移图
马尔科夫信源的熵率
设状态s1=00、s2=01、s3=10、s4=11
P(1/11) = P(11/11) = P(s4 / s4 ) = 0.8
马尔科夫信源的熵率
2、m阶马尔科夫链的遍历定理
马尔科夫链的遍历 从任何一个状态出发，可以通过有限步到达任何 其他状态，该马尔科夫链是遍历的
1
非遍历的马尔科夫链存在吸收态 非遍历马尔科夫链的例子
s2
s1 0.5 0.5 s3
马尔科夫信源的熵率
P(ai ) = P(xim+1 / xi1 xi2 Lxim ) = P(xi2 xi3 Lxim+1 / xi1 xi2 Lxim ) = P(xj1 xj2 Lxjm / xi1 xi2 Lxim ) = P(sj / si )
用状态表示的m阶马尔科夫信源等效于用状态转移 图描述的马尔科夫链