4-3离散参数马尔可夫链(3)-状态的分解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定理4.10 状态空间E必可分解为
E D C1 C2 Ck
其中 D是非常返状态集合，Cn中的状态不能到达D
C1 , C2 ,
互不相交的不可约的常返闭集，且状态相同。
Ci0 {k : i0 k}，i0为常返
解放军电子技术学院
卢
若aij 0, 且对于任意的i，有 aij 1 ，
解放军电子技术学院
卢
解放军电子技术学院
卢
解放军电子技术学院
卢
互通状态具有相同类型
定理
设状态i 和j 互通, 则
1) i 和j 同为非常返的；
2) i 和j 同为零常返的；
3) i 和j 同为正常返非周期的(遍历状态的)；
4) i 和j 都是正常返有周期的, 具有相同周期.
解放军电子技术学院
卢
分解定理
) n 令 Pi i ( s) pi( n i s n 0
Fi i ( s) fi (in ) s n
n 0
由上一节知 P ii (s) 1 F i i ( s) P i i ( s)
1 所以 Fi i ( s) 1 Pii ( s)
再由 P 00 ( s) 1 4 pqs
状态空间的分解
以三个层次区分状态类型 非常返态 状态 零常返态
常返态
首返 概率 正常返态
有周期 非周期
遍历态
平均返 回时间
周期
解放军电子技术学院
卢
闭集 定义 设E 是状态空间, C E , 若对i C及j C ,
都有 pij 0, 称C为一个闭集.
定义 若闭集C 中不再含有非空的闭真子集, 称C是不可约的(或不可分的,最小的). 若马氏链的状态空间E 是不可约的, 称此马氏 链是不可约马氏链.
卢
定理 所有常返状态构成一个闭集．因此，从常返状 态出发，不可能转移到非常返状态上去．
j 证 设i为常返态，如果 i ，则，即 i,j互通。这是因为，若j 不能到达i，那么从i出发到达后j，就不能再返回i，这与i是 常返态相矛盾。再由定理知，j也是常返态，这就是说，自 常返态出发，只能到达常返态，不能到达瞬时态。故常返 态全体构成一个闭集。
g jk 1
因为
f kk 1 f jk g jk 1
解放军电子技术学院
卢
定理 所有常返状态构成一个闭集．因此，从常返
状态出发，不可能转移到非常返状态上去．
定理 一个不可约马氏链，或者没有非常返 状态，或者没有常返状态．
定理：非常返的闭连通类是无穷的；反之有限 的闭连通类是常返的
解放军电子技术学院
注 在马氏链的状态空间中，用互通关系对状态分类，由上 述定理知，如果已知类中有一个常返态，则这个类中其它状 态都是常返的；若类中有一个瞬时态，则类中其它状态都是 瞬时态。特别，若马氏链是不可约的，则其状态空间或者都 是常返态，或者都是瞬时态。记得如下定理：
解放军电子技术学院
卢
随机游动的常返性
设 P(Yi 1) p 1 P(Yi 1)
1 n P lim Yi 2 p 1 1 n n i 1
0时刻从状态0出发，n时刻所处的状态为 X n Yi
i 1
n
由强大数定律
所以，若 p 0.5 ， 当 n , X n 若 p 0.5 ， 当 n , X n 若 p 0.5 ，初始0状态只返回有限多次。
P( X r k , 无穷多个r n | X n i}P(X n i|X 0 k )
i 0
i 0
gik Pki (n)
i 0
0 1- g kk pki (n)[1- gik ]
i 0
pki (n)[1- gik ] 0
k j
Pkj ( N ) 0
2n 1 2 n 4 pqs 2
1 4 pqs
p
n 0
(n) 00
lim P00 (s) 1 4 pqs
s 10
1 2 2
p 1/ 2 , 有限 , p 1/ 2
卢
解放军电子技术学院
当p=0.5，状态0为零常返
1 2 2
当p=0.5, F00 (s) 1 1 s
0 nf
n 1 (n) 00
1 2 2
lim
s 1
s (1 s )
2
1 2
卢
解放军电子技术学院
随机游动
解放军电子技术学院
卢
(n) 当p 0.5时， lim P00 0, 所以，状态0是零常返的。 n
解放军电子技术学院
卢
随机游动
例4.12：无限制随机游动的状态空间S { , 2, 1,0,1, 2, }， 各状态的周期为2，且当p q 0.5时为零常返，p q是非常返。
证：
(2n1) p00 0,
(2n) n n n p00 C2 p q n
其母函数为
P00 (s)
p jk
(m) pij 0 0 p jk 0 jC jC
解放军电子技术学院
卢
定理：如果 k j 且k是常返的，则 f jk 1, k j
g kk P( X r k , 无穷多个r 1|X 0 k ) P( X r k , 无穷多个r 1,X n i|X 0 k )
(2n)! n n 2 n pqs n 0 n !n !
22 n (1)n 1 3 n ! 2 2 n 0
1 1 3 2 2 n 0 n pqs 2
解放军电子技术学院
卢
引理 C是闭集的充要条件是：对任意的 i∈C 和
( n) j C , 及n 1, 都有 pij 0.
归纳法证明 由定义n=1时成立
设i C, k C 设n=m时成立,下证m+1时成立。
p
( m 1) ik
p
jC
(m) ij
p jk p
jC
(m) ij
E D C1 C2 Ck
其中 D是非常返状态集合，Cn中的状态不能到达D
C1 , C2 ,
互不相交的不可约的常返闭集，且状态相同。
Ci0 {k : i0 k}，i0为常返
解放军电子技术学院
卢
若aij 0, 且对于任意的i，有 aij 1 ，
解放军电子技术学院
卢
解放军电子技术学院
卢
解放军电子技术学院
卢
互通状态具有相同类型
定理
设状态i 和j 互通, 则
1) i 和j 同为非常返的；
2) i 和j 同为零常返的；
3) i 和j 同为正常返非周期的(遍历状态的)；
4) i 和j 都是正常返有周期的, 具有相同周期.
解放军电子技术学院
卢
分解定理
) n 令 Pi i ( s) pi( n i s n 0
Fi i ( s) fi (in ) s n
n 0
由上一节知 P ii (s) 1 F i i ( s) P i i ( s)
1 所以 Fi i ( s) 1 Pii ( s)
再由 P 00 ( s) 1 4 pqs
状态空间的分解
以三个层次区分状态类型 非常返态 状态 零常返态
常返态
首返 概率 正常返态
有周期 非周期
遍历态
平均返 回时间
周期
解放军电子技术学院
卢
闭集 定义 设E 是状态空间, C E , 若对i C及j C ,
都有 pij 0, 称C为一个闭集.
定义 若闭集C 中不再含有非空的闭真子集, 称C是不可约的(或不可分的,最小的). 若马氏链的状态空间E 是不可约的, 称此马氏 链是不可约马氏链.
卢
定理 所有常返状态构成一个闭集．因此，从常返状 态出发，不可能转移到非常返状态上去．
j 证 设i为常返态，如果 i ，则，即 i,j互通。这是因为，若j 不能到达i，那么从i出发到达后j，就不能再返回i，这与i是 常返态相矛盾。再由定理知，j也是常返态，这就是说，自 常返态出发，只能到达常返态，不能到达瞬时态。故常返 态全体构成一个闭集。
g jk 1
因为
f kk 1 f jk g jk 1
解放军电子技术学院
卢
定理 所有常返状态构成一个闭集．因此，从常返
状态出发，不可能转移到非常返状态上去．
定理 一个不可约马氏链，或者没有非常返 状态，或者没有常返状态．
定理：非常返的闭连通类是无穷的；反之有限 的闭连通类是常返的
解放军电子技术学院
注 在马氏链的状态空间中，用互通关系对状态分类，由上 述定理知，如果已知类中有一个常返态，则这个类中其它状 态都是常返的；若类中有一个瞬时态，则类中其它状态都是 瞬时态。特别，若马氏链是不可约的，则其状态空间或者都 是常返态，或者都是瞬时态。记得如下定理：
解放军电子技术学院
卢
随机游动的常返性
设 P(Yi 1) p 1 P(Yi 1)
1 n P lim Yi 2 p 1 1 n n i 1
0时刻从状态0出发，n时刻所处的状态为 X n Yi
i 1
n
由强大数定律
所以，若 p 0.5 ， 当 n , X n 若 p 0.5 ， 当 n , X n 若 p 0.5 ，初始0状态只返回有限多次。
P( X r k , 无穷多个r n | X n i}P(X n i|X 0 k )
i 0
i 0
gik Pki (n)
i 0
0 1- g kk pki (n)[1- gik ]
i 0
pki (n)[1- gik ] 0
k j
Pkj ( N ) 0
2n 1 2 n 4 pqs 2
1 4 pqs
p
n 0
(n) 00
lim P00 (s) 1 4 pqs
s 10
1 2 2
p 1/ 2 , 有限 , p 1/ 2
卢
解放军电子技术学院
当p=0.5，状态0为零常返
1 2 2
当p=0.5, F00 (s) 1 1 s
0 nf
n 1 (n) 00
1 2 2
lim
s 1
s (1 s )
2
1 2
卢
解放军电子技术学院
随机游动
解放军电子技术学院
卢
(n) 当p 0.5时， lim P00 0, 所以，状态0是零常返的。 n
解放军电子技术学院
卢
随机游动
例4.12：无限制随机游动的状态空间S { , 2, 1,0,1, 2, }， 各状态的周期为2，且当p q 0.5时为零常返，p q是非常返。
证：
(2n1) p00 0,
(2n) n n n p00 C2 p q n
其母函数为
P00 (s)
p jk
(m) pij 0 0 p jk 0 jC jC
解放军电子技术学院
卢
定理：如果 k j 且k是常返的，则 f jk 1, k j
g kk P( X r k , 无穷多个r 1|X 0 k ) P( X r k , 无穷多个r 1,X n i|X 0 k )
(2n)! n n 2 n pqs n 0 n !n !
22 n (1)n 1 3 n ! 2 2 n 0
1 1 3 2 2 n 0 n pqs 2
解放军电子技术学院
卢
引理 C是闭集的充要条件是：对任意的 i∈C 和
( n) j C , 及n 1, 都有 pij 0.
归纳法证明 由定义n=1时成立
设i C, k C 设n=m时成立,下证m+1时成立。
p
( m 1) ik
p
jC
(m) ij
p jk p
jC
(m) ij