马尔科夫链1

0 1，5非周期，4周期为2 3， 0，2，4正常返，5暂留， ，2， 1，3，
0是吸收态， 0 1
把{X n }限制在C2上得到一个遍历Markov链，状态空间为C2
(1) ( n f11 0，n 2, f11n) p12 p22 2 p21 0.5n1, f11 1, 1 3
(1) (2) （3）p22 0， d (2) 1. 又f22 f22 0.5 , f22 1, 2 1.5
所以0，1，2都是非周期正常返态
1 2 1 2 1 2
0
1
1 2
1
2
1
3
设平稳分布 0，1， 2， 3） （ 则 1 0 1 2 3 0 1 3 2 1 1 0 2 2 1 1 1 1 1 解得 ，，，） （ 4 8 8 2
p33 0, d (3) 1.
各状态互达， 所有状态非周期正常返。 这是一个遍历的Markov链。
浙江大学随机过程
16
例2
q0
0
p0
q1
1
p1
q2
2
p2
...
pn 1
n
pn
...
qn
中已讨论过状态0的常返性。 p00 0, d (0) 1. 各状态互达， 所有状态非周期，并且与0具有相同的常返性。
例1：设 X n , n 0 是具有三个状态0,1, 2的时齐Markov链， 一步转移矩阵为： 初始分布P X 0 i 1 ， 0,1, 2 i 3 试求：
0 1 2 0 1 P 1 4 2 0
3 4 1 4 1 2 3 4
1 2 3
P X 0 0, X 2 1, X 4 1 ; P X 2 1, X 4 1, X 5 0 | X 0 0 P X 2 1, X 4 1, X 5 0
1
0.5
0.1
0.5
0
1
1
0.5
2
0.1 0.1
3
1 1
4
0.1
5
0.1
浙江大学随机过程 13
1
0.5
0.1
0.5
0
1
1
0.5
2
0.1
3
0.1
0.1
1
1
4
0.1
5
解：共四个互达等价类： {0},{1, 2},{3, 4},{5}
（） 是吸收态，d (0） 1 0 1 1 .0 ，
(2) (3) （2）p11 p12 p21 0.5 0, p11 p12 p22 p21 0.25 0,d (1) 1
（） 1 （n） （5）因为p55 0， d (5) 1. f55 0.5，f55 0, n 2 f55 0.5 1
5是非周期的暂留态。
浙江大学随机过程
15
例3.讨论例1例2中各状态的周期和常返性.
1 2 1 2 1 2
例1 0
1
1 2
1
2
1
3
中已算得状态0正常返。
进一步地：
3 1 1 2 1 4 1 2 2 4 4
3也是正常返态
浙江大学随机过程
8
例2.（爬梯子模型） 设{ X n }是时齐Markov链， I {0,1, 2,...}，pi ,i 1 p, pi ,0 qi 1 pi , 0 pi 1, i 0. 讨论状态0的常返性。
p p10 p01 p12 p21 7 8 (3) p11 p12 p22 p21 3 32
(2) 11 (3) (2) p01 p01 p11 7 8
浙江大学随机过程
5
例1. 设{ X n }是时齐Markov链，I {0,1, 2,3}，其一步转移 0 0.5 0 0.5 0 0 1 0 ，讨论状态0和3的常返性。 矩阵P 0 0 0 1 0.5 0 0 0.5
浙江大学随机过程 14
1
0.5
0.1
0.5
0
1
1
0.5
2
0.1
3
0.1
0.1
1
1
4
0.1
5
(n （4）因为p33 ) 0当且仅当n是偶数， d (3) 2.
f（2） 1 f33 1且3 2. 同理d (4) 2, f44 1且4 2. 33
3和4都是周期为2的正常返态。
1 2 1 2
0
1 2
1
1 2
1
2
1
3
浙江大学随机过程
6
1 2 1 2
1 2
0
1
1 2
1
2
1
3
f 00 f
n 1 (n) 00
解：先考虑状态0, f
(1) 00
0,
1 1 n n2 1 n2 2 n4 2

f f
(2) 00
p03 p30 1/ 4,
1 u1 u2 u3 ...
u
n 0

n
0是正常返态当且仅当 un .
n 0

浙江大学随机过程
11
例如，如果pi e
那么un e

1 (i 1)2
1 2 2
,
1 n ) 2
ቤተ መጻሕፍቲ ባይዱ
(1
e

i2
1
i 1

0是暂留态 0，
i 1 如果pi ，那么un 1 , i2 n 1
(2) (2) (2) (2) {P( X 0 0) p01 P( X 0 1) p11 P( X 0 2) p21 } p11 p10
1 ( 5 1 9 ) 1 1 11 3 16 2 16 2 4 192
浙江大学随机过程 2
例2：设 X n , n 0 是具有三个状态0,1, 2的时齐Markov链， 0 1 2 一步转移矩阵为： P X 0 0 P X 0 1 1 2 试求：
P X 3 1| X 0 0 P( X 0 0) (4) P X 0 0 | X 3 1 P( X 3 1)
1 2
(3) p01 31 64
28 31
浙江大学随机过程
4
也可不计算P2 , P3，根据状态转移图和C K方程： 1 1 4 1 2 2 0 1 1 3 2 4
2
(2) (2) P X 2 1, X 4 1, X 5 0 | X 0 0 p01 p11 p10
5 11 5 16 2 4 128
3
(2) P X 2 1, X 4 1, X 5 0 P X 2 1 p11 p10
浙江大学随机过程
3
解：
1 2 P2 0 3 8
0
7 8 3 16
1 8 7 16
1 2
0 7 P 3 16 3 32
7 8 3 32 45 64
1 8 15 32 13 64

(2) (1) P X 0 0, X1 1, X 3 1 P X 0 0）p01 p11 1 1 1 7 （ 2 8 16 (2) 2 P X 3 1, X1 1| X 0 0 p01 p11 7 8 (3) (3) (3) 31 3 P X 3 1 P( X 0 0) p01 P( X 0 1) p11 P( X 0 2) p21 64
n
浙江大学随机过程
10
q0
0
p0
q1
1
p1
q2
2
p2
...
pn 1
n
pn
...
当0是常返态时，
( 0 nf 00n ) n 1
qn
问题：如何判断其 它状态的常返性？ （很难，但利用互达 的关系就容易判断）
(1 u1) (2 u12 u2 (3 u2 u3 u3 u4 ) 3 ) (4 4 ) ...
0 1 4 1 4
1
浙江大学随机过程
5 5 1 8 16 16 解： （2） 5 2 3 1 P P 16 2 16 3 9 16 16 1 4 (2) (2) (1) P X 0 0, X 2 1, X 4 1 P X 0 0）p01 p11 1 5 1 5 （ 3 16 2 96
lim un 0， un , 0是零常返态
n n 0

(i 1) 2 那么u 1 , 如果pi , n 2 (n 1)2 (i 2)
lim un 0， un , 0是正常返态 n
n 0
浙江大学随机过程
12
设{ X n }是时齐Markov链，I {0,1, 2,3， 5} 4，，其一步转移矩阵 0 0 0 0 0 1 0 0 1 0 0 0 0 0.5 0.5 0 0 0 P ，求各状态的周期和常返性。 0 0 0 1 0 0 0 0 0 1 0 0 0.1 0.1 0.1 0.1 0.1 0.5
q0
0
p0
q1
1
p1
q2
2
p2
...
pn 1
n
pn
...
qn
浙江大学随机过程
9
q0
0
p0
q1
1
p1
q2
2
p2
...
pn 1
n
pn
...
qn
解：对n 1，
0是常返态当且仅当 lim un 0.
n
( f 00n ) p01 p12 ... pn2,n1 pn1,0 p0 p1... pn2 (1 pn1 )
0是一个常返态
(3) 00
p03 p33 p30 1/ 8,
进一步地： 1 1 0 n n n n 2 4 2 n4 2 n2
0是正常返态

当n 4时，
( n n f00n) p03 p332 p30 p01 p12 p23 p334 p30
（）当 lim un 0时，各状态暂留； 1
n
（2）当lim un 0但 un 时，各状态零常返；
n n 0

（3）当 un 时，各状态正常返。
n 0
浙江大学随机过程
17
例1.求上1节例1中Markov链的平稳分布。
解：I {0,1, 2,3}， 0 0.5 0 0.5 0 0 1 0 ， P 0 0 0 1 0.5 0 0 0.5
令u0 1, un p0 p1... pn1, n 1.
( 则f00n) un1 un
P( 0 | X 0 0) (1 u1 ) (u1 u2 ) (u2 u3 ) ... (un1 un ) ...
1 lim un .

1 2n
1 2n2
浙江大学随机过程
7
问题：状态1和状态2的常返性又是如何呢？
( ( （计算f11n)和f22n)很复杂，需引入新的方法）
1 2 1 2
1 2
0
1
1 2
1
2
1
3
( f33 f33n ) 1 n 1

3是一个常返态
(1) f33 1/ 2, 解：再考虑状态3, (2) f33 p30 p03 1/ 4, (3) f33 0, (4) f33 p30 p01 p12 p23 1/ 4, ( n) 当n 5时，f33 0
0 P 1 2 0 1 2 0 1 0 3 4 0 1 2 1 4
1 P X 0 0, X 1 1, X 3 1 ; 2 P X 3 1, X 1 1| X 0 0 3 P X 3 1 3 P X 0 0 | X 3 1
已算得0 4，3 2
恰好 0 是否1 1
0
1
， 3 ， 2
1
3
1
1
2
？
完全正确^_^
浙江大学随机过程
18
例4.讨论上节例3各状态性质，计算正常态的平均回转时。
1
0.5
0.1
0.5
0
1
1
0.5
2
0.1 0.1
3
1 1
4
0.1
5
0.1 解：有四个等价类C1 {0}, C2 {1, 2} C3 {3, 4}和 ，只有 不闭。 ， {5} {5}