第11讲 Markov链的状态分类概要

随机数学
第11讲 Markov链的状态分类 与判别
教师: 陈 萍 prob123@
1
马氏链的等价描述： 1)
n 1, t0 t1 tn N i0 i1 in E
P( X t n in X t n 1 in 1 , , X t1 i1 , X t 0 i0 )
6
定义3.2.5 令
fij
n
P{Tij n | X 0 i}
P{ X n j, X k j,1 k n 1 | X 0 i}
表示0时刻从状态 i出发，经 n步转移后首次到达状 态j 的概率，称为n步首达概率；由i 出发，经过有
限步首次到达状态 j 的概率为
3)
P( X t0 i0 ,, X tn1 in1 , X tn1 in1 ,, X tnm inm X tn in )
P( X t0 i0 , , X tn1 in1 X tn in ) P( X tn1 in1 , , X tnm in m X tn in )
fij fijn
n1

7
定义3.2.6 若fii=1，则称状态 i 为常返态; 若fii <1， 则称状态 i 为瞬时态（非常返态）。
(n) E ( T X i ) nf 定义3.2.7 如果fij = 1, 记 ij ij ij 0 n 1
则 ij 表示从i出发到达j的平均转移时间.特别，称 ii
n
( m)
p jj
( m)
( nm )
(3.2.1)
注：由式(3.2.1)可得递推公式:
fij pij fij
m1 n1
p jj
( n m )
(3.2.1)'
上式也称为M . C从状态 i 首次到达状态 j 的分解式， 简称首达分解式。 定理 3.2.2 推论
fij 0 i j.
i j fij 0且f ji 0.
10
定理3.2.3 i 为常返态 pii ( n ) .
n 0

i 为瞬时态 pii ( n ) lim pii ( n ) 0
n 0 n

推论 有限状态马氏链的状态空间至少有一个常 返态。 定义3.2.8 设C E，若对任意的iC，和任意的 jC, 及任意的nT，pij(n)=0，则称C为E的闭集。 定理3.2.4 常返态全体构成一个闭集。
n
定义3.2.8 若状态 i为正常返态的且非周期的，则称i为 遍历状态. 如果Markov链的所有状态都是遍历态,则称该 Markov链是遍历的.
12
定理3.2.7 设马氏链的状态空间为E， i, jE， （1）若 i E是一个周期态，且 ij，则 j 也是周期 态，且di= dj ； （2）若此链不可约，且对i E有pii > 0，则此链是非 周期链。 相通、闭集、不可约
(2) 对称性 ij,则 ji;
(3) 传递性 ij, jk则 ik.
5
定义3.2.3 若一Markov链的任意两个状态都相通，则 称为不可约链。
设{Xn}是无限制的随机游动, 且p, q, r 都大于0. 证明 {Xn}是不可约链 . 定义3.2.4 令 Tij=min{n:X0=i,X n=j,n1}，称为系统 在0时刻从状态i出发，首次到达状态j的时间，简称 为首达时. 且规定, 若右边为空集，则Tij =∞.
为从状态i出发，返回状态i的平均返回时间.
若 ii<∞，称i为正常返态；若
ii =∞，称i为零常返
状态. 例3.2.1（续1）求系统由1出发，经过有限步首次 到达状态 2 的概率. 并求fii,i=1,2,3
0.6
0.3
0.1 0.1 0.9
1
8
例3.2.2 设马尔可夫链的状态空间E= {1, 2, 3, 4}，转 移概率矩阵为
例3.2.1 设系统有三种可能状态E= {1, 2, 3}. “1”表示 系统运行良好，“2”表示运行不正常，“3”表示系 统失效.以Xn表示系统在时刻n的状态, 并设{Xn, n≥0} 是一Markov链. 其一步转移概率矩阵为P 0 .3 0 .1 0 .6 P 0 0 .1 0 .9 0 0 1 用有向图表示为：
0.6 0.3 0.1 0.1 0.9
1
4
定义3.2.1
称状态iE为吸收态，若pii = 1.
定义3.2.2 对i,j E，若存在n N，使 ， 则称自状态i出发可达状态j，记为i j.如果ij 且ji，则称i,j 相通，记为ij. 定理3.2.1 相通是一种等价关系,即满足
(1) 自返性 i i;
2
C-K方程.
( m n ) ( m) ( n ) pij pik pkj
3.1.6
或
kS
P
m n
P
m n
P P
m n
3.1.7
t t0
定理3.1.4 i)n 1, t1 tn N i1 in E
0 (3)每个 Rk 或 Rk 中的状态同类.它们有相同的周期, 且 0 0 k k
fij 1, i, j Rk 或Rk
14
设齐次马尔可夫链的矩阵一步转移概率矩阵为 0 0.7 0 0.3 0 0.1 0.8 0.1 0 0 P 0.4 0 0.6 0 0 0 0 0.5 0.5 0 0 0 0.5 0.5 0 试对其状态空间进行分解.
0319niinnpnp???????定理314111nninttniie??????????????????1012101001121010nnnnntttttttttniiiiiiipxixixippp??????????精品资料532markov链的状态分类与判别例例321设系统有三种可能状态e123
Байду номын сангаас小结
状态
常返 瞬时
正常返、 零常返 周期、 非周期
遍历
13
3.3 状态空间分解定理 任意Markov链的状态空间E可唯一分解为有限或可 列个互不相交的子集之和
E N R N R 0 R N ( Rk0 ) ( Rk )
k 1 k 1


其中 (1) N由全体瞬时态组成; (2) 每个 R 或 R 是零常返或正常返态组成的不可约 闭集;
P( X t n in X t n 1 in 1 )
(3.1.2）
2)
h : R R s.t. E h X n , n 0, 令Fn = X 1, . . . , Xn E h X n | Fn1 E h X n | X n1
11
定理3.2.6 设马氏链的状态空间为E， (1) 对任意i, jE，若 ij，则它们同为常返态或瞬时 态；而且当i, j是常返态时，i, j 同为正常返态或同为 零常返态； (2) 不可约的有限齐次马氏链的状态都是正常返的。 定义3.2.7 如果集合{n :n≥1, pii >0}≠φ，称该数集 的最大公约数d(i)为状态i的周期.若d(i)>1，称i为周 期的，若d(i)=1，称i为非周期的.
1/ 2 1/ 2 0 1 0 0 P 0 1/ 3 2 / 3 1/ 2 0 1/ 2
1
0 0 0 0
1 2
1 试判断各状态的常返性。2
1
2
1 2
2 3
3
1 3
1 2
4
9
引理 对任意i, jE及n1，有
pij
( n)
( n)
fij
m1
( n)
P( X t0 i0 , X t1 i1 ,, X tn in ) i0 0 Pi0i11 Pi1it22 t1 Pin1nin n1
t t
ii) (n 1) (n) P; (n) (0) Pn
(3.1.9)
3
§3.2 Markov链的状态分类与判别
15