马尔科夫链的状态分类

1/3
2/3 2
1/4
1
1/2 1/4
由图可知
状态0可到达状态 图3---1 1，经过状态1又可到达状态2； 反之，从状态2出发经状态1也可到达状态0。
因此，状态空间S的各状态都是互通的。 又由于S 的任意状态i (i = 0，1，2)不能到达S 以外的任 何状态， 所以S是一个闭集 而且S 中没有其它闭集 所以此马氏链是不可约的。
证 因为
(n) 0 pij fij( k ) p (jjn k ) k 1
n
fij( k ) p (jjn k )
k 1
N
k N 1
( k ) ( nk ) f ij p jj
n
f
k 1
1 ， 1 f ii
则首次成功出现的次数服从几何分布，其均值为
这就是说 平均回到 i 共
1 次 就不再回到 i 了。 1 f ii
也就是说以概率1只有有穷次返回i。
定理5 i 是常返态的充要条件是 证 令
(n) p ii n 0

1，当X n i n = 0，1，2，… In 0，当X n i
f ij f ij( m ) 0
m 1
( m) 必要性 设 f 0 因为 f f ij ij ij

n 1 ，使 f ij 所以至少有一个
由定理2得
n
m1
( n)
0
(n) pij f ij( m) p (jjnm) f ij( n ) p (jj0) f ij( n ) 0 m 1
若 i ， 则称i为零常返态。
定理9
设i是常返态，则
n
(n) lim p （1）i是零常返态的充要条件是 ii 0
(n) lim p （2）i是正常返态的充要条件是 ii 0 n
证明（略）
推论 如果 j 是零常返态， i 是任一状态，则
(n) lim pij 0 n

(n) ii
P{Tii }
P{Tii n | X 0 i}
2．首次到达分解式
定理2
对任意 i, j I 及 n 1 ，有
(n) pij f ij( m ) p (jjnm ) n m 1
证
设系统从状态i经n步转移到状态j， 那么首次到达 j 的时间Tij n 由条件概率及马氏性得
使 X n j 的最小正整数 n。
自状态 i出发，经 过n步首次到达状 态j 的概率
自状态i出发，经 有穷步终于到达 状态j的概率
f
( n) ij
P{Tij n | X 0 i}
( n) ij
f ij f
n 1
P{Tij }
注1
f
( n) ij
P{X n j；X m j, m 1,2,, n 1 | X 0 i}
所以 推论
i j
i j 的充要条件是 f ij 0 且f ji 0
3．常返态与瞬时态
若 f ii 1
则称状态i为常返态
若 f ii 1 则称状态i为瞬时态
注
“常返”一词，有时又称“返回”、“常驻”或“持久
“瞬时”也称“滑过” 或“非常返”
定理4
若 f ii 1，则系统以概率 1 无穷次返回 i； 若 f ii 1 ，则系统以概率 1 只有有穷次返回 i。
若 j k ， k i ，则 j i
说明
按互通关系是等价关系，可以把状态空间 S 划 分为若干个不相交的集合（或者说等价类），并称之 为状态类。 若两个状态互通，则这两个状态属于同一类。 任意两个类或不相交或者相同。
2．闭集
设C为状态空间S 的一个子集，
有 pij 0 ，
若对任意i C 和任意 j C
例1
设马氏链 {X n , n 0} 的状态空间 S={0，1，2}
其一步转移矩阵为
1 2 1 P 1 2 0
1 2 1 4 1 3
0 1 4 2 3
试研究各状态间的关系，并画出状态传递图。
解
先按一步转移概率，画出各状态间的传递图
1/2 0
1/2
5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间
i E[Tii ] nP{Tii n} nfii( n)
n1 n1
称为状态i平均返回时间. 根据 i 的值是有限或无限，可把常返态分为两类： 设i是常返态，
若 i
则称i为正常返态；
P{Tij m | X 0 i}P{X n j | X m j}
m1

n
f
m 1
(m) ij
p
( nm) jj
说明
Tij = m 本定理表示 n 步转移概率pij 按首次到达时间
( m =1，2，…，n) 的所有可能值进行分解，
( n)
建立了 f
定理3
证
( m) ij
二、首达时间和状态分类
1．首达时间 系统从状态i出发， 首次到达状态j的时刻
Tij min{ n：X 0 i, X n j, n 0}
称为从状态 i 出发首次进入状态 j 的时间，
或称自i 到j 的首达时间。
如果这样的n不存在，就规定 说明
Tij
Tij 是一个随机变量，它的取值是系统从状态 i 出发
(m) (s) p (jin ) pij p ii s 0

又因为i为常返态， 所以

s 0

(s) pii
故得

s 0

p (jjm n s )
从而

n 0

p (jjn )
即状态j也是常返态
定理7 证
所有常返态构成一个闭集 设i为常返态， 如果i j ，则 j i ，即i和j相通。
那么过程访问状态 i 的次数为
I
n 0

n
因此，从状态i出发，访问状态i的平均次数为
E I n | X 0 i n 0
n 0
E [访问状态 i 的次数|X 0 i ]
E[ I n | X 0 i]
n 0

1 P{I n 1 | X 0 i} P{ X n i | X 0 i}
将 C 按互通关系分类：在 C 中任取一个状态i1 ，
凡是与 i1 互通的状态组成一个集合，记为 C1 ；
那么再从余下的状态 在组成C1 后，如果还有余下的状态， 中任取一个状态 i2
凡是与 i 2 互通的状态组成一个集合 C 2 ；
如此进行下去 ，
就可将 C 分解成C1，C2， 等集合之和，
并且显然满足条件（1）和（2）。



n 0
n 0
(n) pii
由定理4，得证。
说明
本定理的等价形式：
i为瞬时态，当且仅当
p
n 0

(n) ii

，则j也是常返态。
( m)
定理6 证 因
如果i为常返态，且
i j
i j
所以存在 m 0 ，n 0 使pij
0 ， p(jin) 0
对于任意的s 0 ，由切普曼---可尔莫哥洛夫方程得
( n)
定理1
在状态空间 I 中，互通关系“ ”是等价关系
即它满足 （1）自反性
( 0) i i， （ pii 1）
（2）对称性 若i j ，则 j i
（3）传递性 证
若 i k ，k j ，则 i j
（1），（2）显然，下证（3）
证3
若i k ，k j
则由相通定义，
( n) ij
0 f
fij 1
对于首次到达时间
Tij 当i j 时
Tii min{ n：X 0 i, X n i, n 1}
表示从状态 i出发首次返回状态i所需的时间 相应的 f ii 便是从状态i出发，经有限步终于返回状态 i的 概率，
f ii f
n 1
n 1
( m s ) p(jjmn s ) p(jin ) pij iS
iS

lS
p p p
(n) ji
(s) il
( m) lj
( s ) ( m) p(jin) pii pij
上式两边对所有的s相加，得

s 0

p
( m n s ) jj
p p p
s 0

( n) ( s ) ( m) ji ii ij
则C称为闭集 注1
若C为闭集，则表示自C内任意状态i出发，始 终不能到达C以外的任何状态j。 显然，整个状态空间构成一个闭集。
吸收态
注2
指一个闭集中只含一个状态
若状态空间含有吸收状态，那么这 个吸收状态构成一个最小的闭集。
3．不可约的 若除整个状态空间 S 以外没有其它的闭集， 则称此马氏链是不可约的。 如果闭集 C 的状态都是互通的，则称闭集 C 是 不可约的。
与p
( n) ij
之间的关系公式
f ij 0 的充要条件是i j
充分性 设i
( n) j 则存在某n 1 ，使 pij 0
由定理2得 从而 所以
(n) pij f ij( m ) p (jjn m ) 0 m 1
n
f ij(1) ， f ij(2) ，„， f ij(n) 中至少有一个为正，
马尔可夫链的状态分类
一、互通与闭集
1．互通
n 0 ,使 pij 0 如果对状态 i 和 j，存在某个
( n)
则称自状态i可到达状态j
记为i j
如果i j 且 j i
则称状态i和状态j互通 记为i 说明
j
如果自状态i不能到达状态j，
n 0 ，有 pij 0 则意味着对于一切
任一马氏链的状态空间S必可分解为
S N C1 C2
Ck
C1，C2， 是互不相交的由常返态组成的闭集 其中N是瞬时态集，
而且 （1）对每一个确定的 h，C 内任意两个状态相通； h
（2）Ch 和 Cg （h g ）中的状态不相同。
证
记C为全体常返态所构成的集合，
N S C 为瞬时态全体 则由定理7知C为闭集
解
先按一步转移概率，画出各状态间的传递图
1/2 1/2
4 1 1
1 1/2
2
Fra Baidu bibliotek1/2
1
3 5
图3---2 由图可知 状态3为吸收态 故
C1 = {3}为闭集
且
C2 ={1,4} 闭集， C3 ={1,3,4} 闭集，
C4 ={1,2,3,4} 闭集， 其中 C1 ， C2 是不可约的。
又因状态空间 S 有闭子集， 故此链为非不可约链。
若自j出发不能到达i，那么从i出发到达j后，就不 这是因为 能再返回i，这与i是常返态的 f 1 相矛盾。 ii 再由定理6知，j也是常返态， 这就是说， 自常返态出发，只能到达常返态，不能到达瞬时态。 故常返态全体构成一个闭集
4．状态空间的分解 如果已知类中有一个常返态，则这个类中其它状态 都是常返的； 若类中有一个瞬时态，则类中其它状态都是瞬时态。 若对不可约马氏链，则要么全是常返态，要么全是 瞬时态。 定理8
( n) p 0 使 ， p ， ik kj 0
( m)
存在 m 0 和n 0
( m n ) ij
根据切普曼---柯尔莫哥洛夫方程，有
p
p
rS
( m) ir
p
(n) rj
p
( m) ik
p
( n) kj
0
即存在m n 0 ，使pij
同理可证
( mn)
0
所以有i j
必定以概率1返回状态i。
证
若 f ii 1 则系统从状态i出发，经过有限次转移之后，
系统返回状态i要重复发生
再由马氏性
这样，系统从状态i出发，又返回，再出发，再返 回，随着时间的无限推移，将无限次访问状态i。
若 f ii 1 则每次回到 i 后都有正的概率 1 f ii 不返回 i，
将“不返回 i” 称为成功 ，
( n) ij
p
n m 1
P{X n j | X 0 i} P{ Tij m, X n j | X 0 i}
n
P{Tij m, X n j | X 0 i}
n
P{Tij m | X 0 i}
m 1
m 1 n
P{X n j | X 0 i, X1 j,, X m1 j, X m j}
例2
设马氏链的状态空间为 S = {1，2，3，4，5}
其一步转移矩阵为
1 / 2 1 / 2 P 1 0 1 0 0 0 0 0 1 0 1/ 2 1 0 0 1/ 2 0 0 0 0 0 0 0 0 0
试讨论哪些状态是吸收态、闭集及不可约链。