第5章 Markov过程(2)(使用版)

（ N 0，使得对所有N N 0均有piiNd） 0。
13/34
三、状态间的关系
1.定义 状态 i可达状态j 简记为 i→j
( n N , 使得pijn) 0
状态 i与状态j互通 i→j 且 2.性质 传递性、对称性 j →i 3.利用首达概率刻画 可达和互通关系
14/34
结论1
解
先按一步转移概率，画出各状态间的传递图
22/34
1/2 1/2 4 1 由图可知 1
1 1/2 2 1 5 1/2 3
状态3为吸收态 故
C1 = {3}为闭集
且
C2 ={1,4} 闭集， C3 ={1,3,4} 闭集，
C4 ={1,2,3,4}闭集， 其中 C1 ， C 2 是不可约。
又因状态空间I有闭子集， 故此链为非不可约链。
pij 1, i C
jC
18/34
B. 有关等价类
结论1 等价类若是闭集，则必定是不可约的。 结论2 设C是闭集，当且仅当C中的任何两个状态都互 通时， C是不可约的。 结论3 齐次马氏链不可约的充要条件是它的任意两个 状态均互通。 结论4 包含常返态的等价类是不可约闭集。
19/34
其均值为
1 ， 即 1 f ii
平均回到 i 共
1 次 就不再回到 i 了。 1 f ii
也就是说以概率1只有有穷次返回i。
10/34
2.判别
（1）判别是否常返态
fii 1 fii 1
定理3
( piin ) n 1

( piin ) n 1
f ij lim
C1，C2， ，Ck 是互不相交的由正常返态组成的闭集。
26/34
（3）状态空间的分解 定理8(周期链分解定理)
设 C 是周期为 d 的不可约闭集，则 C 可唯一的分解成 d 个互不相交的子集
J1 , J 2 ,, J d 之并，即
C J m , J m J l , m l , m, l 1,, d
m 1
( pijn ) f ij( m) p (jjnm)
说明1
该定理表示n步转移概率按照首次到达时间的所有可能 (n 值进行分解 建立了 f ij(m) 与 pij ) 之间的关系公式
说明2
0 f
( n) ij
p
( n) ij
fij 1
3/34
2.平均返回时间 首达时间 系统首次到达状态j的时刻
收敛于某一正数的收敛子列
定理4
lim p
n
( ndi ) ii

ii
di
对任意给定的状态i，如 果i是常返态且有周期di， 则存在极限
12/34
2.判别
（3）判别是否有周期
( ( （1）若有正整数n, 使piin) 0, piin1) 0, 则i非周期
（2）若有正整数m, 使得m步转移概率矩阵P m中 相应于j的那列元素全不为0，则状态j非周期。 （ ）设状态i有周期d , 则必存在正整数 3
0
1/2 1 1/2 1/4
1/3
2/3
2 1/4
由图可知
状态0可到达状态1，经状态1又可到达状态2； 反之，从状态2出发经状态1也可到达状态0。
因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任 何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。
Tj min{n：X n j, n 0}
称为首次进入状态 j 的时间，或称首达时间。 如果这样的n不存在，规定 说明1
Tj
Tj 是一个随机变量，它的取值是系统
使 X n j 的最小正整数 n。
4/34
说明2
f
( n) ij

P{Tj n | X 0 i}
(n) ij

N
N
1 p (jjn )
n 1
11/34
n 1 N
( pijn )
2.判别
（2）判别是否零常返态、正常返有（非）周期
零常返
( lim piin ) 0 n
正常返非周期 正常返有周期
lim p
n
(n) ii

1
ii
0
( lim piin )不存在，但有一 n
i, j I , i j fij 0, i j fij f ji 0
结论2
设i j I , j是常返态，j i, 则j i, 且fij f ji 1
4.互通的两个状态的状态类型 定理5 互通的两个状态必有相同的状态类型
15/34
四、状态空间的分解
J1 P ( d 1) J d 1 0 Jd
28/34
周期链的分 解
P (1) 0 0
例3 已知马氏链{ X n , n 0,1,2, }的状态空间
I {1,2,3,4}
转移矩阵
1 4 0 0 0 1 4 1 0 0 1 4 0 1 0
m 1 d
且 k J m , m 1, 2,, d , 有
jJ m1

pkj 1
其中， J d 1 J1
27/34
def
转移概率矩阵的标准形式
状态空间的分解
PN P
0 P (d ) P
PN 1 PC1
PN 2 N C1 C PC2 2
说明2
p
说明3
( ndi ) ii
0
( n) ii
hi gcd{n : n 1, f
0}
6/34
引理
( n) (1) 若 pii 0 ，则存在 m 1 ，使得 n mdi
fii( n) 0 ，则存在 m 1 ，使得 n mhi (2) 若
(3) 若d i 和 hi 中一个存在，则另一个也存在，并 且相等。 例 设MC：0，1，2，3，转移概率矩阵如下，试 求状态0的周期。
互通满足：自反性、对称性、传递性。 互通是一种等价关系 说明 按互通关系是等价关系，可以把状态空间 I 划 分为若干个不相交的集合（或者说等价类），并称之 为状态类。 若两个状态相通，则这两个状态属于同一类。 任意两个类或不相交或者相同。 （1）定义
16/34
（常返态）
A．闭集
设C为状态空间I 的一个子集，
1 4 P0 0 1 试对其状态分类。
1/4 1/4 1 1/4 1 3 1/4 1
29/34
解 按一步转移概率， 画出各状态间的传递图
Eg.
1 4
2
从图可知，此链的每一状态都可到达另一状态，即4个 状态都是相通的。 考虑状态1是否常返，需要计算 f11 ：
f
(1) 11
1 4
必定以概率1返回状态i。
再由马氏性 系统返回状态i要重复发生 这样，系统从状态i出发，又返回，再出发，再返回，随着 时间的无限推移，将无限次访问状态i。
9/34
1 若 f ii 1 则每次回到 i 后都有正的概率 f ii 不返回 i，
将“不返回i”称为成功， 则首次成功出现的次数服从几何分布，
25/34
说明2
定理7
设{ X n , n 0,1,2, }是状态空间 I 有限的马氏链，则
（1）非常返态集N不可能是闭集； （2）至少有一个常返态； （3）不存在零常返态； （4）若链是不可约的，那么状态都是正常返的 （5）其状态空间可分解为
I N C1 C2 Ck
其中 N 是非常返态集，
fij(n) P{X n j, X k j, k 1,2,n 1| X 0 i}
自状态i出发，经有限步终于到达状态j的概率

fij fij( n )
n 1
自状态i出发，经有限步终于返回状态 i的概率
fii
2/34
定理1 对任意 i, j I 及 nn 1，有
( i C 和任意 j C 有 pijn) 0 （n 0 ） ， 若对任意
则C称为闭集。 注1 若C为闭集，则表示自C内任意状态i出发，始 终不能到达C以外的任何状态j。 整个状态空间构成一个闭集。 指一个闭集中只含一个状态，即如{i}是闭集， 则其是吸收态。 若状态空间含有吸收状态，那么这 个吸收状态构成一个最小的闭集。
例1
设马氏链{X n , n 0} 的状态空间 I={0，1，2}
其一步转移矩阵为
1 2 1 P 1 2 0
1 2 1 4 1 3
0 1 4 2 3
试研究各状态间的关系，并画出状态传递图。
解
先按一步转移概率，画出各状态间的传递图
20/34
1/2
第二节 Markov链的状态分类及性质 1 基本概念
返回概率 平均返回时间 周期
2 状态类别的划分和判别 3 状态间的关系
分类 判别
定义（可达、互通） 性质 互通的两个状态之间的关系
4 状态空间的分解
定义及重要结论（闭集、等价类） 分解定理（两个定理）
1/34
一、基本概念
1.返回概率 自状态 i出发，经过n步首次到达状态j 的概率
0 1 0 0 0 0 1 0 P 0 0 0 1 1 0 1 0 2 2
7/34
二、状态类别的划分及判别
1.状态类别的划分 非常返态 状态 i 零常返态 常返态 周期 正常返态
fii
ii
di
非周期（遍历态）
fii 1 常返态
ii 正常返态
23/34
（3）状态空间的分解 如果已知类中有一个常返态，则这个类中其它状态都是 常返的。 若类中有一个非常返态，则类中其它状态都是非常返态。 若对不可约马氏链，则要么全是常返态，要么全是非常 返态。 定理6
任一马氏链的状态空间I必可分解为
I N C1 C2 Ck
其中N是非常返态集， C1，C2， 是互不相交的由常返态组成的闭集
( f112) P{X 2 1, X1 1 | X 0 1} P{X 2 1, X1 2 | X 0 1} P{X 2 1, X1 3 | X 0 1} P{X 2 1, X1 4 | X 0 1} P{X1 4 | X 0 1} P{X 2 1 | X1 4, X 0 1}
而 且
（1）对每一个确定的 h，Ch 内任意两个状态相通；
（2）Ch 和 Cg （h g ）中的状态不相同。 24/34
说明1
如果从某一非常返态出发，系统可能一直在非常返集中， 也可能进入某个常返闭集，一旦进入某个常返闭集后， 将一直停留在这个常返闭集中；如果系统从某一常返状 态出发，则系统就一直停留在这个状态所在的常返闭集 中。
17/34
吸收态
注2
B．不可约 设C为闭集，如果C中不再含有任何非空真闭子 集，则称C是不可约闭集，或称不可约的，不可分的， 最小的。 若整个状态空间是不可约的，则称此链为不可 约马氏链。 （2）一些重要结论 A.有关闭集
C是闭集 pij 0, i C, j C
( pijn) 1, i C, n 0 jC
21/34
例2
设马氏链的状态空间为 I = {1，2，3，4，5}
其一步转移矩阵为
1 / 2 1 / 2 P 0 1 1 0
0 0 0 0 1
0 1/ 2 1 0 01/ 2 0 Nhomakorabea0 0 0
0 0 0 0 0
试讨论哪些状态是吸收态、闭集及不可约链。
fii 1 非常返态 ii 零常返态
8/34
注
“常返”一词，有时又称“返回”、“常驻”或“持久” “非常返”也称“滑过” 或“瞬时”
定理2 若
f ii 1，则系统以概率 1 无穷次返回 i；
若 f ii 1 ，则系统以概率 1 只有有穷次返回 i。
证
若 f ii 1 则系统从状态i出发，经过有限次转移之后，
fij f
n 1
P{T j | X 0 i}

平均返回时间
ij E (T j X 0 i ) nf
n 1
def
(n) ij
状态i的平均返回时间
ii
5/34
3.周期 状态i的周期
( di gcd{n : n 1, piin) 0}
若di >1,称i是周期的；若di =1,称i是非周期的。 说明1 di体现系统的发展变化中状态i重复出现的概率 周期。 若i的周期是di，并不是对所有的n满足