随机数学第6讲 第4章马尔科夫链(2)

判断状态0的周期和常返性： 解： f (1) = 1 00 2
+∞ ⎛1⎞ f 00 = ∑ ⎜ ⎟ = 1 n =1 ⎝ 2 ⎠ n
fii (1) fii ( 2 ) …
⎛1⎞ f 00 ( 2 ) = ⎜ ⎟ ⎝2⎠
2
⎛1⎞ f 00 ( n ) = ⎜ ⎟ , n ≥ 1 ⎝2⎠
⎛1⎞ ⎝ ⎠
解： 由于 又由于
1 2 3 4 5
p11 ( 2) > 0, p11 ( 3) > 0,
T1 = {2,3,
}
∴ d1 = 1
∴ d2 = 1
p22 (1) > 0,
引理4.1：
若状态i的周期为d ，则
，对一切n > M , 有 pii ( nd ) > 0
例3：马尔科夫链
(1) n ≠ kd时, pii ( n ) = 0
C = {1} 是常返闭集， 1是吸收态，非周期， D = {2,3, 4, 5} 是非常返集， 其中的状态也互通，周期 为2。
（4）
⎛ 0.1 0.2 0.2 0.3 0 0.2 ⎞ ⎜ ⎟ ⎜ 0 0.3 0.7 0 0 0 ⎟ ⎜ 0 0.8 0.2 0 0 0 ⎟ P=⎜ ⎟ 0 0 0 1 0 ⎟ ⎜ 0 ⎜ 0 0 0 0 0 1 ⎟ ⎜ ⎟ ⎜ 0 0 0 1 0 0 ⎟ ⎝ ⎠
i 为正常返 d > 1 ：
lim pii ( n ) =
n →∞
1
∑ p ( n) = ∞
ii n
n
lim pii ( nd ) =
n →∞
μi
>0 >0
d
状态i为非常返的充要条件为： ∑ pii ( n ) < ∞ 状态的常返性还可用多步转移概率极限来判断：
pii ( k ) = 0 ( k ≠ nd )
(2) Ci 的所有状态同周期，同为正常返或零常返，且
i, j ∈ Ci , 都有f ij = 1.
(3) D 是所有非常返态的集合；
⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
0
1
0 0
0⎞
1/3 1/3 1/3 0 0⎟ 0 1/3 1/3 1/3 0
⎟
⎟ ⎟ 0 0 1/3 1/3 1/3 ⎟ ⎟ 0 0 0 1 0⎠
状态i 可达j是指： 状态i,j互通是指： 存在n >0 使 pij ( n) > 0, 记 i → j
0.5
比如在例3中， 状态1可达2、3、4，
2
1 3 1
0.1
1
0.3 1 0.2 4
i → j, j → i,
即 存在n >0, m>0,使 pij ( n) > 0, p ji ( m) > 0, 记 i ↔ j 定理4.8：可达与互通具有传递性，即： （1） 若
对于常返态i， f ii = 1 设T是状态从i出发， 首次回到i 所用的步数。 即是状态从i出发， 经T步首次回到i 。 则，T的分布律： T P 1 2 … n
f ii ( n )
例4：马尔科夫链的状态空间I={0,1,2,…},转移概 率为： 1 1 1
p00 = , pi ,i +1 = , pi 0 = , i ∈ I 2 2 2
由于状态0的是非周期和正常返的，又各状态互通， 所以，所有的状态都是非周期和正常返的
定理4.10：任一马氏链的状态空间I，都可以唯一分 解为互不相交的子集 D, C1 , C2 , 之和：
例5：分解下列马尔科夫链的状态空间
I = D + C1 + C2 +
其中
（1） P=
(1) 每一Ci 是不可约的常返闭集
μ i = ∞,
则称状态i为零常返的；
注意到对于其他状态，周期和常返性判断是较困难的
二、常返性的判别
状态的常返性也可用多步转移概率和来判断： 定理4.5 状态i为常返的充要条件为：
定理 （参见定理7及推论）
i 为非常返，或零常返：lim pii ( n ) = 0 n →∞ i 为正常返 d = 1 ：
1 5 6
注： 若C为状态空间I的闭子集的充要条件为：
C中各状态的转移概率对应的子矩阵P为随机矩阵。 也可以利用这个性质，来进行状态空间的分解。 例如，上例中的第四个转移概率矩阵：
4
分析：由转移概率阵可知
2 3
所以该链是可约的. I = D + C1 + C2 = {1} + {2,3} + {4,5, 6} 常返闭集 C1 = {2,3} 中各状态非周期， 常返闭集 C2 = {4, 5, 6} 中各状态周期为3， 非常返集 D = {1} 状态非周期。
( 2 ) 存在正整数M
解：由于
求状态1和状态4的周期。
⎡ 0.1 0.5 0.3 0.1⎤ ⎢0 0 1 0⎥ ⎥ P=⎢ ⎢0 0 0 1⎥ ⎢ ⎥ 1 0 0⎦ ⎣0
0.5 0.1 1 0.3 1 0.2 4 1 2 1 3
p11 > 0, ∴ d1 = 1
又由于 p44 ( 3) > 0, p44 ( 6) > 0,
§4.3 状态空间的分解 定义：C为状态空间I的子集， （1）若对任意的 i ∈ C , j ∉ C , 都有pij = 0, 则称C为I的闭集。 （2）若C中的任两状态互通，则称C为不可约的。 （3）若I中的任两状态互通，则称马氏链为不可约的。 引理4.4：若C为状态空间I的闭子集的充要条件为： 对任意的 i ∈ C , j ∉ C , n ≥ 1, 都有pij ( n ) = 0
§4.2 马尔科夫链的状态分类
以下几节，我们讨论马尔科夫链转移概率的极 限问题，即对于任意状态 i， j ∈ I , ：
一、状态的分类 定义 设马尔科夫链的状态空间I={1,2,…,i,…} 如集合 T = {n : pii ( n ) > 0, n > 0} 非空，则称该集合 的最大公约数为状态i的周期，记为 di
1 1 7 6 1 5 8 9 1 1/3 1 1 2/3 4 1 3 2 1
⎛ 0 1 0 0 0⎞ ⎜ ⎟ 例2：马尔科夫链 P= ⎜ 1/3 1/3 1/3 0 0⎟ ⎜ 0 1/3 1/3 1/3 0⎟ ⎜ ⎟ ⎜ 0 0 1/3 1/3 1/3 ⎟ ⎜ ⎟ ⎝ 0 0 0 1 0⎠ 求状态1和状态2的周期。
di > 1,
则称状态i为周期的；
lim Pij (n)
n →∞
是否存在？ 是否依赖于i ？ 要研究极限的情形，需要先了解与马尔科夫链状态的有 关特性。 主要是周期特性、常返特性、互通特性。
di = 1, 则称状态i为非周期的；
例1 设马尔科夫链的状态空I={1,2,…,9} 状态空间的转移概率如图所示： 考虑状态1： 从状态1出发可能返回 的步数： T={4,6,8,10,…,} T的最大公约数是2， ---状态1的周期为2 。
所以 C1 是不可约常返闭集。
C2 = {4, 5, 6} 对应的转移概率子阵
⎛0 1 0⎞ ⎜ ⎟ P2 = ⎜ 0 0 1 ⎟ ⎜1 0 0⎟ ⎝ ⎠
也是随机矩阵，且4，5，6互通 所以 C2 是不可约常返闭集。 非常返集 D = {1}
I = D + C1 + C2 = {1} + {2, 3} + {4,5, 6}
TLeabharlann Baidu= {3,6,
}
∴ d4 = 3
注意到，从状态4出发，必然能够返回4 , 而从状态1出发，有0.9的可能再也回不到1. 为刻划状态返回的不同特性,引入常返、非常返概念
1
fij 为自状态i出发， 经有限步到达j的概率，
或自状态i出发， 迟早到达j的概率， f ii = 1, 则称状态i为常返的； 定义
状态2、3、4不可达1， 状态2、3、4彼此互通 定理4.9：若状态i与状态j互通，则 （1）i与j具有相同的周期； （2）i与j同为常返或非常返； 若为常返，则同为正常返或零常返
i → j, j → k ,
则 则
i →k i ↔k
（2） 若 i ↔ j, j ↔ k ,
在例4中，
1/2 1/2 0 1/2 1 1/2 2 1/2 1/2 1/2 1/2 1/2 3 1/2 4 1/2 n
（4）
⎛ 0.1 0.2 0.2 0.3 0 0.2 ⎞ ⎜ ⎟ ⎜ 0 0.3 0.7 0 0 0 ⎟ ⎜ 0 0.8 0.2 0 0 0 ⎟ P=⎜ ⎟ 0 0 0 1 0 ⎟ ⎜ 0 ⎜ 0 0 0 0 0 1 ⎟ ⎜ ⎟ ⎜ 0 0 0 1 0 0 ⎟ ⎝ ⎠
⎛ 0.3 0.7 ⎞ C1 = {2, 3} 对应的转移概率子阵 P = ⎜ 1 ⎟ ⎝ 0.8 0.2 ⎠ 是随机矩阵，且2，3互通，
n
n
μi = n∑1nf ii (n ) =
+∞
称为状态i的平均返回时间。
μ0 = ∑ n ⎜ ⎟ < ∞ 2
n =1
+∞
所以状态0的是非周期和正常返的
1/2 0 1/2 1 1/2 1/2 2 1/2 1/2 1/2 1/2 1/2 3 1/2 4 1/2 n
μi < ∞, 则称状态i为正常返的；
4
比如在例3中，
f11 (1) = 0.1
+∞ n =1
0.5 0.1 1 0.3
2
1 3 1
f11 ( 2 ) = 0, n > 1
f ii < 1, 则称状态i为非常返的；
f11 = ∑ f11 ( n ) = 0.1 < 1
1 0.2 4
若记：f ij (n ) = P( X k ≠ j ,1 ≤ k ≤ n − 1, X n = j X 0 = i ) 称 fij ( n ) 为自状态i出发， 经n步首次到达j的概率， 也称首中概率。 则
⎛ 1 ⎜ ⎜ 1/2 ⎜ ⎜ 0 ⎜ 0 ⎜ ⎝ 0
0
0 0
0⎞
0 1/2 0 0⎟ 1/2 0 1/2 0⎟ ⎟ 0 1/2 0 1/2 ⎟ 1 0⎠ 0 0
1
⎟ ⎟
分析：由转移概率图可知 该链是可约的。
I = D + C = {2,34,5} + {1}
2 3
4
5
也可以
1↔ 2 ↔3 ↔ 4
所以该链是不可约的，各状态周期为2。
所以状态1非常返
f 22 ( 3) = 1
+∞
f 22 ( n ) = 0, 其它n > 1
f 22 = ∑ f 22 ( n ) = 1
n =1
所以状态2常返
f ij =
+∞ n =1
∑
f ij (n )
f 并规定：ij (0 ) = 0
注：常返状态i: 系统会以概率1无限次返回； 非常返状态i：系统仅会有限次返回。 （参见引理4.3）
μi
由此可见,状态自返极限 lim Pii (n) 由状态的周期性,常 n →∞ 返性确定。 反之,根据自返极限 lim Pii (n) 也可确定状态的周期性, n →∞ 常返性。 为了研究极限 lim Pij (n) ，还需要对状态的可达、 n →∞ 互通性进行分析。
2
三.两状态之间的可达与互通
分析：由转移概率阵可知
1 2 3 4 5
所以该链不可约。各状态非周期。
3
（2）
⎡ 0 1 / 2 0 1 / 2⎤ ⎢1 / 2 0 1 / 2 0 ⎥ ⎥, P=⎢ ⎢ 0 1 / 2 0 1 / 2⎥ ⎢1 / 2 0 1 / 2 0 ⎥ ⎣ ⎦
（3） P=
分析：由转移概率阵可知
1 2 3 4