a第12讲第四章马尔可夫链4-2

n→ ∞
1
µj
=πj
9
江西理工大学理学院
(有限链)遍历性的充分条件
设齐次马氏链的状态空 间为 I = { a1 , a2 ,L, a N } , P 是它的一步转移概率矩 阵 , 如果存在正整数 m ,
使对任意的 ai , a j ∈ I , 都有
Pij ( m ) > 0, i , j = 1, 2,L, N ,
⎧π j = ∑ π i pij ⎪ i∈I ⎨ ⎪ ∑ π j = 1, π j ≥ 0 ⎩ j∈I
π = πP
∑π j = 1
j∈I
⎡ p11 ⎢p 21 L π n ) = (π 1 π 2 L π n )⎢ (π 1 π 2 ⎢L ⎢p ⎣ n1
p12 p22 L pn 2
L L L L
p1n ⎤ p2 n ⎥ ⎥ L⎥ pnn ⎥ ⎦
14
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 )
⎡0 ⎢× ⎢ P ( 2) = P 2 = ⎢0 ⎢0 ⎢ ⎢0 ⎣
× 0 0 0⎤ ⎡0 × × 0 0⎥ ⎢× ⎥⎢ × × × 0⎥ ⎢0 0 × × ×⎥ ⎢0 ⎥⎢ 0 0 × 0⎥ ⎢0 ⎦⎣
× × × 0 0
0 × × × 0
0 0 × × ×
0⎤ 0⎥ ⎥ 0⎥ ×⎥ ⎥ 0⎥ ⎦
15
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 ) ⎡× × × 0 0⎤ ⎢× × × × 0⎥ ⎢ ⎥ 2 P ( 2) = P = ⎢× × × × ×⎥ , ⎢ 0 × × × ×⎥ ⎢ ⎥ ⎢ ⎣ 0 0 × × ×⎥ ⎦
p⎤ 0 ⎥, ⎥ p⎥ ⎦
不存在,
因此此链不是遍历链.
25
江西理工大学理学院
推论 1 有限状态的马氏链,不可能全是非常返状态, 也不可能含有零常返状态,从而不可约的有限马氏链 必为正常返的
I = {0,1,2, , N },
∀n，= 1
pij ( n ) → 0 (n → ∞ ) 矛盾 ∑
j =0
N
推论 2 如马氏链有一个零常返状态,则必有无穷多 个零常返状态.
12
江西理工大学理学院
5 1 2 3 4 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
2
3
4
5
13
江西理工大学理学院
1 2 3 一步转移概率矩阵
4
5
1 2 3 4 5 1⎡ 0 1 0 0 0 ⎤ 2 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = 3⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ 4⎢ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎥ 5⎢ 0 0 0 1 0 ⎥ ⎦ ⎣
代入最后一个方程 (归一条件), 得唯一解
18
江西理工大学理学院
π1 = π 5 = 1 / 11, π 2 = π 3 = π 4 = 3 / 11.
所以极限分布为
π = (1 / 11, 3 / 11, 3 / 11, 3 / 11, 1 / 11) .
这个分布表明 经过长时间游动之后, 醉汉 Q 位于点 2 (或 3 或 4 ) 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11.
即 lim pij
n→ ∞
i∈I (n)
是否存在 ? 若存在，其极限是否与 i 有关 ?
对于( 2)实际上是一个平稳分布 是否存在的问题。 这两个问题有密切联系 。
2
江西理工大学理学院
在马氏链理论中，有关 这类问题的定理，统称 为 遍历定理。 一. pij ( n)的渐近性质
1. j是非常返或零常返的情 况
定理4.13：设j为非常返或零常返，则 对一切 i，有
n→ ∞
lim pij ( n ) = 0
∀i ∈ I
证：由前面定理，对 1 ≤ N < n有
pij ( n ) = ≤
k =1 f ij ( k ) p jj ( n− k )
∑
n
f ij ( k ) p jj ( n− k ) +
k =1
∑
N
× × × ×⎤ × × × ×⎥ 无零元,链是遍历的 ⎥ × × × ×⎥ . × × × ×⎥ ⎥ × × × ×⎥ ⎦
17
江西理工大学理学院
极限分布 π = ( π1 , π 2 ,L, π 5 )满足方程组 :
⎧ π1 = 1 / 3π 2 , ⎪ π = π + 1 / 3π + 3 / π , 1 2 3 ⎪ 2 ⎪ π 3 = 1 / 3π 2 + 1 / 3π 3 + 1 / 3π 4 ⎨ ⎪ π 4 = 1 / 3π 3 + 1 / 3π 4 + π 5 ⎪ π 5 = 1 / 3π 4 , ⎪ ⎩ π 1 + π 2 + π 3 + π 4 + π 5 = 1.
5
江西理工大学理学院
定 理 4.14 如 j 正常返,周期为 d ,则对任意 i 及 0 ≤ r ≤ d − 1有 d ( nd + r ) lim pij = f ij ( r )
n→ ∞
µj
6
江西理工大学理学院
定理 4.15
对任意状态 i , j , 有
1 n (k ) lim ∑ pij n → ∞ n k =1
8
江西理工大学理学院
定理4.16 不可约非周期马尔可夫链是正常返的充要条件 是存在平稳分布，且此分布就是极限分布{
1
µj
, j ∈ I}
推论1 有限状态的不可约非周期马尔可夫链必存在平 稳分布。
推论2 若不可约马尔可夫链的所有状态是非常返或零常 返的，则不存在平稳分布。
推论3 {π j , j ∈ I } 是不可约非周期马尔可夫链的平稳分 布，则 lim p j ( n) =
⎡q P = ⎢q ⎢ ⎢0 ⎣ p 0 q 0⎤ p⎥ , ⎥ p⎥ ⎦
讨论它是否为遍历链. 解
⎡q 2 + pq pq p2 ⎤ ⎥ ⎢ 2 2 2 P =⎢ q p ⎥, 2 pq ⎢ q2 pq q 2 + pq ⎥ ⎣ ⎦
22
江西理工大学理学院
由于
pij
( 2)
> 0,
n→ ∞
lim pij ( n ) = π j , ( j = 1, 2, 3) 所以此链是遍历链. 由 π =π P 得
20
江西理工大学理学院
当 n 为奇数时 , 当 n 为偶数时 ,
P ( n) = P (1) = P , P ( n) = P ( 2).
表明
对任意固定的 j ( = 1, 2, 3, 4), 极限 lim pij ( n) 都不存在 .
n→ ∞
此链不具遍历性.
21
江西理工大学理学院
例4 在直线上带有反射壁的随机游动, 如果质点只 能取1, 2, 3三个点, 一步转移概率矩阵为
11
江西理工大学理学院
应用举例
例 1 一维随机游动 一随机游动的质点 在如图所示直线的点集
I = {1,2,3,4,5}上作随机游动 , 并且仅仅在1秒、秒 2 等时刻发生游动 . 1 2 游动的概率规则
3
4
5
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
⎡q 0 P 2 = ⎢0 1 ⎢ ⎢ ⎣q 0 p⎤ 0 ⎥, ⎥ p⎥ ⎦
24
江西理工大学理学院
三步转移概率矩阵
⎡0 1 P 3 = P 2 P = ⎢q 0 ⎢ ⎢ ⎣0 1 0⎤ p⎥ = P , ⎥ 0⎥ ⎦
可推出 P 2n−1 = P,
( 显然 lim pijn ) n→ ∞
P 2n
⎡q 0 = ⎢0 1 ⎢ ⎢q 0 ⎣
π =π ⋅P
1 0 0 0 ⎤ ⎡ 0 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = ⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ ⎢ ⎥ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎢ 0 0 0 1 0 ⎥ ⎣ ⎦
由前四个方程解得 : 3π 1 = π 2 = π 3 = π 4 = 3π 5 .
k = N +1
∑
n
f ij ( k )
3
pij ( n ) = ≤
k =1
∑
n
江西理工大学理学院
f ij ( k ) p jj ( n− k )
k =1
∑
N
f ij ( k ) p jj ( n− k ) +
k = N +1
∑
n
f ij ( k )
P 62, TH 4.7 推论
固定N，先令 n → ∞，若j为零常返，则 lim p jj ( n ) = 0 n→ ∞ TH 4.5 ∞ 若j为非常返，由 ∑ p jj ( n ) < ∞ ⇒ lim p jj ( n ) = 0
p 2⎡ p p 2⎤ π 3 = ( ) ⎢1 + + ( ) ⎥ q ⎣ q q ⎦
−1
23
江西理工大学理学院
例5 在直线上带有完全反射壁的随机游动, 如果质 点只能取1, 2, 3三个点, 一步转移概率矩阵为