齐次马氏链的遍历性

其相应的转移矩阵有
π2 L πj
j为状态j的稳态
L⎞ ⎟ π 2 L π j L⎟ L L L L⎟ ⎟ π 2 L π j L⎟ L L L L⎟ ⎠
定理4.1 设齐次马氏链{X(n),n 1}的状态空间为 E={1,2,…} 若存在正整数m 使对任意的i,j E 其 m步转移概率均大于0, 即
⎛1 1 1⎞ P(0) = ( p1 (0), p2 (0), p3 (0)) = ⎜ , , ⎟ ⎝ 3 3 3⎠
其一步转移矩阵为
⎛ 0. 3 ⎜ P = ⎜ 0.4 ⎜ ⎜ 0.3 ⎝
0.4 0.3 0.3
0.3 ⎞ ⎟ 0.3 ⎟ ⎟ 0.4 ⎟ ⎠
试说明此马氏链是平稳的,且其初始分布为其平稳分布. 解 由平稳分布满足的方程组注意到
即此初始分布满足定义4.2中条件 故具有上述转移 概率的齐次马氏链为一平稳齐次马氏链 初始分布 为其一个平稳分布
定理4.2 设{X(n),n 0}是一平稳齐次马氏链 若其初 始分布P(0)={p1(0) p2(0),…,pj(0),…} 为此链的平稳分 布时 则对任何n 1 绝对概率等于初始概率 即
= ∑ pi (0)∑ pik p kj = ∑∑ pi (0) pik p kj = ∑ (∑ pi (0) pik ) p kj = ∑ p k (1) p kj = p j (1) = p j (0) (因为{ p j (1) j ∈ E}为平稳分布)
k∈E i∈E k∈E i∈E k∈E i∈E k∈E
一 齐次马氏链的遍历性 二 齐次马氏链的平稳分布
返回
我们注意到 齐次马氏链的n步转移概率当n趋于 无穷时,即过程的转移无限进行下去时,其极限可能存 在 而且也可能与起始状态i无关 例如只有两个状 态的马氏链 其一步转移概率矩阵为 ⎛ p q⎞ P=⎜ ⎜ p q⎟ ⎟ ⎝ ⎠ 易知其任意步转 移概率矩阵为 P ( n) = P = ⎛ p q ⎞ ⎯n→∞ → P = ⎛ p q ⎞ ⎜ ⎜ ⎯ ⎜ p q⎟ ⎯ ⎟ ⎜ p q⎟ ⎟ ( ⎝ ⎠ ⎝ ⎠ 即 lim pijn ) = pij 存在 又如一齐次马氏链 状态空间为E={1,2,3} 其一步转 移概率矩阵,二步,三步转移概率矩阵…为
P = ⎜1 / 2 0 1 / 2 ⎟ ⎜ 0 1/ 2 1/ 2⎟ ⎠ ⎝
⎛1 ⎜ ⎜2 ⎜1 = P2 = ⎜ 2 ⎜ ⎜0 ⎜ ⎝ 1 2 0 1 2
试问此链是否具有遍历性?若有,试求其稳态概率. 解 注意到
P ( 2) ⎞ 0⎟ ⎟ 1⎟ 2⎟ ⎟ 1⎟ ⎟ 2⎠ ⎛1 ⎜ ⎜2 ⎜1 ⎜2 ⎜ ⎜0 ⎜ ⎝ 1 2 0 1 2 ⎞ ⎛1 0⎟ ⎜ ⎟ ⎜2 1⎟ ⎜1 ⎟=⎜4 2 ⎟ ⎜ 1⎟ ⎜1 ⎟ ⎜ 2⎠ ⎝4 1 4 1 2 1 4 1⎞ ⎟ 4⎟ 1⎟ 4⎟ ⎟ 1⎟ ⎟ 2⎠
( m) p ij
>0
i, j ∈ E
且各状态的稳态概率满足下列
则此马氏链具有遍历性 N 方程组
i =1
π j = ∑ π i p ij
i) ii) πj >0
j = 1,2, L N
j = 1,2, L N
及概率分 布条件
∑π
j =1
N
j
=1
注1 判断马氏链的遍历性有很多方法,本定理只是 其中一个较为简单的方法. 注2 本定理不仅给出了判断马氏链的遍历性的方 法,也给出了求其稳态概率的方法. 例4.1 设齐次马氏链的状态空间E={1,2,3} 其一步 ⎛1 / 2 1 / 2 0 ⎞ 转移概率为 ⎟ ⎜
即知其所有的二步转移概率均大于0 由定理4.1知 此链具有遍历性. 再由转移概率与稳态概率满足的方程组得
1 1 1 1 ⎧ ⎪ π1 = π1 ⋅ 2 + π 2 ⋅ 2 + π 3 ⋅ 0 = 2 π1 + 2 π 2 ⎪ 1 1 1 1 ⎪ + π3 ⎨ π 2 = π1 ⋅ + π 2 ⋅ 0 + π 3 ⋅ = π1 2 2 2 2 ⎪ 1 1 ⎪ π 3 = π1 ⋅ 0 + π 2 ⋅ 1 + π 3 ⋅ 1 = + π2 + π3 ⎪ 2 2 2 2 ⎩
p j (n) = p j (0)
j∈E
证 若平稳齐次马氏链的初始分布为平稳分布 时,则有
( p j (0) = ∑ pi (0) pij1) = ∑ pi (0) pij i∈E i∈E
而齐次马j (n) = P ( X (n) = j ) = ∑ pi (0) × pijn ) = ∑ pi (k ) × p ijn − k )
例4.4 设齐次马氏链的状态空间为E={1,2},其一步转 移概率矩阵为 ⎛1 0⎞
P=⎜ ⎜0 ⎝ ⎟ 1⎟ ⎠
由例4.2知,此齐次马氏链不是遍历的,其稳态概率不存在,
⎛1 0⎞ 但有(π 1 , π 2 ) = (π 1 , π 2 )⎜ ⎜0 1⎟ ⎟ ⎝ ⎠ π 1 + π 2 = 1, 0 < π 1 = π 2 < 1
lim p
n →∞
(n) ij
= π j , i, j ∈ E
p12 p 22 L p 22 L L L L L L p1 j p2 j L pij L
P (n)
则称此齐次马氏链具有遍历性 并称 概率
⎛ p11 ⎜ ⎜ p 21 = Pn = ⎜ L ⎜ ⎜ p i1 ⎜L ⎝
L⎞ ⎛π 1 ⎜ ⎟ L⎟ ⎜π 1 ⎯ ⎯ L⎟ ⎯n →∞ →⎜ L ⎜ ⎟ L⎟ ⎜π 1 ⎜L L⎟ ⎝ ⎠
1 = p1 (0) = 3 1 = p 2 ( 0) = 3 1 = p 3 ( 0) = 3
∑
∑
i =1 3
3
∑
i =1
i =1 3
1 1 1 p i (0) p i1 = × 0.3 + × 0.4 + × 0.3 3 3 3 1 1 1 p i ( 0) p i 2 = × 0.4 + × 0.3 + × 0.3 3 3 3 1 1 1 p i ( 0) p i 3 = × 0. 3 + × 0 . 3 + × 0. 4 3 3 3
当n = 1时 p j (1) = ∑ pi (0) p
i∈E
i∈E
(1) ij
1 = ∑ pi (0) p
i∈E
i∈E
(1) ij
= p j ( 0)
由此知{ p1 (1), p 2 (1),L}是一个平稳分布, 且{ p j (1), j ∈ E}与 { p j (0), j ∈ E}相同
( ( 当n = 2时 p j (2) = ∑ pi (0) pij2 ) = ∑ pi (0) pij2 )
i∈E
i∈E
j∈E 类似可得p j (n) = p j (n − 1) = L = p j (1) = p j (0) 由此可见 当我们能判定齐次马氏链的初始分布 是一平稳分布时 则该马氏链在任何时刻的绝对概率 分布都与初始分布相同 事实上 平稳分布就是不因 转移步数变化而改变的分布 此时马氏链处于状态j的 概率与时间推移无关 即具有平稳性 注1 一般来说 平稳齐次马氏链的平稳分布并不唯一. 注2 在定理4.1条件下,平稳齐次马氏链的稳态概率即 为其平稳分布
故由定义4.1知
此链不具有遍历性,也不存在稳态概率
二 齐次马氏链的平稳分布
定义4.2 设{X(n),n 0}是一齐次马氏链 数集合{rj,j E} 满足 若存在实
(1) r j ≥ 0
j∈E
(2)
(3) r j = ∑ ri pij
i∈E
∑r
j∈E
j
=1
j∈E
称{rj,j E} 为
则称{X(n),n 0}是一平稳齐次马氏链 该过程的一个平稳分布 例4.3 已知{X(n),n 0}的初始分布为
P
(n)
=P
因此 lim P ( n ) = P
n →∞
(n (n p12 ) = p 21 ) = 0
(n (n 但是 p11 ) = p 22 ) = 1,
(n (n 即 lim p11 ) = 1 ≠ 0 = lim p 21) , n →∞ n →∞ (n (n lim p12 ) = 0 ≠ 1 = lim p 22) , n →∞ n →∞
可见其平稳分布是存在的
且具有无穷多个.
(π 1 , π 2 ) = (λ , 1 − λ ),0 < λ < 1
上一节
均为其平稳分布
完
15 32 1 0
15 ⎞ ⎟ 32 ⎟ 0 ⎟, L ⎟ 1 ⎟ ⎟ ⎠
因此,一般来说 通常讨论关于齐次马氏链的n 步转移概率的两方面问题 一是其极限是否存在 二是如果此极限存在 那么它是否与现在所处状态i 无关 在马氏链理论中 有关这两方面问题的定 理 统称为遍历性定理
一 齐次马氏链的遍历性
定义4.1 设齐次马氏链的状态空间为E={1,2,…} 若 对于E中所有的状态 i,j 存在不依赖于i的常数 j 为 其转移概率的极限 即
及π i > 0, i = 1,2,3,
∑π
i =1
3
i
=1
1 解之可得稳态概率为 π 1 = π 2 = π 3 = 3
例4.2 设齐次马氏链的状态空间E={1,2} 其一步转移 概率矩阵为 ⎛1 0⎞ ⎟ P=⎜ 试讨论该链的遍历性. ⎜ ⎟
⎝0 1⎠
解 容易计算得出 该链的其n步转移矩阵与其一步转 移矩阵P相同 即
⎛1 ⎜ ⎜2 P =⎜0 ⎜0 ⎜ ⎝
1 4 1 0
1⎞ ⎛1 ⎜ ⎟ 4⎟ ⎜4 0 ⎟ P ( 2) = ⎜ 0 ⎜ 1⎟ ⎟ ⎜0 ⎜ ⎠ ⎝
3 8 1 0