5马尔可夫链6

= P( U ( X 0 = i0 ), X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
i0 ∈S
随机过程——西安电子科技大学数学系 冯海林
= ∑ P( X 0 = i0 , X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
思考：一个重要的问题: 齐次马尔可夫链是否存在平稳分布? 如果存在, 是否唯一? 如何计算?
按照以下情况分别讨论 不可约的遍历链 不可约的正常返的马氏链 一般的齐次马氏链
随机过程——西安电子科技大学数学系 冯海林
齐次马尔可夫链是不可约的遍历链
设X={ X n , n = 0,1,L}是不可约的遍历链，则X存在 唯一的极限分布{π j = 1
k∈S
随机过程——西安电子科技大学数学系 冯海林
2） 再证{π j , j ∈ S }满足 ∑ π j = 1.
反复利用 π j = ∑ π k pkj 可以得到
k∈S
j∈S
π j = ∑ π k pkj = ∑(∑ π i pik ) pkj = L = ∑ π i pi(jn )
k∈S k∈S i∈S i∈S
解 易知是不可约链,且为遍历链. 故其平稳分布存在且唯一.
⎧ π＝πＰ ⎨ ⎩π 0 + π 1 + π 2 + π 3 + π 4 = 1
1 π0 = 31
平稳分布为
⇒
2 π = 4 8 16 π1 = π3 = 2 π4 = 31 31 31 31
π={ ， ， ， }
1 31 2 4 31 31 8 16 31 31
= P ( X t1 = i1 , X t2 = i2 ,L , X tn = in )
随机过程——西安电子科技大学数学系 冯海林
定理说明：若马氏链存在平稳分布,则以平稳分布作为 初始分布,就有以下结论： （1）马氏链的绝对分布是确定的,保持不变. （2）该马氏链是一个严平稳时间序列.
随机过程——西安电子科技大学数学系 冯海林
2 平稳分布
定义6.4.2 称概率分布{π j , j ∈ S }是齐次马氏链X的 一个平稳分布，如果有
π j = ∑ π i pij ,
i∈S
j∈S
或矩阵形式为
π＝πＰ
其中π ={π 1 , π 2 ,L}, P = ( pij )为X的转移概率矩阵。
随机过程——西安电子科技大学数学系 冯海林
显然 若概率分布{π j , j ∈ S }是马氏链X的平稳分布 则也有
⇒ ∑πi = 1
i∈S
3） {π j , j ∈ S }唯一性的证明与6.4.2类似.
随机过程——西安电子科技大学数学系 冯海林
一般齐次马尔可夫链X
定理6.4.5 设X的状态空间S = D U C 0 U C1 UL
记 是正常返状态的不可约闭集， H = U k ≥1 C k，则
其中D是
非常返状态集，C0是零常返状态集， C m ( m = 1, 2,L)
随机过程——西安电子科技大学数学系 冯海林
齐次马尔可夫链是不可约的正常返链
定理6 .4.4 设 X = { X n , n = 0,1,L}是不可约齐次马氏链
其状态空间S中的每个状态都是正常返状态. 1 则X有唯一的平稳分布： j = {π , j ∈ S }. µ jj
平稳分布通过求解方程组
⎧ π j = ∑ π k pkj , j ∈ S ⎪ k∈S ⎨ ⎪∑ π k＝１ ⎩ k∈S
(1)
1 2
2 3
0
0⎞ ⎟ ⎟ 1 ⎟ 3⎟ ⎟ ⎟ 2 ⎟ ⎟ 3⎠
(2)
⎛ 12 P2 = ⎜ ⎜1 ⎜ 2 ⎝
(2)
⎞ ⎟ ⎟ 1 ⎟ ⎟ 2⎠
1 2
P3 = (1)
⎧ π ＝π Ｐ 1 ⎨ (1) (1) π 1 + π 2 + π 3(1) = 1 ⎩
⎧ π ＝π Ｐ2 ⎨ (2) (2) π1 + π 2 = 1 ⎩
随机过程——西安电子科技大学数学系 冯海林
1） 先证{π j , j ∈ S }满足方程组π j = ∑ π i pij , j ∈ S
i∈S
对任意正整数n,由C-K方程,有 1 n ( m +1) 1 n 1 n (m) ( pij = ∑ (∑ pikm ) pkj ) =∑ ( ∑ pik ) pkj ∑1 n m= n m =1 k∈S k∈S n m =1
µ jj
, j ∈ S }.
且此时的极限分布就是平稳分布.
平稳分布可通过求解下列方程组得到
⎧ π j = ∑ π k pkj , j ∈ S ⎪ k∈S ⎨ ⎪∑ π k＝１ ⎩ k∈S
随机过程——西安电子科技大学数学系 冯海林
例 1 设状态空间为S={0,1,2,}的马尔可夫链, 其一步 转移概率矩阵为
⎧π (3)＝π (3)Ｐ3 ⎨ π 1(3) = 1 ⎩
π
(1)
={ , , }
2 8 3 8 3 8
π
(2)
={ , }
1 2 1 2
π
λ2 2
(3)
= {1}
平稳分布为 π = {
2λ1 8
,
3λ1 8
,
3λ1 8
, , , λ3 , 0}
λ2 2
1 2 3 1 随机过程——西安电子科技大学数学系 冯海林
λ + λ + λ = 1，λ ，λ2，λ3 ≥ 0
(3) P ( X n+ 2 = 1 X n = 0) = p
(2) 01
1 1 1 2 7 = × + × = 2 2 2 3 12
P ( X n + 2 = 2 X n = 0) = p
( 2) 02
1 1 1 = × = 2 3 6
随机过程——西安电子科技大学数学系 冯海林
令n → ∞,由法都引理以及引理6.4.1 1 n (m) （ π j ≥ ∑ lim inf ∑ pik ）pkj = ∑ π k pkj n →∞ n m =1 k∈S k∈S
随机过程——西安电子科技大学数学系 冯海林
而上式对一切j ∈ S等号成立.
因此对于一切j成立有 π j = ∑ π k pkj j ∈ S
（ ）X不存在平稳分布的充要条件是H=Φ 1 （2）X存在唯一平稳分布的重要条件是只有一个个以上正常返的不可约闭集。
随机过程——西安电子科技大学数学系 冯海林
例3 设有状态空间S={0,1,2,3,4,5,6}的齐次马尔可夫链 其一步转移概率矩阵为
⎡ ⎢ ⎢ ⎢ ⎢ ⎢ P = ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 1 3 1 3 0 0 0 2 3 0 1 3 0 0 0 2 3 0 1 3 0 0 0 2 3 0 1 3 ⎤ 0 ⎥ ⎥ 0 ⎥ ⎥ ⎥ 0 ⎥ ⎥ 2 ⎥ ⎥ 3 ⎥ 2 ⎥ ⎥ 3 ⎥ ⎦
分析平稳分布存在？并计算
随机过程——西安电子科技大学数学系 冯海林
i0 ∈S
= ∑ π i0 pi(0ti11+ m ) pi(1ti22 −t1 ) L pi(nt−n1i−ntn−1 )
i0 ∈S
= π i1 pi(1ti22 −t1 ) L pi(nt−n1i−ntn−1 )
= P ( X t1 = i1 ) P ( X t2 = i2 X t1 = i1 )L P ( X tn = in X tn−1 = in −1 )
⎧π＝πＰ ⎨ ⎩ π 0 + π1 + π 2 = 1
⇒
21 π = 23 18 π0 = π2 = 1 62 62 62
21 23 18 ⇒ π =(π 0 , π 1 , π 2 ) = ( , , ) 62 62 62
随机过程——西安电子科技大学数学系 冯海林
例2 设齐次马尔可夫链的状态空间S={0,1,2,3,4},其 一步转移概率矩阵为
⎛0.5 0.4 0.1⎞ ⎟ ⎜ ⎟ ⎜ ⎟ P = ⎜0.3 0.4 0.3⎟ ⎜ ⎟ ⎜ ⎜0.2 0.3 0.5⎟ ⎟ ⎟ ⎜ ⎝ ⎠
试分析它的极限分布，平稳分布是否存在？ 并计算
随机过程——西安电子科技大学数学系 冯海林
解 易知此链为不可约遍历链. 故极限分布存在，平稳分布存在唯一，且 平稳分布就是其极限分布。
∀0 ≤ t1 < L < tn和∀i1 , i2 ,L , in ∈ S , 有
P ( X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in ) = P ( X t1 = i1 , X t2 = i2 ,L , X tn = in )
证明 (2) P ( X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
3
1 2
4
1 2
(1)
S = D∪C ∪C ∪C
1 3
+ 1
+ 2
+ 3
= {6} ∪ {0,1, 2} ∪ {3, 4} ∪ {5}
(2) 由(1)知,该链有三个不同的正常返不可约闭集
随机过程——西安电子科技大学数学系 冯海林
所以平稳分布不唯一 三个闭集对应的转移概率矩阵分别为
解方程组
(1)
⎛ 12 ⎜ ⎜ P =⎜0 ⎜ 1 ⎜ ⎜1 ⎜ 3 ⎝
作业: 2, 4, 8, 9, 11,(2)(4) ,12, 13,(1)(4), 19.
随机过程——西安电子科技大学数学系 冯海林
(1)试对S进行分类，并说明各状态类型 (2) 求平稳分布，其平稳分布是否唯一？为什么？ (3) 求 P ( X n+ 2 = 1 X n = 0), P ( X n+ 2 = 2 X n = 0)