5马尔可夫链6

3
1 2
4
1 2
(1)
S = D∪C ∪C ∪C
1 3
+ 1
+ 2
+ 3
= {6} ∪ {0,1, 2} ∪ {3, 4} ∪ {5}
(2) 由(1)知,该链有三个不同的正常返不可约闭集
随机过程——西安电子科技大学数学系 冯海林
所以平稳分布不唯一 三个闭集对应的转移概率矩阵分别为
解方程组
(1)
⎛ 12 ⎜ ⎜ P =⎜0 ⎜ 1 ⎜ ⎜1 ⎜ 3 ⎝
随机过程——西安电子科技大学数学系 冯海林
齐次马尔可夫链是不可约的正常返链
定理6 .4.4 设 X = { X n , n = 0,1,L}是不可约齐次马氏链
其状态空间S中的每个状态都是正常返状态. 1 则X有唯一的平稳分布： j = {π , j ∈ S }. µ jj
平稳分布通过求解方程组
⎧ π j = ∑ π k pkj , j ∈ S ⎪ k∈S ⎨ ⎪∑ π k＝１ ⎩ k∈S
2 平稳分布
定义6.4.2 称概率分布{π j , j ∈ S }是齐次马氏链X的 一个平稳分布，如果有
π j = ∑ π i pij ,
i∈S
j∈S
或矩阵形式为
π＝πＰ
其中π ={π 1 , π 2 ,L}, P = ( pij )为X的转移概率矩阵。
随机过程——西安电子科技大学数学系 冯海林
显然 若概率分布{π j , j ∈ S }是马氏链X的平稳分布 则也有
∀0 ≤ t1 < L < tn和∀i1 , i2 ,L , in ∈ S , 有
P ( X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in ) = P ( X t1 = i1 , X t2 = i2 ,L , X tn = in )
证明 (2) P ( X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
= P( U ( X 0 = i0 ), X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
i0 ∈S
随机过程——西安电子科技大学数学系 冯海林
= ∑ P( X 0 = i0 , X t1 + m = i1 , X t2 + m = i2 ,L , X tn + m = in )
(1)
1 2
2 3
0
0⎞ ⎟ ⎟ 1 ⎟ 3⎟ ⎟ ⎟ 2 ⎟ ⎟ 3⎠
(2)
⎛ 12 P2 = ⎜ ⎜1 ⎜ 2 ⎝
(2)
⎞ ⎟ ⎟ 1 ⎟ ⎟ 2⎠
1 2
P3 = (1)
⎧ π ＝π Ｐ 1 ⎨ (1) (1) π 1 + π 2 + π 3(1) = 1 ⎩
⎧ π ＝π Ｐ2 ⎨ (2) (2) π1 + π 2 = 1 ⎩
（ ）X不存在平稳分布的充要条件是H=Φ 1 （2）X存在唯一平稳分布的重要条件是只有一个 正常返的不可约闭集。 （3）X存在无穷多个平稳分布充要条件是至少存在 两个以上正常返的不可约闭集。
随机过程——西安电子科技大学数学系 冯海林
例3 设有状态空间S={0,1,2,3,4,5,6}的齐次马尔可夫链 其一步转移概率矩阵为
作业: 2, 4, 8, 9, 11,(2)(4) ,12, 13,(1)(4), 19.
随机过程——西安电子科技大学数学系 冯海林
P( X n = i) = π i , i ∈ S ,
证明： (1) P ( X n = i ) = ∑ P(X 0 = k ) P( X n = i X 0 = k )
k∈S
( = ∑ π k pkin ) = π i k∈S
i∈S
随机过程——西安电子科技大学数学系 冯海林
(2)并且对任意的正整数n，m,以及
⎧π (3)＝π (3)Ｐ3 ⎨ π 1(3) = 1 ⎩
π
(1)
={ , , }
2 8 3 8 3 8
π
(2)
={ , }
1 2 1 2
π
λ2 2
(3)
= {1}
平稳分布为 π = {
2λ1 8
,
3λ1 8
,
3λ1 8
, , , λ3 , 0}
λ2 2
1 2 3 1 随机过程——西安电子科技大学数学系 冯海林
令n → ∞,由法都引理以及引理6.4.1 1 n (m) （ π j ≥ ∑ lim inf ∑ pik ）pkj = ∑ π k pkj n →∞ n m =1 k∈S k∈S
随机过程——西安电子科技大学数学系 冯海林
而上式对一切j ∈ S等号成立.
因此对于一切j成立有 π j = ∑ π k pkj j ∈ S
⇒ ∑πi = 1
i∈S
3） {π j , j ∈ S }唯一性的证明与6.4.2类似.
随机过程——西安电子科技大学数学系 冯海林
一般齐次马尔可夫链X
定理6.4.5 设X的状态空间S = D U C 0 U C1 UL
记 是正常返状态的不可约闭集， H = U k ≥1 C k，则
其中D是
非常返状态集，C0是零常返状态集， C m ( m = 1, 2,L)
⎡ 0.5 ⎢ 0 ⎢ ⎢1 / 3 ⎢ 0 P=⎢ ⎢ 0 ⎢ ⎢ 0 ⎢ 1 ⎢ ⎢ 7 ⎣ 0.5 0 2/ 3 1/ 3 0 0 0 0 1 7 0 0 0 0 0 0 0 0 0 1 1 7 0⎤ 0⎥ ⎥ 0⎥ ⎥ 0⎥ 0⎥ ⎥ 0⎥ 1⎥ ⎥ ⎦ 7⎥
2/3 0 0 0 0.5 0.5 0 0.5 0.5 0 1 7 0 1 7 0 1 7
解 易知是不可约链,且为遍历链. 故其平稳分布存在且唯一.
⎧ π＝πＰ ⎨ ⎩π 0 + π 1 + π 2 + π 3 + π 4 = 1
1 π0 = 31
平稳分布为
⇒
2 π = 4 8 16 π1 = π3 = 2 π4 = 31 31 31 31
π={ ， ， ， }
1 31 2 4 31 31 8 16 31 31
= P ( X t1 = i1 , X t2 = i2 ,L , X tn = in )
随机过程——西安电子科技大学数学系 冯海林
定理说明：若马氏链存在平稳分布,则以平稳分布作为 初始分布,就有以下结论： （1）马氏链的绝对分布是确定的,保持不变. （2）该马氏链是一个严平稳时间序列.
随机过程——西安电子科技大学数学系 冯海林
即有
( π j = ∑ π i pijn ) i∈S
( 令n → ∞，并由∑ π j ≤ 1以及pijn )一致有界，得 j∈S
随机过程——西安电子科技大学数学系 冯海林
( ( π j = lim ∑ π i pijn ) =∑ π i (lim pijn ) )=(∑ π i )π j n →∞ i∈S i∈S n →∞ i∈S
π j = ∑ π i p , j ∈ S , n = 1, 2,L
(n) i∈S
ij
或矩阵形式为
π＝πＰn
随机过程——西安电子科技大学数学系 冯海林
定理6.4.3 设 {π i , i ∈ S } 是齐次马氏链{ X n , n = 0,1, 2,L} 的一个平稳分布，如果取{π i , i ∈ S } 为{ X n , n = 0,1, 2,L} 的初始分布，即 P( X 0 = i ) = π i , i ∈ S , (1) 则对任意的正整数n，都有
(1)试对S进行分类，并说明各状态类型 (2) 求平稳分布，其平稳分布是否唯一？为什么？ (3) 求 P ( X n+ 2 = 1 X n = 0), P ( X n+ 2 = 2 X n = 0)
随机过程——西安电子科技大学数学系 冯海林
1
5
1 7
6
1 2
0
1 2
1
2 3
1 3
2
2 3
1 7
1 2
λ + λ + λ = 1，λ ，λ2，λ3 ≥ 0
(3) P ( X n+ 2 = 1 X n = 0) = p
(2) 01
1 1 1 2 7 = × + × = 2 2 2 3 12
P ( X n + 2 = 2 X n = 0) = p
( 2) 02
1 1 1 = × = 2 3 6
随机过程——西安电子科技大学数学系 冯海林
⎡ ⎢ ⎢ ⎢ ⎢ ⎢ P = ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ 1 3 1 3 0 0 0 2 3 0 1 3 0 0 0 2 3 0 1 3 0 0 0 2 3 0 1 3 ⎤ 0 ⎥ ⎥ 0 ⎥ ⎥ ⎥ 0 ⎥ ⎥ 2 ⎥ ⎥ 3 ⎥ 2 ⎥ ⎥ 3 ⎥ ⎦
分析平稳分布存在？并计算
随机过程——西安电子科技大学数学系 冯海林
⎧π＝πＰ ⎨ ⎩ π 0 + π1 + π 2 = 1
⇒
21 π = 23 18 π0 = π2 = 1 62 62 62
21 23 18 ⇒ π =(π 0 , π 1 , π 2 ) = ( , , ) 62 62 62
随机过程——西安电子科技大学数学系 冯海林
例2 设齐次马尔可夫链的状态空间S={0,1,2,3,4},其 一步转移概率矩阵为
⎛0.5 0.4 0.1⎞ ⎟ ⎜ ⎟ ⎜ ⎟ P = ⎜0.3 0.4 0.3⎟ ⎜ ⎟ ⎜ ⎜0.2 0.3 0.5⎟ ⎟ ⎟ ⎜ ⎝ ⎠
试分析它的极限分布，平稳分布是否存在？ 并计算
随机过程——西安电子科技大学数学系 冯海林
解 易知此链为不可约遍历链. 故极限分布存在，平稳分布存在唯一，且 平稳分布就是其极限分布。
i0 ∈S
= ∑ π i0 pi(0ti11+ m ) pi(1ti22 −t1 ) L pi(nt−n1i−ntn−1 )
i0 ∈S
= π i1 pi(1ti22 −t1 ) L pi(nt−n1i−ntn−1 )
= P ( X t1 = i1 ) P ( X t2 = i2 X t1 = i1 )L P ( X tn = in X tn−1 = in −1 )
思考：一个重要的问题: 齐次马尔可夫链是否存在平稳分布? 如果存在, 是否唯一? 如何计算?
按照以下情况分别讨论 不可约的遍历链 不可约的正常返的马氏链 一般的齐次马氏链
随机过程——西安电子科技大学数学系 冯海林
齐次马尔可夫链是不可约的遍历链
设X={ X n , n = 0,1,L}是不可约的遍历链，则X存在 唯一的极限分布{π j = 1
k∈S
随机过程——西安电子科技大学数学系 冯海林
2） 再证{π j , j ∈ S }满足 ∑ π j = 1.
反复利用 π j = ∑ π k pkj 可以得到
k∈S
j∈S
π j = ∑ π k pkj = ∑(∑ π i pik ) pkj = L = ∑ π i pi(jn )
k∈S k∈S i∈S i∈S
随机过程——西安电子科技大学数学系 冯海林
1） 先证{π j , j ∈ S }满足方程组π j = ∑ π i pij , j ∈ S
i∈S
对任意正整数n,由C-K方程,有 1 n ( m +1) 1 n 1 n (m) ( pij = ∑ (∑ pikm ) pkj ) =∑ ( ∑ pik ) pkj ∑1 n m= n m =1 k∈S k∈S n m =1
µ jj
, j ∈ S }.
且此时的极限分布就是平稳分布.
平稳分布可Leabharlann Baidu过求解下列方程组得到
⎧ π j = ∑ π k pkj , j ∈ S ⎪ k∈S ⎨ ⎪∑ π k＝１ ⎩ k∈S
随机过程——西安电子科技大学数学系 冯海林
例 1 设状态空间为S={0,1,2,}的马尔可夫链, 其一步 转移概率矩阵为