四转移概率的极限与平稳分布本节内容转移概率的极限

j
∈ S,试分析极限 lim n→∞
pi(jn)是否存在，
是否与初始状态i有关.
随机过程——西安电子科技大学数学系 冯海林
解：Pn
=
⎡0.571 ⎢⎣0.571
0.429⎤ 0.429⎥⎦
(n > 10)
即对任意的i ∈ S,有
lim
n→∞
p(n i0
)
=0.571，
与初始状态i无关.
lim
n→∞
⎜⎜⎝
1 4
1 4
0
1 2
⎟⎟⎠
试分析极限
lim
n→∞
pi(1n)(i
=
1,
2, 3,
4)是否存在，
是否与初始状态i有关.
随机过程——西安电子科技大学数学系 冯海林
易知有
1
1
31 32
32
1
lim
n→∞
p(n) 11
=1，
lim
n→∞
p(n) 21
=0，
lim
n→∞
p(n) 31
=
1， 3
11
4
2
(i, j ∈ S,
r = 1, 2,L, d j )
n=0
fij (r)表示系统从状态i出发,在某时刻nd j + r终究
到达状态j的概率.且
dj
dj ∞
∑ ∑ ∑ fij (r) =
(
f ) (nd j +r ) ij
r =1
r =1 n=0
∞ dj
∑ ∑ =
(
f ) (nd j +r ) ij
当i和j属于不同的常返态不可约闭集时候，有
lim
n→∞
p(n) ij
=
0
而当j为正常返周期态时，有
lim
n→∞
p(jjn)不存在
综上，转移概率的极限有不同的情况，为此，关于转 移概率极限问题的讨论做以下假设：
随机过程——西安电子科技大学数学系 冯海林
总假定 j是正常返且i是非正常返 或者 j和i属于同一个正常返类
p = ∑ f p (nd j +r) ij
(v) (nd j +r −v)
ij
jj
v =1
除n时,p(jjn) = 0. 仅当v = ld j + r时，
n
= ∑ f p (ld j +r ) ((n−l )d j )
ij
jj
l=0
l = 0，1，L,n有
p(nd j +r−v) jj
>
0)
随机过程——西安电子科技大学数学系 冯海林
ij
jj
(ld j +r )
ij
l=0
l=0
l = N +1
固定N，让n
→
∞，并注意到 lim n→∞
p(ndi ) jj
=
dj
µ jj
,得
随机过程——西安电子科技大学数学系 冯海林
∑ µ N
d (ld j +r ) j
f ≤ lim p ≤ lim p ij
l=0
jj
(nd j +r ) ij n→∞
p(n) i1
=0.429
随机过程——西安电子科技大学数学系 冯海林
再回忆一个推论(推论6.3.1)
对任意的i ∈ S,当j∈ S是非常返或零常返时,有
lim
n→∞
p(n) ij
=
0
极限
lim
n→∞
pi(jn)存在，与初始状态i无关.
随机过程——西安电子科技大学数学系 冯海林
再依据状态空间分解，还可以知道：
结论:设马氏链的状态空间分解为S = D U C0 U C1+ U C2+ UL, 其中D为非常返状态子集，C 0为零常返的不可约闭集，
Cm+ (m = 1, 2,L)为正常返的不可约闭集.则有
⎧ 0,
j ∈ D U C0,i ∈ S
lim
n→∞
p(n) ij
=
⎪ ⎪⎪ ⎨
fij
µ jj
⎪ ⎪
0,
n
即 p = ∑ f p (nd j +r) ij
(ld j +r ) ((n−l )d j )
ij
jj
l=0
对∀1 < N < n
N
N
n
∑ f p ≤ p ≤ ∑ f p + ∑ f (ld j +r) ((n−l)d j )
ij
jj
(nd j +r ) ij
(ld j +r ) ((n−l )d j )
=
1,
2, 3,
4)存在，且与初始状态i有关.
随机过程——西安电子科技大学数学系 冯海林
例6.4.2 设X={Xn，n≥0}是描述天气变化的齐次马 氏链. 状态空间为S={0，1}，其中0与1分别表示有雨 和无雨天气. X的一步转移概率矩阵为
P
=
⎡0.7 ⎢⎣0.4
0.3⎤ 0.6⎥⎦
对任意的i,
,
j ∈ Cm+遍历，i ∈ S j ∈ Cm+有周期,i ∈ C0 U Cl+ , l ≠ m
4
1
4
随机过程——西安电子科技大学数学系 冯海林
n
∑ p(n 41
)
=
f p (l ) (n−l ) 41 11
l=1
n
∑ =
f (l) 41
l=1
∑ =
n l=1
1 2( n −1)
×
1 4
=
1 2
−
1 2( n +1)
所以有
lim
n→∞
p(n 41
)im
n→∞
p(n i1
)(i
(nd j +r ) n→∞ ij
再让N → ∞得
∑ µ ∑ N
≤ f d + f (ld j +r ) j
∞ (ld j +r )
ij
ij
l=0
jj l = N +1
lim
n→∞
p(nd j +r ) ij
=
fij
(r
)
d
µ
j jj
i ∈ S, r = 1, 2,L, d j
随机过程——西安电子科技大学数学系 冯海林
又考虑到，当j为正常返周期态时，lim n→∞
p（jjn）不存在，
但是状态转移遵从周期链原则，为此, 一般讨论以下 形式的极限
lim
n→∞
p(nd j +r ) ij
(r = 1, 2,L, d j )
随机过程——西安电子科技大学数学系 冯海林
∞
∑ 为此记 fij (r) =
f (nd j +r ) ij
四 转移概率的极限与平稳分布 本节内容 ¾转移概率的极限 ¾平稳分布
随机过程——西安电子科技大学数学系 冯海林
转移概率的极限
研究转移概率的极限,主要关注以下问题
(1)任意的i, j ∈ S,
lim
n→∞
p(n ij
)是否存在？
(2)若
lim
n→∞
pi(jn)存在，极限是否与i
无关？
(3)什么件下 lim n→∞
p(n ij
)存在且与i
无关？
此时记 π
j
=
lim
n→∞
p(n) ij
是否为一概率分布？
先通过几个例子观察
随机过程——西安电子科技大学数学系 冯海林
例6.4.1 设马氏链的状态空间为S={1,2,3,4},一步 转移概率矩阵为
⎛1 0 0 0⎞
⎜ ⎜
0
1
0
0
⎟ ⎟
P
=
⎜1
⎜ ⎜
3
2 3
0
⎟ 0⎟
⎟
n=0 r =1
∞
∑ = f =
f (m) ij
ij
m=1
随机过程——西安电子科技大学数学系 冯海林
定理6.4.1 设j是正常返态，则
lim
n→∞
p(nd j +r ) ij
=
fij
(r)
d
µ
j jj
,
(i ∈ S, r = 1, 2,L, d j )
其中µ jj是j平均返回时间
(d
不能整
j
证明
nd j +r