随机过程 4.4

常返或到达的平均次数
[推论] 若 { Xn } 不可约常返，则对任意 i , j ， 有
1 n (k ) 1 lim pij n n j k 1
（2）平稳分布
[定义] 称概率分布 { j , j I } 为马氏链的平稳分布， 若它满足
j i pij iI i 1, j 0 iI
k N 1

n
f ij( k )
固定N，先令n→∞，由定理4.7的推论知，上式右 方第一项因pjj(n)→0而趋于0.
（1）pij(n)的渐近性质
再令N→∞，第二项因 fij( k ) 1 而趋于0，故
k 1
( lim pijn ) 0 n
[推论1] 有限状态的马氏链，不可能全是非常返态， 也不可能含有零常返态； 不可约的有限马氏链必为正常返的。 证：设I={0,1,…,N}。如全是非常返，则对任意i， j∈I，由定理4.13知pij(n)→0，故当n→∞时，就有
பைடு நூலகம்
1
1
1
2
3
[例2]
下图给出了焦作、郑州等几个车站间的公路连接情况，设 汽车从一个车站驶向一直接相邻车站，并当晚到达该车站 留宿。次日继续相同的活动。设每天开往临近任一车站都 是等可能的。试说明经过很长的时间后，各站每晚留宿的 汽车比例趋于稳定，求出这个比例。
解：依次给各个车站编 焦作 洛阳 新乡
1
j

kI
1
k
平稳分布
故有
1
j

kI
1
k
( pkjn )
再令n→∞取极限得
1
kI
1
j
k
( (limpkjn ) )
1
j

kI
1
k
故有 k I 证毕。
1
k
1 。由最上面式子可知
{
1
j
, j I}
是平稳分布。
平稳分布
[推论1] 有限状态的不可约非周期马氏链必存在平稳分布。 [推论2] 若不可约马氏链的所有状态是非常返或零常返的，则 不存在平稳分布。 [推论3] 若{ j , j I } 是不可约非周期马氏链的平稳分布，则
4 5 3 2 1
设平稳分布为 ={ j , j =1，2，3，4，5 } ，则由
[例2]
p 5 i 1 i 1
解得
1 1 / 12 1/ 6 2 3 1/ 3 1/ 4 4 5 1/ 6
iI iI
p j (n) p( X n j ) pi (n 1) pij pi pij p j
iI iI
平稳分布
结论：对平稳分布{ j , j I } ，有
( j i pijn ) iI
证：
(2) j i pij ( k pki ) pij k ( pki pij ) k pkj iI iI kI kI iI kI
常返或到达的平均次数
[证明] 如 j 为非常返或零常返，由定理4.13 知pij(n)→0,所以
1 n (k ) pij 0, (n ) n k 1
如 j 正常返、有周期为d，我们应用如下事 实。假设有d个数列{and+s},s=0,1,2,…d-1， 如对每一s，存在 lim and s bs ，则必有
平稳分布为： 各状态的平均返回时间分别为：
0.7 0.1 0.2 P 0.1 0.8 0.1 0.05 0.05 0.9
1 0.1765, 2 0.2353, 3 0.5882
5.67, 2 1 4.25, 3 1 1.70
lim p
n
f ij (r )
d
j
因为只有v=md+r 的项，其他的项 为零
证：因为pjj
( nd r ) ij
(n)=0,n≠0(mod(d)).故
p

nd r

v 0
f
(v) ij
p
( nd r v ) jj
fij( md r ) p (jjn m ) d
m0
n
正常返态的渐近性
于是，对1≤N<n有
m0

N
( fij( md r ) p (jjn m ) d pijnd r ) fij( md r ) p (jjn m ) d m0
N
m N 1


fij( md r )
在上式中先固定N，然后令n→∞，再令N →∞，由 定理4.7即得
k 1 n
1 n (k ) p jj 表示每单位时间内再返回到j的平均次数 n k 1
1
j
表示自j每单位时间内再返回到j的平均次数
1 n (k ) p jj n k 1

1
j
常返或到达的平均次数
[定理] 对于任意状态 i , j ，有
1 n ( k ) 0 , 当 j 非常返或零常返 lim pij n n 当 j 正常返 k 1 f ij j ,
jI
( ( j lim i pijn ) i (lim pijn ) ) i ( n iI iI n iI
1
j
)
1
j
平稳分布
因为 j 1，故至少存在一个πj>0，即1/μk>0,于是
jI
( lim pikn ) n
平稳分布的意义
研究平稳分布有什么意义 判别一个不可约的、非周期的、常返态的马尔可夫链 是否为遍历的，可以通过讨论pij(n)的极限来解决。但 是，求pij(n)的极限是困难的。所以，我们便通过研究
平稳分布是否存在来判别齐次马尔可夫链是否为遍历
链。
j
由定理4.16知， 证毕。
1
j
j
[例] （例4.16）设马尔可夫链的转移概率矩阵为P，求马氏
链的平稳分布及各状态的平均返回时间。
解： 因为该马氏链是不可约的非周期有
限状态，所以存在平稳分布。
1 0.7 1 0.1 2 0.05 0.1 0.8 0.05 2 1 2 3 3 0.2 1 0.1 2 0.9 3 1 2 3 1
m 0

显然，

r 0
d 1
f ij (r ) f
m 0 r 0

d 1
( md r ) ij
f ij( m ) f ij
m 0

正常返态的渐近性
[定理] 若 j 正常返，周期为 d ，则对任意 i 及 0 r d1， 有
( nd r ) ij
4.4 pij(n)的渐近性质与平稳分布
(n) ij
对于转移概率 pij
1) 是否存在？
(n) 的极限
lim p
n
2) 是否与 i 有关？
（1）pij(n)的渐近性质
[定理] 若 j 非常返或零常返，则
( lim pijn ) 0 , n
i I
证：由定理4.4，对N<n我们有
( pijn ) fij( k ) p (jjn k ) f ij( k ) p (jjn k ) k 1 k 1 n N
如此类推可得结论。
平稳分布
[定理] 不可约非周期马氏链是正常返的充要条件：存在平 稳分布，且此平稳分布就是极限分布 {1 j , j I } 证：先证充分性。设{πj,j∈I}是平稳分布，于是有
( j i pijn ) iI
由于 j 1和 j 0 ，故可交换极限与求和顺序，得
（1）pij(n)的渐近性质
( 1 pijn ) 0 j 0 N
这就产生了矛盾。 其次，如I含有零常返状态i，则C={j：i→j}是 不可约闭集，又因为它是有限集，故所有状态均 为零常返。于是由定理4.13知
( 1 pijn ) 0 jC
矛盾，证毕。
（1）pij(n)的渐近性质
1
k
0
k为正常返，故该马氏链是正常返的。 再证必要性。设马氏链是正常返的，于是
lim p
n (n) ij

1
j
0
由C-K方程，对任意正数N,有
p
( nm) ij
p
kI
( m) ik
p
( n) kj
( ( pikm) pkjn) k 0
N
平稳分布
令m→∞取极限，得
1 (
n
1 n 1 d 1 lim ak bs n n d s 0 k 1
常返或到达的平均次数
在上式中令and+s= pij(nd+s),由定理4.14知 bs=fij(s)d/μj.于是得
fij 1 n ( k ) 1 d 1 d 1 d 1 lim pij fij ( s) fij ( s) n n d s 0 j j s 0 j k 1
k 0 N
1
j
k
( ) pkjn )
再令N→∞取极限，得
1
j
(
k 0

1
k
)p
(n) kj
(
kI
1
k
( ) pkjn )
（*）
下面要进一步证明等号成立，由
1 p
kI (m) ik ( pikn ) k 0 N
平稳分布
先令n→∞,再令N→∞取极限，得
1
[推论2] 若马氏链有一个零常返态，则必有无限多个 零常返态。 证：设I为零常返，则C={j：i→j}是不可约闭集， 其状态全为零常返，故不能是有限集，否则同样产 生矛盾。
fij (r) 的定义
自状态 i 出发，在时刻 n = r ( mod( d ) ) 首次到达 j 的概率记为：
f ij (r ) f ij( md r ) , 0 r d 1
号如下。开封1号，新 乡2号，郑州3号，焦作 4号，洛阳5号.以{Xn， n≥0}记第n天某辆汽车
郑州
开封
[例2]
留宿的车站号，显然这是一个马尔可夫链，转移概率矩阵 为
0 1 0 0 0 0 0 1/ 2 1/ 2 0 p 1/ 4 1/ 4 0 1/ 4 1/ 4 0 1/ 3 1/ 3 0 1/ 3 0 0 1/ 2 1/ 2 0
( nd ) ij
d j , 当i, j同属于子集Gs 其它 0,
其中 C Gs 为定理4.11中所给出。 特别，如d=1，则对一切i，j有
( lim pijn ) 1 j n
常返或到达的平均次数
p (jjk ) 表示自j出发，在n步之内返回到j的平均次数
kI
1
k
将(*)式对j求和，并假定对某个j，(*)式为严格大于，则
1 1 (n) 1 pkj jI j jI kI k kI k 1
p
jI
(n) kj
1 kI k
于是有自相矛盾的结果：

jI
lim p j (n)
n
1
j
j
平稳分布
1 (n) (n) [推论3证明] 根据 P (n) pi pij 及 lim pij j
iI
n
j
有
( lim p j (n) lim pi pijn ) n n iI
1
j
pi
iI
1
f
(r ) ij
d d ( nd r ) (r ) (r ) lim pij fij (r ) j n j
定理得证。
正常返态的渐近性
[推论] 对于不可约、周期为 d 的正常返马氏链，其状态空 间为 C ，则对任意 i , j C ， 有
lim p
n
d 1 s 0
（2）平稳分布
若初始概率分布 { pj , j I } 是平稳分布，则对一切 正整数n，绝对概率分布pj(n)等于初始分布，故同 样为平稳分布。
p j (1) p( X 1 j ) pi pij p j
iI
p j (2) p( X 2 j ) pi (1) pij pi pij p j