马尔科夫链-遍历性与极限分布

i
即 绝对分布为平稳分布
定理 对有限马尔科夫链，如果存在正整数k，使
pij (k) 0, i, j 1, 2,...N
则此链是遍历的
且极限分布
lim
n
pij (n)
pj
pj，j 1, 2,...N
N
是方程组 p j pi pij , j 1, 2,...N
j 1
满足条件
N
(1)p j 0, (2) p j 1
的唯一解
j 1
注：此定理给出了求极限分布(平稳分布)的方法
例1 直线上带反射壁的随机游动，如果质点只 能取1,2,3三个点，一步转移概率矩阵为
q p 0 p q 0 p
0 q p
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
解 计算二步转移概率矩阵
q2 pq qp
p2
p(2)
1 0 0
p q
0
p
0 0 1
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
1 0 0
解
p q
0
p
0 0 1
1 0 0 p(2) q 0 p =p
0 0 1
1 0 0
L ，L ，p(n) q
0
p
=p
0 0 1
显然，转移概率的极限
lim
n
pij
(n)
存在，但是与i有关，即
i
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
更一般的，有 q j = qi pij (n)
i
又，由绝对分布与初始分布的关系，可得
p
(n j
)
=
qi pij (n)=q j
遍历性
说明2： 若马尔科夫链为无限状态的，则有，
Q pij (n) 1, j E j 1
M
pij (n) 1 j 1
又因为 即
M
M
lim
M
lnim
j 1
pij (n)
lim
M
j 1
pj
1
p j 0, p j 1, j 1, 2,...
j 1
pj , j 1, 2,...N 不一定构成一个概率分布
lim
n
pij (n)
pij
因此此链不具有遍历性
(1)qj 0, (2) qj 1
j
则称它是概率分布
如果此概率分布满足
q j = qi pij
i
则称它是平稳分布
具有遍历性的马尔科夫链的平稳分布
C-K方程： pij (n)=pij (k l) pir (k)prj (l)
r
令 l 1, 则 pij (k 1) pir (k)prj (1)
r
对具有遍历性的马尔科夫链
令 k ,有
lim
k
pij
(k
1)
lim
k
r
pir (k)prj (1)
r
lim
k
pir (k )prj
r
pr prj
即
p j pr prj 成立
有限马尔科夫链转移概r率的极限分布一定是平稳分布
无限马尔科夫链转移概率的极限分布不一定是平稳分布
若初始概率是平稳分布，则任意时刻的绝对概 率分布等于初始分布，也即为平稳分布
p1
=[1+
p q
+(
p q
)2
]-1
p2
=(
p q
)[1+
p q
+(
p )2 q
]-1
p3
=(
p q
)2[1+
p q
+(
p q
)2
]-1
例2 若例1中，质点只能取1,2,3三个点，一
步转移概率矩阵为
0 1 0
p q
0
p
0 1 0
讨论该链的遍历性，若具有遍历性，则 计算其极限分布（平稳分布）
马尔科夫链的遍历性
遍历性
定义1 若马尔科夫链中的所有状态互通且均为 非周期的正常返状态，则称该链是遍历的
定义2 若马尔科夫链转移概率的极限
lim
n
pij (n)
pj,
i, j E
存在且与 i 无关，则称此马尔科夫链具有遍历性
此时，若满足 pj 0,
pj 1
j
则称 p j , j E 为转移概率的极限分布
证
设初始分布：
p(0) i
qi ,
i
1, 2,...,
其中，qi，i 1, 2,... 是平稳分布
又，对于平稳分布 qj，j 1, 2,... ,有
qj =
qi pij
qk
pki
pij
i
i k
qk
pki
pij
qk pkj (2)
k i
k
更一般的，有 q j = qi pij (n)
遍历性
说明1： 若马尔科夫链为有限状态的，显然有，
满足 即
N
N
N
lim
n
j 1
pij (n)
j 1
lim
n
pij
(n)
j 1
pj
1
N
p j 0, p j 1, j 1, 2,...N j 1
pj , j 1, 2,...N 构成一个概率分布
在此称为转移概率的极限分布
有限状态的遍历的马尔科夫链必存在极限分布
无限状态的遍历的马尔科夫链不一定存在极限分布，只 有其极限概率构成概率分布时才存在极限分布
绝对概率的极限
lim
n
p(n) j
lim
n
i
pi(0) pij (n)
i
p(0) i
lim
n
pij
(n)
i
p(0) i
pj
pj
即
lim
n
p(n) j
pj
即：绝对概率的极限与转移概率的极限相同
平稳分布
定义 若有限或无限数列 qj , j 1.2,... 满足
q2
2qp
p2
q2
qp pq p2
即 当k 2时，有 pij (2) 0, 所以，此链具有遍历性，
因而存在平稳分布，极限分布即为平稳分布
下面求极限概率p j，j 1, 2,3，
qp1 qp1
qp2
p1 qp3 p2
pp2 pp3 p3
p1 p2 p3 =1
解方程，可得
0 1 0
解
p q
0
p
0 1 0
q 0 p
p(2) 0
1
0
q 0 p
0 1 0
p(3) p(2)p q
0
p
p
0 1 0
一般的，有 p(2n 1) p
p(2n) p(2)
显然，转移概率的极限
lim
n
pij
(n)
不存来自百度文库，
因此此链不具有遍历性
例3 若例1中，质点只能取1,2,3三个点，一 步转移概率矩阵为