北大随机过程课件：第 2 章 第 4 讲 马尔可夫链渐进分析

c
c
c
c
c ⋅π (c) = c − (c −1) ⋅π (c −1)
c
c
c − 0 π (0) = 1 π (1)
c
c
c −1 ⋅π (1) = 2 ⋅π (2)
c
c
L
L
L
c − j ⋅π ( j) = j + 1 ⋅π ( j + 1)
c
c
L
L
L
1 ⋅π (c −1) = ⋅π (c) c
进一步得到递推关系:
pπ (0) = qπ (1)
pπ (1) = qπ (2)
pπ (2) = qπ (3)
L
L
L
pπ ( j) = qπ ( j + 1)
L
L
L
平衡方程分析： 系统的稳态状态方程组：
pπ (0) + qπ (0) = qπ (1) + qπ (0)
即，
pπ (0) = qπ (1)
对于状态1, 2, L 有
它的一步转移概率是，
⎧ ⎪
pi
i +1
=
p
⎨ pi i−1 = q
⎪ ⎩
pi
j
= 0,
if j ≠ i + 1,i −1
无限制随机游动各状态都相通，则所有状态或全部是常返的或全部是非常返的。
研究状态 0 的常返和非常返的性质：
∞
∞
∞
∑ ∑ ∑ 可以计算
f (n) 00
。如果
f (n) 00
小于
1，则
⎜⎝ 0.2 0.3 0.5⎟⎠
解： 按照稳态分布的存在定理进行判断，三状态{0,1,2}的马尔可夫链存在稳态解。
( ) 设极限分布是π = π 0 π 1 π 2 ，它满足方程π = π P ，即
0.5π 0+ 0.3π 1+ 0.2π 2= π 0 0.4π 0+ 0.4π 1+ 0.3π 2= π 1 0.1π 0+ 0.3π 1+ 0.5π 2= π 2 π 0+ π 1+ π 2= 1
0
p1
0
0
0
0
⎥ ⎥
⎢1 ⎢ ⎢
− p2 L
0
0
p2 0 L
0 0⎥ ⎥ ⎥
⎢1 ⎢ ⎣
−p L
j
0
0
0
0
p
j
0⎥ L ⎥⎦
所有的状态之间是相同的，状态空间是一个不可约闭集。
所有状态或全部是常返，或全部是非常返的
分析 0 状态的常返特性
求
f (n) 00
f (1) 00
= 1−
p0
f (2) 00
解：
设系统处于状态 i，坛子中有 i 个黑球，则以概率 i 摸出一个黑球，使坛子里变成 i-1 c
个黑球；以概率 c − i 摸出一个红球，使坛子里变成 i+1 个黑球。 c
当系统处于状态 i 时，它转移到状态 i-1 的概率是 i ，它转移到状态 i+1 的概率是 c − i 。
c
c
⎧ ⎪⎪
pi
⎨
n=0 pn n=0 n + 1
如果 pn = e−1/(n+1)2 , n = 0,1,2,L ，
∑ ∑ ∞
则有， ln
1
=
∞
1 < ∞ ，这个链是非常返的。
n=0 pn n=0 (n + 1) 2
它迟早返回零状态的概率是
∑ f 00
=1−
exp⎨⎧− ⎩
∞ n=0
(n
1 + 1)2
⎫ ⎬ ⎭
=
n =1 ∞
∑u2n = U (z = 1) < ∞,
n =1
p = q =1/2 p ≠ q ≠1/2
结论：p=1/2，零状态是常返的，p≠1/2 零状态是非常返的。 分析 0 状态的常返特性，研究从 0 状态出发，返回 0 状态的概率。 例4 设有一个具有一个弹性壁的随机游动，它的状态空间是{0,1,2,3, }，0 是弹性壁试分析 各个状态的特性。 解： 状态之间的转移概率是，
π (1) = c ⋅π (0) = ⎜⎜⎝⎛1c ⎟⎟⎠⎞ ⋅π (0)
π
(2)
=
c
−1 2
⋅
π
(1)
=
c(c
2
−1)
⋅1
⋅
π
(0)
=
⎜⎜⎝⎛
c2 ⎟⎟⎠⎞
⋅π
(0)
L
L
L
π
(
j
+
1)
=
c j
− +
j 1
⋅π
(
j)
=
⎜⎜⎝⎛
j
c +
1⎟⎟⎠⎞
⋅π
(0)
L
L
L
π
(c)
=
1 c
⋅π
(c
− 1)
=
⎜⎜⎝⎛
定理 1 设有一个有限状态的马尔可夫链，若存在一个正整数 m，使得对状态空间的任何状
态
i,j 有
p (m) ij
>
0 ，则 lim P (n) n→∞
=π
。
极限矩阵 π 的性质：
矩阵有相同的行矢量，每一列元素都相同。
pπ = π
∑ 推论 1：π的行矢量满足下列关系： π = π p ， π i = 1 i π给出状态的极限分布：
f (n) 00
= 1 − lim n→∞
p0 p1 L pn−2 pn−1
( ) 0 状态是常返的条件是 lim n→∞
p0 p1 L pn−2 pn−1
=0
∑∞
这等价于 ln
1
=∞
p n=0
n
如果 pn = e−1/(n+1) , n = 0,1,2,L ，
∑ ∑ ∞
则有， ln
1
=
∞
1 = ∞ ，这个链是常返的。
π = lim p(n) = lim p(n+1) = lim p(n)p = π p ， π = π p
n→∞
n→∞
n→∞
∑π i pi j = π j i
∑ 归一化条件， π i = 1 i
矩阵π是唯一的 推论 2：系统稳定后状态的概率（渐进状态）与初始状态无关，稳态分布为π的行矢量
系统稳定后处于状态 j 的概率：
c
c
c −1 ⋅π (1) + 1 ⋅π (1) = 2 ⋅π (2) + c − 0 ⋅π (0)
c
c
c
c
L
L
L
c − j ⋅π ( j) + j ⋅π ( j) = j + 1 ⋅π ( j + 1) + c − ( j −1) ⋅π ( j −1)
c
c
c
c
L
L
L
c − (c −1) ⋅π (c −1) + c −1 ⋅π (c −1) = c ⋅π (c) + c − (c − 2) ⋅π (c − 2)
马尔可夫链的渐进分析（续三）
马尔可夫链的例子： 例 1 设有一个三状态{0,1,2}的马尔可夫链，它的一步转移概率矩阵是
⎜⎛ 0.5 0.4 0.1⎟⎞ P = ⎜ 0.3 0.4 0.3⎟
⎜⎝ 0.2 0.3 0.5⎟⎠
例 2 设有一个无穷状态{0,1,2,3,……},的齐次马尔可夫链，它的一步转移概率是
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
π
(0)
L
L
L
考虑到所有状态概率的和为 1，有
∑ ∑ ∑ ∞
π ( j)
j=0
=
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
π
(0)
= π (0) ⋅
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
j
=1
若 p < q ，即 p < 1/ 2
∑⋅
∞ j=0
⎜⎜⎝⎛
p q
⎟⎟⎠⎞ j
收敛， π
(0)
pπ (2) = qπ (3)
L
L
L
pπ ( j) = qπ ( j + 1)
L
L
L
进一步得到递推关系，
π (1) = p π (0) q
π (2)
=
p π (1) q
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
2
π
(0)
π (3)
=
p π (2) q
=
⎜⎜⎝⎛
p q
⎟⎟⎠⎞
3
π
(0)
L
L
L
π ( j)
=
pπ(j q
− 1)
0
状态是非常返的，如果
f (n) 00
等
n=1
n=1
n=1
于 1，则 0 状态是常返的。
∞
∞
∑ ∑ 也可以计算
p (n) 00
。如果
p (n) 00
是有限的，则
0
状态是非常返的，如果
n=1
n=1
∞
∑ p(n) 00
是无限的，则
0
状态是常返的。
n=1
引用研究随机游动的矩生成函数：
∞
∑ 返回原点的概率fLeabharlann (n) 00：n=1
V (z) = 1− 1− 4 pqz2
∞
∑ v2n = V (z = 1) = 1,