第四章 马尔可夫链(讲稿2)

（3）i与j或同为非周期的，或同为周期的且有相同的周期。
定理 f ij 0的充要条件是 i j 证明：充分性：若 i j ，则根据到达的定义，总存在某个 n 1 ，使 pij (n) 0 所以
pij (n) f ij (l ) p jj (n l ) 0
l 1 n
有限状态分解定理
定理（分解定理）状态空间E必可分解为
E N C1 C2 Ck C 其中N是全体非常返态组成的集合， 1 C2 Ck 是互不相交的常返
态闭集组成。而且
（1）对每一确定的k, Ck 内任意两状态相通； （2） Ck 与 Cg ( k g )中的状态之间不相通；
一、马氏链中的状态性质
1.周期性 定义 对于状态i，若正整数集合 {n : n 1, pii (n) 0} 非空， 则称该集合的最大公约数L为状态i的周期，记作 d (i) 。 若 L 1，则称状态i是周期的，若 L 1 ，则称状态i是非周 期的。如果上述集合为空集，则约定 d (i) 2.常返性 定义 设 {X (n), 为 {X (n),
例 设齐次马氏链 {X (n), n 1} 的状态空间 E {1, 2, , 6}， 其一步转移概率矩阵如下，试对该空间进行分解。
0 0 0 P 1 3 1 0 0 1 0 0 0 0 0 0 0 1 0 0 0 1 0 1 0 1 0 0 3 3 0 0 0 0 0 1 1 0 0 0 2 2
p ij q j i 1 i, j E 从而一步转移概率矩阵为 0 其它 q 0 p P q 0 p
l 1 l 1 n n
f ij (l ) P{ X n j | X 0 i, X 1 j, X l 1 j, X l j}
l 1
n
f ij (l ) P{ X n j | X l j} f ij (l ) Pjj (n l )
下面求n步转移概率 pij (n) 如在n次转移的结果是从i到j,n次转移中恰好向前游走m次，向后游 走k次，则有
mk n
m 1 k (1) j i
联立上两式求解可得
m n j i 2
k
n ji 2
根据概率法则，不难求得n步转移概率为
pij (n) n n2j i n2j i n j i p q 2 0 n j i为偶数 n j i为奇数
3
1 1
1 3 1 3
1
1 3
1
5
1 2 1 1 2
4
2
6
解：根据一步转移概率矩阵，可画出如图所示的状态转移图。
u f11 f11 由图可知， (3) 1，而当 n 3时， (n) 0，所以f11 f11 (n) 1，1 nf11 (n) 3 n 1 n 1

在0与1之间的一个数。
f ii 表示自状态i出发，在有限步内迟早要返回状态i的概率， f ii是
三、状态空间分解
定义 设 V I ，若从V中任一状态出发不能到达V外的任一状态，则 称V为闭集。 显然，对一切 n 1和 i, j V 有
p
jV
ij
( n) 1
若V中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小 的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没 有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的 所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转 移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能 在闭集内部的状态之间转移。 定理 马尔可夫链的所有常返状态构成的集合是一闭集。
解：如果以 X n 表示n时刻质点的位置，则 {X n , n 0,1,2, } 是一个随机过程。 X 而且，当 X n i 时， n1 等在时刻n后质点所处的状态仅与 X n i 有关，而与 质点在时刻n以前是如何到达i的无关．故它是一个齐次马尔可夫链。状态空 间 I {0, 1,2, } ，一步转移概率为 p j i 1

遍历
p ( n)
n 1 ii

且 lim pii (n) 0 n 且 lim pii (n) 0 n
lim pii (n)
n
p ( n)
n 1 ii
n 1

pii (n) 且
1
i
0
二、马氏链中的状态关系
1. 可达与互通
定理 对任何状态 i, j I , n 1，有
pij (n) f ij (l ) p jj (n l )
l 1 n
证明：因为
pij (n) P{X n j | X 0 i} P{Tij n, X n j | X 0 i}
P{Tij l , X n j | X 0 i} P{Tij l | X 0 i}P{ X n j | Tij l , X 0 i}
n 0,1,2, }为一马氏链，对任一状态i与j，称
f ij (n) P{X n j ; X m j, m 1,2, , n 1 | X 0 i}
n 0,1,2, }自状态i出发经过n步首次进入状态j的概率。
从而
f ij (1) pij P{X 1 j | X 0 i}
（1）若 i j ，则 i i ,自返性 （2）若 i j ，则 j i ，对称性 （3）若 i j ， j k ，则 i k ，传递性
我们把任何两个互通的状态归为一类。然后定义： 定义 若Markov链只存在一个类，就称它是不可约的；
否则称为可约的。
例 无限制的随机游走问题。考虑一个质点在直线上作随机游 走．如果在某一时刻质点位于i,则下一步质点将以概率 p (0 p 1) 向前游走一步到达i+1处，或以概率 q (q p 1) 向后游走一步 到达i-1处。现规定，这一质点只能“向前”或“向后”游走一 步，并且经过一个单位时间它必须“向前”或“向后”游走。 讨论其状态的互通性。

可见状态1为正常返，且周期 L 3 。含有状态1的常返闭集为
f ij () P{X m j, 对一切m | X 0 i}
计算公式
f ij (n) P{X n j ; X m j, m 1,2, , n 1 | X 0 i}
i1 j in 1 j
p
ii1
pi1i2 pin1 j
,n 1
定义
设 {X (n),
f ij
1 ij
n 0,1,2, } 为一马氏链，对任一状态i与j，称
f (n) 为 n
{X (n), n 0,1,2, }
自状态i出发
经有限步（迟早）到达状态j的概率。
显然有 fij () 1 fij
0 f ij (n) f ij 1
定义 （可达）：如果对于状态 i和 j,总存在某个 n ( 1)， 使得 pij (n) 0 ，则称自i状态经过n步可以到达j状态， 并记为 i j 反之，若对所有的 n ( 1) 有 pij (n) 0 ，则自i状态不可以到 达j状态，并记为 i j 可达具有传递性，即若 i j , j k ,则 i k
Tii
Байду номын сангаас
1
f ii (1)
2
f ii (2)
… …
n
fii (n)

… …
P
由数学期望的定义，可得 E[T ] nf (n) ii i ii
n 1
称 i 为状态i的平均返回时间。 定义 设i是常返态，如果 i ，则称状态i是正常返态； 如果 i ,则称状态i是零常返态。 如果状态i是非周期且正常返的，则称状态i是遍历的。
p00 P p10 p01 1 1 2 2 0 1 p11
讨论其状态的可达特性。 解：要讨论这一马氏链两个状态的可达性，可先求出它的 n步转移概率矩阵。由于
p00 (n) P p10 (n)
n
p01 (n) ( 1 ) n 1 ( 1 ) n 2 2 p11 (n) 0 1
l 1 l 1
n
n
定理 状态i是常返（
fii 1
）的充要条件为 pii (n)
n 0

系：如果状态i是非常返的充要条件是 pii (n)
n 0

此时有 lim pii (n) 0 n 定理： 设i为常返状态， 有周期
lim pii (n)
n
L ( L 1) ,则
L i
系：如果i是常返态，则 （1）i零常返当且仅当 lim pii (n) 0 n （2）i遍历当且仅当
1 lim pii (n) n i
马氏状态分类图
状态空间
周期
非周期
常返
非常返
正常返
零常返
状态分类判别法： （1） i非常返 pii (n) n 1 （2）i零常返 （3）i正常返 （4）i遍历
定义 如果 fii 1 ，则称状态i是常返的。如果 fii 1 ，则称状 态i是非常返的（或称为瞬时的）。如果马尔可夫链的任一状 态都是常返的，则称此链为常返马尔可夫链。
定义 设i是一常返态，则从i出发可经过n (n 1,2, ) 步首次返 回i， 在 X 0 i 的条件下 Tii 的分布列为
这样 f ij (1)
f ij (2), f ij (n) ，至少有一个为正（不为0），所以
f ij f ij (l ) 0
l 1
n
必要性：若 f ij 0 ，则由 f ij f ij (n) 至少有一个 n 1

使 f ij (n) 0 ，故
i j
n 1
其中 n j i为奇数 时，pij (n) 0 反映了在n，i，j之间存在的一种约束 关系。由于对于满足要求的n，i，j， pij (n) 0，所以无限制的随机游走 中的各个状态是互通的。
引理1 对任意i和j，若 i j ，则存在正数 、及正整数l、m， 使对任一正整数n，有
对于所有的n, p10 (n) 0，故状态“1”不能到达状态“0”； 而存在n使得 p01 (n) 0 故状态“0”可以到达状态“1”。 注：此题画状态转移图更直观
定义 （互通）：若自状态i可达状态j，同时自状态j也可 达状态i，则称状态和状态互通，记为 i j 互通是一种等价关系，即满足：
pii (l n m) pij (l ) p jj (n) p ji (m) p jj (n) p jj (l n m) p ji (l ) pii (n) pij (m) pii (n)
、
定理 若 i j ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返；
m n 证明 : 由 i j, j k 知，存在 m, n 使得 pij 0, p jk 0.
n pikmn pilm plkn pijm p jk 0, 再由C-K方程可知，
lS
因此 i k .
例
设一两状态 I {0,1} 马氏链具有以下转移概率矩阵