湖南城市学院-随机过程讲稿(17)

l pii , p ljj 相互控制，同为无穷或有限，从而同为常返或非常 l 0

l 0

l 0
l 0
[定理7.11]如果j是非常返态，则对于每一个i，有
p
n 1

n
ij
和
lim pij 0
n
n
[定义7.12]如果有正整数d，d>1，只有当n=d, 2d, 3d,…时 态i是具有周期性的状态。
[定义7.9] 如果单个状态i构成一个闭集，则称这个状态i为吸 收态。 例题： 设有四个状态（0,1,2,3）的马尔可夫链，它的一步 转移概率矩阵为P，对其状态进行分类。
1 1 2 2 0 1 1 0 P 2 2 1 1 1 4 4 4 0 0 0
0 0 1 4 1
f ij P Tij n1X 0 i 0
n
[定义7.11] 对于马尔可夫链X(k)，定义自状态i出发迟早到达 状态j的概率为
fij
1 n

fij
n
1 n
P T
ij
n1X 0 i P Tij
[定理7.8] fij>0的充要条件是i→j。 [推论7.3] 状态i,j相通的充要条件是fij>0 和fji>0 。当i=j时，fii 的取值在0-1之间的一个数值，根据取值情况，把状态i分为： 若fii=1, 则称 i 为常返状态， 若fii<1, 则称 i 为非常返状态（或瞬时状态或称滑过的）。
n 1
由定义知状态0为常返态。 因此，由定理知I中所有状态都是常返态。 故此马氏链为不可约常返链。
7.2.4马尔可夫链的遍历性 [定义7.13]如果齐次马尔可夫链中，对于一切的i和j，存在 不依赖i的极限，即
lim pij n p j
n
则称该链具有遍历性。式中的 pij n 是该链的n步转移概率。 [定理7.12]对于状态有限的马尔可夫链，如果存在正整数s， pij s 0 使得 成立，其中i,j=1,2…,N，则该链具有遍历性。
例题3：设有4个状态{0,1,2,3}的马尔可夫链，它的一步转 移概率矩阵为P，试画出其状态传递图，并判断该过程是 否具有周期性。
0 12 0 0 0 12 P 1 2 1 2 0 1 2 1 2 0 12 12 0 0
例题4：设有4个状态{1,2,3,4}的马尔可夫链，它的一步转 移概率矩阵为P，试画出其状态传递图，并对其状态进行 分类。 1 1 1 1 4 4 4 4 0 1 0 P 0 0 0 0 1 1 0 0 0 1/4 解 按一步转移概率， 画出各状态间的 传递图 2 1 1/4 1/4 1 1/4
类似地可证
所以
j i
即I中任意两个状态都是相通的。
i j
因此，I是一个不可约的闭集 再证I中状态0是一个常返态： 由状态的转移规则，得
p p p
p p
q
p
q1 q 0 q q
2
p
3 p 4
5
q
p
0 1 2 n 1 0
所以
f 00 f
pii 0 ，或者说当n不能被d整除时 pii 0 ，则称状
n
n
pij 与 f ij n 有如下关系
n
i, j S , n 1, 有 1, pij f ij p jj
n k
k 1 n
nk
2, f ij
n
n 1 pik f kj , k j p , ij
n 1

n 00
P{T00 n | X 0 0}
n 1

P{ X 1 1, X 2 2,, X n 1 n 1, X n 0 | X 0 0}

P{ X 1 1 | X 0 0}P{ X 2 2 | X 0 0, X 1 1}
4 11
f11 f

1 1 1 1 1 4 4 4 4
于是状态1是常返的。 又因为
5 1 n f 2 n 1
n 11
所以状态1是正常返的。 由定理可知，此链所有状态都是正常返的。
例5：
设马氏链的状态空间I={0,1,2,…}，其一步转移 概率为 pii 1 p, pi 0 q 其中 0 p 1, p q 1
n 1
n 1
P{ X 1 1 | X 0 0}P{ X 2 2 | X 1 1} P{ X n 0 | X n1 n 1}

P{ X n 0 | X 0 0,, X n1 n 1}
q 1 1 p
qpn 1
n 1
该式就满足定理7.12，因而该马尔可夫链具有遍历性。
例题7：设马尔可夫链的一步转移概率矩阵为
1 0 P 1 0 1
由于：
1 0 P n P 1 0 1
n
很显然不满足定理7.12，所以该链不具有遍历性。同时也 说明了，该马氏链的状态只有0和1两个，一旦这两种状态 之一出现后就不再转移，不论经过多少步，0和1之间的转 移概率都保持为0。由此可见，该链的每一个样本只出现一 种状态，而且每个状态都是吸收态。
P{ X 1 4 | X 0 1} P{ X 2 1 | X 1 4, X 0 1}
1 p14 p41 4
1 类似地可求得 f p13 p34 p41 4
3 11
f
所以
n 11
0, (n 5)
n 1 n 11
1 f p12 p23 p34 p41 4
pii
n n 1
状态i 为非常返状态，即 fii<1的充要条件是
ii
1 1 fii
说明：如果状态i为常返态，则从i状态出发，经过有限步转 移迟早要返回i状态，即fii=1。这样，过程从i状态出发、返 回、再出发、再返回，周而复始。如果过程无限地进行下 去，则访问状态i的次数也无限地增加。 另外，对于一个有限状态的马尔可夫链，至少有一个状态 为常返的。
1
4 1
3
从图可知，此链的每一状态都可到达另一状态，即4个 状态都是相通的。 考虑状态1是否常返，
1 f 4 2 f11 P{ X 2 1, X 1 1| X 0 1}
1 11
P{X 2 1, X 1 2 | X 0 1} P{ X 2 1, X 1 3 | X 0 1} P{ X 2 1, X 1 4 | X 0 1}
n 更新过程，其初始来到时间间隔分布为 f ij , n 1 。 n f jj , n 1的更新过程。


常返态表明，过程从常返状态出发能无穷次返回该状态，
而滑过状态最多只能有限次地返回，因此，随着时间的发展， 滑过状态将逐渐消失。所以，在对Markov链作稳态设计时，
滑过状态是不予考虑的，这也说明了区分常返态与滑过状态
是十分重要的。
例题2：设有5个状态{0,1,2,3,4,5}的马尔可夫链，它的一 步转移概率矩阵为P，试对其状态进行分类。
1 2 1 2 P 0 0 1 4 0 12 0 0 0 0 12 12 0 0 12 12 0 14 0 0 1 2 12 0 0

n n n pii ml pij p ljj p m pij p m p ljj ji ji l 0 l 0 l 0 l m m l p n ml p n pii pij p n pij pii jj ji ji


所以， 返。 l 0
对于马尔可夫链X(k)任意两个状态i,j， Tij表示从i出发首 次到达j的时间，即
Tij min n : n 1, X n j , X 0 i
对于某个样本点，X(n)可能永远不会为j，那么上式就不 存在n，并且对于该样本点Tij没有真正的意义。在这一 情况下，规定ij ，用通常话讲，就是“永不出 T 现”、“终身等待”。 [定义7.10] 对于马尔可夫链X(k)，定义自状态i出发经n步首 次到达状态j的概率为
n 1 n 1
3, i j f ij 0 4, i j f ij 0且f ji 0
为什么要将状态进行分类呢？
以Nj(t)记到时刻t为止转移到j的次数。若j是常返的，且 X0=j，则因为一旦转移到j，过程在概率上重新从头开始，故 {Nj(t),t≥0}是一个来到时间间隔分布为 若X0=i ，i j ，且j是常返的，则{Nj(t),t≥0}是一个延迟
[定理7.5] 相通也具有传递性，即如果i k，k j ， 则 i j 。相通是一种等价关系，即
1 , i i 2 , 若i j, 有j i， 3 , 若i j, j k , 有i k
[定理7.6] 如果状态空间I中有一个子集C，对于任何状态 i C , j C ，则有 pij 0 。 [定义7.8] 设状态C为状态空间的一个子集，如果从C内 任何一个状态i不能达到C外的任何状态，则称C是闭集。 若C的状态相同，则称闭集C是不可约的。
第七章 马尔可夫过程
7.1 马尔可夫过程的一般概念
7.2 马尔可夫链
7.3 状态连续马尔可夫过程特性
7.4 独立增量过程的基本概念
7.5 泊松过程 7.6 维纳过程
1
7.2.3马尔可夫链中状态的分类 [定义7.6] 若马尔可夫链的任意状态i和j存在某个n使 n pij 0，即由状态i出发，经过n次转移以正概率到 得 达状态j，则称从状态i可达状态j，记为i→j。反之，若 状态i不能达到状态j，记为i j，此时对于一切 n n(n>=1)，有 pij 0 。 [定义7.7] 对于马尔可夫链的任意两个状态i和j，如果由 状态i可到达状态j，即i→j，而且由状态j可到达状态i， 即 j →i ，则称 i 与 j 相通，记为 j 。 i [定理7.4] 对于马尔可夫链，若由状态i可到达状态k，由 状态k可到达状态j，则由状体i可达到状态j。即“状态” 是具有传递性的。