中科院随机过程最新课件第3-4讲

P{ X (n + 1) = j X (n) = i} = ˆ pi j ( n)
为马氏链 { X ( n); n ≥ 0} 在 n 时刻的一步转移概率。若对于 ∀i, j ∈ S ，有
P{ X (n + 1) = j X (n) = i} = ˆ pi j ( n) ≡ pi j
即上面式子的右边与时刻 n 无关，则称此马氏链为齐次（或时齐的）马氏链。 对于齐次马氏链，我们记 P = ( pi j ) ，称矩阵 P 为齐次马氏链的一步转移概
1．
Markov 链的定义
，如果对 ∀ n ∈ N 0 ， 定义：设随机序列 { X ( n); n ≥ 0} 的状态空间为 S （离散） 及 i0 , i1 ,L, in , in +1 ∈ S ,
P{ X (0) = i0 , X (1) = i1 ,L, X (n) = in } > 0 ，有：
(A)
P{ X (n + 1) = in+1 X (0) = i0 , X (1) = i1 ,L, X (n) = in } = = P{ X (n + 1) = in +1 X (n) = in }
则称 { X ( n); n ≥ 0} 为 Markov 链。 注 1：随机序列 { X ( n); n ≥ 0} 也可记为 { X n ; n ≥ 0} 。
j∈S
k −1 k
pi( n i −n
k −1 k − 2 k −1
k −2 )
L pi( in − n ) p (jin ) P{ X (0) = j}
2 1 1 12 1
上式中各 m 步转移概率均可由 C－K 方程求出， 利用一步转移矩阵及初始分 布就可以完全确定齐次马氏链的统计性质。
3．
马氏链的例子
现在求 n 步转移概率 pij ： 设 n 次转移中向右 m1 次，向左 m2 次，则有
(n)
m1 + m2 = n n+ j −i n− j+i ⇒ m1 = , m2 = 2 2 m1 (+1) + m2 (−1) = j − i
即有：
中国科学院大学 2013～2014 第一学期
随机过程讲稿
注 2：等式（A）刻画了 Markov 链的特性，称此特性为 Markov 性或无后 效性（即随机过程将来的状态只与现在的状态有关，而与过去无关） ，简称为马 氏性。Markov 链也称为马氏链。 定义：设 { X ( n); n ≥ 0} 为马氏链，状态空间为 S ，对于 ∀i, j ∈ S ，称
孙应飞
(n) pij
n + j −i n + j −i n − j + i C n 2 p 2 q 2 , (n + j − i 是偶数 ) = (n + j − i 是奇数 ) 0 , n n n C n2 p 2 q 2 , (n是偶数) = (n是奇数) 0 ,
p
(n) ii
（2） 带有一个吸收壁的随机游动： 特点：当 X ( n) = 0 时， X ( n + 1) 就停留在零状态。 此时 { X ( n), n = 0,1,2L} 是一齐次马氏链，其状态空间为 S = {0,1,2,L} ， 一步转移概率为：
pi i +1 = p p =q i i −1 pi j = 0 p0 0 = 1
(i , j ∈ S ) (i ∈ S )
∑p
j∈S
(m) ij
(n) = 1
m = 1 时，即为一步转移矩阵。
规定：
1 i = j ) pi( 0 j ( n) = δ i j = 0 i ≠ j
（二）切普曼－柯尔莫哥洛夫（C－K）方程
定理：对于 m 步转移概率有如下的 C－K 方程：
+r ) pi( m (n) = ∑ pi(km ) (n) pk( rj) (n + m) (i , j ∈ S ) j k∈S
( j ≠ 0) ( j ≠ a)
（4） 带有一个反射壁的随机游动： 特点：一旦质点进入零状态，下一步它以概率 p 向右移动一格，以概率
q = 1 − p 停留在零状态。
此时的状态空间为 S = {0,1,2,L} ，它的一步转移概率为：
pi i +Hale Waihona Puke Baidu = p pi j = 0 p01 = p p00 = 1 − p = q p0 j = 0
中国科学院大学 2013～2014 第一学期
随机过程讲稿
孙应飞
第二章
Markov 过程
本章我们先讨论一类参数离散、状态空间离散的特殊随机过程，即参数为
T = {0,1,2,L} = N 0 ， 状 态 空 间 为 可 列 S = {1,2,L} 或 有 限 S = {1,2,L, n} 的
Markov 链。Markov 链最初由 Markov 于 1906 年引入，至今它在自然科学、工 程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后我们将讨论 另一类参数连续状态空间离散的随机过程，即研究纯不连续 Markov 过程。
(m) ) (m) m 步转移概率。在齐次马氏链的情况下， pi( m j ( n) 与 n 无关，我们记为 pi j ，称
中国科学院大学 2013～2014 第一学期
随机过程讲稿
孙应飞
) P ( m ) = ( pi( m j )
为齐次马氏链的 m 步转移（概率）矩阵。 显然有：
) pi( m j ( n) ≥ 0
即有：
p 0 q 0 0
0 p 0 0 0
L 0 0 L p 0 L L L 0 0 L 0 0 L
0
0
0 0 0 0 0 0 0 0 0 0 q 0 0 0 q
0 0 0 p p ( a +1)×( a +1)
中国科学院大学 2013～2014 第一学期
随机过程讲稿
随机游动： （1） 无限制的随机游动： 以 X ( n) 表示时刻 n 时质点所处的位置，则 { X ( n), n = 0,1,2L} 是一齐次马 氏链，其状态空间为 S = {L,−2,−1,0,1,2,L} ，一步转移概率为：
pi i +1 = p , (i ∈ S , 0 < p < 1) (i ∈ S , 0 < p < 1) pi i −1 = q = 1 − p , p = 0 , (i ≠ i + 1, i − 1, j ∈ S ) ij
中国科学院大学 2013～2014 第一学期
随机过程讲稿
孙应飞
pi i +1 = p pi j = 0 p00 = 1 paa = 1 p0 j = 0 pa j = 0
(1 ≤ i ≤ a − 1) ( j ≠ i + 1, i − 1; 1 ≤ i ≤ a − 1)
pi i −1 = q = 1 − p (1 ≤ i ≤ a − 1)
中国科学院大学 2013～2014 第一学期
随机过程讲稿
孙应飞
率矩阵，简称为转移矩阵。 注 3：对于马氏链 { X ( n); n ≥ 0} ，我们有：
P{ X (0) = i0 , X (1) = i1 ,L, X (n) = in } = = P{ X (n) = in X (0) = i0 , X (1) = i1 ,L, X (n − 1) = in−1} ⋅ ⋅ P{ X (0) = i0 , X (1) = i1 ,L, X (n − 1) = in −1 } = P{ X (n) = in X (n − 1) = in−1} ⋅ P{ X (0) = i0 , X (1) = i1 ,L, X (n − 1) = in −1} =L = P{ X (n) = in X (n − 1) = in−1} ⋅ P{ X (n − 1) = in−1 X (n − 2) = in− 2 } ⋅ L ⋅ ⋅ P{ X (1) = i1 X (0) = i0 } ⋅ P{ X (0) = i0 } = pi
pi j (n) ≥ 0 (i, j ∈ S )
∑p
j∈S
i j
(n) = 1 i ∈ S
注 5：若状态空间是有限的，设状态数为 n 则一步转移矩阵是 n 阶方阵，若 状态是无限可列的情形，则一步转移矩阵只是形式上的矩阵。
2．
切普曼－柯尔莫哥洛夫（C－K）方程
（一） m 步转移概率的定义
定义：称 pi j ( n) = P{ X ( n + m) = j X ( n) = i} 为马氏链 { X ( n) ; n ≥ 0} 的
k∈S
= ∑ P{ X (n + m + r ) = j X (n + m) = k , X (n) = i} ⋅
k∈S
⋅ P{ X (n + m) = k X (n) = i} = ∑ P{ X (n + m + r ) = j X (n + m) = k}P{ X (n + m) = k X (n) = i}
(i ≥ 1) ( j ≠ i + 1, i − 1; i ≥ 1)
pi i −1 = q = 1 − p (i ≥ 1)
( j ≠ 0,1)
（5） 带有二个反射壁的随机游动： 此时的状态空间为 S = {0,1,2,L, a} ，它的一步转移概率矩阵为：
q q 0 P= 0 0
对于齐次马氏链，此方程为：
+r ) pi( m = ∑ pi(km ) p k( rj) j k∈S
(i , j ∈ S )
（C－K 方程）
证明：由 m 步转移概率的定义、全概率公式及马氏性，有：
( m+ r ) pij (n) =
= P{ X (n + m + r ) = j X (n) = i} = ∑ P{ X (n + m + r ) = j , X (n + m) = k X (n) = i}
0, a 为两个吸收状态，它的一步转移概率为：
1 q 0 P= 0 0
即有：
0 0 q 0 0
0 p 0 0 0
0 0 p
0 0 0 L 0 0 0 0
L L L L L L
0 0 0 0 0 0 0 0 0
0 0 0 0 q 0 p 0 0 0 1 ( a +1)×( a +1)
(i ≥ 1, i ∈ S ) (i ≥ 1, i ∈ S ) ( j ≠ i + 1, i − 1, i ≥ 1, i ∈ S )
注意； i 状态为马氏链的吸收状态的充要条件是： pi i = 1 。
（3） 带有二个吸收壁的随机游动： 此时 { X ( n), n = 0,1,2L} 是一齐次马氏链，状态空间为 S = {0,1,2,L, a} ，
孙应飞
p00 = q = 1 − p p01 = p paa = p pa a −1 = q = 1 − p p0 j = 0 ( j ≠ 0,1) pa j = 0 ( j ≠ a, a − 1)
排队模型 （1） 离散排队系统 考虑顾客到达一服务台排队等待服务的情况。 若服务台前至少有一顾客等待，则在单位时间周期内，服务员完成一个顾客 的服务后，该顾客立刻离去；若服务台前没有顾客，则服务员空闲。 在一个服务周期内，顾客可以到达，设第 n 个周期到达的顾客数 ξ n 是一个取 值为非负整数的随机变量，且 {ξ n , n ≥ 1} 相互独立同分布。在每个周期开始时 系统的状态定义为服务台前等待服务的顾客数。若现在状态为 i ，则下周期的状 态 j 应该为：
k∈S
= ∑ pi(km ) (n) pk( rj) (n + m)
k∈S
对于齐次马氏链的情形：我们可以写成矩阵的形式即有：
P ( m+ r ) = P ( m ) P ( r )
中国科学院大学 2013～2014 第一学期
随机过程讲稿
孙应飞
由此推出：
P ( m ) = P ( m −1) P (1) = L = ( P ) m = P m
n −1in
(n − 1) pi
n −1in −1
(n − 2) ⋅ L ⋅ pi i (0) ⋅ P{ X (0) = i0 }
01
因此，只要得到了马氏链的一步转移概率及初始分布，就可以求得马氏链的任 意前 n + 1 维的联合分布。特别地，若马氏链是齐次的，则由转移矩阵及初始分 布，就可以得到齐次马氏链的任意前 n + 1 维的联合分布。 注 4：一步转移概率满足：
其中： P
(1)
=P
由此可知：对于齐次马氏链，如果知道了它的初始分布 π (0) 和一步转移矩 阵 P ，就可以求得 X ( n) 的所有有限维概率分布。即有：
= ∑ pi( n i− n
k
P{ X (n1 ) = i1 , X (n2 ) = i2 ,L, X (nk ) = ik } =
k −1 )