随机过程课件5.1-5.2

1/3
2
1/3 1/3
3
1/3
4
1/3 1
跳 转 图 ！
1/3
5.1 Markov链的基本概念 链的基本概念
排队模型） 例5-6 （排队模型）
服务， 一服务台前有顾客排队 等候 服务，为第 n 个顾客 个服务周期； 提供的服务时间定义为 第 n 个服务周期；而在服 到来， 务周期中可能有新顾客 到来，到来的数目是一 i.i.d 随机变量 Yn，设 P (Yn = k ) = pk , 设 X n为第 n 个 服务周期开始时服务台 前的顾客总数，即 前的顾客总数， X n − 1 + Yn , X n ≥ 1 X n+1 = , Yn , Xn = 0 则{X n , n ≥ 1}为一马氏链 .
若 E = {0,1,2, L , m } 即粒子移动到 0或 m 时就被 ，
L O O O 0
0 M 0 p 1
5.1 Markov链的基本概念 链的基本概念
带反射壁的随机游走） 例5-4 （带反射壁的随机游走）
若 E = {0,1,2, L , m } 当粒子移动到 0或 m 后，下 ， 一次必转移到 1或 m − 1，即 p01 = 1， pm , m − 1 = 1 则{X n = 时刻 n 所在的位置 }为一有限状态马氏链 .
带吸收壁的随机游走） 例5-3 （带吸收壁的随机游走）
吸收不再转移， 吸收不再转移，则 {X n = 时刻 n 所在的位置 }为 一有限状态马氏链 . 1 0 0 L 0 1 0 0 q 0 p O M q r p P = 0 q 0 O 0 P = 0 q r M O O O p M O O 0 K 0 0 1 0 K 0
(m+n) ij
= ∑ P( Xm = k X0 = i)P( Xn = j X0 = k) k
pkj
(n)
= ∑ P( Xm = k X0 = i)P( Xm+n = j X0 = i, Xm = k) k
= P( Xm+n = j X0 = i) = p
5.1 Markov链的基本概念 链的基本概念
p11 = P ( X n + 1 = 1 X n = 1) = P (Yn = 1) = p1
解: p, j = i + 1 pij = r , j = i q, j = i − 1
一个单位， 在原地不动， 一个单位，以 r = 1 − p − q在原地不动，则
O q P=
p r q
p O O O r p q O
5.1 Markov链的基本概念 链的基本概念
( )
称 P为马氏链 {X n , n ≥ 0} 的一步转移概率矩阵 .
i , j∈ E
,
5.1 Markov链的基本概念 链的基本概念
四、转移概率矩阵的性质
1 pij ≥ 0, i , j = 0,1,2, L .
0
20
∑
j∈ E
pij = 1, i = 0,1,2, L .
p00 M 30 P = pi 0 M
3 质点只能停留在 E = {1,2,3,4}上，当在 2，时，以 动；当在 4时，以概率 1移动到 3，
1 0 0 0 1 1 1 0 3 3 P = 3 1 1 1 0 3 3 3 0 0 1 0
1
1
例5-5
1 3
向左、 向左、右、原地移动； 当在 1时，以概率 1停留不 原地移动； 则{X P( Xn+m+1 = j X0 = i0,L Xn = i, Xn+1 = k) k
[
= P( Xn+m+1 = j Xn = i)
= ∑ P( Xn+m+1 = j Xn+1 = k)P( Xn+1 = k Xn = i) k
, × P( Xn+1 = k X0 = i0,L Xn = i)
A = U X 0 = i 0 k , L , X n − 1 = i n − 1k ,
k
{
}
若B为时刻 n + 1及其后的时刻所确定的 事件 .
2 P (B A, X n = i ) = P (B X n = i )
0 0
10 P ( X n + 1 = j A, X n = i ) = P ( X n + 1 = j X n = i )
5.1 Markov链的基本概念 链的基本概念
八、有限维分布 定理5-2 定理
= P ( X 0 = i 0 )P ( X 1 = i1 X 0 = i 0 )P ( X 2 = i 2 X 0 = i0 , X 1 = i1 ) = P ( X 0 = i 0 )P ( X 1 = i1 X 0 = i 0 )P ( X 2 = i 2 X 1 = i1 ) L P ( X n = i n X n −1 = in −1 )
= p i 0 p i 0 i1 p i1 i 2 L p i n − 1 i n
即时齐马氏链由初始分布和转移矩阵所决定. 即时齐马氏链由初始分布和转移矩阵所决定
P ( X 0 = i0 , L , X n −1 = i n −1 , X n = i n )
L P (X n = i n X 0 = i0 , L , X n −1 = i n −1 )
记P
(m )
= pij
称为马氏链 {X n , n ≥ 0} m 步转移概率矩阵 . 的
六、m步转移矩阵的性质 步转移矩阵的性质
(
(m )
)
, i , j∈ E
1 pij
0
(0)
1, i = j = 0, i ≠ j
5.1 Markov链的基本概念 链的基本概念
2 Chapman - Kolmogorov 方程
3 P ( AB X n = i ) = P ( A X n = i )P (B X n = i )
链在已知“ 注：Markov链在已知“现在”的条件下，“将来” 链在已知 现在”的条件下， 将来” 过去”是条件独立的. 和“过去”是条件独立的
4 P ( X n + m = j X 0 = i0 , L , X n −1 = in −1 , X n = i )
明 n X , 证 :设 ≥ 1, ξn+1与 0, X1,L Xn相 独 互 立
QP( Xn+1 = j X0 = i0,L Xn−1 = in−1, Xn = i) ,
, = P( f ( Xn,ξn+1) = j X0 = i0,L Xn−1 = in−1, Xn = i)
, = P( f (i,ξn+1 ) = j X0 = i0,L Xn−1 = in−1, Xn = i)
]
5.1 Markov链的基本概念 链的基本概念
三、时齐Markov链 时齐 链
无关， 的一步转移概率 . 如果 pij (n ) ≡ pij，而与 n 无关， 则称 {X n , n ≥ 0}为齐次 Markov 链 .
记 P = pij
P ∀ i , j ∈ E ， ( X n + 1 = j X n = i ) = pij (n )为 n 时刻
L M L M
p0 j M pij M
L M L M
4 0 P是一个随机矩阵 .
5.1 Markov链的基本概念 链的基本概念
五、m步转移矩阵 步转移矩阵
pij
(m )
= P (X n+ m = j X n = i ) = P (X m = j X 0 = i )
表示当前时刻过程在状 态 i , 经过 m 步后过程 到了状态 j的概率 .
O q P=
p 0 q
p O O 0 O 0 p q O
5.1 Markov链的基本概念 链的基本概念
无限制随机游走） 例5-2 （无限制随机游走）
X 0 = 0，以概率 p右移一个单位，以 q左移 右移一个单位，
{X n = 时刻 n所在的位置 }为一马氏链 .
, ∴P( Xn+1 = j X0 = i0,L Xn−1 = in−1, Xn = i) = P( Xn+1 = j Xn = i)
又 P( Xn+1 = j Xn = i) = P( f (i,ξn+1 ) = j) Q
= P( f (i,ξn+1 ) = j)
于 齐 ， 步 移率 由 时 性 一 转概 为 ∴pij = P( f (i,ξ1 ) = j)
= P ( X n + 1 = j X n = i ).
P (X n + 1 = j X 0 = i0 , L , X n −1 = i n −1 , X n = i )
则称 {X n , n ≥ 0}为 Markov 链 .
5.1 Markov链的基本概念 链的基本概念
二、马氏性及等价定义
之前的事件并集， 若A为时刻 n之前的事件并集，即
0
pij
(m+n)
= ∑ k∈ E pik
(m) ik
(m )
pkj
(n)
或 P (m + n) = P (m ) × P (n)
明 k 证 : ∑ ∈E p
= ∑ P( Xm = k X0 = i)P( Xm+n = j Xm = k) k
= ∑ P( Xm+n = j, Xm = k X0 = i) k
0
5.1 Markov链的基本概念 链的基本概念
= P ( X n + m = j X n = i ), ∀ m ≥ 1, ∀ n ≥ 0