Markov过程

称为n步转移矩阵 规定
1，当i j P0 ( p ) 0，当i j
(0) ij
P{X (n 1) j | X (n) i, X (n 1) in1 , , X (1) i1 , X (0) i0 }
P{X (n 1) j | X (n) i}
则称{ X (t ) ,t T }为一个马尔可夫链（或马氏链）
简记为{ X n ,n 0 }
15/32
故
r r ua c 1 r
a
c
q a q c ( ) ( ) p p
当
q c 1 ( ) p
r 1
u0 uc 1 cd0
c j uj c
而 因此 故
u j (c j ) d 0
ca b ua c c
3/32
注:
马氏链由 P{ X 0 i0 } 和条件概率 P{X n in | X n1 in1} 决定
有限马氏链 状态空间是有限集I={0,1,2,…，k}
2．一步转移概率 马氏链在时刻n处于状态 i 的条件下，到时刻n+1转 移到状态 j 的条件概率， 即
P{ X n1 j | X n i}
且 t1 t 2 t n 1 t n ，有
P( X (t n ) xn | X (t n1 ) xn1 ，„，X (t1 ) x1 )
= P( X (t n ) xn | X (t n1 ) xn1 ） ，
则称 X (t ) 为马尔可夫（Markov）过程
P{ X n in , X s is | X r ir }
= P{ X n in | X r ir } P{ X s is | X r ir }
表明 若已知现在，则过去与未来是独立的。
20/32
性质4
设{ X n , n 0 }为马氏链，其状态空间为 I，
则
P{X n1 in1 ,, X nm inm | X n in ,, X 0 i0 }
= P{ X n1 in1 ,, X n m in m | X n in }
表明 特别
若已知现在，则过去同时对将来各时刻的状 态都不产生影响。
P{ X n m in m | X n in ,, X 0 i0 }
= P{ X n m inm | X n in }
16/32
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q a q c ( ) ( ) p p q c 1 ( ) p
用同样的方法可以求得乙先输光的概率
b 当 r 1 即 p q 时， 甲先输光的概率为 c
状态空间I={0，1，2，…，k}
p00 (n) p ( n) P 10 1 pk 0 ( n )
p01 (n) p11 (n) pk 1 ( n )

p0 k (n) p1k (n) pkk (n)
6/32
4．齐次马氏链
如果马氏链的一步转移概率 pij (n) 与 n 无关，即
称为在时刻n的一步转移概率， 记作 pij (n)
4/32
注:
由于概率是非负的，且过程从一状态出发，经过一步转 移后，必到达状态空间中的某个状态 一步转移概率满足
（1） pij (n) 0 , i, j I
随机 矩阵Βιβλιοθήκη （2）jI
pij (n) 1 , i I
如果固定时刻 n T
称为n步转移概率
i. j I
由于马氏链是齐次的，这个概率与m无关
所以简记为 pij
(n )
23/32
显然有
( ( pijn) 0 ， pijn ) 1 ，i. j I
jI
2．n步转移矩阵
由所有 n 步转移概率 pij
(n )
为元素组成的矩阵
Pn ( p )
(n ) ij
i. j I
P{ X n 1 j | X n i} pij
则称此马氏链为齐次马氏链（即关于时间为齐次） 5．初始分布 设 p0 (i) P{ X 0 i} ，i I ，
如果对一切i I 都有
p0 (i) 0

iI
p0 (i) 1
7/32
称 p0 (i) 为马氏链的初始分布
表明 马氏链的子链也是马氏链
22/32
三、n步转移矩阵 在马氏链的研究中，须研究“从已知状态i出发， 经过n次转移后，系统将处于状态j”的概率. 1．n步转移概率
设{ X n , n 0 }为齐次马氏链，其状态空间为 I，
系统在时刻m从状态i经过n步转移后处于状态j的概率
P{ X m n j | X m i}
1
2
3
4
5
p11 p 21 P p31 1 p41 p51
0 1 3 P 0 1 0 0
p12 p22 p32 p42 p52
1 1 3 1 3 0 0
p13 p23 p33 p43 p53
0 1 3 1 3 1 3 0
p14 p24 p34 p44 p54
21/32
性质5
则
设{ X n , n 0 }为马氏链，其状态空间为 I，
对任意给定的 n 个整数，0 k1 k 2 k n ，有
P{ X kn ikn | X kn1 ikn1 ,, X k1 ik1 }
= P{ X kn ikn | X kn 1 ikn 1 }
第五章
Markov过程
第一节 基本概念 第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布
第四节 Markov链的应用
第五节 连续时间Markov链 第六节 转移概率和柯尔莫哥洛夫微分方程
1/32
设{ X (t ) ， t T }对任意 n 个不同的 t1 , t 2 ,„, t n T
设
q r p
d j u j u j 1
则可得到两个相邻差分间的递推关系
d j rd j 1
于是
d j rd j 1 r d j 2 r d 0
2 j
需讨论 r
14/32
当
r 1 c 1 1 u0 uc (u j u j 1 )


3．一步转移矩阵
则由一步转移概率为元素构成的矩阵 P1 ：
称为在时刻n的一步转移矩阵
5/32
即有
p00 (n) p ( n) 10 P 1 pn 0 ( n )
p01 (n) p11 (n) pn1 (n)

有限马氏链
j 0
c 1
d j r d0
j
i j c 1
j 0 c 1
而
u j u j uc

c 1
j 0
1 r d0 1 r
c
(ui ui 1 )
c 1 i
di r d0 i j i j j c r r j c j 1 d0 r (1 r r )d 0 1 r j c 两式相比 r r uj 1 rc
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
13/32
欲求 于是
ua
uj （p + q） u j pu j 1 qu j 1
先求
q u j u j 1 ( )(u j 1 u j ) p
12/32
解
设0 j c
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j 1 的假设下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
同理
以概率 q 移到 j 1 的前提下，
u 到达 0 状态先于到达 c 状态的概率为 j 1
注
马氏链在初始时刻有可能处于I中任意状态，初始分布 就是马氏链在初始时刻的概率分布。
6．绝对分布 概率分布
n pn (i) P{ X n i} ，i I ， 0
称为马氏链的绝对分布或称绝对概率 例1 天气预报问题
8/32
例2 不可越壁的随机游动
设一质点在线段[1，5 ]上随机游动，状态空间I={1，2，3， 4，5}，每秒钟发生一次随机游动，移动的规则是：
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c q c 1 ( ) p
17/32
||
二、基本性质 性质1
设{ X n , n 0 }为马氏链，其状态空间为 I，则
P{ X 0 i, X 1 i1 ,, X n in } = P{X 0 i} P{ X 1 i1 | X 0 i} P{ X 2 i2 | X 1 i1 } „ P{X n in | X n1 in1}
0 0 1 3 1 3 1
p15 p25 p35 p45 p55
0 0 0 1 3 0
故
10/32
若将移动规则改为 （1）若移动前在2，3，4处，则均以概率1/2向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。 因为质点在1，5两点被“吸收”， 故称 有两个吸收壁的随机游动 其一步转 移矩阵为
1 1 2 P 0 1 0 0 0 0 1 2 0 0 0 1 2 0 1 2 0 0 0 1 2 0 0 0 0 0 1 2 1
11/32
例3 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲 获胜的概率为p，乙获胜的概率为 q=1-p，求甲先 输光的概率。 分 析 这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1， 2，…，c}，c = a + b，。现在的问题是求质点从a出 u 发到达0状态先于到达c状态的概率 。a
P{X n in | X n1 in1 ,, X nm inm }
P{ X n in | X n1 in1}
一个马氏链，如果按相反方向的时间排列， 所成的序列也是一个马氏链。
表明
19/32
性质3 设{ X n , n 0 }为马氏链，其状态空间为 I，
若 0 s r n ，则在 X r ir 的条件下，有
简称马氏过程。 已知“现在”的条件 下，“过去”与“将 来”是独立的。 2/32
马氏性 （无后效性）
第一节 基本概念
一、Markov链的定义 1．Markov链
设随机过程{ X (t ) ,t T }，
其中时间 T={0,1,„}，状态空间 I={0,1,2,„}，
若对任一时刻 n，以及任意状态 i0 , i1 ,, in 1 , i, j ，有
（1）若移动前在2，3，4处，则均以概率1/3向左 或向右移动一单位，或停留在原处； （2）若移动前在1处，则以概率1移到2处； （3）若移动前在5处，则以概率1移到4处。
用 X n 表示在时刻 n 质点的位置，
则{ X n ，n 0 }是一个有限齐次马氏链，
试写出一步转移矩阵.
9/32
分 析
说明：
X 0 , X 1 , , X n
的联合分布可由初始分布及转 移概率所决定，即有
P{X 0 i, X 1 i1 ,, X n in } p0 (i ) pii1 pi1i 2 pin1i n
18/32
性质2 则
设{ X n , n 0 }为马氏链，其状态空间为 I，