应用随机过程

定义5.1：设随机过程{ X (t), t T }, 其中T {0,1,2, } （或{ Xnn 0,1, }，或X (n)), 状态空间S {0,1,2 }
若对任意一时刻n, 以及任意状态i0 , i1, , in1, in , j 有 P( Xn1 j | X0 i0 , X1 i1, , Xn1 in1, Xn in )
要从上述问题中寻找一个Markov链。
令X n为第n天结束时的存货量(设X n可取负值 ), 则
X n1
Xn
(S
X n Yn1, Xn ) Yn1
S
Yn1
若x s 若x s
因此{ Xn,n 1}是Markov链,是写出它的转移概率. 解： (1) 当Xn i s时，
Pij P( Xn1 j | Xn i) P( S Yn1 j) P(Yn1 S j) as j
pi i1 q 1 p (1 i n 1)
pi j 0
( j i 1,i 1;1 i n 1)
p00 1
pnn 1
p0 j 0 ( j 0)
pn j 0 ( j n)
它的一步转移概率矩阵为：
1 0 0 0 0 0 0 0 0 ຫໍສະໝຸດ q 0 p 0 0 0 0 0 0
P
注：有定义5.1知 P( X 0 i0 , X1 i1, , X n in )
P( X n in | X 0 i0 , X1 i1, , X n1 in1)
P( X0 i0 , X1 i1, , Xn1 in1) P( Xn in | Xn1 in1)
P( Xn1 in1 | X0 i0, , Xn2 in2) P( X0 i0 , , X n2 in2 )
(2) 当Xn i s时，
Pij P( Xn1 j | Xn i) P( Xn Yn1 j | Xn i) P(Yn1 i j) ai j
4. n步转移概率 C-K方程 定义5.5（n步转移概率） 称 Pi(jn) P{ Xmn j | Xm i} i, j S, m 0, n 1
对一切 m, n 0， i, j S 有
（1）
p ( m n ) ij
p p (m) (n) ik kj
kS
（2） P(n) P P(n1) P P P(n2) P n
例5.6：
考察掷硬币的例子。硬币的正面反面分别记为U和D， 于是状态空间为S {U , D}，为了书写方便，令U 1， D 2，假定硬币初始时为正面，我们一共投掷了50次， 在每一次投掷时，硬币以概率20%翻转，求一步转移 概率矩阵，并求一开始是正面，投掷4次以后还是正面 的概率。
转移概率矩阵
p00 p01 p02
P
Pij
p10
p20
p11 p21
p12
p22
简称为转移矩阵。
转移矩阵的性质：
(1) Pij 0,i, j S
(2) Pij 1, i S
j
定义5.4： 称矩阵A (aij )SS 为随机矩阵， 若aij 0(i, j S) 且 i S, aij 1.
为Markov链的n步转移概率。 即：Pi(j n)指的是系统从状态i经过n步转移到状态j的 概率, 它对中间的(n 1)步转移经过的状态无要求。
称 P(n) (Pi(jn) ) — —n步转移矩阵
当n 1时， Pi(j1) Pij， P(1) P
规定
Pi(j 0)
0 1
i j i j
Pi(j n)与Pij 的关系如下： 定理5.1: (Chapman-Kolmogorov方程，简称C-K方程)
P( Xn1 j | Xn in ) 则称{ Xnn 0}为一Markov链（或马氏链）.
2 . 转移概率 定义5.2：称定义5.1中的条件概率 P( Xn1 j | Xn in ) pij (n) 为Markov链{ Xnn 0,1, } 的一步转移概率，简称为转移概率. 定义5.3：当P( Xn1 j | Xn in )只与i, j有关，而与n 无关时，即 P( Xn1 j | Xn in ) pij (n) pij 称Markov链为齐次的(时齐的). 否则，称为非齐次的(非时齐的)。
j
显然 P Pij 是一随机矩阵。
3 . Markov链的例子 例5.1：
例5.2：带有两个吸收壁的随机游动：
此时{X (n), n 0,1,2 }是一齐次马氏链,状态空间为
S {0,1,2, , n}, 0, n 为两个吸收状态,它的一步转移
概率为：
pi i1 p
(1 i n 1)
0
q
0
p
0
00
0
0
0
0
0
0
0
0q
0
p
0 0
0
0
0
0
0
0
1
(
n 1)( n
1)
例5.3：
例5.4：
例5.5：
考虑订货问题。设某商店使用(s, S )订货策略，
每天早上检查某商品的剩余量，设为x , 则订购
额为：
0,
S
x,
若x s 若x s
设订货和进货不需要时间，每天的需求量Yn独 立同分布且P{Yn j} a j , j 0,1,2 ,现在我们
第5章 Markov链
5.1 基本概念 1 . Markov链的定义 引入：Markov性（无后效性）
即：要确定将来的状态,知道它此刻的情况就足够了， 与它以往的过程无关。即：过程"将来"的情况与"过
去"的情况无关。 直观意义：在已知"现在"的条件下，"将来"与"过去" 无关的性质。就是直观意义下的Markov性或无后效性。 具有无后效 性的随机过程称，为Markov过程。
P( Xn in | Xn1 in1) P( Xn1 in1 | Xn2 in2 ) P( X1 i1 | X0 i0 )P( X0 i0 )
Pi0 Pi1i2 Pin1in
可见,一旦Markov链的初始分布P( X0 i0）给定,其统计 特性完全由条件概率P( Xn1 j | Xn in ) pij来决定,如 何确定这个条件概率,是Markov链理论和应用中的重要 问题之一。