5.2014时间连续马尔科夫链

lim pij (t ) j
t
存在且与i 无关，
其中 j （j =1,2,…,N）是方程组
j i pij (t )
i 1
N

j 0
N
j
1
的唯一解。
j （j =1,2,…,N）叫平稳分布
例 1
考虑一个电话总机接到的呼唤流，以X (t ) 表示 这个总机在[0，t]中接到的呼唤次数，由于呼唤 流在不相交的时间区间中接到的呼唤次数是相 互独立的，且 X (t )服从泊松分布，所以 X (t )是 一个时间连续状态离散的马氏过程，而且是齐 次的。写出它的转移概率。 其状态空间I={1，2，…}
假定X (t ), t 0具有转移概率矩阵 7 7e t 8 7 et 8 1 9 又初始分布为：p0 , p1 10 10 (1)计算概率P{ X (0.2) 0}; P{ X (0.2) 0 X (0) 0}; (2）P{ X (0.1) 0, X (0.6) 1, X (1.1) 1 X (0) 0}; (3）P{ X (1.1) 0, X (0.6) 1, X (0.1) 0}； (4)计算t时刻的绝对分布；计算P(t )及Q矩阵 1 7e t 8 P(t ) 1 et 8
转移概率
j 时 pij (t ) 正是在 t 这段时间内发生 j i 次呼唤的概率
当呼唤次数 i
(t ) j i t e i j pij (t ) ( j i)! 0 i j
注 泊松过程为连续时间齐次马氏链
第二节、柯尔莫哥洛夫微分方程
1．随机连续
设{ X (t ) ,t 0 }是时间连续的齐次马氏链，
k
上两式分别称为可尔莫哥洛夫向前方程和向后方程
其矩阵形式
P(t ) P(t )Q
P(t ) QP(t )
首页
（向前方程）
(t ) pik (t )qkj pij
k
注1
对时间连续齐次有限马氏链，向前方 程和向后方程均成立，且有
P(t ) P(t )Q QP(t )
据题意 有初始条件
p00 (0) p11 (0) 1
p01 (0) p10 (0) 0
解上列微分方程，可得满足此初始条件的解。 例如求
由 p01 (t ) 1 p00 (t ) 得
(t ) p01 (t ) p00 (t ) p00
首页
(t ) ( ) p00 (t ) p00



e ( ) t
首页
第三节、 生灭过程（了解） 设有同一类型的个体组成的一群体， 模型 含义 其每一个体在任意时间 t 内，
繁殖一个新个体的概率是i t (t ) （i 0 ） ，
繁殖两个以上个体的概率是 (t ) ；
并设每一个体在此时间内也会死亡，且寿命服从参 数为 i 0 的指数分布。
注3
当| t | 较小时
pii (t ) 1 lim qii t 0 t
t 0
等价
pii (t ) 1 qii t + (t )
lim
pij (t ) t
qij
等价
pij (t ) qij t + (t )
它表明系统从状态i出发，是继续留在状态i，还是跳跃 到状态j，在不计一个高阶无穷小时，决定于 qii 与 ij
得
p00 (0) 1
p00 (t )
C 1



故



e ( ) t
首页
类似地可解得
p10 (t ) (1 e ( )t )
p11 (t )
p01 (t )

(1 e ( )t )
若令 X (t ) 表示群体在 t 时刻的个体数，
则随机过程{X (t ) ,t 0 }是时间连续的齐次马氏链。
生灭过程是一类特殊的连续马氏链，它有许多 重要的应用。
生灭过程定 义
设{ X (t ) , t 0 }是状态空间为 I 的时间连续的齐次马氏链，
若对任意 0 ， i I ，有
h 0
lim P{| X (t h) X (t ) | | X (0) i} 0
则称{ X (t ) }是随机连续的。
引理1
时间连续的齐次马氏链{ X (t ), t 0}是随机连续 的充要条件为：对任意的 i，j I ，有
j q jj k qkj k j j 1 jI
有唯一解，称
{ j , j I }
为平稳分布。
例5.3 两状态链
设{ X (t ) , t 0 } 状态空间I={0,1}时间连续马氏链 且规定在
t 时间内，由状态0转到1的概率为
t
p01 (t ) 1 e
切普曼——柯尔莫哥洛夫方程
正则性条件：
1, j i lim pij (t ) t 0 0, i j
定义 性质2
绝对概率分布： p j (t ) P{ X (t ) j}, j I 初始概率分布： p j =p j (0) P{ X (0) j}, j I
iI
P{X (t1 ) i1 ， X (t2 ) i2 ，…， X (t n ) in }
pin1in (tn tn1 )
性质3 （遍历性定理） 设{ X (t ) , t 0 }是状态空间I={1，2,…,N}的时间连续 马尔 的齐次马氏链， 若存在t 0 0 可夫 定理 使对于一切 i, j I 都有 pij (t 0 ) 0 ， 则
如何求P(t )
但 在实际问题中往往是很困难。
Q P(0)
所以实际问题中先得到 注2
(qij，再算 ) P(t )
费勒已经证明了向后方程与向前方程有同一解 pij (t ) 但具体应用哪一个方程组求解，要看具体问题而定。
Βιβλιοθήκη Baidu
定理5.7
lim pij (t ) j 存在，且
t
连续马氏链是不可约、正常返的，则
课程名称：
随机过程
教学内容： 第五章 马尔可夫过程
第1节 时间连续的马尔可夫链
第2节 柯尔莫哥洛夫微分方程
第3节 生灭过程
第1节 时间连续的马尔可夫链
讨论对时间连续状态离散的马尔可夫过程，取 时间参数 t 0 ，状态空间I={0,1,2,…}
1、定义 时间连 设随机过程{ X (t ) ， t 0 }的状态空间为 I， I={ 续的马 尔可夫 对任意 0 t1 t2 } tn tn1 ， i1 , i2 , , in , in1 I ， 链 P{X （tn1 ) in1 | X （t1 ) i1, X （t2 ) i2 , , X （tn1) in1, X （tn ) in}
对任意 i I ，有 pii (t ) 0 （ t 0 ）
若有t0 0 ，使 pij (t0 ) 0 ，则 pij (t ) 0
时间连续的齐次马氏链 pij (t ) 对任意 i，j I ， i j ，则
pij (t ) p i j ( 0 ) lim q p ( ； 0 )(q 0) ij ij ij t 0 t pii (t ) pii (0) (0) ， v q p 有 lim （ qii 0, ）. i ii ii t 0 t
随机连续 直观意义
1， i j lim pij (t ) pij (0) ij t 0 0 , i j
当系统经过很短时间，其状态几乎不变。
2．转移概率的性质
定理 5.2
性质1 性质2 定理5.3
成立
满足正则条件的时间连续的齐次马氏链，其
pij (t ) 是 t 的一致连续函数。证明见书(88 页)
P{X (tn1 ) i 1 | X (tn ) i}
称为时间连续的马尔可夫链
转移 概率
pij (s, t s) P{X (t s) j | X (s) i}
齐次马氏链
转移概率函数矩阵
转移概率函数仅由t决定而与s无关
pij (s, t s) pij (t ) P(t ) ( pij (t ))
称
qij
为马氏过程的速率函数。
注1
（1）对任意 i I ，

j
qij 0
qii 0
qij 0，（i j)
（2）对时间连续的齐次有限马氏链， i I ，有 定义3

i j
qij qii
q 01 L q 0N q 00 q q L q 10 11 1N 把矩阵Q= 叫 L L L L q NN q N0 q N1 L 马氏过程的速率矩阵。简称Q矩阵。
类似地 于是相应的可尔莫哥洛夫前进方程是 即
P(t ) P(t )Q
首页
(t ) p00 (t ) p01 (t ) p00 (t ) p00 (t ) p01 (t ) p01 (t ) p10 (t ) p11 (t ) p10 (t ) p01 (t ) p11 (t ) p11
2．性质
设{ X (t ) ， t 0 }是状态空间为 I 时间连续的齐次马氏链
性质 （定理5.1）
pij (t ) 对 i，j I 和 t 0 ， 0 ，满足
（2）
（1） pij (t ) 0

jI
pij (t ) 1
kI
（3）
pi j(t ) p i kt (p ) k j( )
p10 (t ) 1 e
t (t )
t (t )
而由状态1转到0的概率为
t
。 试求时间t时的转移概率 pij (t ) （i, j 0,1 ）
首页
解
e 1 p00 (t ) 1 q00 lim lim t 0 t 0 t t
(1) p j (t ) pi pij (t ) (2) p j (t+ )= pi (t ) pij ( )
iI iI
（3）对任意 0 t1 t2
tn ， i1 , i2 ,
, in I ，有
pi pii1 (t1 ) pi1i2 (t2 t1 )
因此 或 于是 由
(t ) ( ) p00 (t )] e( )t e( )t [ p00
d ( )t [e p00 (t )] e ( ) t dt ( )t e p00 ( t ) e ( )t C
注2
但考虑到密度矩阵 Q (qij ) ，是由 P(t ) ( pij ) 在 t 0 的导数组成，
即
Q P(0)
qij ( pij (t ))
5 Q
' t 0
例2 填写速率矩阵Q的空白元素
6
3 6 0
例3 某一部电话在t时刻被使用时取 X (t ) 1, 否则置X (t ) 0,
q
跳跃强度
qii 与
qij 称为跳跃强度（速率函数）
3、柯尔莫哥洛夫定理 定理5.4（5) 满足正则条件的时间连续的齐次马氏链的转移概率:
pij (t )
对任意 i，j I 和 t 0 ，
（向前方程） （向后方程）
k
有
(t ) pik (t )qkj pij
(t ) qik pkj (t ) pij
t
t (t ) lim t 0 t p01 ( t ) t ( t ) q01 lim lim t 0 t 0 t t
q11 q10 所以速率矩阵 Q