随机过程 第四章 连续时间马尔科夫链

p j (t ) P{ X (t ) j}, p j p j (0) P{ X (0) j}, jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。 定理 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4.
j i
当vi=∞时，称状态i为瞬时状态； 当vi＝0时，称状态i为吸收状态。 一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态 转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态 必须是相互独立的随机变量。
4

11
定理 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程
pj (t ) p j (t )q jj
p (t)q
k k j
kj
定义 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得
pij (t1 ) 0, p ji (t2 ) 0
t
13
例题 考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的 时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是 参数为的指数分布，求该马尔可夫链的平稳分布。
例题：机器维修问题1
设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转 移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率 为p01(h)=λ h+o(h)；在h时间内，机器从有故障变为经修复后正常工作的 概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工 作的概率。
9
定理（ Kolmogorov向后方程） 假设
q
k i
ik
qii ，则对一切i,j及t≥0，有
(t ) pij
q
k i
ik
pkj (t ) qii pij (t )
定理（ Kolmogorov向前方程） 在适当的正则条件下，则对一切i,j及t≥0，有
(t ) pij
17
t 0
lim
pij (t ) t
qij , i j
推论：对有限齐次马氏过程，有 qii qij
j i
7
若连续时间齐次马尔可夫链是具有有限状态空间I={1,2, …,n}，则其转 移速率可构成以下形式的矩阵
q00 q Q 10 qn 0 q01 q0 n q11 q1n qn1 qnn
其状态空间为I {0,1, 2, }，i为出生率，i为死亡率。
若i =i，i i，称{X (t ), t 0}为线性生灭过程。
若i =0，称{X (t ), t 0}为纯生过程。
若i =0，称{X (t ), t 0}为纯灭过程。
15
例题（理发店问题）：一个理发店有两位理发师，两个等待座位，顾客的 到达率为每小时5个，理发师一小时可给两个人理发。假定顾客到达为泊 松分布，理发师的服务时间为指数分布，用X(t)表示理发店内的顾客数， 则X(t)为生灭过程。
第四章：连续时间的马尔可夫链
连续时间马尔可夫链定义 无穷小转移概率矩阵 Kolmogorov向前方程与向后方程 连续时间马尔可夫链的应用

1
定义： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意0≤t1<t2<… <tn＋1及i1,i2,…,in+1∈I，有
P{ X (t n 1 ) in 1 | X (t1 ) i1 , X (t 2 ) i2 ,, X (t n ) in } P{ X (t n 1 ) in 1 | X (t n ) in }
p
k j
ik (t )qkj
pij (t )q jj
利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t)
pii (0) 1 pij (0) 0; j i
10
Kolmogorov向后和向前方程所求得的解pij(t)是相同的
在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1, …），采 用向后方程较方便； 当固定状态i，研究pij(t)时（j=0,1, …），采用向前方程较方便； Kolmogorov向后和向前方程的矩阵表达形式为 P (t ) Q P(t) P (t ) P (t )Q 连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解 问题，其转移概率由其转移速率矩阵Q决定。 若Q是一个有限维矩阵，则上述矩阵方程的解为 (Qt) j Qt P(t ) e j! j 0
(t 2 t1 ) pin1in (t n t n1 )
6
无穷小转移概率矩阵
引理 设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I， pij(t)是t的一致连续函数。 定理 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在： 1. 2.
1 pii (t ) vi qii t 0 t lim
14
生灭过程
设马氏链{ X (t ), t 0}具有转移概率 pii 1 (h) i h 0( h), i 0 p (h) h 0(h), 0, 0 i i 0 ii 1 p (h) 1 ( ) h 0( h) i i ii pij (h) 0(h), i j 2 称{ X (t ), t 0}为生灭过程。
例题（M/M/1排队系统）：顾客到达为参数为λ的泊松过程，系统内只有一 个服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独 立。用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程，求 1）求平稳分布； 2）系统的平均队长； 3）平均等待的顾客数；
16
例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作， 或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空， 则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间 服从参数为λ的指数分布；每台修理的机床修理好的时间为参数为μ的指数 分布。用X(t)表示时刻t损坏的机床台数，则{X(t)，t 0}是状态空间 E={0,1,2， m}的时间连续的生灭过程。
p j (t ) 0
p
jI
j
(t ) 1
i ij
p j (t ) pj
p p (t ) (t ) p (t ) p
iI i iI
ij (
)
5.
P{X (t1 ) i1 ,, X (t n ) i1 (t1 ) pi1i2
则称{X(t),t≥0}为连续时间马尔可夫链。 上式中条件概率的一般表现形式为 定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐 次的转移概率，此时转移概率简记为 其转移概率矩阵简记为 P(t ) ( pij (t ))
2
在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离 开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？
j
的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有
j q jj k q kj k j j 1 jI


lim pij (t ) lim p j ( t ) j
t t
2. 若它是零常返的或非常返的，则
t
lim pij (t ) lim p j (t ) 0, i, j I
定理： 齐次马尔可夫过程的转移概率具有下列性质：
1、pij (t ) 0
2、 pij (t ) 1
jI
3、pij (t s) pik (t ) pkj (s)
kI
正则性条件
1, i j lim pij (t ) t 0 0, i j
5
定义
对于任一t≥0，记
Q矩阵的每一行元素之和为0，对角线元素为负或0，其余qij≥0
8
例题：证明泊松过程为连续时间齐次马尔可夫链，并求其pij、qij 。 例题：一个城市划分成两个区域A和B，各区被指定一辆消防车1和2负责。 当接到报警电话时，不论其来自A区还是B区，只要有一辆消防车空闲就 会被服务；当两辆车都忙时，呼叫被拒绝。假设两区的报警电话都是泊松 分布（参数为λ j ，j=A，B ），两辆车服务于不同区的时间为独立的指数 分布（参数为μ ij ，i=1，2 ，j=A，B ），则两辆消防车的状态为连续时间 齐次马尔可夫链。
状态i持续时间τ 状态i
i
0
s
s+t
时间轴
P{ i s t | i s} P{ i t}
3
一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：
1、在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 2、当过程离开状态i时，接着以概率pij进入状态j， pij 1
则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链 为不可约的。
12
转移概率pij(t)在t→∞时的性质及其平稳分布关系
定理 设连续时间的马尔可夫链是不可约的，则有下列性质： 1. 若它是正常返的，则极限 lim pij (t ) 存在且等于π ＞0，j∈I。这里π 是
方程组
t
j