4 随机过程 连续时间的马尔可夫链

p01 t 0 1 e t
p11 t

0

e t 0
p10 t 0 1 e t
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
(t
)
=
-
(l
+
m)
p 00
(t
)
+
m
( ) p 01
(t
)
=
1-
p 00
(t
)
( ) ( ) ( ) e(l + m)t 轾 犏 臌p0¢0 t + l + m p00 t = me(l + m)t
d
dt
e t p00
t
e t
e t
p00 t
29
由柯尔莫哥洛夫向前方程的矩阵形式可得
例题（理发店问题）：一个理发店有一位理 发师，两个等待座位，顾客的到达率为每 小时5个，理发师一小时可给两个人理发。 假定顾客到达为泊松分布，理发师的服务 时间为指数分布，用X(t)表示理发店内的顾 客数，则X(t)为生灭过程。
第五章 连续时间的 马尔可夫链
内容
连续时间的马尔可夫链 柯尔莫哥洛夫微分方程
5.1 连续时间的马尔可夫链
一、定义和一般性质
为方便计，以下设参数集T 0,，状态空间
I 0,1,2, 定义：随机过程X t,t 0状态空间I 0,1,2,
若对任意0 t1 t2 tn1及非负整数 i1,i2 ,,in1 I有：
n+1
n
n+1 n
{ ( ) ( ) ( ) } ( ) ( ) \ P X t n +1 = in +1 / X t1 = i1, L , X t n = in = P {X t n +1 = in +1 / X t n = in }
即具有马尔可夫性
证：齐次性，当j i时，由泊松过程定义
PX s t j / X s i
当i 1,2,, N时，qii (N 1)，求pij t 。
解：由前进方程：
dpij t
dt

N

r 1
pir t qrj

N
1pij t

r j
pir t
rI
又 pir t 1 pir t 1 pij t
其状态空间为I {0,1, 2, }，i为出生率，i为死亡率。
若i =i，i i，称{X (t),t 0}为线性生灭过程。
若i =0，称{X (t),t 0}为纯生过程。
若i =0，称{X (t),t 0}为纯灭过程。
27
例题（M/M/s排队系统）：顾客到达为参数为λ的泊松过程，系统内有s个 服务台，每个顾客的服务时间为的指数分布且与顾客到达时间相互独立。 用X(t)表示系统t时刻的顾客数，则X(t)为生灭过程
定理：设连续参数齐次马氏链满足正则性条件，则：
1pii (t) 0，t 0； 2若有t0使pij (t0 ) 0，则对一切t t0均有pij (t) 0；
3pij (t)是0,上的一致连续函数。
二.Q矩阵 对连续参数马氏链而言，担当一步转移概率
角色的是转移强度，它是用转移概率函数在0点 的导数来定义的。
n+1
n+1
1
1
n
n
( ) ( ) ( ) ( ) ( ) ( ) = P {X tn+1 - X tn = in+1 - in | X t1 - X 0 = i1,L , X tn - X tn- 1 = in - in- 1}
{ } ( ) ( ) = P X t - X t = i - i
n+1
1
1 N
，pii
t


1

1 eNt N

1 N
而当i
j时c


1 N
，pij
t


1 1 eNt
N
四.状态分类与平稳分布 1.状态关系
可达：i j，t 0，使pij t 0；若对一切 t 0，pij t 0，则称i不可达j，i j。

pij
t q
jj
称为前进方程
或
dPt
dt

QPt
Pt Q

Pt
eQt



j0
Qt j
j!
在实际应用中，当固定最后所处状态j，研究pij t 时i 0,1,, N ，采用向后方程较方便，解出prj t， r I；当固定状态i，研究pij t时， j 0,1,2,, N 则采用向前方程较方便，解出pir t,r I。
称Q为保守矩阵，对应的马尔可夫过程为保守的。
三.前进方程与后退方程
定理：设X t,t 0，I 1,2,, N为连续参数
有限马氏链。
则
dpij t dt

k i
qik
pkj t
qii
pij
t
称为后退方程
dpij t dt

k
j
pik
t qkj
j 1
k j
jI
的唯一非负解，此时称{j >0，jI }是该
过程的平稳分布，并且有
lim
t
pj
(t)


j
(2)若它是零常返的或非常返的，则
lim
t
pij (t)

lim
t
pj (t)

0,
i, j I
定理：不可约链是正常返的充要条件是它存在 平稳分布，且此时平稳分布就等于极限分布。
p 01
p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
ìïïíïïïî
p01 p10
(h (h
) )
= =
lh mh
+ +
0 (h ) 0 (h )
q = lim p01 (h ) = l
h 01
h0
Q = 骣çççç桫-ml
q = lim p10 (h ) = m
h 10
记：p (t ) = ij
P
{X (t ) =
j
| X (0) =
i }为转移概率.
( ) ( P (t ) = p (t ) ，i, j 纬I , t ij
0)为转移矩阵。
å (1) pij (t ) ? 0, pij (t ) 1
jÎ I
(2)
CK
方程：p ij
(t
+
s)=
å
p ik
(t
)p kj
在每个状态的停留时间Baidu Nhomakorabea指数分布 ，参数可能不同。
5.2柯尔莫哥洛夫微分方程
一.连续性条件(正则性条件)
规定lim t 0
pij t ij

1 0
i j i j
或lim Pt I t 0
称此为连续性条件(正则性条件)
说明：过程刚进入某状态不可能立即又 跳跃到另一状态，这正好说明一个物理系统要 在有限时间内发生无限多次跳跃，从而消耗无 穷多的能量这是不可能的，亦即经过很短时间 系统的状态几乎是不变的。
28
例题（机器维修问题2）设有m台机床，s个维修工，s m，机床或是工作， 或是损坏等待修理。机床损坏后，空着的维修工立即修理，若维修工不空， 则机床按先坏先修队列排队等待修理。假定每台机床从工作到损坏的时间 服从参数为λ的指数分布；每台修理的机床修理好的时间为参数为μ的指数 分布。用X(t)表示时刻t损坏的机床台数，则{X(t)，t 0}是状态空间 E={0,1,2， m}的时间连续的生灭过程。
h0
l -
m÷÷÷÷÷
由柯尔莫哥洛夫前进方程：
P't PtQ

p00 t p10 t

p01t p11t



p00 p10
t t

p01 p11
t t



\
p¢ 00
(t
)
=
mp 01
(t
)
-
l
p 00
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约的，则有下列性质：
(1)若它是正常返的，则极限
且等于j >0，jI。这里j
lim
是t
pij (t)
存在
jqjj kqkj ,
{ } ( ) ( ) ( ) ( ) P X t n + 1 = in +1 | X t 1 = i1, X t 2 = i2, L , X t n = in { } ( ) ( ) = P X t n + 1 = in + 1 | X t n = in 则称 {X (t )，t ³ }0 为连续时间马尔可夫链，
n
n+1 n
另一方面
{ ( ) ( ) } ( ) ( ) ( ) ( ) P X t n +1 = in +1 / X t n = in = P {X t n +1 - X t n = in +1 - in / X t n - X 0 = in }
( ) ( ) = P {X t - X t = i - i }
i¹ j
若状态空间为I = {1, 2, L , N }，
记
( ) Q =
qij
= 骣 çççççççççççç桫-qqLqN21111
q 12
-q 22 L
qN 2
L L
L
称Q 为转移速率矩阵，简称Q 矩阵。
q 1N
q 2N
- qNN
÷÷÷÷÷÷÷÷÷÷÷÷÷
若Q qij 满足i I， qij qii ji

PX s t
X s
j

i

et
t j
ji
i!
当j i时由过程增量仅取非负整数，
故 pij s,t 0

pij
s, t

pij
t

et
t ji j i!,
0,
与s无关，所以是齐次的。
j i,t 0 ji
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
( ) p h
( ) 即 : 1 q = lim ij (= p ' (0))
ij
h® 0 h
ij
i? j
( ) 1 - p h
( )2 q = lim
ii (= - p ' (0))
ii
h® 0
h
ii
往往给出如下式子：
pij (h ) = l h + o (h )
(s
)
kÎ I
或P (s + t ) = P (s ) ?P (t )
证明与前面类似
{ } 例：试证明泊松过程 X (t )，t ³ 0 为连续时间马氏链。
证：
注意到泊松过程是独立增量过程，且X (0) = 0
对任意0 < t < t < L < t < t 有
12
n n+1
{ } ( ) ( ) ( ) P X t = i | X t = i ,L , X t = i
注：虽然前进方程和后退方程在形式上有所不同， 但两者的解都是同一的，费勒在1940年已证明。
例：考虑两个状态的连续时间马氏链，在转移 到状态1之前马氏链在状态0停留的时间是参数
为的指数变量，而在回到状态0之前，它停留 在状态1的时间是参数为的指数变量。显然该
马氏链是一个齐次马氏链。
ìïïíïïïî



e t

c
由
p00
t


1

c






p00 t










e t
若记
0





, 0





则
p00 t

0

e t 0
类似由前进方程 解得： 由对称性知：
p01t p00t p01t
rI
r j
rI

dpij t
dt

N
1 pij
t
1
pij
t

Npij t 1
pij t
ce Nt

1. N
i, j 1,2,, N
利用初始条件：pii 0 1，pij 0 0i j
当i

j时，c
生灭过程
设马氏链{X (t), t 0}具有转移概率
pii1(h) ih 0(h), i 0

pii
1
(h)

ih 0(h), i

0, 0

0

pii
(h)
1
(i

i
)h

0(h)
pij (h) 0(h), i j 2
称{X (t), t 0}为生灭过程。