连续时间马尔可夫链S

n
(5.3.1) f (s1,L , sn | n 1) n! f (si ),0 s1 s2 L sn t i 1
其中 f 是密度函数(5.3.2)
e(t x)
f
(x)
1
et
,0 x t
0,
其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得
第五章 连续时间马尔可夫链 一、连续时间马尔可夫链概念
定义：{X(t),t0}为取非负整数值的连续时间随机过程，如 果对一切 s，t0，0u s 及非负整数 i，j，x(u)有 P{X(t s) j | X(s) i, X(u) x(u),0 u s} P{X(t s} j | X(s) i} 则 过 程 {X(t),t0} 称 为 连 续 时 间 马 尔 可 夫 链 。 若 又 有 P{X(t s) j | X(s) i}与 s 无关则称连续时间马尔可夫链是平 稳的或齐次的。本章研究的马尔可夫链都是齐次的。
1 vi
i 1
1 i2
）。假设所考虑的全部马尔可
夫链是规则的。
对一切i j，qij定义为
qij vi Pij
因为vi是过程离开状态 i 的速率而 Pij 是它转移到 j 的概率，所以
qij是过程从状态 i 转移到状态 j 的速率；称qij 是从 i 到 j 的转移
率。显然vi qij ji
t E[X (s)]ds ( 因 为
0
X(s)
0)=
a0
t 0
e s ds
a0
et
1
P1 j (t ) et (1 et ) j1 , j 1
例 5.3(c) 一个简单的传染模型。考虑有 m 个个体的群体， 在时刻 0 由一个已感染的个体与 m-1 个未受到感染但能被感染 的个体组成。个体一旦受到感染将永远地处于此状态。任意一 个已感染的人将任一指定的未被感染者变成已感染者的时间为 参数为 的指数分布。若以 X(t)记时刻 t 群体中已受感染的个体 数，则{X(t),t0}是一纯生过程，
因此，可以这样设想马尔可夫过程，每当过程处于状态 i 时， 直 到 转 移 到 状 态 j 的 时 间 服 从 参 数 为 qij 的 指 数 分 布 ， j 0,1,L ,i 1,i 1,L 且这些时间互相独立，则在 i 逗留时间为 直到转移到各状态的时间中的最短的时间，服从参数为
vi qij 的指数分布。 ji
从上可见，从一个个体开始，在时刻 t 群体的总量有几何分 布，其均值为et 。因此如果群体从 i 个个体开始，在时刻 t 其总 量是 i 个独立同几何分布随机变量之和，有负二项分布，也即对 尤尔过程
Pij (t )
C
e i 1
j 1
ti
(1
et
) ji
,
j
i
1
i (i 1) (i 2) (n 1) n
et (1 et )n
e e 2e L ne e s1
2 ( s2 s1 )
( sn sn1 ) ( n1) ( t sn )
n
n! 1 e
et (1 et )n
i 1
( t si ) t
P1 j (t ) et (1 et ) j1 , j 1
因此，给定 X(t)=n+1 时 S1,S2,, Sn 的条件密度为
例：一个非规则的马尔可夫链的例子是
Pi,i1 1,vi i2 .i 1, 2,L ，则这个马尔可夫链总是从状态 i 到 i+1，停留在状态 i 的时间服从均值为1/ i2的指数分布，它将以
正的概率在任意长为 t，(t 0)的时间区间内作无限多次转移（因
为 Pi,i1
1, vi
i2,
i 1
0 s s+y s+t
i
连续时间马尔可夫链是一个具有如下性质的随机过程，每 当它进入状态 i：
(1)在转移到另一状态之前处于状态 i 的时间服从指数分布， 参数为 v i ；与下一个到达的状态独立。
(2)当过程离开状态 i 时，接着以某个概率记为 Pij 进入状态 j，
Pij 1 。（ 若 用 Xn 表 示 第 n 次 转 移 进 入 的 状 态 ， 则
n
E[ A(t) | X (t) n 1} a0 t E[ (t Y(i) )}
i 1
n
t
e(tx)
a0 t E[ (t Yi )} a0 t n
i 1
(t
0
x)
1 et
dx
e(t x)
f
(x)
1
et
,0 x t
0,
其它
或
E[ A(t)
|
X (t)}
a0
t
( X (t )
ji
{ Xn : n 0,1, 2,L }为马尔可夫链，称为嵌入马尔可夫链。）
vi 的状态 i 称为瞬时状态，因为一旦进入此状态立即就离 开。不研究瞬时状态,将始终假设对一切 i，0 vi 。如果vi 0， 则称状态 i 为吸收的，因为一旦进入这一状态就永不再离开了。
一个连续时间马尔可夫链称为规则的，若以概率 1 在任意有 限时间内的转移次数是有限的。
i
i+1
i+2
i+3
…
n
…
考虑一尤尔过程，在时刻 0 从一个个体开始，且以Ti (i 1) 记第 i-1 次与第 i 次生育之间的时间。即Ti是群体总量从 i 变到 i+1 所花的时间。从尤尔过程的定义得到Ti (i 1)是独立的，且Ti
是具有参数i 的指数变量。现在
2
(n 1) n
1
2
3…
n
i
i i
因此，可以这样设想生灭过程，每当系统中有 i 个个体时，
直到下一次出生的时间服从参数为i 的指数分布，且独立于直到 下一次死亡的时间，它服从参数为i 的指数分布，则在 i 逗留时
间为直到下一次出生的时间和直到下一次死亡的时间中的最短的
时间，服从参数为i i 的指数分布。
0
0
1
1 2
…2
证明： P{ i t s | i s} P{X(s y) i,0 y t | X(s) i, X(u) i,0 u s} P{X(s y) i,0 y t | X(s) i}
P{X( y) i,0 y t | X(0) i}
P{ i t}
i
ii i
i
P{S1= s1,S2= s2,, Sn= sn| X(t)=n+1} = P{T1 s1,T2 s2 s1,L ,Tn sn sn1,Tn1 t sn }
P{X (t) n 1}
e 2e L ne e s1
2 ( s2 s1 )
( sn sn1 ) ( n1) ( t sn )
…
P{T1 t } 1 et
P{T1 T2 t}
t 0
P{T1
T2
t
| T1
x}etdx
= t (1 e2(t x) )e xdx (1 et )2 0
t
P{T1 T2 T3 t} 0 P{T1 T2 T3 t | T1 T2 x}dFT1T2 ( x)
= t (1 e3(tx) )2e x (1 et )dx (1 et )3 0
连续时间马尔可夫链是具有马尔可夫性的随机过程，即已 知现在 s 时的状态 X(s)及一切过去时刻 u,0u<s 的状态 X(u)的 条件下在将来时刻 t+s 的状态 X(t+s)的条件分布只依赖现在的状 态 X(s)而与过去独立。
二、连续时间马尔可夫链的状态逗留时间和转移速率
命题 以i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t}，因此， 随机变量i 是无记忆的必有指数分布，其参数设为vi
2
(n 1) n
0
1
2
3
…
n
…
2 3
n (n 1)
若对一切 n，n 0 (即若死亡是不可能的)，则生灭过程称为纯
生过程，i 个个体开始的纯生过程，生长率为n , n i 。
i
i1
i2
n1
n
பைடு நூலகம்
i
i+1
i+2
i+3
…
n
…
最简单的纯生过程的例子是泊松过程，它具有常值出生率
n ,n 0。
一般地可用归纳法证明 P{T1 T2 L Tj t} (1 et ) j 因此，由 P{T1 T2 L Tj t} P{X (t) j 1 | X (0) 1}可见对 于一个尤尔过程， P1 j (t ) (1 et ) j1 (1 et ) j et (1 et ) j1, j 1
态 i-1 或 i+1，当状态增长 l 时，就说生了一个；而当它减少 1
时，就说死了一个。设i qi,i1，i qi,i1，值{i , i 0}与{i , i 1}
分 别 称 为 生 长 率 与 死 亡 率 。 因 为 qij vi ， 可 见 ji
vi
i
i , Pi,i1
i
i i
, Pi ,i1
长模型，产生于生物繁殖与群体增长的研究中。群体中的每个个
体以指数率 生育（生育间隔时间为参数 的指数分布）；此外，
群体由于从外界迁入的因素又以指数率 增加（迁入间隔时间为参
数 的指数分布）．因此在系统中有 n 个个体时，整个增长率是
n 。假定此群体的各个成员以指数率 死亡，从而死亡率
n n 。
1) 1
et tet (1 et )
，取期望且
由 X (t)有均值et 得 E[A(t)] a0
t
et
1 t
a0
et 1
上面 E[A(t)]的公式可用下面的恒等式加以验证：
(5.3.3)
A(t) a0
t X (s)ds，取期望得
0
E[A(t)] a0 E[
t
0 X (s)ds] = a0
命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
例 5.3(b) 考虑一尤尔过程，其 X(0)=1。计算在时刻 t 群
客的服务时,顾客便离开服务系统,排队中的下一个顾客(若有顾
客在等待)进入服务.相继的服务时间是独立的指数随机变量,均
值为 1/.以 X(t)记时刻 t 系统中的人数,则{X(t),t0}是生灭过程.
n
,n
0， n
n,1 s, n
n s
s
0
1
2
3…
s
…
2 3
s s
(2)有迁入的线性增长模型
n n, n 1, n n , n 0 的模型称为有迁入的线性增
i
i+1
i+2
i+3
…
n
…
关于从一个个体开始的尤尔过程的另一个有趣的结果涉及 时刻 t 的群体总量给定时出生时刻的条件分布。因为第 i 个出生 时刻 Si T1 T2 L Ti ，所以计算已给 X (t) n 1时 S1,S2,, Sn 的条件联合分布。直观地推导，并将密度当作概率处理可得， 对 0≤s1≤s2≤≤ sn≤t
0
1
2
3…
n
…
第二个纯生过程的例子是这样的，群体中各个成员独立地活动且以指
数率 生育。若假设没有任何成员死亡，以 X(t)记时刻 t 群体的总量，
则{X(t),t0}是一个纯生过程，此纯生过程被称为尤尔过程,由 i 个个体
开始的尤尔过程，n n , n i 。
i (i 1) (i 2)
(n 1) n
3
n1 n
…n
1 2
3
n n1
图中的圆圈表示状态，圆圈中的标号是状态符号。图中的箭头表
示从一个状态到另一个状态的转移。
例 5.3(a) 两个生灭过程。
(1) M/M/s 排队系统.顾客按照参数为 的泊松过程来到一个
有 s 个服务员的服务站,每个顾客一来到,如果有服务员空闲,则
直接进入服务,否则顾客排队等待.当一个服务员结束对一位顾
以 Pij (t)记马尔可夫链现在处于状态 i，再经过一段时间 t 后处于状态 j 的概率，即 Pij (t) P{X (t s) j | X (s) i}
三、生灭过程
定义：具有状态 0,1,2,的连续时间马尔可夫链若| i j | 1时
qij 0，则称为生灭过程。一个生灭过程从状态 i 只能转移到状
体诸成员的年龄之和的均值。时刻 t 诸年龄之和，记为 A(t)，
X (t )1
可表示为 A(t) a0 t (t Si ) i 1
其中 a0 是初始个体在 t=0 时的年龄。对 X(t)取条件
n
E[A(t) | X (t) n 1} a0 t E[ (t Si ) | X (t) n 1} i 1