1140503102450451连续时间马尔可夫链

5 连续时间马尔可夫链
5.1引言
本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。

如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。

在5.2节中。

我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。

在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。

这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。

在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。

5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。

在5.6节中，我们考虑时间可逆的问题。

其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。

在这一节中也提供了时间可逆性对随机群体模型的应用。

在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。

利用它我们研究排队网络模型。

导出爱尔朗消失公式，分析共用加工系统。

5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。

5.2连续时间马尔可夫链
考虑取非负整数值的连续时间随机过程t,0
X t，与第四章中给出的离散时间马尔可夫链的定义类似，过程t,0
X t称为连续时间马尔可夫链，如
果对一切,0
s t及非负整数,i j，x u，0u s，有
|X,X,0
P X t s j s i u x u u s
P X t s j X s i
|
换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是状态及一切过去的状态的套件下在将来时刻t s的状态的条件分布只依赖现在的状态而与过去独立。

若又有|
P X t s j X s i与s无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。

将假定我们所考虑的马尔可夫链都有平稳转移概率。

假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。

在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回答这个问题。

注意到因为在时间s 过程处于状态i，从马尔可夫性得在区间,s s t中它仍然处于状态i的概率正是
记过程在转移到他处于状态i至少t个单位时间的（无条件）概率。

也即若以
i
另一状态之前停留在状态i的时间，则对一切,0
s t有
|
P s t s P t
i i i
因此，随机变量i 是无记忆的必有指数分布。

事实上，上面的讨论给了我们构造连续时间马尔可夫链的一个方法。

也即它是一个具有如下性质的随机过程，每当它进入状态i ：
(i)在转移到另一状态之前处于状态i 的时间服从指数分布，参数为i v (ii)当过程离开状态i 时，接着以某个概率。

譬如ij P ，进入状态就j ，
1ij
j i
P 。

i
v 的状态i 称为瞬时状态。

因为一旦进入此状态立即就离开。

尽管这种
状态在理论上是可能的，我们将始终假设对一切i ，0i
v 。

（如果0i
v ，
则称状态i 为吸收的，因为一旦进入这一状态就永不再离开了。

）因此，实际上一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状态停留的时间服从指数分布。

此外在状态i 过程停留的时间与下一个到达的状态必须是独立的随机变量。

因为若下一个到达的状态依赖于
i
，那么过程处于状态
i 已有多久的信息与下一个状态的预报有关——这就与马尔可夫假定矛盾了。

一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移次数是有限的。

一个非规则的马尔可夫链的例子是
,1
1i i P 2i v i
能够证明这个马尔可夫链总是从状态i 到1i ，停留在状态i 的时间服从均值为
21/i 的指数分布，它将以正的概率在任意长为t ，（0t ）的时间区间内作无限
多次转移。

然而我们从现在起将假设所考虑的全部马尔可夫链是规则的（在习题中将给出规则性的某些充分条件）。

对一切i
j ，ij q 定义为
ij i ij q v P
因为i v 是过程离开状态i 的速率而ij P 是它转移到j 的概率，所以ij q 是过程从状态
i 转移到状态j 的速率；事实上我们就称ij q 是从i 到j 的转移速率。

以ij P t 记马尔可夫链现在处于状态i ，再经过一段时间t 后处于状态j 的概率，即
|ij P t P X t s j X s i
5.3生灭过程
具有状态0,1，的连续时间马尔可夫链称为生灭过程，若1i
j
时0ij
q 。

于是一个生灭过程是一个连续时间马尔可夫链，具有状态0,1,，它从状态i 只
能转移到状态1i 或1i 。

过程的状态通常看作为某个群体的总量，当状态增长1时，我们就说生了一个；而当它减少1时，我们就说死了一个。

设
i
与
i
为
,1i
i i q ,1i
i i q
值
,0i
i 与
,1i
i 分别称为生长率与死亡率。

因为
ij i j i
q v ，可见
i i
i
v
,1
,11i i i i i i
i
P P
因此，我们可以这样设想生灭过程，每当系统中有i 个人时，直到下一次出生的时间服从参数为i 的指数分布，且独立于直到下一次死亡的时间，它服从参数为
i
的指数分布。

例5.3（a ） 两个生灭过程
（i ）M/M/s 排队系统。

假设顾客按照参数为的泊松过程来到一个有s 个服
务员的服务站，即相继来到之间的时间是均值为1的独立指数随机变量，每个
顾客一来到，如果有服务员空闲，则直接进入服务，否则此顾客要加入排队行列（即他在队列中等待）。

当一个服务员结束对一位顾客的服务时，顾客便离开服务系统，排队中的下一位顾客（若有顾客在等待）进入服务。

假定相继的服务时间是独立的指数随机变量，均值为1。

如果我们可以以X t 记时刻t 系统中的
人数，则,0X t t
是生灭过程，
,1,n
n n s
s n s
,0n
n
（ii ）有迁入的线性增长模型 ,1n
n n
,0n
n
n
的模型称为有迁入的线性增长模型。

这种过程自然地产生于生物繁殖与群体增长的研究中。

假定群体中的每个个体以指数率出生；此外，群体由于从外界迁入
的因素又以指数率增加，因此在系统中有n 人时，整个出生率是n 。

假定
此群体的各个成员以指数率死亡，从而
n
n 。

若对一切,
0n
n （即若死亡是不可能的），则生灭过程称为纯生过程。

最
简单的纯生过程的例子是泊松过程，它具有常值出生率,0n
n 。

第二个纯生过程的例子是这样的，在一个群体中各个成员独立的活动，且以
指数率
生育。

若假设没有任何成员死亡，以X t 记时刻t 群体的总量，则
,0X t t 是一个纯生过程，其
,0n
n n
此纯生过程被称为尤尔过程。

考虑一尤尔过程，在时刻0从一个个体开始，且以1i T i 记第1i 个与第i 个出生之间的时间。

即i T 是群体总量从i 变到1i 所花的时间。

从尤尔过程的定义容易达到1i T i 是独立的，且i T 是具有参数i 的指数变量。

现在 1i
i
P T t e
12
12
1
|t
x
P T T t
P T T t T x e dx
2
1t t x
x
e
e
dx
2
1t
e
1
2123
123
120
|t T T x
P T T T t
P T T T t T T x dF
30
121t t x
x
x
e
e
e dx
3
1t
e
一般地可用归纳法证明 11j
t
j
P T T t
e
因此，由11|0
1j
P T T t
P X t
j X 可见对于一个尤尔过程，
1
111j j
t
t
j P t e e
1
1,1j t
t
e
e j
从上可见，从一个个体开始，在时刻t 群体的总量有几何分布，其均值为t e 。

因
此如果群体从i 个个体开始，在时刻t 其总量是i 个独立同几何分布随机变量之和，有负二项分布，也即对尤尔过程 11,11
j i
ti
t
ij j P t
e
e
j i i
关于从一个个体开始的尤尔过程的另一个有趣的结果涉及时刻t 的群体总量给定时出生时刻的条件分布。

因为第i 个出生在时刻1
i i S T T 发生，所以我
们计算已给1X t
n 时1,,n S S 的条件联合分布。

直观地推导，并将密度当作
概率处理可得，对1
2
n
s s s t
1122,,,|X 1n n P S s S s S s t
n
112211,,,,1
n n n n n P T s T s T s s T t s P X t
n
1
21
1
1
2
21
n
n
n
n
s
s n t s t s t e
e
n e
e
P X t n
1
2
n
t s t s t s Ce
e
e
其中C 是某个不依赖于1,,n s s 的常数。

因此我们看到，给定1X t
n 时
1,
,n S S 的条件密度为
11
,,|1=!
n
n i i f s s n n f s ， 10n
s s t （5.3.1）
其中f 是密度函数
,10,
t x t
e x t
f x
e 其它
（5.3.2）
但是因为（5.3.1）是n 个密度为f 的随机变量的一个子样的顺序统计量的联合密度函数（参阅第二章2.3节）。

于是我们证得
命题5.3.1
考虑一个尤尔过程，其0
1X ,则给定1X t
n 时，出生时刻1,,n S S 的
分布如同取自密度为（5.3.2）的母体的容量为n 的子样的顺序统计量的分布。

命题5.3.1可用来以同样的方法对尤尔过程建立与泊松过程相应的结果。

例 5.3（b ） 考虑一个尤尔过程，其0
1X .让我们计算在时刻t 群体各
个成员的年龄之和的均值。

时刻t 各个年龄之和，记为A t ，可表示为
1
01
x t
i i A t a t
t S
其中0a 是初始个体在0t 时的年龄。

为计算E A t
，对X t 取条件
01
|1
|1n i i E A t X t
n a t E
t S X t n
00
1t x t t
e a t n
t x
dx e
或
01|1
1t
t
t
e te
E A t X t
a t
X t
e
取期望且由X t 有均值t e 得 01t
e
t
E A t
a
t
1
t
e
a
其它与A t 有关的量，例如它的母函数可按同样的方法计算。

上面E A t 的公式可用下面的恒等式加以验证，此式的证明留作一个练
习：
t A t a X s ds （ 5.3.3）
取期望得
00t E A t a E
X s ds
00t a E X s ds （因为0X s ）
00
t
s
a e ds
1
t
e
a
下面的例子提供了纯生过程的另一种解释。

例5.3（c ） 一个简单的传染模型。

考虑有m 个个体的群体，在时刻0由一
个已感染的个体与1m 个未受到感染但能被感染的个体组成。

个体一旦受到感染将永远处于此状态。

假设在任意的长为h 的时间区间内任意一个已感染的人将以概率h o h 引起任一指定的未被感染者成为已感染者。

若我们以X t 记时刻t 群体中已受感染的个体数，则,0X t t 是一纯生过程，其
1,,1
,0,
n
n m m m n 其它
这是因为当有n 个已受感染的个体时则m n 个未受感染者的每一个将以速率n
变成已感染者。

以T 记直至整个群体被感染的时间，则T 能表示为
11
m i i T
T
其中i T 是从i 个已感染者到1i 个已感染者的时间。

因为i T 是独立指数随机变量，其参数分别为
,1,,1i
m i i i m ，可见
1
111
m i
E T i m i
及
2
12
1
1
1m i Var T
i m i
对规模合理的群体，E T 渐近地为 11
111
m i E T
m
m i i
11
2log 1
111
m m dt
m
m t t
m
5.4 柯尔莫哥洛夫微分方程
记得
|ij P t
P X t s j X s i
代表过程目前处于状态i 在时间t 之后将处于状态j 的概率。

利用马尔可夫性，我们将导出两组ij P t 的微分方程，它们有时可求得显式解。

但在此之前需要下面的引理。

引理5.4.1 （i ）1lim
ij i t
P t
v t
（ii ）0
lim
,ij ij t P t q i
j t
引理5.4.2
对一切s ，t ， ij ik kj k o
P t s
P t P s
引理5.4.1从如下事实（它们必须加以证明）可得，在时间t 内有两次或更多次转移的概率是o t ；而引理 5.4.2，它是离散时间马尔可夫链的切普曼——柯尔莫哥洛夫方程的连续时间的翻版，直接从马尔可夫性来推得。

证明的细节留作练习。

从引理5.4.2我们得到
ij ik kj k P t h P h P
t
或等价地， 1ij ij ik kj ii ij k i
P t h P t
P h P t P h P t
除以h 而后令0h 取极限，应用引理5.4.1得
0lim
lim
ij ij ik kj i ij h
h
k
i
P t h P t P h
P t v P t h
h
假定在（5.4.1）的右边可交换极限与求和，再用引理5.4.1，于是得到下面结论。

定理5.4.3（柯尔莫哥洛夫向后方程）对一切,i j 及0t ，
ij ik kj i ij k
i
P t
q P t v P t
证明 为完成证明必须论证（5.4.1）右边极限与求和可交换次序。

现在，对于任意固定的N , 0
liminf
liminf
ik ik kj kj k
h
k
i
k i
k N
P h
P h
P t P t h h
ik kj k i k N
q P t
因为上式对一切N 成立，可见 0
liminf
ik kj ik kj h
k
i
k i
P h
P t q P t h
为了倒转不等式，注意对于N i ，由于1kj P t ，所以
limsup
ik kj h
k
i
P h P t h
limsup
ik ik kj h
k i k N
k N
P h P h
P t
h
h
1limsup
ik ik ik kj h
k i k i k N
k N
P h P h
P h P t
h h
h
ik kj i
ik k i k i k N
k N
q P t
v q
其中最后的等式由引理5.4.1而得。

因上列不等式对一切N i 成立，令N 且
用
ik i k
i
q v ，我们即得
limsup
ik kj ik kj h
k
i
k i
P h
P t q P t h
上式连同（5.4.2）证明了 0lim
ik kj ik kj h
k
i
k i
P h
P t q P t h
定理5.4.3得证
定理5.4.3中ij P t 满足的微分方程组以柯尔莫哥洛夫向后方程著称。

称它们为向后方程，是因为在计算时刻t
h 的状态的概率分布时我们对退后到时刻h 的
状态取条件，即我们从
|0,|0ij k P t h
P X t h
j
X i X h k P X h k X i
kj ik k P t P h
开始计算。

对时刻t 的状态取条件。

我们可以导出另一组方程，称柯尔莫哥洛夫向前方程。

可得
ij kj ik k P t h P t P h
或
ij ij kj ik ij k P t h P t
P t P h P
t
1kj ik jj ij k P t P h P h P
t
所以， 0
lim
ij ij h
P t h
P t
h
1lim
kj jj ik ij h
k
j
P h P h
P t
P t
h
h
假定我们能交换极限和求和，由引理5.4.1便得到 ij kj ik j ij k
j
P t
q P t v P t
令人遗憾的是并非一定能论证极限和求和可交换，所以上式并非总是成立的。

然而，在大多数模型中——包括全部生灭过程与全部有限状态的模型，它们确实是成立的。

于是有
定理5.4..4（柯尔莫哥洛夫向前方程）。

在适当的正则条件下，
ij kj ik j ij
k
j
P t
q P t v P t
例5.4（a ） 两状态链。

考虑两个状态的连续时间马尔可夫链，在转移到状态1之前链在状态0停留的时间是参数为的指数变量，而在回到状态0之前它停留在状态1的时间是参数为的指数变量，向前方程为
000100P t P t P t 00P t
其中最后的等式来自01001P t P t 。

因此
0000t
t
e P t
P t
e
或 00t
t
d
e P t
e
dt
于是 00t
t
e P t
e
c
由于001P t
，可见c ，于是
00t
P t
e
类似地（或由对称性）， 11t
P t
e
例5.4（b ）生灭过程的柯尔莫哥洛夫向前方程是
011
00
i i i P t P t P t
1,1
1,1
,0ij j i j j i j i j
ij P t
P
t
P t
P t j
例5.4（c ）对纯生过程，向前过程归结为 ii i ii
P t P t
1,1
,ij j i j j ij
P t
P t
P t j i （5.4.3）
积分（5.4.3）的第一个方程并用01ii P 得 i t
ii P t
e
上式当然是正确的，因为ii P t 是从状态i 转移出去的时间超过t 的概率。

其它的量,ij P t j i ，能从（5.4.3）如下递推而得：对j i ，从（5.4.3）有 1,1
jt
jt
j i j ij j ij
e
P t e
P t
P t
jt ij d
e P t dt
积分并用01ii P 得
1,1
0,t
jt
js ij j i j P t
e
e P s ds j i
在尤尔过程的特殊情形，其中j
j ，可用上式验证5.3节的结果，即有
11,11
j i
ti
t ij j P t
e
e j i i
注记 若定义ij i q v ，则向后方程可写为
ij ik kj k P t q P t
而向前方程为
ij kj ik k P t
q P
t
这些方程用矩阵记号写有特别好的形式。

若我们定义P t ，Q 及P t 为矩阵，其,i j 位置上的元素分别是ij P t ，ij q 及ij P t ，则 向后方程能写成 P t QP t
而向前方程为 P t
P t Q
如果P t 只是t 的函数而Q 是一个常数，则上式的解是 0
!
i
Qt
i Qt P t e i
因此认为
i 0
!
i i t Q P t
i
是P t 的可能解似乎是合理的，其中0
Q I (单位矩阵)。

事实上能够证明，当i
v 有界时（5.4.4）是成立的。

因此，当状态空间有限时，（5.4.4）成立且事实上这可能是一种近似计算P t 的方便的方法（另外的逼近方法在5.8节中出现）。

5.5 极限概率
因为连续时间马尔可夫链是一个半马尔可夫过程，其
1i v t
ij F t
e
从第四章4.8节的结果得，如果转移概率为ij P 的离散时间马尔可夫链是不可约正常返的，则极限概率lim j ij t
P P t 为
j j j
i
i
i v P v
其中
j
是
j
i ij
i P
1i
i
的唯一非负解。

从（5.5.1）与（5.5.2）可见j P 是 0
j j
j j ij i v P v P P
1j
j P
或等价地，用ij i ij q v P ，是
j j
i ij i v P PP
1j
j P
的唯一非负解。

注记
（1）从第四章4.8节中给出的关于半马尔可夫过程的结果得出，j P 也等于长时间之后过程处于状态j 的时间的比率。

（2）如果初始状态按照极限概率j P 选取，则所得过程将是平稳的，即对一切t
j ij j i P P t P
上式的证明如下：
lim ij i
ij ki s
i i P t P P t P s
lim
ij ki s
i P t P s
lim kj s
P t s
j P
容易论证上式的求和与极限可交换，将此留作一个练习。

（3）得到方程（5.5.3）的另一个途径是用向前方程
ij kj ik j ij k j
P t
q P t v P t
若我们假定极限概率lim j ij t
P P t 存在，则t 时，ij P t 必收敛于 0 。

（为什么？）因此，假定上式中可以交换极限与求和号 ，令t
即得
ij i k
j
P h P
值得注意能是上述方法是下列直现论证的较正式的假述。

为了得到j P （
t 时处于状态j 的概率）的方程 ，对 h 个单拉时间之前的状态取条件： 0
j ij i i P P h
P
1ij i j j i j
q h o h P v h o h P
或
i ij
j j i j
o h Pq v P h
令0h 即得结果。

(4）方程（5. 5. 3）有一种程好的解释如下：在任何区间0,t 中，转移到状态j 的次数与从状态j 转移出来的改数相差不超过1。

（为什么？）因此，长时间之后转移到状态j 发生的速率必等于从状态j 转移出去发生的速率。

既然过程处于状态j 时它以速率i v 离开，又因j P 是过程处于j 的时间的比率，于是得 j j v P =过程离开状态j 的速率
类似地 ，当过程处于状态i 时它以速率ij q 离开而转到j ，又因i P 是处于状态i 的时间的比率，可见从i 到j 的转移发生的速率等于ij i q P 。

因此，
i ij i Pq =过程离开状态j 的速率
所以，（5.5.3）正是说过程进入与离开状态j 的速率相等。

因为它使这些速率平衡 （ 即相等），所以方程（5.5.3）有时称为平衡方程。

（5）当连续时间马尔可夫链不可约旦对一切j 有0j
P 时，
我们说链是遍历
的。

现在让我们对生灭过程确定其极限概率。

从方程（5.5.3），或等价地，使过程离开一个状态与进入该状态的速率相等，得到
状态 过程离开的速率 过程进入的速率 0 00
P =
11
P
,0n n
n
n
n P =
11
11
n n n n P P
改写这些方程为 00
11
P
P
11
11
,1n n
n n n n n n
P
P
P
P n
或等价地 00
11
P
P
11
22
00
11
22
P
P P
P
P 22
33
11
22
33
P
P
P
P
P
11
11
11
n n
n n n n n n
n n P
P
P
P P
用0P 解得 01
01
P P
1012
1
02
2
1
P P P
21023
2
03
3
2
1
P P P
112
101
01
2
1
n n n n
n
n
n
n P P P
利用
1n
n P
1210001
1
2
1
1n n n n
n P P
或
1
121001
1
2
1
1
n n n n
n P
因此 121012
10121
1
21
,11
n n n
n n n
n n n P n
上式也给我们指明了极限概率存在所需条件，即
12101
1
2
1
n n n n
n
例5.5（a ）M/M/1排队系统。

在M/M/1排队系统中，n ，n
，于是若
1
从（ 5.5.4）得
1
1
,01
n
n
n
n
n P n
要极限概率存在，必须小于是直观的。

顾客们按速率到来且以速率受到服务，因而当时他们到来的速率高于他们能受到服务的概率，排队长度将趋于无穷。

的情况很像第四章 4.3节的对称随机游动，它是零常返的，从
而没有极限概率。

例5.5（b ）考虑一个有M 部机器与一个修理工的车间，且假设一部机器在损坏前运转的时间服从参数为的参数分布，而修理工修好一部损坏了的机器的时间服从参数为的指数分布。

每当有n 部机器坏了就说状态为n ，则此系统为一个生灭过程的模型，其参数
,1n
n
,,0n
n M
M n
n M
从方程（5.5.4
）可得n 部机器不在使用的极限概率n P 为 0
1
1
!
1
!
n
M n P M M n
1!!
,0,,!1
!
n
n
n
M n M M n P n M M M n
因此，不在使用的机器的平均台数为
1
1
1
!!
!1
!
n
M
M n n
n
M n n M n
M n nP M M
n
假设我们想知道长时间之后一部指定的机器在工作的时间的比。

为此等价地我们计算它在工作的极限概率： 0
=
|M n n P P n P 该机器在工作该机器在工作部为工作
M n n
M n
P M 5.6 时间可逆性
考虑一个遍历的连续时间马尔可夫链。

且假定已进行了无限长时间；例如，假定它从时间t 开始。

这样一个过程将是平稳的，我们说它处于稳态之中。

（产生平稳过程的另一方法是假设在时刻0t 的初始状态按极限概率选取）在时刻t 开始让我们把时间方向倒过来跟踪这过程。

为了确定这逆向过程的概率结构，首先我们注意到在某时刻（譬如说t ）处于状态i 的条件下，处于状态的时间已超过s 的概率正是i e v s 。

这是因为
,|P t s t i X t i 内过程全处于状态
,|P P t s t i X t i 内过程全处于状态
i v s
P X t s i e P X t i
i v s
e
其中i P X t s i P X t i
P 。

换言之，逆时间退回去，过程处于状态i 的时间也服从指数分布，参数为i v 。

此外，如同在第四章4.7节中证明的，逆向过程所到达的状态序列构成一个离散时间马尔可夫链，其转移概率ij Q 为
j
ji
ij
i
P Q
因此从上式可见逆向过程是一个连续时间马尔可夫链，离开每一个状态的转移速率与正向过程相同，一部转移概率为ij Q 。

所以，连续时间马尔可夫链在时间逆向过程与原过程具有相同的概率结构的意义下是时间可逆的，如果嵌入链是时间可逆的——即如果对一切,i j i ij
j
ji P
P
现在利用
i
i
i
j
j j
v P v
可见上面的条件等价于对一切i j
i i ij j j ji Pv P P v P
或等价地，对一切i j
i ij
j ji Pq P q （5.6.1）
由于i P 是处于状态i 的时间的比率，且处于状态i 的过程以速率ij q 转移到j ，所以时间可逆条件就是过程直接从状态i 到状态j 的速率等于它直接从j 到i 的速率。

应当注意到这正是遍历的离散马尔可夫时间可逆所需的同一条件（见第四章4.7节）。

应用上述时间可逆的条件得出有关生灭过程的下列命题。

命题5.6.1
遍历生灭过程在稳态下是时间可逆的。

证明 为证此命题，我们必须证明生灭过程从状态i 到状态1i 的速率等于它从1i 到i 的速率。

既然在任意长为t 的时间内从i 转移到1i 的次数与从1i 转移i 到的次数相差不过1（因为从i 到1i 的两次转移之间过程必须返回到i ，且只能通过1i 回到i ，反之亦然）。

从而由于t 时这种转移的次数趋于无穷，得从i 到1i 的转移的速率等于从1i 到i
的速率。

命题5.6.1可用于证明M/M/s
系统的输出过程是泊松过程，把它叙述为一个系。

系5.6.2
考虑一个M/M/s 系统，其中顾客依照速率为的泊松过程来到，且受到s 个服务员中任一个的服务——每一个服务时间服从参数为
的指数分布。

若
s ，则顾客离开的输出过程在稳态下速率为的泊松过程。

证明 以X t 记时刻t 系统中的顾客数。

因为M/M/s 过程是一生灭过程，从命题5.6.1得,0X t t
是时间可逆的。

依正向时间向前，X t 增加1的时刻
组成一泊松过程，因为它们正是顾客到来的时刻，因此由时间可逆性，按逆向时间X t 增加1的时刻也组成一泊松过程。

但是它们正好是原过程顾客离开的时刻（见图5.6.1）。

因此离去的时刻构成一速率为的泊松过程。

考虑一个连续时间马尔可夫链，其状态空间是S 。

我们说马尔可夫链被截于集A S ，若对一切i
A ，j
A 改变0ij q ，所有其它的ij q 保留不变。

于是从状
态类A 中转移出来是不允许的。

一个有用的结果是被截得的时间可逆链仍然是时间可逆的。

命题5.6.3
具有极限概率j P j S 的时间可逆链，
若截于集A S ，被截所得仍不可约，则是时间可逆的且有极限概率。

/
,A
j j j j A
P P P j
A (5.6.2)
证明 我们必须证明，对i
A ，j A
A
A i ij
j ij P q P q
或等价地，对i A ，j A
i ij j ij P q P q
但因原链由假设是时间可逆的，所以上式成立。

例5.6（a ）考虑一个M/M/1排队系统，在该系统中当来客发现系统中已有N 人便不进去而消失。

这有限容量的M/M/1系统可看成是M/M/1被截所得，从而是时间可逆的，极限概率为
,0j
j
i
N
i
P j N
其中我们利用了上面例5.5（a ）的结果。