第五章 连续时间的Markov链

第五章 连续时间的马尔可夫链第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.5.1 连续时间马尔可夫链的基本概念定义 5.1 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数1210n t t t +≤<<<L 及任意的非负整数121,,,n i i i I +∈L ，条件概率满足{}111122()|(),(),,()n n n n P X t i X t i X t i X t i ++====L{}11()|()n n n n P X t i X t i ++=== （5.1）则称{(),0}X t t ≥为连续时间的Markov 链.由定义知，连续时间的Markov 链是具有Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻n t 及一切过去时刻所处状态的条件下，将来时刻1n t +的状态只依赖于现在的状态而与过去的状态无关.记(5.1)式条件概率的一般形式为{()|()}(,)ij P X s t j X s i p s t +=== （5.2）它表示系统在s 时刻处于状态i ，经过时间t 后在时刻s t +转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与s 有关.定义 5.2 若(5.2)式的转移概率函数与s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为(,)()ij ij p s t p t =.相应地，转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥. 若状态空间{0,1,2,}I =L ，则有()000102101112012()()()...()()()()()............()()()............ij n n n p t p t p t p t p t p t P t p t p t p t p t ⎛⎫ ⎪ ⎪⎪== ⎪ ⎪ ⎪⎝⎭L L （5.3）假设在某时刻，比如说时刻0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i （即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开状态i 的概率是多少？由Markov 性知，过程在时刻s 处于状态i 的条件下，在区间[,]s s t +中仍处于状态i 的概率正是它处在状态i 至少t 个单位时间的（无条件）概率，若记i τ为过程在转移到另一状态之前停留在状态i 的时间，则对一切,0s t ≥有{|}{}i i i P s t s P t τττ>+>=>可见，随机变量i τ具有无记忆性，因此，i τ服从指数分布.因此，一个连续时间的Markov 链，每当它进入状态i ，具有如下性质： （1） 在转移到另一个状态之前处在状态i 的时间服从参数为i v 的指数分布； （2） 当过程离开状态i 时，接着以概率ij p 进入状态j ,且1ijj ip≠=∑.当i v =∞时，称状态i 是瞬时状态，因为过程一旦进入状态就离开；若0i v =，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i ，0i v ≤<∞.因此，考虑连续时间Markov 链，可以按照离散时间的Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i 停留的时间与下一个状态必须是相互独立的随机变量.定理5.1 齐次Markov 链的转移概率函数具有下列性质：（1）()0ij p t ≥； （2）()1ij j Ip t ∈=∑；（3）()()()ij ikkj k Ip t s pt p s ∈+=∑.（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov 链的Chapman Kolmogorov -方程，简称C K -方程.证明 （1）和（2）由概率定义及()ij p t 的定义易知，下面只证明（3）式 由全概率公式和Markov 性可得(){()|(0)}ij p t s P X t s j X i +=+=={(),()|(0)}k IP X t s j X t k X i ∈=+===∑{()|(0)}{()|()}k IP X t k X i P X t s j X t k ∈===+==∑{()|(0)}{()|(0)}k IP X t k X i P X s j X k ∈=====∑()()ikkj k Ipt p s ∈=∑对于转移概率函数，我们约定1,,lim ()0ij ij t i j p t i jδ→=⎧==⎨≠⎩ （5.4） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ij p t 在边界点0t =处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.定义 5.3 连续时间Markov 链{(),0}X t t ≥在初始时刻（即零时刻）取各状态的概率(0){(0)},i i p p P X i i I ===∈ （5.5）称为它的初始分布.{(),0}X t t ≥在t 时刻取各状态的概率(){()},j p t P X t j == ,0j I t ∈≥称为它在时刻t 的绝对（概率）分布.初始分布和绝对分布都是概率分布，对于任意0t ≥，()j p t 总满足： （1）0()1j p t ≤≤； （2）()1j jp t =∑.利用全概率公式容易得到()(0)(),j i ij i Ip t p p t j I ∈=∈∑ （5.6）（5.6）式表明：连续时间Markov 链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法.例5.1 证明Poisson 过程{(),0}N t t ≥是连续时间的齐次Markov 链. 证明 先证明Poisson 过程具有Markov 性.由Poisson 过程的独立增量性和()0N t =，对任意1210n n t t t t +<<<<<L ，有1111{()|(),,()}n n n n P N t i N t i N t i ++===L=1111{()()|()(0),n n n n P N t N t i i N t N i ++-=--=212111()(),,()()}n n n n N t N t i i N t N t i i ---=--=-L11{()()}n n n n P N t N t i i ++=-=- 另一方面，因为11{()|()}n n n n P N t i N t i ++===11{()()|()(0)}n n n n n n P N t N t i i N t N i ++-=--==11{()()}n n n n P N t N t i i ++-=-因此 1111{()|(),,()}n n n n P N t i N t i N t i ++===L =11{()|()}n n n n P N t i N t i ++== 即Poisson 过程是连续时间的Markov 链.再证齐次性. 当j i ≥时，由Poisson 过程的定义，得到{()|()}{()()}P N s t j N s i P N s t N s j i +===+-=-()()!j itt ej i λλ--=-当j i <时，由于过程的增量只取非负整数值，因此，(,)0ij p s t =，故(),(,)()()!0,j it ij ij t ej i p s t p t j i j iλλ--⎧≥⎪==-⎨⎪<⎩即转移概率函数只与t 有关，因此，Poisson 过程具有齐次性.容易看出，固定,i j 时，()ij p t 是关于t 的连续可微函数。

5.2 Kolmogorov 微分方程对于离散时间齐次Markov 链，如果已知其一步转移概率矩阵()ij P p =，则k 步转移概率矩阵由一步转移概率矩阵的k 次方即可求得.但是，对于连续时间齐次Markov 链，由于“步长”的概念失效，转移概率函数的求法较为复杂，一般通过解微分方程求出转移概率函数.为此，我们首先讨论()ij p t 的可微性及所满足的Kolmogorov 微分方程.定理5.2 设齐次Markov 链满足连续性条件(5.4)，则对于任意固定的,,i j I ∈转移概率函数()ij p t 是t 的一致连续函数.证明 设0t ∆>，由C K -方程，有()()()()()ij ij ik kj ij k Ip t t p t p t p t p t ∈+∆-=∆-∑()()()()()ii ij ij ik kj k ip t p t p t p t p t ≠=∆-+∆∑[1()]()()()ii ij ik kj k ip t p t p t p t ≠=--∆+∆∑由此可知 ()()[1()]()[1()]ij ij ii ij ii p t t p t p t p t p t +∆-≥--∆≥--∆ 以及 ()()()()()1()ij ij ikkj ik ii k ik ip t t p t pt p t p t p t ≠≠+∆-≤∆≤∆=-∆∑∑因此 |()()|1()ij ij ii p t t p t p t +∆-≤-∆对于0t ∆<，可得到类似的不等式.因此 |()()|1(||)ij ij ii p t t p t p t +∆-≤-∆. 由连续性条件，令0t ∆→可得到证明.定理5.3 设()ij p t 是齐次连续时间Markov 链的转移概率函数，则有()(1)lim,ij ij t p t q i j t∆→∆<∞≠∆@； (5.7)01()(2)lim,ii ii t p t q i I t∆→-∆≤∞∈∆@ (5.8)证明：略定理5.3中定义的ij q 是齐次连续时间Markov 链从状态i 到状态j 的转移概率密度或称转移速率（transition rate ）.也可称为从状态i 到状态j 的跳跃强度.转移速率函数刻画了Markov 链的转移概率函数在零时刻对时间的变化率. 定理中极限的概率意义为：在长为t ∆的时间区间内，过程从状态i 转移到状态j 的概率()ij p t ∆，等于.ij q t ∆加上一个比t ∆高阶的无穷小量；从状态i 到转移到另一其它状态的转移概率1()ii p t -∆等于ii q t ∆加上一个比t ∆高阶的无穷小量.转移速率函数也可以表示为以下形式：当t ∆充分小时{()|(0)}()1()ii ii P X t i X i p t q t t ο∆===∆=-∆+∆ {()|(0)}()(),ij ij P X t j X i p t q t t ο∆===∆=∆+∆ i j ≠推论 对有限齐次Markov 过程，有ii ij j iq q ≠=<∞∑ （5.9）证明 由定理5.1，()1ijj Ip t ∈∆=∑，即1()()iiijj ip t p t ≠-∆=∆∑由于求和是在有限集上进行，因此00()1()lim lim ij ii ij t t j i j ip t p t q t t ∆→∆→≠≠∆-∆==∆∆∑∑ 即ii ijj iq q≠=<∞∑.证毕.对于状态是无限的齐次Markov 过程，一般只有ii ijj iq q≠≥∑.若连续时间齐次Markov 链是具有有限状态空间{0,1,2,,}I n =L ，则其转移概率速率可构成以下形式的Q 矩阵000101011101.....................n n n n nn q q q q q q Q q q q -⎛⎫⎪- ⎪= ⎪ ⎪-⎝⎭（5.10） 由(5.10)知，Q 矩阵的每一行元素之和为0，主对角线元素为负或为0，其余j i ≠时，0ij q ≥. 利用Q 矩阵可以推出任意时间间隔t 的转移概率函数所满足的方程组，从而可以求出转移概率函数.下面我们给出转移概率函数()ij p t 满足的微分方程.定理 5.4 (Kolmogorov 向后方程) 设()ij p t 是满足连续性条件的有限齐次Markov 链的转移概率函数，则对一切,i j 及0t ≥，有()()()ijik kj ii ij k ip t q p t q p t ≠'=-∑ 0,1,2,,i n =⋅⋅⋅ (5.11) 证明 由C K -方程()()()()()nij ij ik kj ij k p t t p t p t p t p t =+∆-=∆-∑()()()()()()ik kj ii ij ij k ip t p t p t p t p t ≠=∆+∆-∑()()()1()()ik kj ii ij k ip t p t p t p t ≠=∆--∆∑于是，由速率函数ij q 的定义，得()()()lim ij ij ijt p t t p t p t t∆→+∆-'=∆0()1()lim()lim ()ik ii kj ij t t k ip t p t p t p t t t∆→∆→≠∆-∆=-∆∆∑()()ikkj ii ij k iqp t q p t ≠=-∑定理 5.4中()ij p t 满足的微分方程组称为向后方程（或称后退方程）（backward equation ），是因为在计算时刻t t +∆状态的概率分布时，我们对退后时刻t ∆的状态取条件，即我们从(){()|(0),()}ij k Ip t t P X t t j X i X t k ∈+∆=+∆==∆=∑{()|(0)}P X t k X i ⋅∆==()()ikkj k Ipt p t ∈=∆∑开始计算.对于时刻t 的状态取条件，类似地可以导出另一组方程，称为Kolmogorov 向前方程或前进方程（forward equation ）.定理5.5 (Kolmogorov 向前方程)在连续性条件下，有()()()ijik kj ij jj k jp t p t q p t q ≠'=-∑， 0,1,2,i n =⋅⋅⋅ (5.12) 利用Kolmogorov 向后方程和向前方程及初始条件(0)1,(0)0,ii ijp p i j =⎧⎪⎨=≠⎪⎩可以求出()ij p t .Kolmogorov 向后方程和向前方程虽然形式上不同，但可以证明它们所求得解()ij p t 是相同的，在实际应用中，当固定最后所处状态j ,研究()ij p t (0,1,)i =L 时，采用向后方程较为方便；当固定状态i ，研究()ij p t (0,1,)j =L ，则采用向前方程较方便.需要指出的是：对于状态空间为{0,1,2,}I =⋅⋅⋅的齐次Markov 链，当ii q <+∞时，Kolmogorov 向后方程和向前方程依然成立.向后方程和向前方程可以写成矩阵形式()()P t QP t '= （5.13） ()()P t P t Q '= （5.14）此时Q 矩阵为000102101112202122.....................q q q q q q Q q q q -⎛⎫ ⎪- ⎪= ⎪- ⎪⎝⎭（5.15） 其中矩阵()P t '的元素为矩阵()P t 各元素的导数，而000102101112202122()()()...()()()...()()()()...............p t p t p t p t p t p t P t p t p t p t ⎛⎫⎪⎪= ⎪⎪⎝⎭（5.16）由此，连续时间Markov 链转移概率函数的求解问题就是矩阵微分方程的求解问题，其转移概率函数由其转移速率矩阵Q 决定.特别地，若Q 矩阵是一个有限维矩阵，则(5.13),(5.14)的解为()()!jQtj Qt P t e j ∞===∑ （5.17） 有关齐次Markov 链在时刻t 处在状态j I ∈的绝对分布()j p t ，我们有下面的定理定理 5.6（Fokker Planck -方程） 齐次Markov 链在时刻t 处在状态j I ∈的绝对分布()j p t 满足下列方程：()()()j j jj k kj k jp t p t q p t q ≠'=-+∑ （5.18）证明 由于()()j i iji Ip t p pt ∈=∑，将向前方程两边乘以i p ，并对i 求和，得()()()()i iji ijjji ikkj i Ii Ii I k jp p t p p t q p pt q ∈∈∈≠'=-+∑∑∑∑因此 ()()j j jj k kjk jp t p t q p q≠'=-+∑由式（5.18）可得到任意时刻t 时Markov 链的一维分布.同离散Markov 链类似，()ij p t 在0t →时的性质，如连续性、可微性，这些性质称为()ij p t 的无穷小性质.下面我们进一步讨论()ij p t 当t →∞时的性质（即遍历性）.定义 5.4 设()ij p t 为连续时间Markov 链的转移概率，若存在时刻1t 和2t ，使得12()0,()0ij ji p t p t >> （5.19）则称状态,i j 是互通的；若所有的状态都是互通的，则称此链Markov 是不可约的. 定义 5.5 设()ij p t 为连续时间Markov 链的转移概率函数，{,0,1,2,}j p j =L 为一概率分布，如果对于一切0t >，有()j i ij i p p p t ∞==∑ （5.20）则称概率分布{,0,1,2,}j p j =L 为Markov 链的平稳分布.我们知道，所谓平稳分布就是不因转移而变化的分布，与无条件概率()(0)()j i ij i Ip t p p t ∈=∑相比较，当无条件概率(){()}j j p t P X t j p ===是与j 有关的常数时，该Markov 链存在平稳分布.如果连续时间的Markov 链存在平稳分布，记()j j p t π=（常数），0,1,2,j =L （5.21）则用(0)i p 乘以向前方程的两边，再对i 相加，可得kkjj jj k jqq ππ≠=∑ （5.22）（5.22）给出了平稳分布所必须满足的方程.定理5.7 设连续时间Markov 链是不可约的，则有下面的性质：（1） 若它是正常返的，则极限lim ()ij t p t →∞存在且等于0,j j I π>∈，这里j π是方程组1j jj k kj k jj j Iq q πππ≠∈⎧=⎪⎨=⎪⎩∑∑ （5.23） 的唯一非负解，此时，称{,}j j I π∈是该过程的平稳分布，且lim ()ij j t p t π→∞=（2） 若它是零常返的或非常返的，则lim ()lim ()0,,ij j t t p t p t i j I →∞→∞==∈ （5.24）证明：略在实际应用中，有些问题可以直接用Kolmogorov 向前或向后方程求解，有些问题不能直接求解，我们用（5.23）来求解.例5.2 设Markov 链{(),0}X t t ≥的状态空间为{1,2,,}I m =L ，当i j ≠时，1,ij q =,1,2,,i j m =L ；当1,2,,i m =L 时，1ii q m =-.求()ij p t解 根据Kolmogorov 向前方程（5.12），()(1)()()ij ij ik k jdp t m p t p t dt≠=--+∑由于()1ikk Ipt ∈=∑，因此()1()ik ij k jp t p t ≠=-∑，所以()(1)()(1())ij ij ij dp t m p t p t dt=--+-()1ij mp t =-+ (,1,2,,)i j m =L解得 1()mtij p t Cem-=+(,1,2,,)i j m =L 利用初始条件 (0)1,(0)0()ii ij p p i j ==≠，则当i j =时，11C m =-，而当i j ≠时，1C m=-， 于是 11()(1)mt ii p t e m m-=-+ (1,2,,)i m =L ，1()(1)mt ij p t e m-=- (,,1,2,,)i j i j m ≠=L 例 5.3 （随机信号）设信号仅取两个可能值“0”和“1”，()X t 表示t 时刻接收到的信号.{(),0}X t t ≥是状态空间为{0,1}I =的齐次Markov 链.设在转移到状态1之前在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量，即转移概率函数为01()(),p t t t λο∆=⋅∆+∆ 0,λ> 10()()p t t t μο∆=⋅∆+∆，0μ>由此并利用定理5.3，有000100001()()limlim t t p t p t q t t ∆→∆→-∆∆==∆∆=01010()t dp t q d tλ∆=∆==∆，10111100()1()lim lim t t p t p t q t t ∆→∆→∆-∆==∆∆10010()|.t dp t q d tμ∆==∆==∆故得Q 矩阵为 Q λλμμ-⎛⎫=⎪-⎝⎭相应的Kolmogorov 向前方程为000001()()()p t p t p t λμ'=-+，010001()()()p t p t p t λμ'=-， 101011()()()p t p t p t λμ'=-+，111011()()().p t p t p t λμ'=- 初始条件为 0011(0)(0)1,p p ==0110(0)(0)0.p p == 化为一阶线性微分方程可解得()00()t p t e λμλμλμλμ-+=+++，()11()t p t e λμλμλμλμ-+=+++记00,λμλμλμλμ==++，则()0000()t p t e λμλμ-+=+，()1100()t p t e λμμλ-+=+而 ()010000()1()t p t p t e λμλλ-+=-=-，()101100()1()tp t p t e λμμμ-+=-=-.令t →∞，可得 00010lim ()lim ()t t p t p t μ→∞→∞==，11001lim ()lim ()t t p t p t λ→∞→∞==.由此可见，当t →∞时，lim ()ij t p t →∞存在且与i 无关，由定理5.7，平稳分布为0010,πμπλ==若取初始分布为平稳分布，即00{(0)0},p P X μ=== 10{(0)1},p P X λ=== 则在时刻t 的绝对概率分布为0000110()()()p t p p t p p t =+()()000000[][]t t e e λμλμμλμλμμ-+-+=++-2000μλμμ=+= 1001111()()()p t p p t p p t =+()()000000[][]t t e e λμλμμλλλλμ-+-+=-++0λ=在平稳状态时，此Markov 链的均值函数和协方差函数分别为 010()()0()1()m t EX t p t p t λ==⋅+⋅=，(,){[()()][()()]}C s t E X s m s X t m t =--22[()()](){()1,()1}()E X s X t m t P X s X t m t =-===- 2{()1|()1}{()1}()P X t X s P X s m t ===⋅=-2()()21110000()()()[]t s p s p t s m t e λμλλμλ-+-=⋅--=+- ()()00,.t s et s λμλμ-+-=> 例5.4 （机器维修问题）设在例5.3中，状态0代表某机器正常工作，状态1代表机器出现故障.状态转移概率与例5.3中相同，即在t ∆时间内，机器从正常工作变为出故障的概率为01()()p t t t λο∆=⋅∆+∆；在t ∆时间内，机器从有故障变修复后正常工作的概率为10()()p t t t μο∆=⋅∆+∆，求在0t =时正常工作的机器，在5t =时为正常工作的概率.解 由例5.3，要求机器最后所处的状态为正常工作，只需计算00()p t 即可.由于 ()0000()tp t eλμλμ-+=+，且 0{(0)0}1p P X === 因此 0000(5){(5)0}(5)p P X p p ==== 5()00.eλμμλ-++ 例5.5 （排队问题）设有一随机服务系统到达服务台的顾客数是强度为λ的Poisson 过程{(),0}N t t ≥.服务台只有一个服务员，对顾客的服务时间T 是服从参数为μ的指数分布的随机变量.假定顾客接受服务的时间与顾客到达服务台的人数情况相互独立，如果服务员空闲时到达的顾客立刻接受服务；如果顾客到达时服务员正在为一顾客服务，则他必须排队等待；如果一顾客到达时发现已经有两个人在等待，则他就离开不再回来.设{(),0}X t t ≥是t 时刻服务台里的顾客数（包括正在被服务的顾客和排队等待的顾客），这是一个连续时间的Markov 链，其状态空间为{0,1,2,3}I =，假设在0时刻系统处在零状态，求在t 时刻系统处在j 状态的概率().((){()}j j p t p t P X t j ==所满足的微分方程.解 考虑建立Fokker Planck -方程，为此，先求Markov 链的Q 矩阵.若()0X t =，当有一顾客来到服务台时，则状态由0转移到1，，因到达服务台的顾客数是强度为λ的Poisson 过程，因此，在(,]t t t +∆内有一顾客达到服务台的概率为01(){()1}()p t P N t t t λο∆===∆+∆因此有 010100()()limlim t t p t t t q t tλολ∆→∆→∆∆+∆===∆∆ 在(,]t t t +∆有两个或两个以上顾客到达的概率为()t ο∆，故有02030q q == 又利用Q 矩阵的性质，得到00q λ=-.若()1X t =，表示在t 时刻有一顾客正在被服务，由于对顾客服务的时间是服从参数为μ的指数分布的随机变量，则在(,]t t t +∆内完成服务的概率为1()t e t t μμο-∆-=∆+∆.因此，在(,]t t t +∆内系统由状态1转移到状态0的概率，也就是在这段时间内没有顾客到来，且完成对那个顾客的服务的概率为10()[()][1()]p t t t t t μολο∆=∆+∆-∆+∆=()t t μο∆+∆因此 101000()()limlim t t p t t t q t tμομ∆→∆→∆∆+∆===∆∆ 同理 12()[()][1()]p t t t t t λομο∆=∆+∆-∆+∆=()t t λο∆+∆ 从而得到 12q λ=， 同理130q =，11101213()q q q q =-++=()μλ-+ 仿上面的做法，得到 202123220,,,().q q q q μλλμ====-+若()3X t =，则这时系统不能接受新顾客，则状态3只能转移到状态2或仍保持在状态3，在此情况下，在(,]t t t +∆内对顾客服务结束的概率为 1()t e t t μμο-∆-=∆+∆，从而，32()()p t t t μο∆=∆+∆，由此得到32q μ=，30310q q ==，33q μ=-.所求的Q 矩阵为 00()00()00Q λλμλμλμλμλμμ-⎛⎫⎪-+ ⎪= ⎪-+ ⎪-⎝⎭根据Fokker Planck -方程得01()()(),p t p t p t λμ'=-+1012()()()()(),p t p t p t p t λλμμ'=-++ 2123()()()()(),p t p t p t p t λλμμ'=-++ 323()()()p t p t p t λμ'=- 初始条件为0(0)1,(0)0,1,2,3.i p p i ===5.3 生灭过程5.3.1 生灭过程的基本概念连续时间的Markov 链的一类重要的特殊情况是生灭过程，它的特征是在很短时间内，系统的状态只能从状态i 转移到状态1i -或1i +或保持不变，而且生灭过程的所有状态都是互通的，确切的定义如下：定义5.6 设连续时间的齐次Markov 链{(),0}X t t ≥的状态空间为{0,1,2,}I =L ，转移概率函数为()ij p t ，如果,1,10()(),0()(),0,01()()()(),||2i i i i i i i i ii i i ij p t t t p t t t p t t p t t i j λολμομμλμοο+-∆=∆+∆>⎧⎪∆=∆+∆>=⎪⎨=-+∆+∆⎪⎪∆=∆-≥⎩（5.25） 则称{(),0}X t t ≥为生灭过程，i λ为出生率，i μ为死亡率.若i i λλ=，,(,i i μμλμ=为正常数），则称{(),0}X t t ≥为线性生灭过程；若0i μ≡，则称{(),0}X t t ≥为纯生过程；若0i λ≡，则称{(),0}X t t ≥为纯灭过程.从定义可以看出，如果不计高阶无穷小()t ο∆，则生灭过程的变化状态只有3种情形：或由i 变到1i +，即增加1（如果()X t 是群体个数，则表明“生”了一个个体），其概率为i t λ∆；或由i 变到1i -，即减少1（表明群体“死”了一个个体），其概率为i t μ∆；或群体个数没有变化，其概率为1()i i t λμ-+∆.因此，生灭过程所有状态是相通的，但在很短的时间内，只能在相邻的状态内变化：或状态无变化，或“生”一个，或“灭”一个，故有生灭过程之称.由定理5.3得0()|,0ii ii t i i dq p t i d tλμ∆==-∆=+≥∆，0,1,0()|,1,1i ij ij t i j i i dq p t j i i d t λμ∆==+≥⎧=∆=⎨=-≥∆⎩， 0,||2ij q i j =-≥由此我们得到生灭过程的Q 矩阵为111122223333000()00()00()Q λλμλμλμλμλμλμλ-⎛⎫⎪-+ ⎪⎪=-+ ⎪-+ ⎪ ⎪⎝⎭L L L L L LL L LL （5.26）相应地，Kolmogorov 向后方程1,1,()()()()()ij i i ij i i j i i j p t p t p t p t λμλμ+-'=-+++， （5.27）Kolmogorov 向前方程是1,11,1()()()()()ij j j ij j i j j i j p t p t p t p t λμλμ--++'=-+++ （5.28）因为上述方程组的求解比较困难，同离散时间的Markov 链的情形一样，我们通过引进遍历性、极限分布来讨论其平稳分布，由定理5.700111111,(),1jj j j j j j j λπμπλμπλπμπ--++=⎧⎪⎨+=+≥⎪⎩ （5.29） 用递推法得0011102101212,...λλλλπππππμμμμ=== 10111012j j j j j j λλλλπππμμμμ---==L L L 利用11jj π∞==∑，得到平稳分布101101121j j j λλλπμμμ-∞-=⎛⎫=+ ⎪ ⎪⎝⎭∑L L ， 1011011112121, 1.j j j j j j j λλλλλλπμμμμμμ-∞--=⎛⎫=+≥ ⎪ ⎪⎝⎭∑L L L L (5.30) 上式也指出生灭过程平稳分布存在的充要条件是011112j j jλλλμμμ∞-=<∞∑L L （5.31）生灭过程在计算机（通信网络）、系统更换（维修）、生态学等问题有广泛的应用，下面给出几个实例.5.3.2 生灭过程的几个应用实例例5.6 (//M M s 排队系统) （续例5.5）假设顾客按照参数为λ的Poisson 过程来到一个有s 个服务员的服务站，即相继来到之间的时间是均值为1λ的独立指数随机变量，每个顾客一来到，如果有服务员空闲，则直接进行服务，否则此顾客要加入排队行列（即在队中等待）.当一个服务员结束对一个顾客的服务时，顾客就离开服务系统，排队中的下一位顾客（若有顾客等待）进入服务.假定相继服务时间是相互独立的指数随机变量，均值为1μ.如果记()X t 为时刻t 系统中的人数，则{(),0}X t t ≥是生灭过程,1,,,n n n s s n s μμμ≤≤⎧=⎨>⎩,0n n λλ=≥ （5.32） //M M s 排队系统中M 表示Markov 过程，s 代表s 个服务员.特别地，在//1M M 排队系统中，,n n λλμμ==，于是若1λμ<，则由(5.25)式得 ()()()1()1,01n nn nn n λμπλμλμλμ∞===-≥+∑要平稳分布（即极限分布）存在，λ必须小于μ是直观的.顾客按速率λ到来且以速率μ受到服务，因此，当λμ>时，他们到来的速率高于他们接受服务的速率，排队的长度趋于无穷；λμ=的情况类似于对称的随机游动，它是零常返的，从而没有极限概率.例5.7 （电话问题的爱尔朗（Erlang ）公式）两个电话分局，假定它们之间有s 条线路，两电话局用户之间通话要占用这些中继线，每个电话局都有许多用户，其数量比s 大得多，因此，不管通话的用户占有几条中继线，不在通话的用户几乎总是不变的.因此，可以假定在(,]t t t +∆中又有一用户要求通话的概率为()t t λο∆+∆，而与正在通话的用户无关，如此时有空着的中继线，则上述用户就可以占用空着的中继线路而进行通话，否则该用户的要求因线路占满而取消.再假定每一个时刻t 占用中继线通话的用户，在(,]t t t +∆内将结束通话，从而空出一条中继线的概率为()t t μο∆+∆，并且各用户之间是相互独立的.在上述假定下，用()X t 表示时刻t 正在使用的中继线路的条数，则{(),0}X t t ≥是一个齐次的有限Markov 链，记其转移概率为()ij p t ，则有,1()(),0,1,2,,1,i i p t t t i s λο+∆=∆+∆=-L ,1()(),0,1,2,,i i p t i t t i s μο-∆=∆+∆=L()1()(),0,1,2,,1ii p t i t t i s λμο∆=-+∆+∆=-L ()1()ss p t s t t μο∆=-∆+∆ ()0,||1ij p t i j ∆=->. 这是一个生灭过程，相应的,0,1,,1,i i s λλ==-L ,1,2,,i i i s μμ==L 由(5.30)知它的平稳分布为()01100121,1,2,,!kk k k k s k λλλππλμπμμμ-===L L L()()11010111!!ss k k k k k k πλμλμ--==⎡⎤⎡⎤=+=⎢⎥⎢⎥⎣⎦⎣⎦∑∑于是 ()()01!,0,1,,1!kk s l l k k s l λμπλμ===∑L （5.33） 这就是著名的Erlang 公式.例 5.8 (机床维修) 设有m 台机床，s 个维修工人（s m ≤），机床或者工作，或者等待维修.机床损坏后，如有维修工人空着，则空着的工人立即来维修，否则等待，直到有一个工人修好手中的一台机床后再来维修，机床按先坏先修的原则排队，如果进一步假定：（1） 在时刻t 正在工作的一台机床在(,]t t t +∆中损坏的概率为()t t λο∆+∆； （2） 在时刻t 正在修理的一台机床在(,]t t t +∆中被修好的概率为()t t μο∆+∆； （3） 各机床之间的状态（指工作或损坏）是相互独立的.在上述假定下，如用()X t 表示在时刻t 损坏了的（包括正在维修和等待维修的，即不在工作的）机床台数，则{(),0}X t t ≥是一个齐次的有限Markov 链，{0,1,2,,}I m =L ，用()ij p t 表示该Markov 链的转移概率，根据上述假设，有,1()()(),0,1,2,,1k k p t m k t t k m λο+∆=-∆+∆=-L事实上，,1(){()1|()}k k p t P X t t k X t k +∆=+∆=+=，表明在时刻t 有k 台机床损坏的条件下，在(,]t t h +中又有一台机床损坏且min{,}k s 台正在修理的机床在该段时间内都未修好的概率为111[()][1()]m k m k C t t t t λολο---∆+∆-∆-∆⋅min{,}[1()]k s t t μο-∆-∆()()m k t t λο=-∆+∆ 即 ,1()()(),k k p t m k t t λο+∆=-∆+∆ 0,1,2,,1k m =-L类似地，有 ,1(),1,()(),,k k k t t k s p t s t t s k m μομο-∆+∆≤≤⎧∆=⎨∆+∆<≤⎩1[()](),1,()1[()](),,kk m k k t t k s p t m k s t t s k m λμολμο--+∆+∆≤≤⎧∆=⎨--+∆+∆<≤⎩()(),|| 2.kj p t t k j ο∆=∆-≥ 可见这是一个纯生过程，相应地有(),0,1,,1k m k k m λλ=-=-L,1,,.k k k s s s k m μμμ≤≤⎧=⎨<≤⎩因此，可以得到它的平稳分布如下：（1） 当1k s ≤≤时，有0110012(1)(1)12k k k k m m m k k λλλπππμμμμ---+==⋅⋅⋅L L L L 0kk m C λπμ⎛⎫= ⎪⎝⎭（2） 当s k m <≤时，有0111121s s k k s s k λλλλλππμμμμμ--+=L L L L0(1)(1)()(1)12kk s km m m s m s m k s s λπμ---+--+=⋅⋅L L L L ()0(1)(2)....kkmk ss s k C s λμπ-++= 而101101121m k k k λλλπμμμ--=⎡⎤=+⎢⎥⎣⎦∑L L ()()111(1)(2)1s mk k k k m m k s k k s s s k C C s λμλμ--==+++⎡⎤=++⎢⎥⎣⎦∑∑L 由此可见，在给定的,,m λμ之后，对于不同的s 就可用上述公式求出相应的{}k π，进而求出相应的均值1mkk k π=∑（即安排s 个维修工人时，平均不工作的机床台数）等，根据这些数据来确定合适的工人数.例5.9 (尤尔（Yule ）过程) 设群体中各个个体的繁殖是相互独立、强度为λ的Poisson 过程.若假设没有任何成员死亡，以()X t 记时刻t 群体的总数量，则()X t 是一个纯生过程，其,0n n n λλ=>.称此纯生过程为尤尔过程，计算（1） 从一个个体开始，在时刻t 群体总量的分布；（2） 从一个个体开始，在时刻t 群体诸成员年龄之和的均值.解 记(1)i T i ≥为第i 个与第1i +个成员出生之前的时间，即(1)i T i ≥是群体总数从i 变化到1i +所花的时间.由尤尔过程的定义知道，(1)i T i ≥是独立的具有参数为i λ的指数分布，因此 1{}1tP T t e λ-≤=-1212110{}{|}tx P T T t P T T t T x e dx λλ-+≤=+≤=⎰2()0(1)tt x x e e dx λλλ---=-⎰2(1)t e λ-=-12123123120{}{|}()t T T P T T T t P T T T t T T x dF x +++≤=++≤+=⎰3()(1(1)2()tt x t x ee e x λλλλ----=--⎰3(1).t e λ-=-由归纳法可以证明12{}j P T T T t +++≤=L (1).t j e λ--由于 12{}j P T T T t +++≤=L {()1|(0)1}P X t j X ≥+= 因此 11()(1)(1)tj t j j p t ee λλ---=---1(1), 1.t t j e e j λλ---=-≥由此可见，从一个个体开始，在时刻t 群体的总量具有几何分布，其均值为te λ.一般地，如果群体从i 个个体开始，在时刻t 群体总量是i 个独立同几何分布随机变量之和，具有负二项分布，即1()(1), 1.1i t t j iij j p t e e j i i λλ----⎛⎫=-≥≥⎪-⎝⎭（2）记()A t 为群体在时刻t 诸成员年龄之和，则可以证明00()(),tA t a X s ds =+⎰其中0a 是最初个体在0t =的年龄，取期望得000()[()][()]t t EA t a E X s ds a E X s ds =+=+⎰⎰0001s tse a e ds a λλλ-=+=+⎰例5.10 (传染模型) 有m 个个体的群体，在时刻0由一个已感染的个体与1m -个未受到感染但可能被感染的个体组成.个体一旦受到感染将永远地处于此状态.假定在任意长为h 的时间区间内任意一个已感染的个体将以概率为()a t t ο∆+∆引起任一指定的未感染个体为感染者.我们以()X t 记时刻t 群体中已受到感染的个体数，则{(),0}X t t ≥是一个纯生过程1,2,,1(),0,n n m m n na λ=--⎧=⎨⎩L 其它 这是因为当有n 个已受到感染的个体时，则m n -个未受到感染者的每一个将以速率na 变成感染者.记T 为直到整个群体被感染的时间，i T 为从第i 个已感染者到第1i +个已感染者的时间，则 11m i i T T -==∑由于i T 是相互独立的指数随机变量，其参数分别为(),1,2,,1,i m i ia i m λ=-=-L因此 111111,()m m i i i ET ET a i m i --====-∑∑21121111.()m m i i i DT DT a i m i --==⎛⎫== ⎪-⎝⎭∑∑对规模合理的群体，ET 渐近地为11111m i ET ma m i i -=⎛⎫=+ ⎪-⎝⎭∑111112ln(1).m m dt ma m t t ma--⎛⎫≈+= ⎪-⎝⎭⎰ 习 题 五5.1 一质点在1，2，3点上作随机游.若在时刻t 时质点位于这三点之一，则在[,)t t t +∆内，它以概率1()2t t ο∆+∆分别转移到其它二点之一.试求质点随机游动的Kolmogorov 方程，转移概率函数()ij p t 及平稳分布.5.2 设某车间有M 台机床，由于各种原因车床时而工作，时而停止.假设时刻t ，一台正在工作的机床，在时刻t t +∆停止工作的概率为()t t μο∆+∆，而时刻t 不工作的机床，在时刻t t +∆工作的概率为()t t λο∆+∆，且各车床工作情况是相互独立的.若()N t 表示时刻t 正在工作的车床数，求（1）齐次Markov 过程{(),0}N t t ≥的平稳分布；（2）若10,60,30M λμ===，系统处于平稳状态时有一半以上车床在工作的概率.5.3 一条电路供m 个焊工用电，每个焊工均是间断用电，现作如下假设：（1）若一焊工在t 时用电，而在(,)t t t +∆内停止用电的概率为()t t μο∆+∆；（2）若一焊工在t 时没有用电，而在(,)t t t +∆内用电的概率为()t t λο∆+∆；（3）每个焊工的工作情况是相互独立的，设()X t 表示在t 时刻正在用电的焊工数.（1） 求该过程的状态空间和Q 矩阵；（2） 设(0)0X =，求绝对概率()j p t 所满足的微分方程； （3） 当t →∞时，求极限分布j p .5.4 设[0,]t 内达到的顾客服从Poisson 分布，参数为t λ，设有单个服务员，服务时间为指数分布的排队系统(//1)M M ，平均服务时间为1μ，试证明： （1）在服务员的服务时间内达到顾客的平均数为λμ； （2）在服务员的服务时间内无顾客达到的概率为μλμ+.。