连续时间马尔可夫链S
第五章 连续时间马尔可夫链-随机过程
二、连续时间马尔可夫链的状态逗留时间和转移速率 命题 以 i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t } ，因此， 随机变量 i 是无记忆的必有指数分布，其参数设为 v i
证明： P{ i t s | i s}
P{T1 t } 1 e t
P{T1 T2 t } P{T1 T2 t | T1 x } e t dx
0 t
= (1 e 2 ( t x ) ) e x dx (1 e t )2
0
t
P{T1 T2 T3 t } P{T1 T2 T3 t | T1 T2 x }dFT1 T2 ( x )
i 1 n
其中 f 是密度函数(5.3.2)
e (t x) ,0 x t f ( x) 1 et 0, 其它
但因为(5.3.1)是 n 个密度为 f 的随机变量的子样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的联合密度函数。于是得 命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
0 1 2 3
…Байду номын сангаас
n
n
2
3
… (n 1)
若对一切 n， n 0 (即若死亡是不可能的)，则生灭过程称为纯 生过程，i 个个体开始的纯生过程，生长率为 n , n i 。
随机过程-第五章-连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质:(1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质:;0)1(≥ij p(2) ;1=∑∈ij I j p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明 只证(3).由全概率公式及马尔可夫性可得===+=+)})0()({)(i X j s t X P s t p ij=∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足:⎩⎨⎧≠==→.,0,1)(lim 0j i j i t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记},)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布. 定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:(1) ,0)(≥t p j(2) ,1)(=∑∈t p j I j(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii I i i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链.证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++=,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X }= })()({11n n n n i i t X t X P -=-++ .另一方面,因为})()({11n n n n i t X i t X P ==++ =})0()()()({11n n n n n n i X t X i i t X t X P =--=-++=})()({11n n n n i i t X t X P -=-++ 所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++.即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性.当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t e ij t ---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j i j i j t e t p t s p ij t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性.5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj i r ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在(1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v tt p(2).,)(lim 0j i q t t p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量.推论 对有限齐次马尔可夫过程,有∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii I j ij ∆=∆-=∆∑∑≠∈ 由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4) 对于状态空间无限的齐次马尔可夫过程,一般只有∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q q q q q Q .....................101111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到)()()(lim )()(lim 00t p q t p hh p h t p h t p ij ii kj i k ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论:定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有≥∑≠→)()(inf lim 0t p h h p kj i k ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj N k i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以 )()()(inf lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0N k ik kj N k i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj N k i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤N k i k ik ii kj N k i k ik q q t p q令∞→N ,由定理5.3和条件得)()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得)()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik I k kj I k ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得 ),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以)}.()(1)()({lim )()(lim 00t p hh p h h p t p h t p h t p ij jj kj j k ik h ij ij h --=-+∑≠→→ 假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的.定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件.,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10),)()(Q t P t P =' (5.11)其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=............ (222120121110)020100q q q q q q q q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡= (22)2120121110020100p p p p p p p p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为.!)()(0∑∞===j jQt j Qt e t P 定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程: .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj j k ik i I i jj ij iI i ij I i i q t p p q t p p t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的. 定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj j k k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有.)(lim j j t t p π=∞→(2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则 ,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--=由对称性知,)()(0011t e t p μλμλ+-+=,)()(0010t e t p μλμμ+--=转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为0100,λπμπ==若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P则过程在时刻t 的绝对概率分布为,)()(lim )(1lim 1001010011011q h p dh d h h p h h p q h h h ====-==→→μ,)()(lim )(1lim 010********00q h p dhd h h p h h p q h h h ====-==→→λ)()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例 5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫ ⎝⎛--=μμλλQ . 根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可.由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下.定义 5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ,0,0),()(01,=>+=-μμμi i i i h o h h p),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.)()()(1010101t p p t p p t p +=,2),()(,≥-=j i h o h p j i若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程.生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+-由定理5.3得到,0,)()(,0≥+=-==i h p dh d t q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh d t q i i h ij ij μλ ,2,0≥-=j i q ij故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ逐步递推得,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j j j μμμλλλπ, 112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ 例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务.假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ .0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nn n μλμλμλμλπ。
随机过程Ch连续时间的马尔可夫链课件
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
互通：i j i j，j i。 若所有状态都是互通的，则称此马尔可夫链 为不可约的。
定理5.7 设连续时间马尔可夫链是不可 约旳，则有下列性质：
(1)若它是正常返旳，则极限
lim
t
pij (t)
存在
且等于j >0，jI。这里j 是
jq jj kqkj ,
j 1
k j
jI
旳唯一非负解，此时称{j >0，jI}是该过
对任意0 t1 t2 tn tn1有
PX tn1 in1 / X t1 i1,, X tn in P{X tn1 X tn in1 in / X t1 X 0 i1,
X t2 X t1 i2 i1,, X tn X tn1 in in1} PX tn1 X tn in1 in
pii h 1 qiih oh
pij
h
qij h
oh
称qij 为齐次马尔可夫过程从状态i 到状态j 的转移
速率或跳跃强度，定理的概率含义为：在一个长
为h的时间区间内，从状态i 转移到其它状态的概率
为：1 pii h 等于 qiih o h ；而由状态i转移 到状态j的概率pij h 等于qij h o h 。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
第05章 连续时间马尔可夫链S
体诸成员的年龄之和的均值。时刻 t 诸年龄之和，记为 A(t)，
X (t )1
可表示为 A(t) a0 t (t Si ) i 1
其中 a0 是初始个体在 t=0 时的年龄。对 X(t)取条件
n
E[A(t) | X (t) n 1} a0 t E[ (t Si ) | X (t) n 1} i 1
1 vi
i 1
1 i2
）。假设所考虑的全部马尔可
夫链是规则的。
第四页，共六十九页。
对一切i j，qij定义为
qij vi Pij
因为vi是过程离开状态 i 的速率而 Pij 是它转移到 j 的概率，所以
qij是过程从状态 i 转移到状态 j 的速率；称qij 是从 i 到 j 的转移
率。显然vi qij ji
连续时间马尔可夫链是具有马尔可夫性的随机过程，即已 知现在 s 时的状态 X(s)及一切过去时刻 u,0u<s 的状态 X(u)的 条件下在将来时刻 t+s 的状态 X(t+s)的条件分布只依赖现在的状 态 X(s)而与过去独立。
第一页，共六十九页。
二、连续时间马尔可夫链的状态逗留时间和转移速率
命题 以i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t}，因此， 随机变量i 是无记忆的必有指数分布，其参数设为vi
态 i-1 或 i+1，当状态增长 l 时，就说生了一个；而当它减少 1
时，就说死了一个。设i qi,i1，i qi,i1，值{i , i 0}与{i , i 1}
分 别 称 为 生 长 率 与 死 亡 率 。 因 为 qij vi ， 可 见 ji
连续时间的马尔可夫链
成立，称{X(t),t ≥0}为连续参数马尔可夫链。
(0)
1, Pij
(0)
1 , i j 0 ( i j ) 知 lim p ij ( t ) t 0 0 , i j
定义5.5：连续参数齐次马氏链{X(t),t ≥0}称 p P X 0 j
j
即X(0)的概率分布，为连续参数齐次马氏链的初 始分布。 称
ii ii
(1) lim
1 p ii ( t ) t p ij ( t ) t
t 0
i q ii
( 2 ) lim
t 0
q ij , j i
q ii 表 示 在 t时 刻 通 过 状 态 i的 通 过 速 度 , q ij 表 示 在 时 刻 t由 状 态 i 到 状 态 j的 速 度 。
证
由切普曼-柯尔莫哥洛夫方程有
kI
p ij ( t h )
p ik ( h ) p k j ( t )
p ij ( t h ) p ij ( t ) p ij ( t ) lim
k i
p ik ( h ) p k j ( t ) [1 p ii ( h )] p ij ( t )
e p ij ( s , t ) p ij ( t ) 0
t
( j i )! , j i
, j i
转移概率与s无关，泊松过程具有齐次性。
随机过程第五章连续时间的马尔可夫链
第五章 连续时间的马尔可夫链5.1连续时间的马尔可夫链考虑取非负整数值的连续时间随机过程}.0),({≥t t X定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.记(5.1)式条件概率一般形式为),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率. 定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有},{}{t h P s h t s h P i i i >=>+>可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布; (2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠ij ij p .上述性质也是我们构造连续时间马尔可夫链的一种方法.当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.定理5.1 齐次马尔可夫过程的转移概率具有下列性质: ;0)1(≥ij p (2);1=∑∈ij Ij p(3) ∑∈=+Ik kj ik ij s p t p s t p )()()(.其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+Ik i X k t X j s t X P })0()(,)({=})()({})0()({k t X j s t X P i X k t X P Ik ==+==∑∈∑∈=Ik kj ik s p t p )()(.对于转移概率)(t p ij ,一般还假定它满足: ⎩⎨⎧≠==→.,0,1)(lim 0j i ji t p ij t (5.3) 称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==,},)0({)0(I j j X P p p j j ∈===分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2),1)(=∑∈t p j Ij(3) )()(t p p t p ij Ii i j ∑∈=;(4) );()()(h p t p h t p ij Ii i j ∑∈=+(5)).()...(})(,...,)({112111211-∈--====-∑n n i i i i ii Ii i n n t t p t t p p p i t X i t X p n n例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<<n n t t t ,有})(,...,)()({1111n n n n i t X i t X i t X P ===++= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为})()({11n n n n i t X i t X P ==++=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+=)!()(i j t eij t---λλ j<i.时,由于过程的增量只取非负整数,故,0),(=t s p ij 所以⎪⎩⎪⎨⎧<≥-==--i j ij i j t e t p t s p i j t ij ij ,0,)!()()(),(λλ, 即转移概率只与t 有关,泊松过程具有齐次性. 5.2柯尔莫哥洛夫微分方程对于连续时间齐次马尔可夫链转移概率)(t p ij 的求解一般比较复杂.下面首先讨论)(t p ij 的可微性及)(t p ij 满足的柯尔莫哥洛夫微分程.引理5.1 设齐次马尔可夫过程满足正则性条件(5.3),则对于任意固定的)(,,t p I j i ij ∈是t 的一致连续函数.证明 设h>0,由定理5.1得)()()()()(t p t p h p t p h t p ij rj Ir ir ij ij -=-+∑∈)()()()()(t p t p h p t p h p ij ij ii rj ir ir -+=∑≠=)()](1[)()(t p h p t p h p ij ii rj ir ir --=∑≠故有)],(1[)()](1[)()(h p t p h p t p h t p ii ij ii ij ij --≥--=-+ ),(1)()()()()(h p h p t p h p t p h t p ii ir ir rj ir ir ij ij -=≤≤-+∑∑≠≠因此).(1)()(h p t p h t p ii ij ij -≤-+对于h<0,同样有).(1)()(h p t p h t p ii ij ij --≤-+ 综上所述得到).(1)()(h p t p h t p ii ij ij -≤-+ 由正则性条件知,0)()(lim 0=-+→t p h t p ij ij h即)(t p ij 关于t 是一致连续的.以下我们恒设齐次马尔可夫过程满足正则性条件(5.3)式.定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率,则下列极限存在 (1);)(1lim 0∞≤==∆∆-→∆ii i ii t q v t t p (2).,)(lim 0j i q tt p ij ij t ≠∞<=∆∆→∆我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移概率或跳跃强度.定理中的极限的概率意义为:在长为t ∆的时间区间内,过程从状态i 转移到另一其他状态的转移概率为)(1t p ii ∆-等于t q ii ∆加一个比t ∆高阶的无穷小量,而过程从状态i 转移到状态j 的转移概率为)(t p ij ∆等于t q ij ∆加一个比t ∆高阶的无穷小量. 推论 对有限齐次马尔可夫过程,有 ∞<=∑≠ij ij ii q q证明 由定理5.1 ,有)()(1,1)(t p t p t pij ij ii Ij ij∆=∆-=∆∑∑≠∈由于求和是在有限集中进行,故有.)(lim )(1lim 00∑∑≠≠→∆→∆=∆∆=∆∆-=ij ij ij i j t ii t ii q t t p t t p q (5.4)对于状态空间无限的齐次马尔可夫过程,一般只有 ∑≠≥ij ij ii q q .若连续时间齐次马尔可夫是具有有限状态空间I={0,1,2,…,n},则其转移速率构成以下形式的矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---=nn n n n n q q q q q qq q q Q .....................11111000100 (5.5) 由(5.4)式知,Q 矩阵的每一行元素之和为0,对角线元素为负或0,其余.0,≥ij q 利用Q 矩阵可以推出任意时间间隔t 的转移概率所满足的方法组,从而可以求解转移概率.由切普曼---柯尔莫哥洛夫方程有 ),()()(t p h p h t p Ik kj ik ij ∑∈=+或等价地)()](1[)()()()(t p h p t p h p t p h t p ij ii kj ik ik ij ij --=-+∑≠两边除以h 后令0→h 取极限,应用定理5.3得到 )()()(lim )()(lim 00t p q t p hh p ht p h t p ij ii kj ik ik h ij ij h -=-+∑≠→→ (5.6) 假定在(5.6)式的右边可交换极限与求和,再运用定理5.3,于是得到以下结论: 定理5.4 (柯尔莫哥洛夫向后方程)假设,ii ik ik q q =∑≠则对一切i,j 及0≥t ,有,)()(ij ii ik kj ik ijp q t p q t p -='∑≠ (5.7) 证明 只要证明(5.6)式右边极限与求和可交换次序.现在对于任意固定的N,有 ≥∑≠→)()(inflim 0t p hh p kj ik ik h )()()(inf lim ,,0t p q t p h h p kj Nk i k ik kj Nk i k ik h ∑∑<≠<≠→= 因为上式对一切N 成立,所以)()()(inflim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≥ (5.8) 为了倒转不等式,注意对于N>i,由于,1)(≤t p kj 所以≤∑≠→)()(sup lim ,0t p hh p kj i k ik h ≤+≤∑∑≥<≠→])()()(sup[lim ,0Nk ik kj Nk i k ik h h h p t p h h p ≤--+≤∑∑<≠<≠→])()(1)()(sup[lim ,,0Nk i k ik ii kj Nk i k ik h h h p h h p t p h h p ,)(,,∑∑<≠<≠-+≤Nk i k ikii kj Nk i k ikqq t p q令∞→N ,由定理5.3和条件得 )()()(sup lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→≤. 上式连同(5.8)可得 )()()(lim ,,0t p q t p h h p kj i k ik kj i k ik h ∑∑≠≠→=.定理5.4中)(t p ij 满足的微分方程组以柯尔莫可洛夫向后方程著称.称它们为向后方程,是因为在计算时刻t+h 的状态的概率分布时我们对退后到时刻h 的状态取条件,即我们从)()(})0()({..})(,)0()({)(h p t p i X k h X P k h X i X j h t X P h t p ik Ik kj Ik ij ∑∑∈∈======+=+开始计算.对时刻t 的状态取条件,我们可以导出另一组方程,称为柯尔莫哥洛夫向前方程.可得),()()(h p t p h t p kj Ik ik ij ∑∈=+)()()()()(t p h p t p t p h t p ij kj Ik ik ij ij -=-+∑∈=)()](1[)()(t p h p h p t p ij jj kj jk ik --=∑≠,所以 )}.()(1)()({lim )()(lim 00t p h h p h h p t p ht p h t p ij jj kj jk ik h ij ij h --=-+∑≠→→假定我们能交换极限与求和,则由定理5.3便得到),()()(t p q q t p t p ij ii jk kj ik ij-='∑≠ 令人遗憾的是上述极限与求和的交换不是恒成立,所以上式并非总是成立.然而在大多数模型中----包括全部生灭过程与全部有限状态的模型,它们是成立的. 定理5.5(柯尔莫哥洛夫向前方程) 在适当的正则条件下,,)()()(jj ij kj ik ik ijq t p q t p t p -='∑≠ (5.9) 利用方程组(5.7)或(5.9)及初始条件 .,0)0(,1)0(j i p p ij ii ≠==我们可以解得)(t p ij .柯尔莫哥洛夫向后和向前方程虽然形式不同,但是可以证明它们所求得的解)(t p ij 是相同的.在实际应用中,当固定最后所处状态j,研究)(t p ij 时(i=0,1,2,…,n),采用向后方程比较方便;当固定状态i,研究)(t p ij 时(j=0,1,2,…,),则采用向前方程较方便.向后方程和向前方程可以写成矩阵形式),()(t QP t P =' (5.10) ,)()(Q t P t P =' (5.11) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡---= (222120121110)020100q q q q q qq q q Q ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=............ (222120121110)020100p p p p p pp p p P 这样,连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题,其转移概率由其转移速率矩阵Q 决定.特别地,若Q 是一个有限维矩阵,则(5.10)和(5.11)的解为 .!)()(0∑∞===j jQtj Qt et P定理5.6 .齐次马尔可夫过程在t 时刻处于状态I j ∈的绝对概率)(t p j 满足下列方程:.)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' (5.12)证明 由定理5.2,有)()(t p p t p ij Ii i j ∑∈=t将向前方程(5.9)式两边乘以,i p 并对i 求和得.)())(()(kj jk ikiIi jj ijiIi ijIi iq t pp q t pp t p p ∑∑∑∑≠∈∈∈+-='故 .)()()(kj jk k jj j j q t p q t p t p ∑≠+-=' .与离散马尔可夫链类似,我们讨论转移概率 )(t p ij 当 ∞→t 时的极限分布与平稳分布的有限性质.定义5.4 设)(t p ij 为连续时间马尔可夫链的转移概率,若存在时刻 21,t t ,使得 ,0)(1>t p ij ,0)(2>t p ij则称状态i 和j 是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约定理5.7 设连续时间的马尔可夫是不可约的,则有下列性质:(1) 若它是正常返的,则极限)(lim t p ij t ∞→存在且等于.,0I j j ∈>π这里.,0I j j ∈>π是方程组1,==∑∑∈≠Ij j kj jk k jj j q q πππ (5.13)的唯一非负解.此时称.,0{I j j ∈>π是该过程的平稳分布,并且有 .)(lim j j t t p π=∞→ (2) 若它是零常返的或非常返的,则.,,0)(lim )(lim I j i t p t p j t ij t ∈==∞→∞→在实际问题中,有些问题可以用柯尔莫哥洛夫方程直接求解,有些问题虽然不能求解但是可以用方程(5.13)求解.例5.2 考虑两个状态的连续时间马尔可夫链,在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量,而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量,显然该链是一个齐次马尔可夫过程,其状态转移概率为 ),()(01h o h h p +=λ),()(10h o h h p +=μ由定理5.3知,)()(lim )(1lim 1001010011011q h p dhdhh p h h p q h h h ====-==→→μ,)()(lim )(1lim 0100101000000q h p dhdhh p h h p q h h h ====-==→→λ由柯尔莫哥洛夫向前方程得到)()()(000100t p t p t p λμ-='=,)()(00μμλ++-t p 其中最后一个等式来自).(1)(0001t p t p -=因为,1)0(00=p 由常数变易法得 ,)()(00t e t p μλμλλμλμ+-+++=若记,,00μλμμμλλλ+=+=则,)()(0000t e t p μλλμ+-+=类似地由向前方程)()()(010001t p t p t p μλ-=' 可解得 ,)()(0001t e t p μλλλ+--= 由对称性知,)()(0011t e t p μλμλ+-+= ,)()(0010t e t p μλμμ+--= 转移概率的极限为),(lim )(lim 10000t p t p t t ∞→∞→==μ),(lim )(lim 11001t p t p t t ∞→∞→==λ 由此可见,当∞→t 时, )(t p ij 的极限存在且与i 无关.定理5.6知,平稳分布为 0100,λπμπ== 若取初始分布为平稳分布,即,}0)0({00μ===p X P ,}1)0({01λ===p X P 则过程在时刻t 的绝对概率分布为 )()()(1010000t p p t p p t p +==0)(000)(00]1[][μμλμλμμλμλ=-+++-+-t t e e=0)(000)(00][]1[λμλλλμμλμλ=++-+-+-t t e e .例5.3 机器维修问题.设例5.2中状态0代表某机器正常工作状态1代表机器出故障.状态转移概率与例5.2相同,即在h 时间内,机器从正常工作变为出故障的概率为),()(01h o h h p +=λ在h 时间内,机器从有故障变为经修复后正常工作的概率为),()(10h o h h p +=μ试求在t=0时正常工作的机器,在t=5时为正常工作的概率.解 由例5.2已求得该过程的Q 矩阵为⎪⎪⎭⎫⎝⎛--=μμλλQ .根据题意,要求机器最后所处的状态为正常工作,只需计算)(00t p 即可. 由例5.2知,)()(0000t e t p μλλμ+-+=,,00μλμμμλλλ+=+=故 ,)5(5)(0000μλλμ+-+=e p 因为P{X(0)=0}=1=,0p 所以====)5()5(}0)5({0000p p p X P .)5(5)(0000μλλμ+-+=e p 5.3 生灭过程连续时间马尔可夫链的一类重要特殊情形是生灭过程,它的特征是在很短的时间内,系统的状态只能从状态i 转移到状态i-1或i+1或保持不变,确切定义如下. 定义5.5 设齐次马尔可夫过程}0),({≥t t X 的状态空间为I={0,1,2,…},转移概率为)(t p ij ,如果,0),()(1,>+=+i i i i h o h h p λλ)()()(1010101t p p t p p t p +=,0,0),()(01,=>+=-μμμi i i i h o h h p ),()(1)(,h o h h p i i i i ++-=μλ则称 }0),({≥t t X 为生灭过程,i λ为出生率,i μ为死亡率.若,λλi i =μλμμ,(,i i =是正常数),则称}0),({≥t t X 为线性生灭过程.若0≡i μ,则称}0),({≥t t X 为纯生过程. 若0≡i λ,则称}0),({≥t t X 为纯灭过程. 生灭过程可作如下概率解释:若以X(t)表示一个生物群体在t 时刻的大小,则在很短的时间h 内(不计高阶无穷小),群体变化有三种可能,状态由i 变到i+1,即增加一个个体,其概率为h i λ;.状态由i 变到i-1,即减少一个个体,.其概率为h i μ;群体大小保持不变,其概率为.)(1h i i μλ+- 由定理5.3得到 ,0,)()(,0≥+=-==i h p dhdt q i i h ii ii μλ ⎩⎨⎧≥-=≥+====,1,1,,0,1,)()(0i i j i i j h p dh dt q i i h ij ij μλ,2,0≥-=j i q ij 故柯尔莫哥洛夫向前方程为.,),()()()()(1,11,1I j i t p t p t p t p j i j ij j j j i j ij∈++-='++--μμλλ 故柯尔莫哥洛夫向后方程为.,),()()()()(,11,I j i t p t p t p t p j i i ij j j j i i ij∈++-='+-λμλμ 因为上述方程组的求解较为困难,我们讨论其平稳分布.由(5.13)式,有 ,1100πμπλ=.1,)(1111≥+=+++--j j j j j j j j πμπλπμλ 逐步递推得,2),()(,≥-=j i h o h p j i,0101πμλπ=…, ,11--=j jj j πμλπ 再利用11=∑∞=j j π,得平稳分布,11211100)......1(-∞=-∑+=j jj μμμλλλπ,112111021110)......1(......-∞=--∑+=j jj j j j μμμλλλμμμλλλπ例5.4 生灭过程例子M/M/S 排队系统.假设顾客按照参数为λ的泊松过程来到一个有s 个服务员的服务站,即相继来到之间的时间是均值为λ1的独立指数随机变量,每一个顾客一来到,如果有服务员空闲,则直接进行服务,否则此顾客加入排队系列.当一个服务员结束对一位顾客的服务时顾客就离开服务系统,排队中的下一顾客进入服务. 假定相继的服务时间是独立的指数随机变量,均值为μ1.如果我们以X(t)记时刻t 系统中的人数,则}0),({≥t t X 是生灭过程⎩⎨⎧>≤≤=,,,1,s n s s n n n μμμ.0,≥=n n λλM/M/s 排队系统中M 表示马尔可夫过程,s 代表s 个服务员.特别在M/M/1排队系统中,μμλλ==n n ,,若1<μλ,则由(5.14)可得.0),1()()(1)(1≥-=+=∑∞=n n n nnn μλμλμλμλπ。
连续时间马尔可夫链例题
连续时间马尔可夫链例题假设有一个连续时间马尔可夫链，描述一个人的健康状态。
该马尔可夫链包含三个状态：健康、生病和康复。
人的健康状态可以根据以下转移概率进行模拟：1. 在任何时间点，一个健康的人以0.1的速率生病。
2. 在任何时间点，一个生病的人以0.2的速率康复。
3. 在任何时间点，一个康复的人以0.05的速率重新生病。
现在假设一个人的初始状态是健康，我们可以使用连续时间马尔可夫链模型来模拟他的健康状态随时间的变化。
假设每个时间单位是一周，我们希望模拟他一年内的健康状态。
根据上面的转移概率，我们可以得到如下的转移矩阵：```| 健康 | 生病 | 康复 |----------------------------健康 | 0.9 | 0.1 | 0 |生病 | 0.05 | 0.75 | 0.2 |康复 | 0 | 0.05 | 0.95|```该矩阵中的每个元素表示从当前状态转移到下一个状态的概率。
例如，一个健康的人在一周后仍然健康的概率为0.9，在一周后生病的概率为0.1，在一周后康复的概率为0。
使用该转移矩阵，我们可以模拟一个人一年内的健康状态。
假设每个时间单位是一周，则一年共有52个时间单位。
我们可以使用随机数生成器来生成每个时间单位的状态。
假设生成的随机数在[0,1)之间，我们可以根据转移概率进行状态转移。
例如，如果生成的随机数小于0.9，则人在下一个时间单位仍然健康；如果生成的随机数介于0.9和0.95之间，则人在下一个时间单位康复；如果生成的随机数大于等于0.95，则人在下一个时间单位重新生病。
使用这种方法，我们可以模拟一个人一年的健康状态，并观察他在这段时间内的状态变化。
这可以帮助我们更好地了解和预测一个人的健康动向。
随机过程 14连续时间马尔科夫链
p21 ( t ) ?
pm1(t )
p12 (t) ? p22 (t ) ?
?? pm 2(t ) ?
p1m
(
t
)
? ?
p2m (t ) ?
? pmm(Βιβλιοθήκη t)? ???
证 由概率的定义，(1)(2) 显然成立，下证(3)
pij (t ? s) ? P{X (t ? s) ? j | X (0) ? i}
? 则称{X(t)，t ? 0 }为连续时间马尔可夫链。
经过时间t后的转移概率
转移概率：在s时刻处于状态i，经过时间t后 转移到状态j的概率: pij(s,t)= P{X(s+t)=j|X(s)=i}
定义5.2 齐次转移概率 pij(s,t)=pij(t)
(与起始时刻s无关，只与时间间隔t有关)
? 经过时间t转移概率矩阵： P(t)=(pij(t)) ，i,j? I，t ? 0
? ? P{X (t ? s) ? j, X (t ) ? k | X (0) ? i} k? I
? ? P{X (t ? s) ? j | X (t) ? k , X (0) ? i}?P{X (t) ? k | X (0) ? i} k? I
? ? P{X (t ? s) ? j | X (t ) ? k }P{X (t ) ? k | X (0) ? i} k? I
? (2)
pij (t) ? 1;
j? I
? (3) pij (t ? s) ? pik (t ) pkj (s) k? I
? 性质3用矩阵表示就是：
? ?
p11 (s
?
t)
? p21(s ? t )
? ???
连续时间马尔可夫链的研究和应用
连续时间马尔可夫链的研究和应用马尔可夫链是用于描述随机过程的数学工具，其特点是未来状态的转移仅依赖于当前状态，与过去状态无关。
在时间离散的情况下，马尔可夫链的数学理论已经十分成熟且应用广泛。
然而，在实际问题中，许多系统的状态变化是连续的，如金融市场、生产流程、医疗领域等。
为了更好地描述和分析这类系统，连续时间马尔可夫链成为了研究的焦点之一。
一、连续时间马尔可夫链的基本定义和性质连续时间马尔可夫链是一个连续时间随机过程，其状态在时间上的变化满足马尔可夫性质。
与离散时间马尔可夫链不同的是，在连续时间马尔可夫链中，状态的转移并不是以离散的时刻进行，而是在连续的时间区间内发生。
连续时间马尔可夫链可以用状态转移概率密度函数描述，记为P(t)。
该函数表示在时间t到t+dt之间，状态从i转移到状态j的概率为P(t)dt。
连续时间马尔可夫链的转移概率满足总概率为1的条件，即∫P(t)dt=1。
连续时间马尔可夫链的状态转移矩阵可用生成矩阵(Q)表示。
该矩阵的元素q(i,j)表示在单位时间内，状态从i转移到j的概率。
连续时间马尔可夫链的状态转移矩阵满足非负性和行和为零的条件。
二、连续时间马尔可夫链的稳定性与收敛性连续时间马尔可夫链的稳定性是指在长时间模拟中，系统的状态分布是否趋于稳定。
对于稳定的连续时间马尔可夫链，其状态转移概率在时间的演化中不再发生显著改变。
连续时间马尔可夫链的稳定性与其转移速率矩阵相关。
转移速率矩阵是连续时间马尔可夫链中的关键概念，它描述了系统在各个状态之间转移的速率。
只有当连续时间马尔可夫链的转移速率矩阵满足一定条件时，系统的状态分布才会趋于稳定。
在实际应用中，连续时间马尔可夫链的稳定性常被用来分析系统的可靠性、资源分配方案以及市场行为等。
利用连续时间马尔可夫链模型，可以预测系统在不同状态下的持续时间、发展趋势以及转移概率，为决策提供科学依据。
三、连续时间马尔可夫链的应用案例1. 金融市场预测连续时间马尔可夫链可以应用于金融市场的预测和风险评估。
10第五章连续时间马尔可夫链ppt课件
利用Q矩阵可以推出任意时间间隔t的转移概 率所满足的方程组，从而可以求解转移概率。
ppt课件
14
定理5.4（ 柯尔莫哥洛夫向后方程）
假设 qik qii ，则对一切i,j及t≥0，有 k i pij (t) qik pkj (t) qii pij (t) k i 证明 由C-K方程可以知道：
pij (t h) pik (h) pkj (t) kI
pij (t h) pij (t) pik (h) pkj (t) [1 pii (h)] pij (t)
k i
ppt课件
15
两边除以h， h 0 取极限可以得到：
lim lim lim h0
pij (t h) pij (t) h
Pik (t)Pkj (s) kI
ppt课件
8
定义5.3 对于任一t≥0，记
p j (t) P{X (t) j}, p j p j (0) P{X (0) j},
jI
为绝对概率和初始概率。
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫 过程的绝对概率分布和初始概率分布。
ppt课件
12
Q矩阵和柯尔莫哥洛夫方程
定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满足正 则性条件，则下列极限存在：
1.
lim 1
t 0
pii (t) t
vi
qii
2.
lim
t 0
pij (t) t
qij
,i
j
称为转移速率或跳跃强度
ppt课件
13
lim
t 0Βιβλιοθήκη pij(t )
第三节连续时间马尔可夫链
根据 j'(t) i(t)qij 若存在平稳分i 布，则 lti m j'(t)lti m i i(t)qij
i
iqij 0 i 1
i
写 成 矩 阵 形 式 ： Q0
12
4 平稳概率例题
一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状
态转移图为
平衡方程：
(0,1,2)Q 0
马尔可夫链的平稳分布 j 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大 于0
11
5 平稳分布
如何求离散马尔可夫链的平稳分布？ 定理3.1 若 lti m j(t)j (jE)存在，则 ltimj '(t) 0 。
有：
1 i j
pij (0)
0
i j
P(0) I
5
2 K-C方程
1.K-C方程： pij(ts) pik(t)pkj(s)
写成矩阵的形式:
k
P(t+s)=P(t)·P(s)
2. K氏前向方程 P '(t) P (t)Qp ij'(t)p ik (t)q k j k
3. K氏后向方程 P '(t) Q P (t) p ij'(t)q ikp k j(t)
pij(t s) pik(t)pkj(s) k
P(t s) P(t)P(s)
前向 方程
后向 方程
P'(t) P(t)Q
pij '(t) pik (t)qkj
k
P'(t) Q P(t)
pij '(t) qik pkj (t)
连续时间马尔可夫链例题
连续时间马尔可夫链连续时间马尔可夫链（Continuous-time Markov Chain）是马尔可夫链在连续时间下的一种模型。
它受到时间的连续性限制，可以用于描述一些随机过程。
马尔可夫链基本概念马尔可夫链是指具有“无记忆性”的随机过程。
在离散时间中，马尔可夫链指的是一个随机变量序列，其中每个随机变量的取值依赖于其前一时刻的取值。
这个过程可以用一个状态转移概率矩阵来描述。
在连续时间中，马尔可夫链则是一个具有无记忆性的连续随机过程。
与离散时间不同，连续时间马尔可夫链的状态在一定时间段内可以发生任意多次的改变。
连续时间马尔可夫链的定义连续时间马尔可夫链是一个随机过程，其状态空间为有限个数。
该过程在任意时刻处于某个状态，并且满足无记忆性的马尔可夫性质。
连续时间马尔可夫链的演变是通过指数分布来描述的。
在每个状态之间的转移时间服从指数分布，转移时间的参数与当前状态有关。
连续时间马尔可夫链的转移速率矩阵与离散时间马尔可夫链中的状态转移矩阵类似，连续时间马尔可夫链使用转移速率矩阵来描述状态之间的转换关系。
设连续时间马尔可夫链的状态空间为{1, 2, …, n}，转移速率矩阵为Q。
矩阵Q的元素qij表示从状态i到状态j的速率，且满足以下条件：•qij≥0, i≠j;•对于每一个状态i，有qii = -∑qij（i≠j）。
在连续时间马尔可夫链中，从状态i到状态j的转移概率为pij(t)，t表示时间。
转移概率在给定时间段内满足以下等式：equation1其中X(t)表示在时刻t的状态，P表示概率。
连续时间马尔可夫链的性质连续时间马尔可夫链有许多属性与离散时间马尔可夫链类似。
•遍历性：如果状态空间中的每一个状态在有限时间内是可达的，则称连续时间马尔可夫链是遍历的。
•稳态概率分布：马尔可夫链可能存在稳态概率分布，对于连续时间马尔可夫链也是如此。
稳态概率分布表示在长时间内各个状态的概率分布。
•等距离转换概率：等距离转换概率描述了在任意的相同时间间隔内，从一个状态转移到另一个状态的概率。
第四章连续时间马尔科夫链
定理
设连续时间的马尔可夫链是不可约的，则有下列性质：
1.
若它是正常返的，则极限
lim
t
pij
(t)
存在且等于πj＞0，j∈I。这里πj是
方程组
j q jj
k qkj
k j
j 1
jI
的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有
lim
t
pij (t)
lim
t
p j (t)
3、pij (t s) pik (t) pkj (s) kI
正则性条件
1, i j
lim
t 0
pij
(t )
0,
i
j
4
定义
对于任一t≥0，记 p j (t) P{X (t) j},
p j p j (0) P{X (0) j},
jI
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 率分布。
16
一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态 转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态 必须移概率具有下列性质：
1、pij (t) 0
2、 pij (t) 1 jI
则称{X(t),t≥0}为连续时间马尔可夫链。
上式中条件概率的一般表现形式为
定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐 次的转移概率，此时转移概率简记为 其转移概率矩阵简记为P(t) ( pij (t))
1
在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离 开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？
随机过程Ch5连续时间的马尔可夫链ppt课件
由柯尔莫哥洛夫向前方程旳矩阵形式可得
例：设有一参数连续，状态离散的马尔可夫
过程X t,t 0，状态空间为I 1,2,, N，
当i j，时qij 1，i, j 1,2,, N，
当i 1,2,, N时，qii (N 1)，求pij t 。
则器件在0, t 正常工作，即寿命超过t的概率为： PX t exdx et
t
已知器件用了t小时，器件寿命超过t h，
即在t,t h器件不坏的概率为：
p00h PX t h / X t
PX
t h, X
PX t
t
PX t h PX t
e t h et
eh
1 h
5.2柯尔莫哥洛夫微分方程
一.连续性条件(正则性条件)
规定lim t 0
pij t ij
1 0
i j i j
或lim Pt I t 0
称此为连续性条件(正则性条件)
阐明：过程刚进入某状态不可能立即又 跳跃到另一状态，这恰好阐明一种物理系统要 在有限时间内发生无限屡次跳跃，从而消耗无 穷多旳能量这是不可能旳，亦即经过很短时间 系统旳状态几乎是不变旳。
定理：设pij (t)是齐次马尔可夫过程的转移概率， 则下列极限存在：
dpij t
dt
t 0
lim
h0
pij h
h
pij 0
lim
h0
pij h ij
h
Hale Waihona Puke qij即: 1dpii t
dt
t 0
lim
h0
pii h 1
h
09第五章连续时间马尔可夫链
P{X (s t ) j | X (s) i} P ij (t )
Q矩阵和柯尔莫哥洛夫方程
引理5.1
设齐次马尔可夫过程满足正则性条件，则对 于任意固定的i,j∈I，pij(t)是t的一致连续函数。
Q矩阵和柯尔莫哥洛夫方程
定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满 足正则性条件，则下列极限存在： 1.
t
例题5.3：机器维修问题
设例题5.2中状态0代表某机器正常工作，状 态1代表机器出故障。状态转移概率与例题5.2相 同，即在h时间内，及其从正常工作变为出故障 的概率为p01(h)=λ h+o(h)；在h时间内，机器从 有故障变为经修复后正常工作的概率为 p10(h)=h+o(h)，试求在t=0时正常工作的机器， 在t=5时为正常工作的概率。
其转移概率矩阵简记为
P(t ) ( pij (t ))
在0时刻马尔可夫链进入状态i，而且在接 下来的s个单位时间中过程未离开状态i，问在 随后的t个单位时间中过程仍不离开状态i的概 率是多少？
状态i持续时间τ 状态i
i
0
s
s+t
时间轴
P{ i s t | i s} P{ i t}
上式中条件概率可以写成转移概率的形式ijst的转移概率与s无关则称连续时间马尔可夫链具有平稳的或齐次的转移概率此时转移概率简记为其转移概率矩阵简记为ijij状态i状态i持续时间在0时刻马尔可夫链进入状态i而且在接下来的s个单位时间中过程未离开状态i问在随后的t个单位时间中过程仍不离开状态i的概率是多少
iI
(t2 t1 ) pin1in (tn tn1 )
例题5.1： 证明:泊松过程{X(t)}为连续时间齐次马尔可夫 链。 (1)先证明马氏性
三节连续时间马尔可夫链
P '(t) Q P(t)
方程 pij '(t) qik pkj (t) k
j (t) pi pi j (t) i
j '(t) k (t) qkj k
Q 0
15
6 两个定理
定理3.2
一种连续时间旳齐次马氏链，系统处于同一状态旳连续 时间服从负指数分布
j(t)=P(X(t)=j)= pi pi j (t)
由初始分布与t时间i 区间转移概率矩阵求t时刻绝对 分布
j '(t) k (t) qkj
初值：i (0) pi
为求瞬时k 概率分布函数旳方程组
10
5 平稳分布
定义
若lim t
j
(t)
j
( j E) 存在，且 j 1
，则{j}称为齐次
2 K-C方程
1.K-C方程： pij (t s) pik (t) pkj (s)
写成矩阵旳形式:
k
P(t+s)=P(t)·P(s)
2. K氏前向方程 P '(t) P(t) Q pij '(t) pik (t) qkj k
3. K氏后向方程 P '(t) Q P(t) pij '(t) qik pkj (t)
k
P(nm) Pn Pm
P( X n i)
pk
p(n) ki
k
(n) i
(0) i
P(n)
(n1) i
P
P ( I ) P 0
pij (t s) pik (t) pkj (s) k
P(t s) P(t) P(s)
前向 方程
后向
随机过程的连续时间马尔可夫过程与转移概率
随机过程的连续时间马尔可夫过程与转移概率随机过程是概率论中研究的重要课题，它描述了随机事件在时间上的演化规律。
马尔可夫过程是一类常见的随机过程，它具有马尔可夫性质，即在给定当前状态下，未来状态的概率分布只与当前状态有关，与过去的状态无关。
本文将重点讨论随机过程中的连续时间马尔可夫过程以及与之相关的转移概率。
一、连续时间马尔可夫过程的定义连续时间马尔可夫过程是指在时间上呈连续变化的随机过程，它的状态空间和状态转移概率在时间的任意一段内都保持不变。
具体而言，对于一个连续时间马尔可夫过程，其状态空间可以用S表示，状态转移概率可以用P(t)表示，其中t表示时间。
二、连续时间马尔可夫过程的特点1. 马尔可夫性质：连续时间马尔可夫过程具有马尔可夫性质，即在给定当前状态下，未来状态的概率分布只与当前状态有关，与过去的状态无关. 这一性质使得马尔可夫过程具有很好的简化性和计算性.2. 独立增量性质：连续时间马尔可夫过程具有独立增量性质，即在不重叠的时间间隔上的状态变量是相互独立的.3. 示性函数的连续性：连续时间马尔可夫过程中，随机变量状态的转移概率是连续函数，这也是它与离散时间马尔可夫过程的一个重要区别。
三、连续时间马尔可夫链与转移概率对于连续时间马尔可夫过程，其状态转移概率可以由转移概率矩阵来表示。
转移概率矩阵是一个关于时间t的函数，记作P(t)。
它的元素Pij(t)表示在时间t内从状态i转移到状态j的概率。
转移概率矩阵满足以下性质：1. Pij(t) ≥ 0，对于所有的i、j和t都成立。
2. 对于任意固定的i和t，有ΣjPij(t) = 1，即在固定时间t内，从状态i出发转移到所有可能状态j的概率之和为1。
3. 转移概率矩阵P(t)的乘积P(s+t)等于P(s)乘以P(t)，即P(s+t) =P(s)P(t)，其中s和t为任意的正实数。
根据转移概率矩阵P(t)的性质，我们可以得出连续时间马尔可夫过程的转移概率随时间的推移而改变，但在任意一段时间内始终保持一致。
三节连续时间马尔可夫链
（书31页）
5
3 Q矩阵
若
1
lim
t 0
pij
(t)
0
如i j 如i j
则qii
qij
lim
t 0
lim
t 0
pii (t) 1 t
pij (t) t
pij
pii '(0) '(0)
Q P '(0)
(0 qii qi ) (qi j , i j)
记p转ij(t移),成概为率长度为t的时间区间上的
p00 (t) p01(t) p02 (t) ...
为连P续(t时) 间马pi氏j (t链) 的齐 pp次12.00.转(.(tt))移矩pp12阵.11.(.(tt))
p12 (t) p22 (t)
...
... ... ...
其中
pij (t) 0
1 连续时间马尔可夫链定义
连续时间的马尔可夫链是这样一种随机过程，它：
具有无记忆性 状态空间是离散的 时间上是连续的
与离散时间的马尔可夫链的不同在于其状态发生变 化的时刻是任意时刻，是连续值。
1
1 连续时间马尔可夫链定义
取值在非负整数集E上的随机过程X={Xt, tT=[0,)}, 如果对一 切T中的时刻0t1t2…tn+1及满足 P( Xtk ik ,1 k n) 0
pij '(t) pik (t) qkj k
P '(t) Q P(t)
方程 pij '(t) qik pkj (t) k
j (t) pi pi j (t)
i
j '(t) k (t) qkj
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
定义：{X(t),t0}为取非负整数值的连续时间随机过程，如 果对一切 s，t0，0u s 及非负整数 i，j，x(u)有 P{X(t s) j | X(s) i, X(u) x(u),0 u s} P{X(t s} j | X(s) i} 则 过 程 {X(t),t0} 称 为 连 续 时 间 马 尔 可 夫 链 。 若 又 有 P{X(t s) j | X(s) i}与 s 无关则称连续时间马尔可夫链是平 稳的或齐次的。本章研究的马尔可夫链都是齐次的。
…
P{T1 t } 1 et
P{T1 T2 t}
t 0
P{T1
T2
t
| T1
x}etdx
= t (1 e2(t x) )e xdx (1 et )2 0
t
P{T1 T2 T3 t} 0 P{T1 T2 T3 t | T1 T2 x}dFT1T2 ( x)
= t (1 e3(tx) )2e x (1 et )dx (1 et )3 0
0 s s+y s+t
i
连续时间马尔可夫链是一个具有如下性质的随机过程，每 当它进入状态 i：
(1)在转移到另一状态之前处于状态 i 的时间服从指数分布， 参数为 v i ；与下一个到达的状态独立。
(2)当过程离开状态 i 时，接着以某个概率记为 Pij 进入状态 j，
Pij 1 。（ 若 用 Xn 表 示 第 n 次 转 移 进 入 的 状 态 ， 则
i
i i
因此，可以这样设想生灭过程，每当系统中有 i 个个体时，
直到下一次出生的时间服从参数为i 的指数分布，且独立于直到 下一次死亡的时间，它服从参数为i 的指数分布，则在 i 逗留时
间为直到下一次出生的时间和直到下一次死亡的时间中的最短的
时间，服从参数为i i 的指数分布。
0
0
1
1 2
…2
et (1 et )n
e e 2e L ne e s1
2 ( s2 s1 )
( sn sn1 ) ( n1) ( t sn )
n
n! 1 e
et (1 et )n
i 1
( t si ) t
P1 j (t ) et (1 et ) j1 , j 1
因此，给定 X(t)=n+1 时 S1,S2,, Sn 的条件密度为
ji
{ Xn : n 0,1, 2,L }为马尔可夫链，称为嵌入马尔可夫链。）
vi 的状态 i 称为瞬时状态，因为一旦进入此状态立即就离 开。不研究瞬时状态,将始终假设对一切 i，0 vi 。如果vi 0， 则称状态 i 为吸收的，因为一旦进入这一状态就永不再离开了。
一个连续时间马尔可夫链称为规则的，若以概率 1 在任意有 限时间内的转移次数是有限的。
命题 5.3.1 一个尤尔过程，其 X(0)=1，则给定 X(t)=n+1 时，出生时刻 S1,S2,, Sn 的分布如同取自密度为(5.3.2)的母体的容量为 n 的子 样 Y1,Y2,, Yn 的顺序统计量 Y(1),Y(2),, Y(n)的分布。
例 5.3(b) 考虑一尤尔过程，其 X(0)=1。计算在时刻 t 群
态 i-1 或 i+1，当状态增长 l 时，就说生了一个；而当它减少 1
时，就说死了一个。设i qi,i1，i qi,i1，值{i , i 0}与{i , i 1}
分 别 称 为 生 长 率 与 死 亡 率 。 因 为 qij vi ， 可 见 ji
vi
i
i , Pi,i1
i
i i
, Pi ,i1
因此，可以这样设想马尔可夫过程，每当过程处于状态 i 时， 直 到 转 移 到 状 态 j 的 时 间 服 从 参 数 为 qij 的 指 数 分 布 ， j 0,1,L ,i 1,i 1,L 且这些时间互相独立，则在 i 逗留时间为 直到转移到各状态的时间中的最短的时间，服从参数为
vi qij 的指数分布。 ji
证明： P{ i t s | i s} P{X(s y) i,0 y t | X(s) i, X(u) i,0 u s} P{X(s y) i,0 y t | X(s) i}
P{X( y) i,0 y t | X(0) i}
P{ i t}
i
ii i
i
1) 1
et tet (1 et )
，取期望且
由 X (t)有均值et 得 E[A(t)] a0
t
et
1 t
a0
et 1
上面 E[A(t)]的公式可用下面的恒等式加以验证：
(5.3.3)
A(t) a0
t X (s)ds，取期望得
0
E[A(t)] a0 E[
t
0 X (s)ds] = a0
从上可见，从一个个体开始，在时刻 t 群体的总量有几何分 布，其均值为et 。因此如果群体从 i 个个体开始，在时刻 t 其总 量是 i 个独立同几何分布随机变量之和，有负二项分布，也即对 尤尔过程
Pij (t )
C
e i 1
j 1
ti
(1
et
) ji
,
j
i
1
i (i 1) (i 2) (n 1) n
长模型，产生于生物繁殖与群体增长的研究中。群体中的每个个
体以指数率 生育（生育间隔时间为参数 的指数分布）；此外，
群体由于从外界迁入的因素又以指数率 增加（迁入间隔时间为参
数 的指数分布）．因此在系统中有 n 个个体时，整个增长率是
n 。假定此群体的各个成员以指数率 死亡，从而死亡率
n n 。
2
(n 1) n
0
1
2
3
…
n
…
2 3
n (n 1)
若对一切 n，n 0 (即若死亡是不可能的)，则生灭过程称为纯
生过程，i 个个体开始的纯生过程，生长率为n , n i 。
i
i1
i2
n1
n
i
i+1
i+2
i+3
…
n
…
最简单的纯生过程的例子是泊松过程，它具有常值出生率
n ,n 0。
一般地可用归纳法证明 P{T1 T2 L Tj t} (1 et ) j 因此，由 P{T1 T2 L Tj t} P{X (t) j 1 | X (0) 1}可见对 于一个尤尔过程， P1 j (t ) (1 et ) j1 (1 et ) j et (1 et ) j1, j 1
n
E[ A(t) | X (t) n 1} a0 t E[ (t Y(i) )}
i 1
n
t
e(tx)
a0 t E[ (t Yi )} a0 t n
i 1
(t
0
x)
1 et
dx
e(t x)
f
(x)
1
et
,0 x t
0,
其它
或
E[ A(t)
|
X (t)}
a0
t
( X (t )
以 Pij (t)记马尔可夫链现在处于状态 i，再经过一段时间 t 后处于状态 j 的概率，即 Pij (t) P{X (t s) j | X (s) i}
三、生灭过程
定义：具有状态 0,1,2,的连续时间马尔可夫链若| i j | 1时
qij 0，则称为生灭过程。一个生灭过程从状态 i 只能转移到状
3
n1 n
…n
1 2
3
n n1
图中的圆圈表示状态，圆圈中的标号是状态符号。图中的箭头表
示从一个状态到另一个状态的转移。
例 5.3(a) 两个生灭过程。
(1) M/M/s 排队系统.顾客按照参数为 的泊松过程来到一个
有 s 个服务员的服务站,每个顾客一来到,如果有服务员空闲,则
直接进入服务,否则顾客排队等待.当一个服务员结束对一位顾
1 vi
i 1
1 i2
）。假设所考虑的全部马尔可
夫链是规则的。
对一切i j，qij定义为
qij vi Pij
因为vi是过程离开状态 i 的速率而 Pij 是它转移到 j 的概率，所以
qij是过程从状态 i 转移到状态 j 的速率；称qij 是从 i 到 j 的转移
率。显然vi qij ji
连续时间马尔可夫链是具有马尔可夫性的随机过程，即已 知现在 s 时的状态 X(s)及一切过去时刻 u,0u<s 的状态 X(u)的 条件下在将来时刻 t+s 的状态 X(t+s)的条件分布只依赖现在的状 态 X(s)而与过去独立。
二、连续时间马尔可夫链的状态逗留时间和转移速率
命题 以i 记过程在转移到另一状态之前停留在状态 i 的时 间，则对一切 s，t0 有 P{ i t s | i s} P{ i t}，因此， 随机变量i 是无记忆的必有指数分布，其参数设为vi
客的服务时,顾客便离开服务系统,排队中的下一个顾客(若有顾
客在等待)进入服务.相继的服务时间是独立的指数随机变量,均
值为 1/.以 X(t)记时刻 t 系统中的人数,则{X(t),t0}是生灭过程.
n
,n
0， n
n,1 s, n
n s
s
0
1
2
3…
s
…
2 3
s s
(2)有迁入的线性增长模型
n n, n 1, n n , n 0 的模型称为有迁入的线性增
0
1
2
3…
n
…
第二个纯生过程的例子是这样的，群体中各个成员独立地活动且以指
数率 生育。若假设没有任何成员死亡，以 X(t)记时刻 t 群体的总量，