随机过程 第五章 连续时间的马尔可夫链

第五章 连续时间的马尔可夫链

5.1连续时间的马尔可夫链

考虑取非负整数值的连续时间随机过程}.0),({≥t t X

定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意

121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有

})(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++

=})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链.

由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关.

记(5.1)式条件概率一般形式为

),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率.

定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij =

其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij

以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程.

假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记

i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有

},{}{t h P s h t s h P i i i >=>+>

可见,随机变量i h 具有无记忆性,因此i h 服从指数分布.

由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;

(2) 当过程离开状态i 时,接着以概率ij p 进行状态j,1=∑≠i

j ij p .

上述性质也是我们构造连续时间马尔可夫链的一种方法.

当∞=i v 时,称状态i 为瞬时状态,因为过程一旦进入此状态立即就离开.0=i v 时,称状态i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是可能的,但以后假设对一切i, ∞<≤i v 0.因此,实际上一个连续时间的马尔可夫链是一个这样的随机过程,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态,但在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量.因此下一个到达的状态依赖于i h ,那么过程处于状态i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假定相矛盾.

定理5.1 齐次马尔可夫过程的转移概率具有下列性质:

;0)1(≥ij p (2)

;1=∑

∈ij I

j p

(3) ∑∈=+I

k kj ik ij s p t p s t p )()()(.

其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程. 证明 只证(3).由全概率公式及马尔可夫性可得 ===+=+)})0()({)(i X j s t X P s t p ij =∑∈===+I

k i X k t X j s t X P })0()(,)({

=})()({})0()({k t X j s t X P i X k t X P I

k ==+==∑∈

∑∈=I

k kj ik s p t p )()(.

对于转移概率)(t p ij ,一般还假定它满足:

⎩⎨⎧≠==→.

,0,1)(lim 0j i j

i t p ij t

(5.3)

称(5.3)式为正则条件.正则条件说明,过程刚进入某状态不可能立即又跳跃到另一状态.这正好说明一个物理系统要在有限时间内发生限多次跳跃,从而消耗无穷多的能量这是不可能的.

定义5.3 对于任 一0≥t 记 },)({)(j t X P t p j ==

,},)0({)0(I j j X P p p j j ∈===

分别称}{},),({,I j p I j t p j j ∈∈ 齐次马尔可夫过程的绝对概率分布和初始概率分布.

定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质: (1) ,0)(≥t p j (2)

,1)(=∑

∈t p j I

j

(3) )()(t p p t p ij I

i i j ∑∈=;

(4) );()()(h p t p h t p ij I

i i j ∑∈=+

(5)

).()...(})(,...,)({112111211-∈--==

==-∑n n i i i i ii I

i i n n t t p t t p p p i t X i t X p n n

例5.1试证明泊松过程}0),({≥t t X 为连续时间齐次马尔可夫链. 证明 先证泊松过程具有马尔可夫性,再证明齐次性.由泊松过程的定义 它是独立增量过程,且X(0)=0.11,...0+<<

})(,...,)()({1111n n n n i t X i t X i t X P ===++

= ,.)0()()()({1111i X t X i i t X t X P n n n n =--==-++ =,111212)()(,...)()(---=--=-n n n n i i t X t X i i t X t X } = })()({11n n n n i i t X t X P -=-++ . 另一方面,因为

})()({11n n n n i t X i t X P ==++

=})0()()()({11n n n n n n i X t X i i t X t X P =--=-++ =})()({11n n n n i i t X t X P -=-++

所以})(,...,)()({1111n n n n i t X i t X i t X P ===++=})()({11n n n n i t X i t X P ==++. 即泊松过程是一个连续时间马尔可夫过程.以下证明齐次性. 当i j ≥ 时,由泊松过程的定义

})()({i s X j t s X P ==+= })()({i j s X t s X P -=-+