第二章 Markov过程4

第二章 Markov 过程6 参数连续状态离散的马氏过程（一）参数连续状态离散的马氏过程的转移概率定义：设}0,)({≥=t t X X 是取值于状态空间S 的随机过程，S 是有限或无限可列的，如果对于任意的正整数n ，任意的1210+<<<<≤n n t t t t Λ，及任意的状态S i i i i n n ∈+121,,,,Λ，均有：})()({})(,,)(,)()({11221111n n n n n n n n i t X i t X P i t X i t X i t X i t X P =======++++Λ则称此随机过程为参数连续状态离散的马氏过程（纯不连续了马氏过程）。

对于纯不连续马氏过程，有：S j i t t i t X j t X P t t t X j t X P ∈≤===≤'≤'=,,})()({}0,)()({211212记：})()({ˆ),(1221i t X j t X P t t p j i ===称此条件概率为纯不连续了马氏过程的转移概率。

显然有：⎪⎩⎪⎨⎧∈=≥∑∈S i t t p t t p S j j i j i 1),(0),(2121如果),(21t t p j i 仅为时间差12t t t -=的函数，而与1t 和2t 的值无关，则称此纯不连续了马氏过程为齐次的。

此时121221})()({ˆ),()(t t t i t X j t X P t t p t p j i j i -=====⎪⎩⎪⎨⎧≥∈=≥∈≥∑∈0,1)(0,,0)(t S i t p t S j i t p S j j i j i 我们主要讨论齐次纯不连续了马氏过程。

C －K 方程： 一般情形：),,(})()({})()({})()({321122313S j i t t t i t X k t X P k t X j t X P i t X j t X P Sk ∈<<========∑∈齐次情形：)0,0,,(,)()()(>>∈=+∑∈τττt S j i p t p t p Sk j k k i j i连续性条件：⎩⎨⎧≠===→ji j i t p j i j i t ,0,1)(lim 0δ 满足连续性条件的马氏过程称为随机连续的马氏过程。

注：j i ,固定时，可以证明齐次纯不连续，并且随机连续的马氏过程的转移概率)(t p j i 是关于t 的一致连续函数，并且是可微的。

（二）无穷小转移率j i q 及转移率矩阵（Q 矩阵）取任意充分小的0>∆t ，由连续性条件及注，我们有：)()()0()(t t q t t q p t p j i j i j i j i j i ∆+∆+=∆+∆+=∆οδο即：tt p q ji j i t j i ∆-∆=→∆δ)(lim我们称j i q 为无穷小转移率或跳跃强度，显然有：⎪⎪⎩⎪⎪⎨⎧=∆-∆≠∆∆=→∆→∆j i t t p j i t t p q i i t j i t j i ,1)(lim ,)(lim 00即有：)(,0),(,0j i q j i q j i j i =≤≠≥由1)(=∆∑∈Sj j i t p 及上面的式子，有：∑∑∑∑∈∈∈∈∆∆=⎪⎭⎫⎝⎛⇒∆+∆⎪⎭⎫ ⎝⎛+=S j S j j i S j S j j i tt q t t q )()(11οο两边求极限，即有：0=∑∈Sj ji q当状态是有限的时候，我们可以定义一个矩阵如下：)1()1(21011211100020100+⨯+⎪⎪⎪⎪⎪⎭⎫⎝⎛=n n nn n n n n n q q q qq q q q q q q q Q ΛMM M M ΛΛ称Q 为转移率矩阵或Q 矩阵。

注：当状态为无限可列时，也可以定义形式上的Q 矩阵。

（三）Kolmogrov —Feller 前进方程由C －K 方程，取任意充分小的0>∆t ，有：)()()()()()()()(,S i t p t pt p t p t p t p t t p jk S k j k ki j j j i Sk j k k i j i ∈∆+∆==∆=∆+∑∑≠∈∈由：⎩⎨⎧∆+∆+=∆≠∆+∆=∆)(1)()()(t t q t p jk t t q t p j j j j j k j k οο 有：∑≠∈∆+∆+∆+∆+==∆+jk S k j k ki j j j i j i t t q t pt t q t p t t p ,)]()[()](1)[()(οο即有：t t q t p t t p t t p Sk j k k i j i j i ∆∆+=∆-∆+∑∈)()()()(ο令0→∆t ，我们有：0,,)()(≥∈=∑∈t S j i q t p td t p d Sk jk k i j i由初始条件：⎩⎨⎧=≠=1)0(0)0(i i j i p ji p 即可解得上面的方程组。

当状态有限时，我们令：())(,),(),()(10t p t p t p t in i i i Λ=Γ则有：()⎪⎩⎪⎨⎧=Γ=Γ=Γ0,1,,0,0)0(,,2,1,0)()(ΛΛΛi i i n i Q t td t d 进一步，若记：)1()1(10111100010010)()()()()()()()()()()()()(+⨯+⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛ΓΓΓ=n n nn n n n n n t p t p t p t p t p t p t p t p t p t t t t P ΛM M M ΛΛM则有：⎪⎩⎪⎨⎧==+⨯+)1()1()0()()(n n I P Q t P td t P d 此即为Kolmogrov —Feller 前进方程。

（四）Kolmogrov —Feller 后退方程根据C －K 方程，取任意充分小的0>∆t ，有：)()()()()()()()()(,S i t p t pt p t p t p t p t t p t t p jk S k j k ki j i i i Sk j k k i j i j i ∈∆+∆==∆=+∆=∆+∑∑≠∈∈由：⎩⎨⎧∆+∆+=∆≠∆+∆=∆)(1)()()(t t q t p ik t t q t p i i i i k i k i οο 得：tt t p qt p q tt p t t p ik S k j k ki j i i i j i j i ∆∆++=∆-∆+∑≠∈)()()()()(,ο令0→∆t ，我们有：0,,)()(≥∈=∑∈t S j i t p q td t p d Sk j k k i j i当状态有限时，记：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()()()(10t p t p t p t S j n j j j M则有：n j t S Q td t S d j j ,,2,1,0)()(Λ==初始条件为：)1(010)0(+⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=j S j M M上面的方程组即为Kolmogrov —Feller 后退方程（五）Fokker-Planck 方程讨论有限状态的情形，令：})({)(j t X P t p j == 过程的初始分布为：())0(,),0(),0()0(10n p p p p Λρ=设在t 时刻时，过程所处各状态的概率分布为：())(,),(),()(10t p t p t p t p n Λρ=则有：∑∑∑===========nj j j n j j j nj t p p p t p j X P j X t X P t X p t p 000000)()0()0()(})0({})0(0)({}0)({)(即有：)()0()(t P p t p ρρ=即有：Q t p Q t P p td t P d p t d t p d )()()0()()0()(ρρρρ=== 因此，得：Q t p td t p d )()(ρρ= 此即为Fokker-Planck 方程，其初始条件为())0(,),0(),0()0(10n p p p p Λρ=解此方程可得任意时刻该过程的一维概率分布。

（六）例子例1 设有参数连续、状态离散的马氏过程}0),({≥t t X ，状态空间为：},,2,1{m S Λ=，当m j i j i ,,2,1,,Λ=≠时，1=j i q ，m i m q i i ,,2,1),1(Λ=--=，求)(t p j i 。

解：由K －F 前进方程，可知：∑∈≠+--=Sk j k ikij ij t pt p m td t p d )()()1()(由1)(=∑∈Sk ikt p可知)(1)(t p t pj i Sk j k ik-=∑∈≠因此，我们有：m j i t p m t p t p m td t p d ij j i ij ij ,,2,1,)(1)](1[)()1()(Λ=-=-+--=解此微分方程，得：m j i mce t p mt j i ,,2,1,1)(Λ=+=- 利用初始条件：)(0)0(,1)0(j i p p j i i i ≠==可得：),,2,1,,()1(1)(),,2,1(111)(m j i j i e mt p m i m e m t p mt j i mt i i ΛΛ=≠-==+⎪⎭⎫ ⎝⎛-=--例2 （排列问题）设有一服务台，),0[t 内到达服务台的顾客数是服从Poission 分布的随机变量。

单位时间到达服务台的平均人数是λ。

服务台只有一个服务员，对顾客服务时间是按负指数分布的随机变量，平均服务时间为μ/1。

如果服务台空闲时，到达的顾客立刻得到服务；如果顾客到达时服务员正在为另一顾客服务，则他必须排队等候；如果顾客到达时发现已经有二人在等候，则他就离开不再回来。

设)(t X 代表在t 时刻系统内顾客人数（包括正在被服务的顾客和排队等候的顾客）。

假设系统在0=t 时处于零状态，即服务人员空闲。

求t 时刻系统处于状态j 的无条件概率)(t p j 所满足的微分方程。

解：（1）写出状态空间：}3,2,1,0{=S （2）求Q 矩阵：（a ）当0)(=t X 时，在),[t t t ∆+内到达一个顾客的概率为：)()(01t t t p ∆+∆=∆ολ在),[t t t ∆+内到达二个或二个以上的顾客的概率为：3,2)()(0=∆=∆j t t p j ο因此)(lim )(lim00001001=∆∆==∆∆=→∆→∆tt p q t t p q j t j t λ由：0=∑∈Sj ji q可得：λ-=00q（b ）当1)(=t X 时，表示在t 时刻有一个顾客正在备服务。