随机过程Ch5-连续时间的马尔科夫链

连续时间马尔可夫链

I 马尔可夫链

5

4

3

2

1

0 1 2 3 4 5 T

2

5.1 连续时间马尔可夫链

定义5.1 设随机过程{X(t)，t 0}，状态空间I={0,1,2,}，若对任意0t1<

t2<

+1 I，有

P{X(t n+1)=i n+1|X(t1)=i1, X(t2)=i2,, X(t n)=i n}

=P{X(t n+1)=i n+1|X(t n)=i n}，则称{X(t)，t 0}为连续时间马尔可夫链。

转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率

p ij(s,t)= P{X(s+t)=j|X(s)=i} 3

5.1 连续时间马尔可夫链定义5.2 齐次转移概率p ij(s,t)=p ij(t)

(与起始时刻s无关，只与时间间隔t有关) •转移概率矩阵P(t)=(p ij(t)) ，i,j I，t 0，称为齐次马尔科夫过程

性质：若

i为过程在状态转移之前停留在状态i的时间，则对s, t0有

P{ s t | s} P{ t}

i

(1)

i i

(2)

i 服从指数分布

4

5.1 连续时间马尔可夫链

证(1) 事实上

i i i i

t

s s+t

i

{ s} {X(u) i,0 u s | X(0) i} i

{ s t} {X(u) i,0 u s,

i

X(v) i, s v s t | X(0) i}

5

5.1 连续时间马尔可夫链

P{ s t | s} P{X (u) i,0 u s,

i i

X (v) i,s v s t | X (u) i,0 u s} P{X (v) i,s v s t | X (u) i,0 u s}

条件概率P{X (v) i,s v s t | X (s) i}

马尔可夫性P{X (u) i,0 u t | X (0) i}

齐次性P{ t}

i

6

5.1 连续时间马尔可夫链(2)设i的分布函数为F(x), (x0),

则生存函数G(x)=1-F(x)

P{ t} P{ s t | s }

i i i

P {

i

s

P { t,

i s}

P

s}

i

P { s t}

t}

P{ s}

P {

i

i

i

G (s t) G

(s)G (t)

7 由此可

推出

G(x)为

指数函数，

G(x)=e -x,

则

F(x)=1-

G(x)=1-

e -x为

指数分

布函

数。

5.1 连续时间马尔可夫链

0, •过程在状态转移之前处于状态i 的时间

i

F 1

(x) e

服从指数分布

x

i

i

(1)当i =时，

(x P x F

x

F ) 1, { } 1 ( )

i i

i

状态i 的停留时间

i

超过x的概率为0，

则

称状态i为瞬时状态；

(2)当

i

=0时，

(x P x F

x

F ) 0, { } 1 ( )

i i

i 1, 8

状态i的停留时间

超过x的概率为1，

i

则

称状态i为吸收状态。

正则性分布律转移方程

时间离散p

(0)

1,

ii

p i j

(0) 0( )

ij

p(n)0,

ij

p n

( )

ij

j I

1

p(n) (l) (n l )

ij p p

ik kj

k I

时间

连续lim p (t)

ij

t0

1 ,

0 ,

i j

i j

p (t) 0

ij p ij (t s) p (t) p (s )

ik kj

j I p (t) 1

ij

k I

9

5.1 连续时间马尔可夫链•定理5.1 齐次马尔可夫过程的转移概率

具有下列性质：

(1) p ij(t)0;（非负性）

p ( ) 1;

ij t

(2) （行和为1）

j I

(3) （C-K方

程）

p ij (t s) p (t) p (s)

ik kj

k I

10

5.1 连续时间马尔可夫链

•注：

lim p (t)

ij

t 0

1 ,

0 ,

i j

i j

此为转移概率的正则性条件。

含义：过程刚进入某状态不可能立即