连续时间马尔可夫链

pii (0) 1, pij (0) 0, 当i j
为了以后能对转移概率 pij (t ) 作微分运算
（即，对连续时间变量 t ，分析
(t )与pij (t ) pij
的关系，找到它们之间的等量表达式。）
它是一个微分方程。 需要作出正则性规定，才能保证其一致连续性。 正则性条件的物理意义： P 74
t1 0, t2 0, t3 这些点处取状态值 0,
pij (t ) t
i
对跳变现象，考察转移概率：pij (t ),i j
以及跳变强度
t 0
lim
,i j
（二） 停留现象（P75）
引入“停留时间”的概念来描述
以
i 记随机过程在转移到另一状态之前停留在状态
f (t ) vi e
5、绝对概率分布与初始概率分布：
p j (t ) PX (t ) j
p j p j (0) PX (0) j
注：一般写成行向量。 绝对概率分布与初始概率分布具有性质（P75定理5.2） ① 非负性；② 规范性；③ 转移性； 例题：证明泊松过程X(t)是连续时间齐次马尔可夫链。
pij (t ) 的性质： （ P75 定理5.1）
(1) pij (t ) 0
(2)

jI
pij (t ) 1
(3) pij (t s) pik (t ) pkj (s)
kI
以及正则性：
1, i j lim pij (t ) t 0 0, i j
Fra Baidu bibliotek
离散情形时是
§1 连续时间马尔可夫链的概念
基本前提：
状态空间 I = { …, -2, -1, 0, 1, 2, …} （离散型）
时间参数集
T [0, )
有：
1、马尔可夫性的定义：
对任意的
0 t1 t 2 t n1
PX (t n1 ) in1 X (t1 ) i1 ,, X (t n ) in
PX (tn1 ) in1 X (tn ) in
于是，记：
P X ( s t ) j X ( s ) i pij ( s, t )
2、齐次马氏链：


pij (s, t ) pij (t s)
齐次马氏链的转移矩阵：
P(t ) pij (t )
由定义来作：
1 E i vi
vi t
i 的时间。
i 服从指数分布（参数为 v i ）, 其特征是无记忆性。
,t 0
代表了平均停留时间。
vi 时， E i 0 称状态 i 为瞬时状态（物理上不可能）
vi 0时
称状态 i 为吸收状态
一般情况下总假定， 0 vi
4、转移概率
可以看出，连续时间下，马尔可夫链的状态是“跳
跃式”变化。
3、跃变（或跳变）与停留现象
X(t)
..………….....
i2 …… i1
t
0
t1
t2
t3
t4
t5
（一）跳变现象： 跳变时刻
t1 , t2 , t3 , 与跳变强度都是随机的。
） xt
（为连续性考虑，一般认为X(t)在跃变点是右连续的， 即X(t)在