10第五章连续时间马尔可夫链ppt课件

利用Q矩阵可以推出任意时间间隔t的转移概 率所满足的方程组，从而可以求解转移概率。
ppt课件
14
定理5.4（ 柯尔莫哥洛夫向后方程）
假设 qik qii ，则对一切i,j及t≥0，有 k i pij (t) qik pkj (t) qii pij (t) k i 证明 由C-K方程可以知道：
pij (t h) pik (h) pkj (t) kI
pij (t h) pij (t) pik (h) pkj (t) [1 pii (h)] pij (t)
k i
ppt课件
15
两边除以h， h 0 取极限可以得到：
lim lim lim h0
pij (t h) pij (t) h
Pik (t)Pkj (s) kI
ppt课件
8
定义5.3 对于任一t≥0，记
p j (t) P{X (t) j}, p j p j (0) P{X (0) j},
jI
为绝对概率和初始概率。
分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫 过程的绝对概率分布和初始概率分布。
ppt课件
12
Q矩阵和柯尔莫哥洛夫方程
定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满足正 则性条件，则下列极限存在：
1.
lim 1
t 0
pii (t) t
vi

qii


2.
lim
t 0
pij (t) t
qij
,i

j
称为转移速率或跳跃强度
ppt课件
13
lim
t 0Βιβλιοθήκη pij(t )
0,
i
j
ppt课件
7
证明:
Pij (t s) P{X (t s) j | X (0) i}
P{X (t s) j, X (t) k | X (0) i} kI
P{X (t) k | X (0) i}P{X (t s) j | X (t) k} kI
P{X (tn1) in1 | X (t1) i1, X (t2 ) i2 ,, X (tn ) in} P{X (tn1) in1 | X (tn ) in}
则称{X(t),t≥0}为连续时间马尔可夫链。
上式中条件概率可以写成转移概率的形式
P{X (s t) j | X (s) i} pij (s,t)
状态i持续时间τ i 状态i
0
s
时间轴 s+t
P{i s t | i s} P{i t}
无记忆性
ppt课件
4
一个连续时间的马尔可夫链，每当它进入状态i， 具有如下性质：
1. 在转移到另一状态之前处于状态i的时间服从参 数为vi的指数分布；
2. 当过程离开状态i时，接着以概率pij进入状态j，
第五章：连续时间的马尔可夫链
连续时间马尔可夫链定义 无穷小转移概率矩阵 柯尔莫哥洛夫向前方程与向后方程 连续时间马尔可夫链的应用
ppt课件
1
定义5.1 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若 对任意0≤t1<t2<…<tn＋1及i1,i2,…,in+1∈I，有
h0
k i
pik (h) pkj (t) h
h0
[1

pii h
(h)]
pij
(t)
lim
pij 1
ji
当vi=∞时，称状态i为瞬时状态；
当vi＝0时，称状态ppit课为件 吸收状态。
5
对于指数分布的随机变量X
ex x 0
f (x)
0
x<0
1 ex x 0
F(x)
0
x0
P{x s t | x s} P{x t} ?
pi pii1 (t1 ) pi1i2 (t2 t1 ) pin1in (tn tn1 )
iI
ppt课件
10
例题5.1
证明:泊松过程{X(t)}为连续时间齐次马尔可夫 链。
(1)先证明马氏性
P{X (tn1) in1 | X (t1) i1,...X (tn ) in}
ppt课件
9
定理5.2
齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质：
1. p j (t) 0
2. p j (t) 1 jI
3. p j (t)
pi pij (t )
iI
4. p j (t )
pi (t ) pij ( )
iI
5. P{X (t1) i1,, X (tn ) in}
P{ i s t | i s}ppt课P件{ i t}
6
定理5.1 齐次马尔可夫过程的转移概率具有下列性质：
1. pij (t) 0
2.
pij (t) 1
jI
3. pij (t s) pik (t) pkj (s) kI
证明
正则性条件
1, i j
P{X (tn1) in1 | X (tn ) in}
(2)再证明齐次性
P{X (s t) j | X (s) i}
Pij (t)
ppt课件
11
Q矩阵和柯尔莫哥洛夫方程
引理5.1
设齐次马尔可夫过程满足正则性条件，则对 于任意固定的i,j∈I，pij(t)是t的一致连续函数。
若连续时间齐次马尔可夫链是具有有限状 态空间I={1,2, …,n}，则其转移速率可构成以下 形式的矩阵(称为Q矩阵）
q00 q01 q0n

Q


q10
q11
q1n


qn0
qn1

qnn
Q矩阵的每一行元素之和为0，对角线元素 为负或0，其余qij≥0
ppt课件
2
定义： 若pij(s,t)的转移概率与s无关，则称连续时
间马尔可夫链具有平稳的或齐次的转移概率， 此时转移概率简记为
pij (s,t) pij (t)
其转移概率矩阵简记为
P(t) ( pij (t))
ppt课件
3
在0时刻马尔可夫链进入状态i，而且在接 下来的s个单位时间中过程未离开状态i，问在 随后的t个单位时间中过程仍不离开状态i的概 率是多少？