连续时间马尔可夫链定义

为连续时间马氏链的齐次转移矩阵 其中
p00 (t ) p10 (t ) P(t ) pi j (t ) p20 (t ) ...
pij (t ) 0
p01 (t ) p11 (t ) p21 (t ) ...
p02 (t ) p12 (t ) p22 (t ) ...
0
6 4 10 例：Q 2.5 2.5 0 1 1 2
2.5 1
4
6
1
2 1
状态流图
8
4 Q矩阵P(t)
依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小
p01 (t ) t o(t ) p10 (t ) t o(t )
lim j '(t ) lim i (t ) qij
t t i
写成矩阵形式： Q 0
12
4 平稳概率例题
一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状 态转移图为 1 1 0 平衡方程： Q 2 3 1 0 1 1 ( 0 , 1, 2 ) Q 0 列出方程组
k
初值： i (0) pi
为求瞬时概率分布函数的方程组
10
5 平稳分布
定义 j (t ) j ( j E ) 存在，且 j 1 ，则{ }称为齐次 若lim t j j 马尔可夫链的平稳分布 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大 于0
11
5 平稳分布
如何求离散马尔可夫链的平稳分布？ 定理3.1 j (t ) j ( j E )存在，则 lim j '(t ) 0 。 若 lim t t
根据 j '(t ) i (t ) qij i 若存在平稳分布，则
i qij 0 i i 1 i
... ... ... ...
p
j
ij
(t ) 1
1/ 2 1/ 3 1/ 6 例如：P(2.5) 1/ 3 0 2 / 3 1 0 0
4
1 连续时间马尔可夫链定义
若满足下述条件 1 如 i j lim pij (t ) t 0 0 如i j 则称P(t)是X的标准转移矩阵。 有： 1 i j pij (0) 0 i j P(0) I
9
4 绝对概率
初始分布(p0 ,p1 ,p2 ,p3 , …) pi=P(X(0)=i)=i(0) 绝对分布(0(t), 1(t), 2(t), 3(t)…) j(t)=P(X(t)=j)= pi pi j (t ) i 由初始分布与t时间区间转移概率矩阵求t时刻绝对 分布
j '(t ) k (t ) qkj
（书31页）
6
3 Q矩阵
1 如 i j 若 lim pij (t ) t 0 0 如i j
pii (t ) 1 q lim pii '(0) ii t 0 t 则 q lim pij (t ) p '(0) ij ij t 0 t Q P '(0) (0 qii qi ) (qi j , i j )
瞬时分布
初始分布 n时刻分布

pi
π (n) j
初始分布 t时刻分布

pi j(t)
平稳分布
14
主要公式对比
离散时间马氏链 K-C方程
( nm) ( n) ( m) pij pik pkj k
连续时间马氏链
pij (t s) pik (t ) pkj (s)
k
P( nm) P n P m
第三节 连续时间马尔可夫链
1
1 连续时间马尔可夫链定义
连续时间的马尔可夫链是这样一种随机过程，它：
具有无记忆性 状态空间是离散的 时间上是连续的
与离散时间的马尔可夫链的不同在于其状态发生变 化的时刻是任意时刻，是连续值。
2
1 连续时间马尔可夫链定义
取值在非负整数集E上的随机过程X={Xt, tT=[0,)}, 如果对一 切T中的时刻0t1t2…tn+1及满足 P( X tk ik ,1 k n) 0 ik E(1 k n) 的任意状态 P{ X t j | X t ik ,1 k n} 成立着
n1 k
P{ X tn1 j | X tn in }
则称X是连续时间的马尔可夫链。 in+1 与此历史无关 in
n n＋1
3
1 连续时间马尔可夫链定义
记pij(s,t)=P(Xt=j|Xs=i) 若此转移概率只与t-s有关，则称 它为X的齐次转移概率函数，此 马氏链X为连续时间齐次马氏链。 记pij(t),成为长度为t的时间区间上的 转移概率
5
1.K-C方程： ij ik k 写成矩阵的形式: P(t+s)=P(t)· P(s)
2 K-C方程 p (t s) p (t ) p
kj
(s)
pik (t ) qkj 2. K氏前向方程 P '(t ) P(t ) Q pij '(t ) k 3. K氏后向方程 P '(t ) Q P(t ) pij '(t ) qik pkj (t ) k Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时 强度转移矩阵，通常称作Q矩阵。
定理3.2
一个连续时间的齐次马氏链，系统处在同一状态的连续 时间服从负指数分布
定理3.3
一个离散时间的齐次马氏链，在同一状态连续停留时间 的分布是几何分布
因为马氏链停留在某状态下，发生转移的概率与在此状态 停留了多长时间是无关的。
16
j (t ) pi pi j (t )
i
P
(n) i (0) i
k
(n)
i( n 1) P
j '(t ) k (t ) qkj
k
平稳分布
P ( I ) 两个定理
P(t s) P(t ) P(s)
前向 P '(t ) P(t ) Q 方程 pij '(t ) pik (t ) qkj
k
后向 P '(t ) Q P(t ) 方程 pij '(t ) qik pkj (t )
k
瞬时分布
(n) P( X n i ) pk pki
0 0 2 1 0 3 1 2 0 1 2 0
1
1
0
2
1
1
2
0 1 2 1
得：
1 1 0 1 2 2 4
13
主要公式对比
离散时间马氏链 转移概率 一步转移概率 pij 一步转移概率矩阵P (n) n步转移概率 pij n步转移概率矩阵 P(n) 连续时间马氏链 t时间区间转移概率 pij(t) t时间区间转移概率矩阵P(t) 强度转移矩阵 Q
排队论中Q矩阵性质
行和为0 对角线元素为负数 如果Q矩阵中元素为0，则表示这种直接转移不可能发生
7
6 4 10 例：Q 2.5 2.5 0 1 1 2
3 Q矩阵
齐次马尔可夫链状态之间的瞬时转移可以用图表示， 图上标明状态之间瞬时强度转移值qij，叫状态流图