三节连续时间马尔可夫链知识讲解

排队论中Q矩阵性质
行和为0 对角线元素为负数
10 6 4
例：Q
2.5
2.5
0
1 1 2
如果Q矩阵中元素为0，则表示这种直接转移不可能发生
7
3 Q矩阵
齐次马尔可夫链状态之间的瞬时转移可以用图表示， 图上标明状态之间瞬时强度转移值qij，叫状态流图
10 6 4
例：Q
2.5
2.5
0
1 1 2
成立着
P{Xtn1 j|Xtk ik,1kn}
P{Xtn1 j| Xtn in}
则称X是连续时间的马尔可夫链。
与此历史无关
in+1 in
n
n＋1
3
1 连续时间马尔可夫链定义
记pij(s,t)=P(Xt=j|Xs=i)
若此转移概率只与t-s有关，则称 它为X的齐次转移概率函数，此 马氏链X为连续时间齐次马氏链。
因为马氏链停留在某状态下，发生转移的概率与在此状态 停留了多长时间是无关的。
16
根据 j'(t) i(t)qij 若存在平稳分i 布，则 lti m j'(t)lt im i i(t)qij
i
iqij 0 i 1
i
v 写 成 矩 阵 形 式 ： Q0
12
4 平稳概率例题
一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状
态转移图为
平衡方程：
(0,1,2)Q 0 v
t时间区间转移概率 pij(t) t时间区间转移概率矩阵P(t)
强度转移矩阵
Q
初始分布
pi
初始分布
pi
n时刻分布
π (n ) j
t时刻分布
j(t)
平稳分布
14
主要公式对比
K-C方程
瞬时分布 平稳分布
离散时间马氏链
连续时间马氏链
p(nm) ij
p p (n) (m) ik kj
k
P(nm) Pn Pm
记p转ij(t移),成概为率长度为t的时间区间上的
p00(t) p01(t) p02(t) ...
为连P续(t时)间马pi氏j(t链) 的齐pp次12.00.转(.(tt))移矩pp12阵.11.(.(tt))
p12(t) p22(t)
...
... ... ...
其中
pij(t)0 pij(t)1 j
Q称作密度矩阵，或瞬时概率转移矩k阵，也叫瞬时 强度转移矩阵，通常称作Q矩阵。
（书31页）
6
3 Q矩阵
若
1 如i j
tl im0 pij
(t)
0
如i j
则qii
qij
tl im 0 pii(tt)1pii '(0)
limpij(t) t0 t
pij
'(0)
QP'(0)
(0qii qi ) (qij ,ij)
列出方程组
1 1 0
Q
2
3
1
0 1 1
0 2 1 0
0 3 1 2 0
12 0
0 12 1
得：
0
1 2
1
2
1 4
1
1
0
1
2
2
1
13
转移概率 瞬时分布
主要公式对比
离散时间马氏链
连续时间马氏链
一步转移概率
pij
一步转移概率矩阵P
n步转移概率
p (n ) ij
n步转移概率矩阵 P(n)
(0) i
P(n)
(n1) i
P
P v
( I ) P 0
j(t) pi pij(t) i
j'(t) k(t)qkj k v
Q0
15
6 两个定理
定理3.2
一个连续时间的齐次马氏链，系统处在同一状态的连续 时间服从负指数分布
定理3.3
一个离散时间的齐次马氏链，在同一状态连续停留时间 的分布是几何分布
pij(t s) pik(t)pkj(s) k
P(t s) P(t)P(s)
前向 方程
后向 方程
P'(t) P(t)Q
pij '(t) pik (t)qkj
k
P'(t) Q P(t)
pij '(t) qik pkj (t)
k
P(Xn i)
pk
p(n) ki
k
(n) i
1/2 1/3 1/6 例如：P(2.5)1/3 0 2/3
1 0 0
4
2 K-C方程
1.K-C方程： pij(ts) pik(t)pkj(s)
写成矩阵的形式:
k
P(t+s)=P(t)·P(s)
2. K氏前向方程 P '(t) P (t)Qp ij'(t)p ik (t)q k j k
3. K氏后向方程 P '(t) Q P (t) p ij'(t)q ikp k j(t)
第三节 连续时间马尔可夫链
1
1 连续时间马尔可夫链定义
连续时间的马尔可夫链是这样一种随机过程，它：
具有无记忆性 状态空间是离散的 时间上是连续的
与离散时间的马尔可夫链的不同在于其状态发生变 化的时刻是任意时刻，是连续值。
2
1 连续时间马尔可夫链定义
取值在非负整数集E上的随机过程X={Xt, tT=[0,)}, 如果对一 切T中的时刻0t1t2…tn+1及满足 P (X tkik,1kn)0 的任意状态 ikE(1kn)
j(t)=P(X(t)=j)= pi pi j (t)
由初始分布与t时间i 区间转移概率矩阵求t时刻绝对 分布
j'( t)k ( t) q k j 初 值 ： i( 0 ) p i
为求瞬时k概率分布函数的方程组
10
5 平稳分布
定义
若lti m j(t)j (jE)存在，且 j 1 ，则{j}称为齐次
0
4
2.5
61
1
2
1 状态流图
ห้องสมุดไป่ตู้
8
4 Q矩阵P(t)
依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小
p01(t) t o(t) p10(t) t o(t)
9
4 绝对概率
初始分布(p0 ,p1 ,p2 ,p3 , …)
pi=P(X(0)=i)=i(0) 绝对分布(0(t), 1(t), 2(t), 3(t)…)
马尔可夫链的平稳分布 j 如何判别连续马尔可夫链的平稳分布必定存在？
转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大 于0
11
5 平稳分布
如何求离散马尔可夫链的平稳分布？ 定理3.1 若 lti m j(t)j (jE)存在，则 ltimj '(t) 0 。