随机过程课件第五章

第五章： 第五章：连续时间的马尔可夫链
连续时间马尔可夫链定义 无穷小转移概率矩阵 Kolmogorov向前方程与向后方程 向前方程与向后方程 连续时间马尔可夫链的应用
定义5.1： 定义 ： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}，若对任意 1<t2<… ，状态空间 设随机过程 ，若对任意0≤t <tn＋1及i1,i2,…,in+1∈I，有 ， ＋
p j (t ) ≥ 0
∑
p j (t ) = 1
j∈ I
p j (t ) =
p
j
∑
p i p ij ( t )
i∈ I
(t + τ ) =
∑
p i ( t ) p ij ( τ )
i∈ I
P { X ( t1 ) = i1 , , X ( t n ) = i n } =
∑p
i∈ I
i
p ii1 ( t1 ) p i1i 2 ( t 2 t1 ) p i n 1i n ( t n t n 1 )
q00 q 10 Q= qn0 q01 q11 q n1 q0 n q1n q nn
Q矩阵的每一行元素之和为 ，对角线元素为负或 ，其余 ij≥0 矩阵的每一行元素之和为0，对角线元素为负或0，其余q 矩阵的每一行元素之和为
利用Q矩阵可以推出任意时间间隔 的转移概率所满足的方程组 利用 矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而 矩阵可以推出任意时间间隔 的转移概率所满足的方程组， 可以求解转移概率。 可以求解转移概率。
k k≠ j
kj
定义5.4 定义 设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻 1和t2，使得 为连续时间马尔可夫链的转移概率， 为连续时间马尔可夫链的转移概率 若存在时刻t
pij (t1) > 0, p ji (t) > 0
则称状态i和 是互通的 若所有状态都是互通的， 是互通的。 则称状态 和j是互通的。若所有状态都是互通的，则称此马尔可夫链 为不可约的。 为不可约的。
转移概率pij(t)在t→∞时的性质及其平稳分布关系 在 转移概率 时的性质及其平稳分布关系
定理5.7 定理 设连续时间的马尔可夫链是不可约的，则有下列性质： 设连续时间的马尔可夫链是不可约的，则有下列性质： 1. 若它是正常返的，则极限 tlimpij (t) 若它是正常返的， 存在且等于π 存在且等于 j＞0，j∈I。这里 j是 ， ∈ 。这里π →∞ 方程组
∑ 2. 当过程离开状态 时，接着以状态pij进入状态 ， pij = 1 当过程离开状态i时 接着以状态 进入状态j，
j ≠i
为瞬时状态； 当vi=∞时，称状态 为瞬时状态； 时 称状态i为瞬时状态 为吸收状态。 当vi＝0时，称状态 为吸收状态。 时 称状态i为吸收状态
一个连续时间马尔可夫链是按照一个离散时间的马尔可夫链从一个状态 转移到另一个状态，但在转移到下一个状态之前， 转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的 时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态 时间服从指数分布，此外在状态 过程停留的时间与下一个到达的状态 必须是相互独立的随机变量。 必须是相互独立的随机变量。
定理5.1： 定理 ： 齐次马尔可夫过程的转移概率具有下列性质： 齐次马尔可夫过程的转移概率具有下列性质： 1. 2. 3.
pij (t ) ≥ 0
∑
p ij ( t ) = 1
j∈ I
p ij (t + s ) =
∑p
k∈I
ik
(t ) p kj ( s )
正则性条件
1, i = j li m p i j ( t ) = t→ 0 0, i ≠ j
定义5.3 定义 对于任一t≥0， 对于任一 ，记 p j ( t ) = P { X ( t ) = j },
p
j
= p j ( 0 ) = P { X ( 0 ) = j },
j∈ I
分别称{p 分别称 j(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概 ∈ 和 ∈ 为齐次马尔可夫过程的绝对概率分布和初始概 率分布。 率分布。 定理5.2 定理 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4. 5.
′ pij (t) =
∑p
k≠ j
ik (t )qkj
pij (t )q jj
利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t) 向后方程或向前方程及下述初始条件，可以解得 利用 向后方程或向前方程及下述初始条件
p p
ii ij
(0 ) = 1 (0 ) = 0
Kolmogorov向后和向前方程所求得的解 ij(t)是相同的 向后和向前方程所求得的解p 是相同的 向后和向前方程所求得的解
在实际应用中，当固定最后所处状态 ，研究p 时 ），采 在实际应用中，当固定最后所处状态j，研究 ij(t)时（i=0,1, …），采 ）， 用向后方程较方便； 用向后方程较方便； 当固定状态i，研究 ），采用向后前程较方便 当固定状态 ，研究pij(t)时（j=0,1, …），采用向后前程较方便； 时 ），采用向后前程较方便； Kolmogorov向后和向前方程的矩阵表达形式为 Kolmogorov向后和向前方程的矩阵表达形式为 P ′ ( t ) = QP (t) P ′( t ) = P ( t ) Q 连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解 问题，其转移概率由其转移速率矩阵Q决定 决定。 问题，其转移概率由其转移速率矩阵 决定。 若Q是一个有限维矩阵，则上述矩阵方程的解为 是一个有限维矩阵， 是一个有限维矩阵
状态i持续时间τ 状态 持续时间τi 持续时间 状态i 状态
0
s
s+t
时间轴
P{τ i > s + t | τ i > s} = P{τ i > t}
一个连续时间的马尔可夫链，每当它进入状态 ，具有如下性质： 一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质： 1. 在转移到另一状态之前处于状态 的时间服从参数为vi的指数分布； 在转移到另一状态之前处于状态i的时间服从参数为 的指数分布； 的时间服从参数为
例题5.1： 例题 ： 证明泊松过程{X(t)}为连续时间齐次马尔可夫链 为连续时间齐次马尔可夫链 证明泊松过程
无穷小转移概率矩阵
引理5.1 引理 设齐次马尔可夫过程满足正则性条件，则对于任意固定的 ∈ ， 设齐次马尔可夫过程满足正则性条件，则对于任意固定的I,j∈I， pij(t)是t的一致连续函数。 的一致连续函数。 是 的一致连续函数 定理5.3 定理 是齐次马尔可夫过程的转移概率且满足正则性条件， 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在： 是齐次马尔可夫过程的转移概率且满足正则性条件 则下列极限存在： 1. 2.
j
2. 若它是零常返的或非常返的，则 若它是零常返的或非常返的，
t→∞
lim p ij (t ) = lim p j (t ) = 0,
t→∞
i, j ∈ I
例题5.2 例题 考虑两个状态的连续时间马尔可夫链，在转移到状态 之前在状态 之前在状态0停留的 考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态 停留的 时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1 时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是 参数为的指数分布，求该马尔可夫链的平稳分布和在时刻t的绝对分布。 参数为的指数分布，求该马尔可夫链的平稳分布和在时刻t的绝对分布。
π j q jj = k ≠ π j = 1 j∈ I
∑
π
k
q
kj
j
∑
的唯一非负解，此时称 是该过程的平稳分布， 的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有 ∈ 是该过程的平稳分布
l i m p ij ( t ) = l i m p j ( t ) = π
t→ ∞ t→ ∞
例题5.3： 例题 ：机器维修问题 设例题5.2中状态 代表某机器正常工作 状态1代表机器出故障 代表机器出故障。 设例题 中状态0代表某机器正常工作，状态 代表机器出故障。状态转 中状态 代表某机器正常工作， 移概率与例题5.2相同 即在h时间内 相同， 时间内， 移概率与例题 相同，即在 时间内，及其从正常工作变为出故障的概率 时间内， 为p01(h)=λh+o(h)；在h时间内，机器从有故障变为经修复后正常工作的 λh+o(h)； 概率为p (h)=h+o(h)，试求在t=0时正常工作的机器， t=5时为正常工 t=0时正常工作的机器 概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工 作的概率。 作的概率。
ห้องสมุดไป่ตู้
P{X (tn+1 ) = in+1 | X (t1 ) = i1 , X (t 2 ) = i2 ,, X (t n ) = in }
= P{X (t n+1 ) = in+1 | X (t n ) = in }
则称{X(t),t≥0}为连续时间马尔可夫链。 为连续时间马尔可夫链。 则称 为连续时间马尔可夫链 上式中条件概率的一般表现形式为 P{ X ( s + t ) = j | X ( s ) = i} = p ij ( s , t ) 定义： 定义： 的转移概率与s无关 若pij(s,t)的转移概率与 无关，则称连续时间马尔可夫链具有平稳的或齐 的转移概率与 无关， 次的转移概率， 次的转移概率，此时转移概率简记为 pij ( s, t ) = pij (t ) 其转移概率矩阵简记为 P(t ) = ( pij (t ))
定理5.4（ 向后方程） 定理 （ Kolmogorov向后方程） 向后方程 假设
∑q
k ≠i
ik
= qii ，则对一切i,j及t≥0，有 则对一切 及 ，
′ p ij (t ) =
∑q
k ≠i
ik
p kj (t ) q ii p ij (t )
证明 定理5.5（ 向前方程） 定理 （ Kolmogorov向前方程） 向前方程 在适当的正则条件下，则对一切 及 ， 在适当的正则条件下，则对一切i,j及t≥0，有
P (t ) = e
Qt
=
∑
∞
j=0
( Qt ) j!
j
定理5.6 定理 齐次马尔可夫过程在t时刻处于状态 ∈ 的绝对概率 的绝对概率p 满足下列方程 齐次马尔可夫过程在 时刻处于状态j∈I的绝对概率 j(t)满足下列方程 时刻处于状态
p′j (t ) = p j (t )q jj +
∑ p (t )q
时刻马尔可夫链进入状态i， 在0时刻马尔可夫链进入状态 ，而且在接下来的 个单位时间中过程未离 时刻马尔可夫链进入状态 而且在接下来的s个单位时间中过程未离 开状态i，问在随后的t个单位时间中过程仍不离开状态 的概率是多少？ 个单位时间中过程仍不离开状态i的概率是多少 开状态 ，问在随后的 个单位时间中过程仍不离开状态 的概率是多少？
1 pii (t ) = vi = qii ≤ ∞ t →0 t lim
lim p ij ( t ) t
t → 0
= q ij < ∞ , i ≠ j
推论：对有限齐次马氏过程，有 qii = ∑ qij < ∞
j ≠i
若连续时间齐次马尔可夫链是具有有限状态空间I={1,2, …,n}，则其转 若连续时间齐次马尔可夫链是具有有限状态空间 ， 移速率可构成以下形式的矩阵