随机过程课件-c5

引理5.1 设齐次马尔可夫过程满足正则性条件，则对 于任意i,j∈I，pij(t)是t的一致连续函数。 转移概率的正则性条件:
⎧1 , i = j lim pij (t ) = ⎨ t →0 ⎩0 , i ≠ j
5 连续时间的马尔可夫链
12
转移速率
5 连续时间的马尔可夫链
13
Q矩阵
若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,…,n}
λ
λ
26
求其平稳分布。
pij(t)极限存在且与i无关，存在平稳分布
5 连续时间的马尔可夫链
27
或者
此Markov链是不可约的
5 连续时间的马尔可夫链
28
5 连续时间的马尔可夫链
29
5.3 生灭过程
5 连续时间的马尔可夫链
30
Q矩阵
I = {0,1,2,3,...}
⎛ − λ0 ⎜ ⎜ μ1 ⎜ Q=⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎛ − q00 ⎜ ⎜ q10 Q =⎜ ⎜ ⎜ q ⎝ n0 q01 − q11 qn1 q0 n ⎞ ⎟ q1n ⎟ ⎟ ⎟ − qnn ⎟ ⎠
Q= P′ (0)
利用Q可以推出任意时间间隔的转移概率所满足的方程组，从 而求解转移概率。
5 连续时间的马尔可夫链
14
微分方程
P′(t)=QP(t) 定理5.5 (科尔莫戈罗夫向前方程) 在适当的正则条件下有
5 连续时间的马尔可夫链
22
渐近性质
5 连续时间的马尔可夫链
23
5 连续时间的马尔可夫链
24
回顾
转移概率： pij(s,t)= P{X(s+t)=j|X(s)=i} P(s+t)=P(s)P(t) 转移速率 Q= P′ (0) 科尔莫戈罗夫微分方程 向后方程：P′(t)=QP(t) 向前方程：P′(t)=P(t)Q
⎧1 , i = j 初始条件： pij (0) = ⎨0 , i ≠ j ⎩
⎛ dpij (t ) ⎞ ′ P′(t ) = ( pij (t ) ) = ⎜ ⎟ ⎝ dt ⎠
若Q是一个有限矩阵，则有
⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
⎛ p00 (t ) ⎜ ⎜ p10 (t ) P= ⎜ p20 (t ) ⎜ ⎜ ⎝
例
5 连续时间的马尔可夫链
33
应用:排队系统
5 连续时间的马尔可夫链
34
本章小结
有关连续时间Markov链的 定义和转移概率 转移速率矩阵Q 科尔莫戈罗夫微分方程 渐近性质 生灭过程
5 连续时间的马尔可夫链
35
练习题
P113 2，4，6
5 连续时间的马尔可夫链
36
结束 !
5 连续时间的马尔可夫链
5 连续时间的马尔可夫链
10
应用
连续时间Markov链的构造
(1)状态i的停留时间τi～E(vi)
1 U i ∼ U (0,1) τ i = − InU i vi
τ i ∼ E ( vi )
(2)过程离开状态i时，以概率Pij进入状态j
∑
j∈I
pij = 1
5 连续时间的马尔可夫链
11
5.2 科尔莫戈罗夫微分方程
∞ ∞ 1 [−(λ + μ )t ]n Q 1 ⎡ e − ( λ + μ )t − 1⎤ Q =I+ =I− ∑ ⎦ −(λ + μ ) n =1 λ+μ ⎣ n!
解法2：
∞
⎛ −λ Q=⎜ ⎝ μ
λ ⎞ ⎟ −μ ⎠
Q n = [−(λ + μ )]n −1 Q
λ ⎛ μ e −( λ + μ ) t + ⎜ λ+μ λ+μ =⎜ μ ⎜ μ e −( λ + μ ) t − ⎜λ +μ λ +μ ⎝
向前方程： P′(t)=P(t)Q， P(+0)=I
⎛ −λ Q=⎜ ⎝ μ
λ ⎞ ⎟ −μ ⎠
5 连续时间的马尔可夫链
17
解法1：
5 连续时间的马尔可夫链
18
(Qt ) n P (t ) = eQt = ∑ n! n =0
[−(λ + μ ) n −1 ]Qt n P (t ) = I + ∑ n! n =1
j j
5 连续时间的马尔可夫链
6
定理5.2
Hale Waihona Puke 有限维概率分布5 连续时间的马尔可夫链
7
5.1.4 停留时间的概率
记τi为过程在状态转移之前停留在状态i的时 间，则对s,t≥0有 (1) P{τ i > s + t | τ i > s} = P{τ i > t} (2) τi 服从参数为vi指数分布： Fτ(x)=1-e-vx (3) 当过程离开状态i时，接着以概率pij进入状态j
i 0
i s
t
i s+t
i j
τi
注：在状态i过程停留的时间与下一个到达的状态 必须是相互独立的随机变量。
5 连续时间的马尔可夫链
8
证明
P{τ i > s + t | τ i > s} = P{τ i > t}
i
i
t
i s+t
i
s 0 {τ i > s} ⇔ { X (u ) = i, 0 < u ≤ s | X (0) = i} {τ i > s + t} ⇔ { X (u) = i ,0 < u ≤ s,
37
5 连续时间的马尔可夫链
38
遗传算法
5 连续时间的马尔可夫链
39
遗传算法的Markov描述
状态转移矩阵 • • •
P=CMS
某状态经过交叉后转移到另一种状态，Σcij=1 ,C是随机矩阵 状态以一个严格正的概率经变异转移到另一状态，mij>0 选择S每一列中至少存在一个正数，S是随机列容 SGA是遍历马尔可夫链，存在与初值无关的极限分布
5 连续时间的马尔可夫链
5
5.1.3 初始概率和绝对概率
定义：
(1)初始概率 p j = p j (0) = P{ X (0) = j}, j ∈ I (2)绝对概率 p j (t ) = P{ X (t ) = j}, j ∈ I , t ≥ 0 (3)初始分布 (4)绝对分布
{p , j ∈ I } {p (t ) , j ∈ I }, t ≥ 0
解：
⎛ −λ λ ⎞ Q=⎜ μ −μ ⎟ ⎝ ⎠ 向前方程： P′(t)=P(t)Q， P(+0)=I
λ − ( λ + μ )t ⎛ μ ⎜λ+μ +λ+μ e P(t ) = ⎜ μ − (λ + μ )t ⎜ μ ⎜λ+μ −λ+μ e ⎝
5 连续时间的马尔可夫链
⎞ e− ( λ + μ )t ⎟ λ+μ λ+μ ⎟ λ μ − (λ + μ )t ⎟ e + ⎟ λ+μ λ+μ ⎠ −
例：某时刻电话呼叫次数X(t) 可维修系统在某时刻系统所处的状态X(t)
5 连续时间的马尔可夫链
2
n维分布函数
马尔可夫过程的任意有限维分布函数均可用它的初 始分布和二维条件分布函数来确定。
5 连续时间的马尔可夫链
3
5.1.2 转移概率
转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 齐次转移概率：pij(s,t)=pij(t) (转移概率与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵： P(t)=(pij(t)) ，i,j∈I，t ≥0 性 质： P(s+t)=P(s)P(t)
求P(t)和平稳分布
⎧ p01 (h) = λ h + o( h) ⎨ ⎩ p10 (h) = μ h + o(h)
思路：P(t)—方程—Q
解 ：
1 − p00 (h) p01 (h) = lim = λ = q01 q00 = lim h →0 h →0 h h p10 (h) 1 − p11 (h) = lim = μ = q10 q11 = lim h →0 h →0 h h
T = [0, ∞}
⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠
λ0 λ1 − ( μ1 + λ1 ) μ2 λ2 − ( μ 2 + λ2 ) μ3 − ( μ3 + λ3 ) λ3
5 连续时间的马尔可夫链
31
平稳分布
⎧Π Q = 0 ⎪ ⎨ ⎪∑ Π = 1 ⎩
平稳分布:
5 连续时间的马尔可夫链
32
5 连续时间的马尔可夫链
40
p′j (t ) = ∑ pk (t )qkj − p j (t )q jj
k≠ j
p j (t ) = ∑ pi pij (t )
i∈I
p′ (t ) = ∑ pik (t )qkj − pij (t )q jj ij
k≠ j
5 连续时间的马尔可夫链
21
互通
定义5.4 设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1 和t2，使得pij(t1)>0， pji(t2)>0，则称状态i与j是互通的。 若所有状态都是互通的，则称此马尔可夫链为不可约的。
5 连续时间的马尔可夫链
⎞ e − ⎟ λ +μ λ +μ ⎟ λ μ ⎟ e −( λ + μ ) t ⎟ + λ +μ λ +μ ⎠
−( λ + μ ) t
λ