第0 42_12讲马尔可夫过程续1生灭过程

wn ( s ) =
λn −1λn −1 λm (s + λn )(s + λn−1 ) (s + λm )
n
=∑
i =m
Ai , s + λi
n>m
其中
Ai =
(− 1)n−m λn−1 λn−1 λm
n−m
∏ (λ
n j =m j ≠i n−m
i
− λj )
wn (t ) = (− 1)
λn −1 λn −1
Pi n (0) = δ i 0
10.3.4 利用母函数研究线性生灭过程的前进微分方程、后退微分方程， 设状态转移概率 Pi n (t ) 的概率母函数是
G (u, t ) = ∑ Pi n (t ) u n
n =0
∞
建立母函数的微分方程
∞ ∂ ∂ ∞ d G (u , t ) = ∑ Pi n (t ) u n = ∑ Pi n (t ) u n ∂t ∂t n =0 n = 0 dt ∂ G (u , t ) = −λ 0 (t ) Pi 0 (t ) + μ 1(t ) Pi 1 (t ) ∂t
dPi n (t ) dt
= Pi n−1 (t )qn−1 n + Pi n (t )qn n + Pi = λ n−1 Pi
n −1
n +1
(t )qn+1 n
n +1
(t ) − (λ n + μ n ) Pi n (t ) + μ n+1 Pi
(t )
┅ ┅ ┅ ┅ 如果已知初始状态的概率分布， 作为微分方程求解的初始条件。 例如初始状态 为状态 0，则有
n−m
λm ∑
i=m
n
e −λi t
∏ (λ
n j =m j ≠i
i
− λj )
10.2.2 尤尔过程 进一步研究尤尔过程，对于尤尔过程 λ n = nλ ，按照对纯增值过程的解展开
wn (t ) = ( −1)
n−m
( n − 1) λ ( n − 2 ) λ
e − iλ t
mλ
∑
i =m
n
e − iλ t
(
)
wn (t ) 是一个负二项式分布。
如果 m=1，即初始状态为 1，则相应的 t 时刻的分布是， wn (t ) = e 这实际是一个几何分布。
−i t
(1 − e )
− λ t n −1
10.3 生灭过程
10.3.1 定义，生灭过程 设有随机过程 ξ (t ) = i, t ∈ T i ∈ I ，在任何时刻状态的转移只能从一个状态向它的 临近状态转移，即状态处于 n, n ≥ 1 ,则可以转移到状态（n+1）或状态（n-1） ；如 果处于 0 状态，则只能转移到状态 1。在 t 时刻处于 n 状态，在 (t , t + Δt ) 时间间隔 内，由状态 n 转移到状态（n+1）的概率为 λ n (t ) ⋅ Δt + O(Δt ) ，由状态 n 转移到状 态（n-1）的概率为 μ n (t ) ⋅ Δt + O(Δt ) ；在 (t , t + Δt ) 时间间隔内，由状态 n 转移 到其他状态的概率为 O(Δt ) 。 10.3.2 跳跃强度矩阵，
μ 1(t ) Pi 1 (t ) + ∑ μ n +1(t ) Pi
n =1
∞
n +1
(t ) u n
= = =
1 ∑μ u n =0
∞
n +1
(t ) Pi
n +1
(t ) u n +1
1 ∞ μ m (t ) Pi m (t ) u m ∑ u m =1 1 ∞ mμ (t ) Pi m (t ) u m ∑ u m =1
n −1
(t )u n
n −1
= ∑ (n − 1) λ (t ) Pi
n =1 ∞
(t )u n
= ∑ mλ (t ) Pi m (t )u m +1
m =0
=u
m =0
∑ mλ (t ) P
∞
i m
(t )u m
∂ ∞ ∑ Pi m (t )u m ∂u m =1 ∂ G (u , t ) = λ (t ) u 2 ∂u = u 2 λ (t )
∑ [λ
∞ n =1
n −1
(t ) Pi
n −1
(t ) − (λ n (t ) + μ n (t )) Pi n (t ) + μ
n +1
(t ) Pi
n +1
(t ) u n
]
对等式右边进行化简，有（对参数有简化假设）
λ 0 (t ) Pi 0 (t ) + ∑ λ n (t ) Pi n (t ) u n
n −1 0 n −1
P
(t ) − (λ n + μ n ) P0 n (t ) + μ
┅ ┅
n +1 0 n +1
P
(t )
┅ ┅ 对于初始状态 i ，有
dPi 0 (t ) dt
= Pi 0 (t )q0 0 + Pi 1 (t )q10 = −λ 0 Pi 0 (t ) + μ 1 Pi 1 (t )
dP0 0 (t ) dt dP0 n (t ) dt
= P00 (t )q 0 0 + P01 (t )q10 = −λ 0 P00 (t ) + μ 1 P01 (t ) = P0 n −1 (t )q n −1 n + P0 n (t )q n n + P0 n +1 (t )q n +1 n =λ
⎧λ n (t ) Δt + O(Δt ), ⎪ P{ξ (t + Δt ) = k / ξ (t ) = n)} = ⎨1 − λ n (t ) Δt + O(Δt ), ⎪O(Δt ), ⎩
纯增值过程状态概率的微分方程（设初始状态是 m 状态） ：
k = n +1 k=n otherwise
wm (t + Δt ) = wm (t ) (1 − λ m Δt ) + O(Δt )
10.2 纯增值过程
10.2.1 定义，纯增值过程是泊松过程的推广。 纯增值过程的状态为 {0,1,2,
, n,
}。在状态
n 下，在 [t , t + Δt ] 时间间隔内出现
一次事件的概率是 λ n (t ) Δt + O (Δt ) ，出现两次事件的概率是 O (Δt ) 。 纯增值过程跳跃概率的方程：
在非齐次条件下，求解的问题较为复杂。 考虑齐次条件下的微分方程为
[
]
∂ ∂ G (u, t ) = (u − 1) [λ u − μ ] G (u, t ) ∂t ∂u
10.3.5 建立福克普朗克方程
d w (t ) = w (t ) Q dt
相应的 Q 矩阵是（对于特定的过程参数）
⎛− λ 0 λ0 ⎜ Q = ⎜ μ 1 − ( μ 1 + λ 1) ⎜ ⎝
10 马尔可夫过程（续一）
几种重要的马尔科夫过程： 泊松过程， 纯增值过程，尤尔过程 生灭过程。 分析方法： 马尔可夫过程： 定义、性质 数学描述： 状态列矢量、转移概率矩阵、转移概率行矢量、转移概率列矢量， 跳跃率矩阵、Q，状态转换图， 基本规律： 前进方程、后退方程、福克-布朗克方程 过程分析： 暂态（拉氏变换、母函数） 、稳态（条件） 典型过程的分析， 10.1 泊松过程， 定义 10.2 纯增值过程，尤尔过程： 定义 跳跃率 微分方程 拉氏变换求解 10.3 生灭过程。 定义 跳跃率 前进微分方程 利用母函数求解 福克普朗克方程，以及均值的福克普朗克方程 稳态解 10.4 马尔可夫过程举例：利用微分方程求同解，利用稳态方程求稳态解。 纯增值过程：尤尔过程举例 电话的话音模型 简单排队问题 可靠性问题 电话交换问题
∏ (λ − λ )
j =m j ≠i i j
n
∏ (λ
n j =m j ≠i
i
− λ j ) = ∏ (iλ − jλ ) = λn − m ∏ (i − j )
n n j =m j ≠i j =m j ≠i
其中，
= λn − m (i − m )(i − m − 1) 2 ⋅ 1 ⋅ (n − i )(n − i − 1) (i − m ) !⋅(n − i ) ! ⋅ (n − m ) ! = (−1) n −i λn − m (n − m ) ! ⎛ n − m⎞ = (−1) n −i λn − m ⋅ (n − m )! ⎜ ⎜i − m ⎟ ⎟ ⎝ ⎠
∏ (λ − λ )
j =m j ≠i i j
n
= ( −1)
n−m
( n − 1)! λ n −m n ( m − 1)! ∑ i =m
∏ (λ − λ )
j =m j ≠i i j
n
= ( −1)
n−m
⎛ n − 1 ⎞ n−m n (n − m)!⋅ ⎜ ⎟λ ∑ i =m ⎝ m − 1⎠
e − iλ t
即
wn (t + Δt ) = wn (t ) (1 − λ n Δt ) + wn −1 (t ) λ n −1 Δt + O(Δt ), n > m
dwm (t ) = −λ m wm (t ) dt dwn (t ) = −λ n wn (t ) + λ n −1 wn −1 (t ) , dt
2 ⋅ 1(−1) n −i
wn (t ) = ( −1)
n−m
⎛ n − 1 ⎞ n−m (n − m)!⋅ ⎜ ⎟λ ⎝ m − 1⎠
⎛n − m⎞ ⎜ ⎟ ⎟ λ (n − m )! ⎜ i =m ⎝i − m ⎠ n ⎛n −1 ⎞ e − iλ t ⎛ n − m ⎞ i −m ⎟ ⎜ ⎟ ( ) ( ) =⎜ − − n m ! 1 ∑ ⎜ m − 1⎟ ⎟ (n − m )! ⎜ i=m ⎝ ⎠ ⎝i − m ⎠
n =1
∞
= ∑ nλ (t ) Pi n (t ) u n
n =1
∞
=u
∂ ∞ λ (t ) Pi n (t ) u n ∑ ∂u n =1
= λ (t ) u
∂ ∞ ∑ Pi n (t ) u n ∂u n =1 ∂ = λ (t ) u G (u , t ) ∂u
n
ห้องสมุดไป่ตู้∑μ
n =1
∞
(t ) Pi n (t ) u n
= ∑ n μ (t ) Pi n (t ) u n
n =1
∞
=u
∂ ∞ ∑ μ (t ) Pi n (t ) u n ∂u n =1
= μ (t ) u
∂ ∞ Pi n (t ) u n ∑ ∂u n =1 ∂ = μ (t ) u G (u , t ) ∂u
n −1 ∞
∑λ
n =1
∞
(t ) Pi
求解微分方程、用拉氏变换方法求解微分方程。
n>m
s wm ( s ) = − λ m wm ( s ) s wn ( s ) = −λ n wn ( s ) + λ n −1 wn −1 ( s ) ,
于是有，
n>m
wm ( s ) = wn ( s ) =
1 s + λm n>m
λn −1 wn −1 ( s ) , s + λn
1 ∂ ∞ = μ (t ) u ∑ Pi m (t ) u m u ∂u m =1
= μ (t )
∂ G (u, t ) ∂u
利用上述推导，得到简化的微分方程
∂ ∂ G (u, t ) = G (u, t ) ⋅ u 2 λ (t ) − u [λ (t ) + μ (t )] + μ (t ) ∂t ∂u ∂ = (u − 1) [λ (t )u − μ (t )] G (u, t ) ∂u
10.1 泊松过程
10.1.1 定义， 泊松过程的状态为 {0,1,2,
, n,
}。在任意状态下，在 [t , t + Δt ] 时间间隔内出现一次
事件的概率是 λ Δt + O (Δt ) ，出现两次事件的概率是 O (Δt ) 。λ 是常数，则为齐次泊 松过程， λ 是时间的函数，则为非齐次泊松过程。
∑ (−1)
n
e − iλ t
n−m
n −i
⎛n −1 ⎞ n i − m ⎛ n − m ⎞ − iλ t =⎜ ⎜ m − 1⎟ ⎟ ∑ (− 1) ⎜ ⎜i − m ⎟ ⎟e ⎝ ⎠ i =m ⎝ ⎠ n ⎛ n − 1 ⎞ −im t ⎛ n − m ⎞ −(i − m )λ t (− 1)i −m ⎜ =⎜ ∑ ⎜ m − 1⎟ ⎟e ⎜i − m ⎟ ⎟e i=m ⎝ ⎠ ⎝ ⎠ n − m ⎞ − kλ t ⎛ n − 1 ⎞ −im t n − m ⎜ (− 1)k ⎛ =⎜ ∑ ⎜ m − 1⎟ ⎟e ⎜ k ⎟ ⎟e i =0 ⎝ ⎠ ⎝ ⎠ ⎛ n − 1 ⎞ −im t n−m =⎜ 1 − e −λ t ⎜ m − 1⎟ ⎟e ⎝ ⎠
⎛ q 00 ⎜ Q = ⎜ q10 ⎜ ⎝
10.3.3 前进微分方程，
q 01 q11
q02 q12
λ0 ⎞ ⎛− λ 0 ⎟ ⎜ ⎟ = ⎜ μ 1 − ( μ 1 + λ 1) ⎟ ⎜ ⎠ ⎝
0
λ1
⎞ ⎟ ⎟ ⎟ ⎠
dPi j (t ) dt
= ∑ Pik (t )q k j
k
对于初始状态 0 ，有