随机过程讲稿孙应飞9_10

n ≥1
Fokker-Planck 方程：

p/ 0
p′j
(t) (t)
= =
−λ0 λ j−1
p0
(t)
+
µ 1
p1
p j−1 (t) − (λ j
(t) +µ
j
)
p
j
(t)
+
µ
j +1
p
j +1
其中 i
=
0,1,2,L,
j
=
1,2,L
。以上
的
λ n
,
µ n
（n
=
0,1,2,L）均可以是 t
pn (t + ∆t) = pn (t) p0 (∆t) + pn−1 (t) p1 (∆t) + ο(∆t)
=
pn (t)[1 −
λ n
∆t
]
+
pn−1 (t)λn−1∆t
+ ο(∆t)
(n > m)
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
因此有：
d
pn (t) dt
=
则{X (t), t ≥ 0} 存在唯一的平稳分布（它就等于极限分布）的充要条件为：
∑∞
λ 0
λ 1
L λk
−1
<∞
k=1 µ1µ2 Lµk
且
∑ p0
=
1 +
∞ k =1
λ0λ1 Lλk−1
µµ 1
2
L
µ
k
−1
pk
=
λ0λ1 Lλk−1
µ 1
µ
2
L
µ
k
p0
注：离散参数的生灭过程：
设有马氏链，它的状态空间为 S = {0,1, 2,L}，且设当 i − j > 1时，pij = 0 ， 在其它的 i, j 时 pij 是任意的正数，对于每个 j > 0 ，满足：
n=0
n=1
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
则有：
d
MX dt
(t)
=
d dt
∑

∞ n=1
n
pn
(t)
=
∞
∑n
n=1
dLeabharlann Baidu
pn (t) dt
=
∞
∞
∞
= λ∑ n(n − 1) pn−1(t) − (µ + λ)∑ n2 pn (t) + µ∑ n(n + 1) pn+1(t)
的
函数。
如果{X (t), t
≥
0} 的极限分布存在，即
pj
=
lim
t→∞
pi j (t) ，且与 i
无关，则有
p′j (t) = 0 (t → ∞) ，因此在 Fokker-Planck 方程中令 t → ∞ ，有：
− λ
λ0 p0 p j−1 j−1
+ µ1 p1 = 0 − (λ j + µ j
− (λn
(t) + µn
)
p0n
(t)
+
µ n+1
p0n+1 (t)
n ≥1
d
pi 0 (t) dt
=
−λ0
pi 0
(t)
+
µ1
pi1 (t)
(A)

d
pin (t) dt
= λn−1 pi n−1 (t) − (λn
+
µn ) pi n (t) +
µ n+1 pi n+1 (t)
0
0 L L

0
µ 2
−
(λ2
+
µ 2
)
λ 2
0
0 L L
Q= M
O
O
O
O


0
L
0
µ n
− (λn + µn )
λ n
0 L
M
M
M
0
O
O O L

0
0
L
L
L
O O O
在条件 λi > 0 , i ≥ 0 ， µi > 0 , i ≥ 1，（ µ0 = 0 ）下，有：
p j j−1 + p jj + p j j+1 = 1 当 j = 0 时，满足：
试求该链为正常返的条件。
p00 + p01 = 1
给定起始状态 X (0) = i ∈ S ，就可以求得过程在 t 时刻的转移概率 pin (t) 及
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
−λ n
pn
(t)
+
λn−1
pn−1 (t)
n>m
同理，有：
即有：
p0 (t
+
∆t)
=
p0 (t)[1 −
λ 0
∆t
]
+ ο(∆t)
pm (t
+
∆t)
=
pm (t)[1 −
λ m
∆t
]
+ ο(∆t)
(m = 0) (m ≠ 0)

d
p0 (t) dt
=
−λ 0
p0
(t)
,
m=0

d

pm (t) dt
)
p
j
+
µ p j+1 j+1
=
0
解以上代数方程组得：
j ≥1
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
p1
=
λ0 µ1
p0 ,
p2
=
λ0λ1 µ1 µ 2
p0 , L ,
pk
=
λ0λ1 Lλk−1 µ1µ2 Lµk
p0
利用： ∑ pk = 1，我们有： k∈S
∑ p0
= 1 +
则称此纯不连续马氏过程{X (t), t ≥ 0} 为生灭过程。 状态空间为 S = {0,1,2,L} 由定义，可得生灭过程的 Q （生灭矩阵）矩阵为：
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
− λ0
λ0
0
0
0
0 L L
µ1 − (λ1 + µ1 )
λ1
0
=
−λm
pm
(t)
,
m≠0
用 Laplace 变换解此微分方程可得：
∑n
pn (t) = (−1)n−m λm Lλn−1
e −λ1t
n
∏ i=m
(λi − λ j )
j=m, j≠i
（3） 生灭过程
定义：纯不连续马氏过程{X (t), t ≥ 0} 如果满足：
（a） 过程中状态转移仅限于从一个状态向其邻近状态转移；
n=1
n=1
n=1
由于：
∞
∞
∞
∑ n(n − 1) pn−1(t) = ∑ m(m + 1) pm (t) = ∑ m(m + 1) pm (t)
n=1
m=0
m=1
∞
∞
∞
∑ n(n + 1) pn+1(t) = ∑ (m − 1)mpm (t) = ∑ (m − 1)mpm (t)
n=1
m=2
m=1
如果
λ n
,
µ n
均与
t
的无关，则上述过程称为齐次生灭过程。
特别地，假设 λn = nλ(t), µn = nµ(t) ，此时过程是非齐次生灭过程，关于
此情况时的微分方程（A）的解法（用母函数求解法）可以参看 P179（课后阅 读）。
当 λn = nλ, µn = nµ（与 t 无关），此时过程是齐次线性生灭过程，对于此时， 我们可以求 E{X (t)} ，具体求法如下：
d d
p0 (t) dt p1 (t) dt
= =
µ p1 −(µ
(t) +λ
)
p1
(t)
+
2µ
p2
(t
)


d

M pn (t) dt
=
(n
−
1)λ
pn−1 (t)
−
n(µ
+
λ)
pn
(t)
+
(n
+
1)µ
pn+1 (t)
∞
∞
令： M X (t) = E{X (t)} = ∑ n pn (t) = ∑ n pn (t)
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
第二章 Markov 过程
9．应用问题
（一） 几种重要的纯不连续马氏过程 （1） Poission 过程（专门讲解） （2） 纯增殖过程（人口问题） 纯增殖过程的转移概率为：
P{X (t + ∆t) = k
X
(t)
=
n}
=

λ n
用的概率。
解：此时的状态空间为 S = {0,1,2,L, n}，k = 0,1,2,L, n ，并且是一生灭过
程，生灭矩阵为：
− λ µ
Q=

0 M

0 0
λ − (λ + µ)
2µ O 0
0
0 λ − (λ + 2µ) O 0
0
0
0 λ O (n − 1)µ 0
L L L O − [λ + (n − 1)µ]
处于状态 n 的概率 pn (t) = P{X (t) = n}，初始条件分别为：
pin (0)
=
δ in
=
1 , 0 ,
n=i ,
n≠i
p j (0) = P{X (0) = j} = 1,
j=i
如果 λn , µn 均是 t 的函数，则上述过程称为非齐次生灭过程；
如果
λ n
,
µ n
均是
t
的线性函数，则称为非齐次线性生灭过程；
（b） 若 X (t) = n ，则在[t,t + ∆t) 内产生由 n 状态转移到 (n + 1) 状态的 概率为： λn∆t + ο(∆t) ；产生由 n 状态转移到 (n − 1) 状态的概率为： µn∆t + ο(∆t) ；
（c） 若 X (t) = n ，则在[t,t + ∆t) 内转移二个或二个以上状态的概率为 ο(∆t) 。
纯增殖过程的状态空间为 S = {0,1,2,L}，表示群体某时所拥有的个体数目。 关心的问题是：在 t 时刻，系统具有 n 个个体的概率是多少，即要求：
P{X (t) = n} = pn (t) = ? n ∈ S 假定初始（ t = 0 ）时系统有 m 个个体，m ∈ S ，即 P{X (0) = m} = pm (0) = 1， 并假定 λn (t) = λn （与 t 无关），我们来求 pn (t) = P{X (t) = n}。 我们注意到：在[0,t + ∆t) 内出现 n (n > m) 个个体可以等价于下列不相容的
(t
)∆t
ο(∆t) ,
+
ο
(∆t)
,
k =n+1 k ≠ n,n + 1, k > n
1
−
λ n
(t
)∆t
+
ο
(∆t
)
,
k =n
即在纯不连续增殖过程中，如果在[0,t) 内出现 n 个个体 X (t) = n 的条件下，在
[t,t + ∆t) 内出现一个新个体的概率为 λn (t)∆t + ο(∆t) ，出现二个或二个以上新 个体的概率为ο (∆t) ，没有出现新个体的概率为1 − λn (t)∆t + ο(∆t) 。
情况之和：（a）在[0,t) 内出现 n 个个体，在[t,t + ∆t) 内出现 0 个个体；（b）在
[0,t) 内出现 n − 1个个体，在[t,t + ∆t) 内出现 1 个个体；（c）在[0,t) 内出现 n − 2
个个体或 n − 2 个体以下，在[t,t + ∆t) 内出现 2 个个体或 2 个个体以上，因此有：
因此：
d
MX dt
(t)
=
∞
λ∑ n=1
n(n
+
1)
pn
(t)
−
(µ
+
∞
λ )∑ n 2 n=1
pn
(t)
+
∞
µ∑(n n=1
− 1)npn
(t)
∞
= (λ − µ)∑ n pn (t) = (λ − µ)M X (t) n=1
即有：
d
MX dt
(t)
=
(λ
−
µ
)M
X
(t)
利用初始条件： M X (0) = i ×1 = i ，即可求得：
M X (t) = E{X (t)} = ie(λ−µ)t t ≥ 0
由上面求解过程可以看到，一般来说，解前进方程、后退方程和福克－普朗
克方程是比较困难的，有时根本无法求得其解析解。但是，如果只研究 t → ∞ 时
的极限情况，我们就可以利用上面 8（二）中提到的方法，将微分方程求极限后， 转化为解线性代数方程组，下面通过例子说明具体的求法。
i − 1 ↔ i ↔ i + 1 (i ≥ 1)
因此，可知对 ∀ i, j ∈ S ，有 i ↔ j ，从而这样的生灭过程是不可约的。
由生灭矩阵可以写出 K－F 前进方程：

d d
p00 (t) dt
=
−λ0
p00
(t)
+
p0n (t) dt
=
λn−1
p0n−1 (t)
µ 1
p01
此时的生灭矩阵为
0
0
0
0
0
0 L L
µ − (λ + µ)
λ
0
0
0 L L

0
2µ
− 2(λ + µ) 2λ
0
0 L L
Q = M
O
O
O
O


0
L
0
nµ − n(λ + µ) nλ 0 L
M
M
M
0
O
O O L

0
0
L
L
L
O O O
写出福克－普朗克方程：

nµ
0
0
0

M
λ − nµ

写出福克－普朗克方程：

d d
p0 (t) dt p1 (t) dt
= =
−λ p0 (t) λ p0 (t) −
例：（电话交换问题）某电话总机有 n 条线路。在某一呼唤来到时如有空闲
线路，则该呼唤占用其中某一条空闲线路，并开始通话。如果通话结束，则该
线路使用完毕而成为空闲线路，等待下一次呼唤。如果呼唤来到时遇到 n 条线路
均被占用，则该呼唤遭到拒绝而消失。设有按 poission 分布的呼唤流，即在
[t,t + ∆t) 内来到一次呼唤的概率为 λ∆t + ο (∆t) ，来到二次或二次以上的呼唤
∞ k =1
λ0λ1 Lλk−1
µ 1
µ
2
L
µ
k
−1
由此可知，当
∑∞ λ0λ1 Lλk−1 < ∞
k =1
µ 1
µ
2
L
µ
k
时， 0 < p0 < 1 , 0 < pk < 1 (k ≥ 1) ，因此可得以下定理：
定理：设{X (t), t ≥ 0} 是生灭过程， λi > 0 , i ≥ 0 ， µi > 0 , i ≥ 1， µ0 = 0 ，
的概率为ο (∆t) ；并设如果某一线路在某时刻 t 被占用，而在[t,t + ∆t) 内这条线
中科院研究生院 2008～2009 第一学期 随机过程讲稿 孙应飞
路空闲出来的概率为 µ∆t + ο (∆t) ，即通话时间按负指数分布。求总机在 t 时刻
有 k 条线路被占用的概率所满足的微分方程；以及当 t → ∞ 时，有 k 条线路被占