南邮 随机过程课件 4

7
此乃有名的切普曼 − 柯尔莫哥洛夫方程，
8 9
∑ p (n ) = 1.
ij
证明：利用概率公式及马尔可夫性有： pij (n ) = P{X m+ n = a j / X m = ai } = P{X m = ai , X m+ n = a j } P{X m = ai }
= =
ar ∈I
∑ P{X
ir
m+ k
= ar / X m = ai }⋅ P{X m+ n = a j / X m+ k = ar }
rj
5、初始概率与绝对概率
用矩阵形式表示为： P(n ) = P(k ) ⋅ P(n − k )
ar ∈I
∑ p (k ) ⋅ p (n − k )
(1) 定义：设{X n , n ≥ 0}为马尔可夫链, 分别称
n −1in
对任意的n ≥ 1， 和整数i0 , i1 L, in
n
(2) P{X 1 = ai , X 2 = ai ,L, X n = ai / X 0 = ai } = pi i L pi
变量序列，且ξ 0 , ξ1 , ξ 2 ,L有相同的分布，令X n= ∑ ξ k
n −1in
P{X n = in / X 0 = i0 , X 1 = i1 L, X n−1 = in−1} P{X 0 = i0 , X 1 = i1 L, X n = in } P{X 0 = i0 , X 1 = i1 L, X n−1 = in−1}
由所有的一步转移概率pij构成的矩阵
P{ X m+ k = a j / X m = ai } = pij (m, m + k )
∑p
a j∈ I
ij
=1
为马氏链在m时刻处于ai 状态经k步，在m + k时刻 转移到a j 状态的转移概率，记为：pij (m, m + k )
i, j , m, k均为正整数, 一般pij (m, m + k )与i, j , m, k有关， 若pij (m, m + k )与m无关，则称马氏链为齐次的， 下面我们仅讨论齐次马氏链。
ij
ar
aj
ai
m
m+k m+n
整数n ≥ 0, ai , a j ∈ I， 有：pij (n ) =
或 P(n ) = P(k )P(n − k ) 简称c − k方程。
ar ∈I
∑p
ir
(k ) prj (n − k )
直观解释对照图
(1) ( 2)
pij (n ) ≥ 0.
a j ∈I
ai , a j ∈ I ai ∈ I
ai ∈I ai ∈I ai ∈I
（3）马氏链的有限维分布 定理：设{X n , n ≥ 0}为齐次马氏链， 则对任意的
a j ∈ I和n ≥ 1，绝对概率p j (n)具有性质： r r (1) p (n) = ∑ pi (0) pij (n) 或 p (n) = p (0) P(n)
j
ai , ai ,L, ai ∈ I和n ≥ 1有：
17
k =0 n
=
= P{ξ n = in − in −1}.
P{ξ 0 = i0 , ξ1 = i1 − i0 L, ξ n = in − in −1} P{ξ 0 = i0 , ξ1 = i1 − i0 ,L, ξ n −1 = in −1 − in − 2 }
同理：P{X n = in / X n −1 = in −1} = P{ξ n =i n −in −1}
2
3
2、马氏链的转移概率
ai
称条件概率
aj
m+k
3、一步转移概率及矩阵
在上面转移概率中，取 k = 1即得一步转移概率
pij具有性质： (1) ( 2) pij ≥ 0 ai , a j ∈ I ai ∈ I
m
pij = pij (m, m + 1) = P{ X m+1 = a j / X m = ai }
1 n 1 n −1
14
= ∑ pi (0) pii pi i L pi
ai ∈I
1 12
n −1in
15
推论： (1) P{X 0 = ai , X 1 = ai ,L, X n = ai } = pi (0) pi i L pi
0 1 n 0 01 1 2 n 0 01
例：随机游动，设ξ 0 , ξ1 , ξ 2 ,L是整数值独立随机
11
为马氏链的初始概率和绝对概率，并分别称
{p (0), a
j
= a ∈I
r
∑ P{X
P{X m = ai }
分布和绝对分布，简记为和{p j (0)}和{p j (n)} 。
写成向量形式: r p(0) = ( p1 (0), p2 (0),L, p j (0),L) r p(n) = ( p1 (n), p2 (n),L, p j (n),L)
而X (t )在每一时刻t (n = 0,1,2,L), 所处状态记为：
= P{X m + k = ai
P{X m+ k = ai
m+k
/ X m = ai , X m−1 = ai ,L, X 1 = ai }
m m+k
/ X m = ai
m
}
m −1
1
则称此随机过程{X n , n ≥ 0}为马尔可夫链， 简称马氏链。
则称{X n , n ≥ 0}为随机游动。
k =0
=
总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； P ( n) = P n 2) 绝对概率可由初始概率及n步转移概率确定
p j (n) = ∑ pi (0) pij (n)
ai ∈I
随机游动可以解释为质点在直线上的整数格点上作 运动的质点，初始位置为X 0 = ξ 0，每隔一个单位时 间质点移动一次，第k次移动的长度为整数ξ k，于是 X n = ∑ ξ k 表示在时刻n质点的位置，则{X n , n ≥ 0}是 随机游动，随机游动{X n , n ≥ 0}是时齐马氏链。
10
在上式取k = 1，P (n) = P ⋅ P (n − 1) 则n = 2时有：P (2) = P (1) P (1) = P 2 n = 3时：P (3) = P (1) P (2) = P 3 一般当n为任意整数时有：P (n) = P n
表明一步转移概率是最基本的，它确定了 马氏链的状态转移的统计规律。
3)有限维分布可完全由初始概率及一步转移概率确定。
16
一步转移概率为： pij = P{X n = j / X n−1 = i} = P{ξ n = j − i} = p j −i
18
几种特殊的随机游动 例.无限制的随机游动：质点在直线上作随机游动，
如某一时刻质点位于i，则下一步质点以概率p向 右移动一格到达i + 1， 或以概率q = 1 − p向左移一 格到达i − 1， 若以X n 表示时刻n时质点的位置，则
j
m
12
(2) 绝对概率与初始概率的关系
定理：设{X n , n ≥ 0}为马尔可夫链，则对任意的
证： (1) p j (n) = P{X n = a j } = ∑ P{X 0 = ai , X n = a j } = ∑ P{X 0 = ai }⋅ P{X n = a j / X 0 = ai } = ∑ pi (0) pij (n)
11 12 1n 21 2：
1 i = j p (0 ) = pij (m, m ) = δ ij = 0 i ≠ j (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 定理：设{X n , n ≥ 0}为齐次马氏链， 则对任意的
pi ,i +1 = p 一步转移概率为： pi ,i −1 = q p =0 ii
(i ∈ I ,0 ≤ p ≤ 1)
j ≠ i + 1, i − 1, j ∈ I
由于m1 , m2只能取整数，所以n + ( j − i )必须是 偶数，且在 n 步中哪 m1 步向右，哪m2步向左 是任意的，选取方法为：Cnm
n
则X n = ∑ξn为随机游动，它是一个 齐次马氏链
ai ∈I ai ∈I
{
1
2
n
}
n
= ∑ P{X 0 = ai }⋅ P{ X 1 = ai / X 0 = ai } ⋅ P{ X 2 = ai /
ai ∈I
1 2
n −1 n
13
= ∑ Pi (n − 1) pij
ai ∈I
X 0 = ai , X 1 = ai }L P{ X n = ai / X 0 = ai , X 1 = ai L X n −1 = ai }
20
{X n , n ≥ 0}是一随机过程。 1 , 第k次向右移动一格 令ξk = −1，第k次向左移动一格
n k =0
m1 m1 m2 Cn p q , n + ( j − i )为偶数 ∴ pij (n) = n + ( j − i )为奇数 0 n n Cn2 p 2 q 2 , n为偶数 pii (n) = n为奇数 0
p j (0) = P{X 0 = a j }和p j (n) = P{X n = a j } ， (a j ∈ I ) ∈ I }和{p j (n), a j ∈ I }为马氏链的初始
= a ∈I
r
∑ P{X
m
= ai , X m+ k = ar , X m+ n = a j } = ai , X m+ k = ar }P{X m+ n = a j / X m = ai , X m+ k = ar } P{X m = ai }