随机过程第四章(1)

第四章 马尔可夫链
1. 2.
3.
4. 5. 6.
马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布
1
§4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念
而X t 在每一时刻t n 0,1,2,, 所处状态记为： X (n) X n，则所能取的状态必为a1 ,a 2 ,之一， 且过程只在0,1,2,, n, 可列个时刻发生状态转移， 即参数空间为：T 0,1,2,, n 假定马尔可夫过程X t 的状态空间为I a1 , a2 ,,
2
1.定义：若过程X (t )在m k时刻处在任一状态 ai 的概率, 只与过程在m时刻的状态有关, 而与
mk
过程在m时刻以前的状态无关,即条件概率满足：
PX m k ai
PX m k ai
mk
/ X m ai , X m1 ai ,, X 1 ai
m mk
/ X m ai
m

m 1
1
则称此随机过程X n , n 0为马尔可夫链， 简称马氏链。
3
2、马氏链的转移概率
称条件概率
ai
m
aj
mk
P{X mk a j / X m ai } pij m, m k
为马氏链在m时刻处于ai 状态经k步，在m k时刻 转移到a j 状态的转移概率，记为：pij m, m k
i, j , m, k均为正整数, 一般pij m, m k 与i, j , m, k有关， 若pij m, m k 与m无关，则称马氏链为齐次的， 下面我们仅讨论齐次马氏链。
4
3、一步转移概率及矩阵
在上面转移概率中，取k 1即得一步转移概率
pij pij m, m 1 P{X m1 a j / X m ai }
由所有的一步转移概率 pij 构成的矩阵
p11 p12 p1n p p p P 21 22 2n
称为马氏链的一步转移概率矩阵
5
pij 具有性质： (1) (2) pij 0 ai , a j I ai I
p
a jI
ij
1
即 ai 转 到 态 间 某 从 移 状 空 的 一 即 阵 任 行 素 矩 中 一 元 之 矩 称 随 矩 。 阵 为 机 阵
个 态 必 事 ， 状 是 然 件
和 1， 足 (1)、 )性 的 为 满 (2 质
6
4.多步转移概率的确定
(1)、在转移概率中取k n时,即得n步转移概率： pij n pij m, m n PX m n a j / X m ai 对应的n步转移概率矩阵为： p n p n p n p n p n p n P n P(n)也为随机矩阵， 即也满足性质：
11 12 1n 21 22 2n
(1) (2)
pij n 0.
a j I
ai , a j I ai I
7
p n 1.
ij
通常我们还规定：
1 i j p 0 pij m, m ij 0 i j (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 定理：设X n , n 0为齐次马氏链， 则对任意的
ij
整数n 0, ai , a j I， 有：pij n
或 Pn Pk Pn k
简称c k方程。
ar I
p
ir
(k ) prj n k
此乃有名的切普曼 柯尔莫哥洛夫方程，
8
ar
aj
ai
m
m k mn
直观解释对照图
9
证明：利用概率公式及马尔可夫性有： PX m ai , X m n a j PX m ai
ar I
pij n PX m n a j / X m ai
PX
m
ai , X m k ar , X m n a j ai , X m k ar PX m n a j / X m ai , X m k ar PX m ai
10
ar I
PX
PX m ai
m
PX m k ar / X m ai PX m n a j / X m k ar pir k prj n k
用矩阵形式表示为： Pn Pk Pn k
在上式取k 1，P (n) P P (n 1) 则n 2时有：P (2) P (1) P (1) P 2 n 3时：P (3) P (1) P (2) P 3 一般当n为任意整数时有：P (n) P n
ar I ar I
表明一步转移概率是最基本的，它确定了 马氏链的状态转移的统计规律。
11
5、初始概率与绝对概率
(1) 定义：设X n , n 0为马尔可夫链, 分别称
p j (0) PX 0 a j 和p j (n) PX n a j (a j I ) ， I 和p j (n), a j I 为马氏链的初始
为马氏链的初始概率和绝对概率，并分别称
p (0), a
j
分布和绝对分布，简记为和p j (0)和p j (n) 。
写成向量形式: p (0) p1 (0), p2 (0),, p j (0), p (n) p1 (n), p2 (n),, p j (n),
12
j
(2) 绝对概率与初始概率的关系
定理：设X n , n 0为马尔可夫链，则对任意的 a j I和n 1，绝对概率p j (n)具有性质： (1) p (n) pi (0) pij (n) 或 p(n) p(0) P(n)
j
(2) p j (n) pi (n 1) pij 或 p(n) p(n 1) P
ai I
ai I
a2 a1 0
aj
n 1 n
13
证：) p j (n) PX n a j PX 0 ai , X n a j (1 PX 0 ai PX n a j / X 0 ai pi (0) pij (n)
ai I ai I ai I
表明n时刻的绝对概率分布完全由初始分布 和n步转移概率所确定。
(2) p j n PX n a j PX n1 ai , X n a j PX n1 ai X n a j / X n 1 ai
ai I ai I
Pi (n 1) pij
ai I
14
（3）马氏链的有限维分布 定理：设X n , n 0为齐次马氏链， 则对任意的
ai , ai ,, ai I和n 1有：
1 2 n 1 2
PX 1 ai , X 2 ai ,, X n ai pi 0 pii pi
n
ai I
1
n 1in
证：P{ X 1 ai , X 2 ai ,, X n ai } P U X 0 ai , X 1 ai ,, X n ai
ai I
1

1
2
n

n
PX 0 ai P{ X 1 ai / X 0 ai } P{ X 2 ai /
ai I
1 2
X 0 ai , X 1 ai } P{ X n ai / X 0 ai , X 1 ai X n1 ai }
1 n 1 n 1
pi (0) pii pi i pi
ai I
1 12
n 1in
15
推论： (1) PX 0 ai , X 1 ai ,, X n ai pi (0) pi i pi
0 1 n 0 01 1 2 n 0 01
(2) PX 1 ai , X 2 ai ,, X n ai / X 0 ai pi i pi
n 1in
n 1in
总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； P ( n) P n 2) 绝对概率可由初始概率及n步转移概率确定
p j (n) pi (0) pij (n)
ai I
3)有限维分布可完全由初始概率及一步转移概率确定。
16
例：随机游动，设 0 , 1 , 2 ,是整数值独立随机 变量序列，且 0 , 1 , 2 ,有相同的分布，令X n k
k 0 n
则称X n , n 0为随机游动。
随机游动可以解释为质点在直线上的整数格点上作 运动的质点，初始位置为X 0 0，每隔一个单位时 间质点移动一次，第k次移动的长度为整数 k，于是 X n k 表示在时刻n质点的位置，则X n , n 0是
k 0 n
随机游动，随机游动X n , n 0是时齐马氏链。
17
对任意的n 1， 和整数i0 , i1 , in
P 0 i0 , 1 i1 i0 , n in in 1 P 0 i0 , 1 i1 i0 ,, n 1 in 1 in 2 P n in in 1.
同理：PX n in / X n1 in1 Pn i n in1
PX 0 i0 , X 1 i1 , X n in PX 0 i0 , X 1 i1 , X n1 in 1
PX n in / X 0 i0 , X 1 i1 , X n 1 in 1
一步转移概率为： pij PX n j / X n1 i P n j i p j i
18
几种特殊的随机游动 例.无限制的随机游动：质点在直线上作随机游动，
如某一时刻质点位于i，则下一步质点以概率p向 右移动一格到达i 1， 或以概率q 1 p向左移一 格到达i 1， 若以X n 表示时刻n时质点的位置，则
X n , n 0是一随机过程。 向 移 一 1 , 第k次 右 动 格 令 k 向 移 一 1 ， 第k次 左 动 格
则 X n n为 机 动 它 一 随 游 ， 是 个
其状态空间为：
k 0
n
齐 马 链 次 氏 。
19
I ， 2， 1， ，， ， 012
pi ,i 1 p 一步转移概率为： pi ,i 1 q p 0 ii
i I ,0 p 1
j i 1, i 1, j I
下面求它的 n步转移概率 pij (n)
已知每次转移只有两种可能， 向左的概率为q， 向右的概率为p，而n次转移的结果是从i j， 如果n次转移中向右m1次，向左m2次，则
n j i n ji m1 m2 n m1 , m2 2 2 m1 1 m2 (1) j i
20
由于m1 , m2只能取整数，所以n ( j i )必须是 偶数，且在 n 步中哪 m1 步向右，哪m2步向左 是任意的，选取方法为：Cnm
m1 n m1 m2
1
C p q , n j i 为偶数 pij (n) n j i 为奇数 0 C p q , n为偶数 pii (n) 0 n为奇数