第四章 马尔可夫链ppt课件

p(n) ij
1
(2)
p(n) ij

1,i

1, 2,
j
2019年10月23日星期三
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
P(mn) P(m)P(n)
即n步转移概率矩阵等于一步转移概率矩阵自乘n次.
为了数学处理便利，通常规定
p(0) ij
P{Xm j | Xm i}
以Xn表示第n次抽取后甲袋的球数,n=1,2,… 则{Xn,n=1,2,…}是一随机过程，I={0,1,2,3,4,5}, 且当Xn=i时,Xn+1=j的概率只与i 有关，与n时刻 之前的结果是无关的，从而是一个齐次马氏链.
其一步转移概率矩阵为：
2019年10月23日星期三
0 1 2 34 5
0

1 0
i j i j
2019年10月23日星期三
例3 {Xn,n 0}是具有三个状态0,1,2 的齐次马氏
链, 一步转移概率矩阵为
第四章 马尔可夫链
1
一、马尔可夫链的定义和转移概率
1、马尔可夫性(无后效性)
当已知随机过程在时刻 ti 所处的状态的条件下, 过程在t(>ti)所处的状态与过程在时刻ti以前所处的 状态无关,这种特性称为马尔可夫性或 “无后效性”. 具有马尔可夫性的随机过程称为马尔可夫过程.
过程“将来”的情况和“过去”的情况 无关.
P{ X0 i0 , X1 i1 , , X n1 in1 } Pin1,in
பைடு நூலகம்
P P P P . i0 i0 ,i1 i1 ,i2
in1 ,in
2019年10月23日星期三
5、切普曼-柯尔莫哥洛夫方程
在齐次条件下，可得到n步转移概率
p(n) ij

P{ X mn

j | Xm
3、马尔可夫链举例
例1 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
12345 游动的概率规则 如果 Q 现在位于点i(1 i 5), 则下一时刻各1 的概率向左或向右移动一格，
3 或以1的概率在原处；
Pij称为一步转移概率，由所有的一步转移概率构成
的矩阵
p11 p12 p21 p22
P



pj1
pj2

p1 j


p2 j



p jj


称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,
j
2019年10月23日星期三
i}
由所有的n步转移概率就可得到n步转移概率矩阵
显然有

p(n) 11
p(n) 21
P(n)




p(n j1
)

p(n) 12
p(n) 22
p(n)
j2

p(n) 1j
p(n) 2j





p(n) jj


(1)
0
2、马尔可夫链的定义和转移概率
参数和状态都是离散的马尔可夫过程称为马尔 可夫链,简称为马氏链，记为{ Xn X (n), n 0，1, 2, }. 状态空间为可列 I {1, 2, }或有限 I {1, 2, , n}.
马氏链的马尔可夫性可具体描述为： 对于任意的n T , 任意的状态i0 ,i1 , ,in1 ,i , j I
P{ X n+1 j | X0 i0 , X1 i1， , X n1 in1 , X n i, }
记
P{ Xn1 j | Xn i} = Pij . Pij表示处于状态i的过程下一步转移到状态j的概率.
2019年10月23日星期三
具有这种平稳转移概率的马尔可夫链称为齐次的
1

1 2
1 2
1 2
0
0
1 2
0 0
0 0
0
0

2 0 P
3 0
1 2
0
0
1 2
1 2
0
0
1 2
0
0
4 0 5 0
0 0
0 0
1 2
0
0
1 2
1
2
1 2

2019年10月23日星期三
4、齐次马氏链的性质
定义：记 pi PX0 i , i I ,
2019年10月23日星期三
一维随机游动的演示
单击图形播放/暂停 ESC键退出
2019年10月23日星期三
一步转移概率 pij P{ Xn1
j
|
Xn

i}

1 13,
,
j i 1, i 1, j
i, 2
i 1, 1 或 i 5,
i j

5 4

说明: 改变游动的概率规则,就可得到不同方式的
随机游动和相应的马氏链. 如果把1改为吸收壁，即一旦到达1点，将永
远留在1点,相应链的转移概率矩阵只需把P的第
一行改成 (1,0,0,0,0).
2019年10月23日星期三
例2 取球问题 有甲、乙两袋球,开始时甲袋有3只球,乙袋有
2球；以后,每次任取一袋,并从袋中取出一球放入 另一袋(若袋中无球则不取).
称为齐次马氏链的初始分布. 定理: 齐次马氏链完全由其初始分布和一步转移
概率矩阵确定.
证 P{ X0 i0 , X1 i1 , , X n in }
P{ X0 i0 , X1 i1 , , X n1 in1 }
P{Xn in X0 i0 , X1 i1, , Xn1 in1} P{ X0 i0 , X1 i1 , , X n1 in1 } P{Xn in Xn1 in1}
3
2019年10月23日星期三
12345 如果Q现在位于1（或5）这点上， 则下一时刻就以概率1 移动到 2（或4）这一点上 . 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动.
理论分析:
以X
表示时刻
n
n时Q的位置
，则{X
n，n

0,1,
2,
}
是一个齐次马氏链. 其状态空间就是 I .

一 步 转 移 概 率 矩 阵
1
1 0 2 1 / 3
P 3 0
4

0
5 0
0, j i 2.
2345
1 0 0 0
1/3 1/3 0
0

1/3 1/3 1/3 0 0 1 / 3 1 / 3 1 / 3 0 0 1 0
2019年10月23日星期三