马尔可夫链

合集下载
相关主题
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2020年5月21日星期四
例7 设马氏链{Xn}的状态空间为 I={1, 2, 3, 4, 5}, 转移概率矩阵为
1 2
1
2
0 0
0
1 2
1 2
0
0
0
P 0 0 1 0 0
3 / 16 . 1/ 4
于是: (1) P{X0 0, X2 1}
P{ X0 0}P{ X2 1 | X0 0} 1 5 5 ;
3 16 48
2020年5月21日星期四
(2)P{X2 1}
P{X0 0}P{X2 1 | X0 0} P{X0 1}P{X2 1 | X0 1}
显然有
p(n) 11
p(n) 21
P(n)
p(n j1
)
L
p(n) 12
p(n) 22
p(n) 1j
L
p(n) 2j
L
p(n) j2
p(n) jj
L
LL
L
(1)
0
p(n) ij
1
(2)
p(n) ij
1,
i
1,
2,L
j
2020年5月21日星期四
切普曼-柯尔莫哥洛夫方程(C-K方程): 对任意的m,n≥0,有
的矩阵
p11 p21
P
L
pj1 L
p12 L p22 L LL pj2 L LL
p1 j L
p2 j L
L
L
p jj L
L L
称为一步转移概率矩阵. 显然有
(1) 0 pij 1
(2)
pij 1, i 1, 2,L
j
2020年5月21日星期四
3、马尔可夫链举例
例1 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
P{X0 2}P{X2 1 | X0 2}
1 3
5 16
1 2
9 16
11 .
24
2020年5月21日星期四
例4 设任意相继的两天中, 雨天转晴天的概率为 1 3, 晴天转雨天的概率为1 2, 任一天晴或雨是互 为逆事件. 以0 表示晴天状态,以1表示雨天状态, Xn 表示第n天状态 ( 0或1). 试写出马氏链{ Xn , n 1} 的一步转移概率矩阵. 又已知5月1日为晴 天 ,问5月3日为晴天, 5月5日为雨天的概率各等 于多少? 解 由于任一天晴或雨是互为逆事件且雨天转 晴天的概率为1 3, 晴天转雨天的概率为1 2,
以Xn表示第n次抽取后甲袋的球数,n=1,2,… 则{Xn,n=1,2,…}是一随机过程,I={0,1,2,3,4,5}, 且当Xn=i时,Xn+1=j的概率只与i 有关,与n时刻 之前的结果是无关的,从而是一个齐次马氏链.
其一步转移概率矩阵为:
2020年5月21日星期四
0 1 2 34 5
0
1
故一步转移概率矩阵为
2020年5月21日星期四
又由于
01
P
0 1 1 1
2 3
1 2 2 3
0
1
P (2)
0 1
5 7
12 18
7 12 11 18
故 5月1日为晴天, 5月3日为晴天的概率为
p(2) 00
5
12
0.4167 ,
2020年5月21日星期四
又由于
0
P (4)
0 0.4005 1 0.3997
注:可达关系与互通关系都具有传递性 (1) 若ij , jk ,则ik ; (2) 若ij , jk ,则ik .
2020年5月21日星期四
定理 若ij ,则 (1) i与j同为常返或非常返,如为常返,则它们同 为正常返或零常返; (2) i与j有相同的周期.
1
1
1
22
1 2
1
3
4
1
2020年5月21日星期四
二、马尔可夫链的状态分类
设{Xn, n0}是齐次马尔可夫链,pij为转移概率, i,jI,I={1,2,}为状态空间,{pi, i I}为初始分布. 定义 状态i的周期d:
d=G.C.D{n:n≥1, p(n) >0} ii
(最大公约数greatest common divisor) 如果d >1,就称i为周期的; 如果d =1,就称i为非周期的.
P{ X n+1 j | X0 i0 , X1 i1, , X n1 in1 , X n i, }

P{ Xn1 j | Xn i} = Pij . Pij表示处于状态i的过程下一步转移到状态j的概率.
2020年5月21日星期四
具有这种平稳转移概率的马尔可夫链称为齐次的
Pij称为一步转移概率,由所有的一步转移概率构成
非周期的正常返态称为遍历状态.
例:判断下面马氏链各状态的类型
1
1
1
22
1 2
1
3
4
1
2020年5月21日星期四
马氏链状态分类图
状态空间
周期
非周期
常返
非常返
正常返
零常返
遍历
2020年5月21日星期四
状态的可达与互通 如果存在n>0,使 pi(jn),称 自0 状态i可达状态j ,
并记为 i j. 如果 i j且j i, 则称i与j 互通,记为 i j.
以Xn表示时刻 n时Q的位置,则{X n,n 0,1, 2,L } 是一个齐次马氏链. 其状态空间就是 I .
2020年5月21日星期四
一维随机游动的演示
单击图形播放/暂停 ESC键退出
2020年5月21日星期四
一步转移概率 pij P{ Xn1
j
|
Xn
i}
1 13,
,
ji i 1,
1, j
初始分布P{X0 i} 1 / 3, i 0,1,2.
试求 : (1)P{X0 0, X2 1}; (2)P{X2 1}.
2020年5月21日星期四
解 先求出二步转移概率矩阵
012
0 5/8
P(2) P2 1 5 / 16
2 3 / 16
5 /16 1/ 2 9 /16
1 / 16
1 0.5995 0.6003 ,
故 5月1日为晴天, 5月5日为雨天的概率为
p(4) 01
0.5995.
2020年5月21日星期四
课堂练习
设齐次马氏链的转移概率矩阵为
1 3
1 3
1 3
0
(1) 问马尔可夫链有几个 状态?
1 P 12
1
2 1
0 0
0
1
.
(2) 问从第二状态至少几 步才能到第三状态?
P{ X 0
i0 , X1
i1,L
, X n1
i } P n1
in1 ,in
P P P L P . i0 i0 ,i1 i1 ,i2
in1 ,in
5月21日星期四
5、切普曼-柯尔莫哥洛夫方程
在齐次条件下,可得到n步转移概率
p(n) ij
P{ X mn
j|
Xm
i}
由所有的n步转移概率就可得到n步转移概率矩阵
注:(1) 若状态i为非常返的,则由该状态出发将
以1-fii的概率永不返回.
(2) 若状态i为常返的,则 f (n), n构 1成一 ii
概率分布,其期望值为
i
nf (n) ii
n1
表示由i出发再返回到i的平均返回时间(步数).
2020年5月21日星期四
定义 设i为常返态
若i <,则称常返态i为正常返的; 若i =,则称常返态i为零常返的.
12345 游动的概率规则 如果 Q 现在位于点i(1 i 5), 则下一时刻各1 的概率向左或向右移动一格,
3 或以1的概率在原处;
3
2020年5月21日星期四
12345 如果Q现在位于1(或5)这点上, 则下一时刻就以概率1 移动到 2(或4)这一点上 . 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 理论分析:
i, i 1, 1 2 或 i 5,
i j
5 4
0, j i 2.

12345
步 转 移
1 0 1 0 0 0
2 1 / 3 1 / 3 1 / 3 0
0

P 3 0 1/3 1/3 1/3 0
率 矩
4
0
0 1 / 3 1 / 3 1 / 3

5 0 0 0 1 0
2020年5月21日星期四
例6 设马氏链{Xn}的状态空间I={0,1,2,},转
移概率为
1
1
1
p00
2
,
pi ,i1
, 2
pi 0
2
,i
I
试讨论各状态的常返性和周期性.
解:根据题意作出状态转移图如下
1
1
1
1
1
2
2
2
2
20
1 2
11
2
3
2 1
2
2020年5月21日星期四
f (1) 00
1 2
,
f (2) 00
1 2
1 2
2020年5月21日星期四
例5 设马尔可夫链的状态空间I={1,2,3,4},转移概 率如下图
1
1
1
22
1
3
4
1
1
2
易得状态2和3有相同的周期d=2.但是从状态3出发
经两步必定返回状态3,而从状态2出发一旦转移
到状态3后再也不能返回状态2. 为了区别这两种状态,下面引入常返性概念
2020年5月21日星期四
概率矩阵确定.
证 P{ X0 i0 , X1 i1 ,L , X n in }
P{ X0 i0 , X1 i1 ,L , X n1 in1 }
P{Xn in X0 i0 , X1 i1,L , Xn1 in1} P{ X0 i0 , X1 i1 ,L , X n1 in1 } P{Xn in Xn1 in1}
第四章 马尔可夫链
一、马尔可夫链的定义和转移概率
1、马尔可夫性(无后效性)
当已知随机过程在时刻 t所i 处的状态的条件下, 过程在t(>ti)所处的状态与过程在时刻ti以前所处的 状态无关, 这种特性称为马尔可夫性或 “无后效性”. 具有马尔可夫性的随机过程称为马尔可夫过程.
过程“将来”的情况和“过去”的情况无 关.
1 2
1 2
1 2
0
0
1 2
0 0
0 0
0
0
2 0 P
3 0
1 2
0
0
1 2
1 2
0
0
1 2
0
0
4 0 5 0
0 0
0 0
1 2
0
0
1 2
1
2
1 2
2020年5月21日星期四
4、齐次马氏链的性质
定义:记 pi PX0 i , i I ,
称为齐次马氏链的初始分布. 定理: 齐次马氏链完全由其初始分布和一步转移
2020年5月21日星期四
三、状态空间的分解
定义: 状态空间I 的子集C称为闭集,如对任意iC
及kC都有pik=0; 如果闭集C的状态互通,称C为不可约的; 如果马氏链{Xn}的状态空间不可约,称其为不
可约的.
注:(1) 闭集的意思是自C的内部不能到达C的外部; (2) 如果pii=1,则称状态i为吸收的.
1 4
,
f (3) 00
1 2
1 2
1 2
1 8
一般有f0(0n)
1 2n
,

f00
1 2n
n1
1,
0
nf
(n) 00
n1
1 n1 n 2n
2
可见0是正常返态.
又p0(10)
1 2
0,所以0为非周期的,
从而是遍历状态.
对于其它状态i,由于i0,故也都是遍历状态.
对互通状态的识别,只需对最简单的状态判断即可.
由状态i出发经n步首次到达j的概率(首达概率)
f (n) ij
P{Xmv
j,1 v
n 1, Xmn
j|
Xm
i}, n 1
规定 f (0) 0; ij
由i出发经有限步终于到达j的概率
fij
f (n) ij
n1
2020年5月21日星期四
定义 若fii=1,称状态i为常返的; 若fii<1,称状态i为非常返的.
2、马尔可夫链的定义和转移概率
参数和状态都是离散的马尔可夫过程称为马尔 可夫链,简称为马氏链,记为{ Xn X (n), n 0,1, 2,L }. 状态空间为可列 I {1, 2,L }或有限 I {1, 2,L , n}.
马氏链的马尔可夫性可具体描述为: 对于任意的n T , 任意的状态i0 ,i1 ,L ,in1 ,i , j I
P(mn) P(m)P(n)
即n步转移概率矩阵等于一步转移概率矩阵自乘n次.
为了数学处理便利,通常规定
p(0) ij
P{Xm j | Xm i}
1 0
i j i j
2020年5月21日星期四
例3 {Xn,n 0}是具有三个状态0,1,2 的齐次马氏
链, 一步转移概率矩阵为
012 0 3/ 4 1/ 4 0 P 1 1/ 4 1/ 2 1/ 4, 2 0 3 / 4 1/ 4
4 0
4 1
2
0
2 1
2
(3) 求2步转移概率矩阵.
2020年5月21日星期四
解 (1) 有4个状态
(2) 从第二状态至少2步才能到第三状态
13 13 1 1
36
36
9
6
(3)
5 5
P(2)
PP
12
5
12 11
1 6 1
0
1
.
24 14 12 4
1
1
0
1
4 2
4
2020年5月21日星期四
说明: 改变游动的概率规则, 就可得到不同方式的
随机游动和相应的马氏链. 如果把1改为吸收壁,即一旦到达1点,将永
远留在1点,相应链的转移概率矩阵只需把P的第
一行改成 (1,0,0,0,0).
2020年5月21日星期四
例2 取球问题 有甲、乙两袋球,开始时甲袋有3只球,乙袋有
2球;以后,每次任取一袋,并从袋中取出一球放入 另一袋(若袋中无球则不取).
相关文档
最新文档