第5章 马尔可夫链 PPT

和S4(即相异原因的非生命状态)的模型. 若个体病愈,则
认为它处于状态S1, 若患病,则认为它处于S2,个体可以从
S1,S2进入S3和S4, 这是一个马尔可夫链的模型,转移概率
矩阵为
p11 p12 p13 p14
P=
p21 p22 p23 p24 0010
0001
例5.5(赌徒的破产或称带吸收壁的随机游动)系统的状态
是0到n,反映赌博者A在赌博期间拥有的钱数,当他输光或
拥有钱数为n时,赌博停止; 否则他将持续赌博,每次以概
率p赢得1,以概率q=1-p输掉1.该系统的转移概率矩阵为
大家有疑问的，可以询问和交流
可以互相讨论下，但要小声点
9
马尔可夫链
1000…000
q0p0…000
P=
0q0p…000 ……… ………
pij表示过程处在状态i时, 下一次转移到状态j的概率. 由于概率值非负且过程必须转移到某个状态,所以有
pij≥0, i,j≥0(即i,j∈I);
pij=j10, i=0,1,2,…(即i∈I)
(★)
我们称P{Xn+1=j|Xn=i}=pij为Markov链 {Xn,n=0,1,2,…}的
马尔可夫链
马尔可夫链
可夫链的特性为Markov性,亦称“无后效性”.此性质说 明:
要确定过程将来的状态, 知道它此刻的状态就足够了,
并不需要对它以往状况的认识. 也就是说
对于一个马尔可夫链,在给定过去的状态X0,X1,…,Xn-1 和过现在的状态Xn时, 将来的状态Xn+1的条件分布独立于
去的状态而只依赖于现在的状态.
由Markov链定义知 P{X0=i0,X1=i1,…,Xn=in} =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in1}P{X0=i0,X1=i1,…, Xn-1=in-1} =P{Xn=in|Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1} =… =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in2}…P{X1=i1| X0=i0}P{X0=i0}
《应用数学基础》
应用随机过程
(Applied Stochastic processes)
2011年秋季学期
第5章 马尔可夫链
5.1 引言 本章,首先考察取有限个值或者可数个可能值的随机过
程{Xn,n=0,1,2,…}.一般将这种随机过程的可能值的集合 也记为{0,1,2,…}(即状态空间也是非负整数集).
那么明天下雨的概率为α; 若今天没下雨,明天下雨的概
率为β.
如果下雨,记过程在状态0;如果不下雨,记过程在状态1.
如此,本例是一个两状态{Байду номын сангаас,1}的马尔可夫链,其转移概率
矩阵是: P=(pij)=
pp01=00
p01 p11
α 1-α β 1-β
马尔可夫链
例5.2(一个通讯系统)
考察一个传送数字0和1的通信系统.每个数字的传送必
0000…q0p
0000…001
(n+1)×(n+1)
例5.6(带反射壁的随机游动)在例5.5中当A输光时将获得
赞助1让他继续赌下去, 就如同一个在直线上做随机游
动的球在到达左侧0点处就立即反弹回1一样,这就是一
个一侧带有反射壁的随机游动.此时
0100…000
P=
q0p0…000 0q0p…000
……… ………
可见一旦Markov链的初始分布P{X0=i0}给定,其统计特 性
马尔可夫链
如何确定这个条件概率,是Markov链理论和应用中的重
要问题之一.
• 一般情况下,转移概率pij与状态i,j和时间n有关. 当有Markov链的转移概率P{Xn+1=j|Xn=i},只与状态i,j
关,而与n无关时,称Markov链为时齐的;否则,称为非时齐
如果Xn=i,那么称随机过程在时刻n在状态i. 设只要过程在状态i, 就有一个固定的概率pij,使它在 下一个时刻在状态j. 我们有 定义5.1.1若对于一切状态i0,i1,…,in-1,i,j与一切n≥0, 有 P{Xn+1=j|Xn=i,Xn-1=in-1,…,X1=i1,X0=i0}
=P{Xn+1=j|Xn=i} =pij 则称 这样的随机过程称为马尔可夫链.并称由此式刻画的马尔
…q0p0 …0000…
P=
… …
0q …
0p …0 … ……
00 …
0… …
=p=1-pi,i-1. 这也是一个
…0000 …0q0p…
Markov链,其转移矩阵为: … … … … … … …
马尔可夫链
例5.4(一个简单的疾病死亡模型,Fix-Neyman(1951))
考虑一个包含两个生命状态S1和S2以及两个死亡状态S3
形式. 记为: P=(pij),它等于
马尔可夫链
称P为转移概率矩阵,一般简称为转移矩阵.
转移概率矩阵具有性质(★). 称具有此性质的矩阵为随
机矩阵(随机矩阵是非负实数矩阵且每一行元素的和为1).
例5.1(天气预报)
假设明天下雨的机会只依赖于前一天的天气条件,即今
天是否下雨,而不依赖过去的天气条件.且如果今天下雨,
0000…q0p
0000…001
(n+1)×(n+1)
马尔可夫链
例5.7 在任意给定的一天, 一个人的心情或者是快乐的, 或者是一般的,或者是郁闷的.如果今天她是快乐的,那么 明天她分别以概率0.5,0.4和0.1是快乐的,一般的和郁闷 的; 如果今天她的心情一般,那么她明天分别以概率0.3, 0.4和0.3是快乐的,一般的和郁闷的; 如果今天她是郁闷 的, 那么她明天分别以概率0.2,0.3和0.5是快乐的,一般 的和郁闷的. 以Xn记她第n天的心情, 则{Xn,n≥0}是一个 三个状态{快乐,一般,郁闷}={0,1,2}的马尔可夫链,其转 移概率矩阵
须经过几个阶段. 在每个阶段有一个概率p使进入的数字
在离开时不改变.以Xn记第n个阶段进入的数字,则{Xn,n= 0,1,2,…}是一个两个状态{0,1}的马尔可夫链,具有转移
概率矩阵: P= 例5.3(随机游动)
p 1-p 1-p p
有一个醉汉在直线上做
… … … …… … …
无限制的随机游动其状态 i=0,±1,±2,….且pi,i+1
的.
我们只讨论时齐Markov链,并简称为Markov链.
当Markov链的状态为有限时,称p为00有p限01链p;0否2 则p0称3 为…无
限链.但无论状态是有限还是 p10 p11 p12 p13 …
无限,我们都可以将pij(i,j∈ {0,1,2,…})排成一个矩阵的
… … … …… … pi0 pi1 pi2 pi3 … … …… … …