随机过程马尔科夫过程 ppt课件

率(i,jI, m0, n1)。
•
n步转移矩阵
Pn
p(n) ij
其中 pi(n j)0, pi(n j)1,i,jI
j I
P(n)也为随机矩阵
当n1时,
p(1) ij
pij
,
P(1)
P
当n0时 2020/11/13 ， 规pi(定 j0) 10,,iijj
11
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn，nT }为马尔可夫链， 则对任意整数n0,0l<n和i,jI，n步转
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
2020/11/13
8
4.1 马尔可夫链与转移概率
• 定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为 马尔可夫链{Xn，nT }在时刻n的一步转移 概率，简称转移概率，其中i,jI。
☆若t1,t2,,tn-2表示过去，tn-1表示现在，tn 表示将来，马尔可夫过程表明：在已知
现在状态的条件下，将来所处的状态与 过去状态无关。
2020/11/13
2
精品资料
• 你怎么称呼老师？
• 如果老师最后没有总结一节课的重点的难点，你 是否会认为老师的教学方法需要改进？
• 你所经历的课堂，是讲座式还是讨论式？ • 教师的教鞭
证(1)
p(n) ij
P Xmn
j
|
Xm
i
P Xm i, Xmn PXm i
j
kI
P Xm i, Xml PXm i,
k, Xml
Xmn
k
jPXm i, Xml k PXm i
P Xmn j | Xml kPXml k| Xm i kI
p(nl) kj
(ml)
p(l) ik
(m)
p p (l) (nl) ik kj
• 定义 若对任意的i,jI，马尔可夫链 {Xn,nT }的转移概率pij(n)与n无关，则称 马尔可夫链是齐次的，并记pij(n)为pij。
• 齐次马尔可夫链具有平稳转移概率， 状态空间I={1, 2, 3, }，一步转移概率为
2020/11/13
9
4.1 马尔可夫链与转移概率
p11 p21
n步转移概率矩阵由一步转移概率矩阵确
定(n次幂) 2020/11/13
14
4.1 马尔可夫链与转移概率
定义
• 初始概率 pj P{X0j}
• 绝对概率 pj(n)P{Xnj}
• 初始分布 pj , jI • 绝对分布 pj(n),jI
• 初始概率向量 pT(0)(p 1,p2, ) • 绝对概率向量 p T (n ) (p 1 (n )p ,2 (n ) ,)
P{X0=i0,X1=i1,,Xn-2=in-2}
=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X0=i0,X1=i1,,Xn-2=in-2}
2020/11/13
7
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
• “不怕太阳晒，也不怕那风雨狂，只怕先生骂我 笨，没有学问无颜见爹娘 ……”
• “太阳当空照，花儿对我笑，小鸟说早早早……”
4.1 马尔可夫链与转移概率
• 马尔可夫过程通常分为三类：
(1)时间、状态都是离散的，称为马尔可 夫链
(2)时间连续、状态离散的，称为连续时间 马尔可夫链
(3)时间、状态都是连续的，称为马尔可夫 过程
2020/11/13
6
4.1 马尔可夫链与转移概率
• 马尔可夫链的性质
P{X0=i0, X1=i1, , Xn=in}
=P{Xn=in|X0=i0, X1=i1, , Xn-1=in-1}
P{X0=i0, X1=i1, , Xn-1=in-1}
= P{Xn=in|Xn-1=in-1}
P{Xn-1=in-1 |X0=i0,X1=i1,,Xn-2=in-2}
kI
kI
2020/11/13
13
4.1 马尔可夫链与转移概率
(2)在(1)中令l=1,k=k1,得
p(n) ij
p p (1) (n1) ik1 k1j
由此可递推出公式
k1I
(3)矩阵乘法
(4)由(3)推出
说明：
(1)此为C-K方程(切普曼-柯尔莫哥洛夫)
(2) n步转移概率由一步转移概率确定，
移概率 p i(j具n ) 有性质
(1)
p(n) ij
p p (l) (nl) ik kj
kI
wk.baidu.com
(2)
p pp p (n ) ij
i1 kk 1 k2
kn 1j
(3) P(n)=PPk 1 ( nI -1) kn 1 I
(4) P(n)=Pn
2020/11/13
12
4.1 马尔可夫链与转移概率
p12 p22
p1n p2n
P
pm1 pm2 pmn
• 转移概率性质
(1) pij0,i, jI (2) pij 1,iI
P称为随机矩阵
jI
2020/11/13
10
4.1 马尔可夫链与转移概率
• 定义
称条件概率
p
(n)
ij =
P{Xm+n=j|Xm=i}
为马尔可夫链{Xn，nT }的n步转移概
第四章 马尔可夫链
4.1 马尔可夫链与转移概率
定义 设 {X(t)，t T }为随机过程，若对 任P{X意(t正1)=整x数1,n及, Xt(1t<n-t12)<=xn<-1}t>n，0，且条件分 布P{TXP}{(为tXn)(马tn)尔xnx|可nX|X(夫t(nt-1过1))==程xx1n,。-1},，X则(tn称-1){=Xx(nt-)1，}=t
2020/11/13
5
4.1 马尔可夫链与转移概率
随机过程{Xn，nT }， 参数T={0, 1, 2, },状态空间I={i0, i1, i2, }
定义 若随机过程{Xn，nT }，对任意nT和 i0,i1,,in+1 I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，nT }为马尔可夫链，简称马氏链。
2020/11/13
15
4.1 马尔可夫链与转移概率
定理4.2
•设{Xn，nT }为马尔可夫链，则对任意 整数jI和n1 ，绝对概率pj(n)具有性质
(1) pj(n) pipi(nj) iI
(2) pj(n) pi(n1)pij i I
(3) PT(n)=PT(0)P(n)