马尔可夫链课件

PPXX00 ii00，X1PXi1，1L，i1 |XXk01 ii0k1L PXk 马ik |氏Xk性1 ik1 P X k ik |X 0 i0，X1 i1，L ，X k 1 ik 1
P即X马0尔 i可0，夫X链1 {i1，XLn，，Xn k10}i的k1有 限维分布完全由初始
分布PPX{kX0 ik|Xi}k1 和 ik条1件概率 P{Xn j | Xn1 i} 确定.
PX 0 i0，X1 i1，L ，X k 2 ik 2
马氏性
P X k 1 ik 1 | X 0 i0，L ，X k 2 ik 2
P X k ik |X k 1 ik 1
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布 • 第四节 Markov链的应用
第一节 基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方 程
第一节 基本概念
一、Markov链的定义
马尔可夫性(无后效性)
过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时 刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。
则称 {Xn，n 0}为齐次马尔可夫链，称 pij 为从状态 i 转移到状态 j 的一步转移概率.
若马尔科夫链 {Xn，n 0}的状态空间是有限集，则 称 {Xn，n 0}为有限状态的马尔科夫链；
若马尔科夫链 {Xn，n 0}的状态空间是可列集，则 称 {Xn，n 0}为可列状态的马尔科夫链.
是状态有限的马尔科夫链. 1.求其一步转移概率矩阵； 2.若 0.7， 0.4 ，且今天有雨，求第四天有雨的
概率.
四、n步转移概率、C-K方程
P{Xn1 0 | Xn 0} P{Xn1 0 | Xn 1}
一步状态概率矩阵为：
因为
P
1- 1-
P
0.7 0.4
0.3 0.6
随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n =
0,1,2 …}是一齐次马氏链，并写出它的一步转移概率矩 阵。
1
2
3
4
5
三、马氏链的例子
解：它的一步转移概率矩阵为： 0 1 0 0 0
1 3
1 3
1 3
0
0
P 0
0
1 3
0
1 3
1 3
1 3
1 3
0 1 3
0 0 0 1 0
如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远 留在点1时，此时的转移概率矩阵为：
限的马尔科夫链，求其一步转移概率矩阵. 解：马尔科夫链的 {Xn，n 0，1，2，L } 的状态空间为：
S {L ，1， 2，0，1，2，L }
一步状态概率为：
P{X n1
j|
Xn
i}
p，若 j i 1； q，若 j i 1；
0， 其他情形.
一步状态概率矩阵为：
L O O O O L L
ai
经时段u v转移到状态a j，即X suv a j”
0
s su suv t
记齐次马尔科夫链的 m步转移概率矩阵为：
P(m)
(
p(m) ij
)ijS
则齐次马尔科夫链的切普曼－柯尔莫洛夫方程可用 如下矩阵形式表示：
P(2) P P P2，P(3) P(2) P P3 LL
P(m) P(m1) P Pm，P(mn) P(m) P(n)
3 4
1 4
解：
由3C PKX方1 程 0可, X得2 二 0步, X转3 移0概, X率4 矩0阵| X为0 ： 0
5 8
5 16
1 16
P(2)
P2
5 16
1 2
3 16
3 16
9 16
1 4
1
PX0
0, X2
1, X4
1
p0 0 P01 2 P11 2
1 3
5 16
1 2
5 96
P{Xm k | X0 i} P{X mn j | X m k，X 0 i} kS
P{X m k | X0 i} P{X mn j | X m k} kS
p(m) ik
p(n) kj
kS
四、n步转移概率、C-K方程
C K方程基于下述事实：
ak
aj
“从时刻s所处的状态ai，即X s ai出发，
先从状态 i 出发经过 m 步到达状态 k；
然后再先从状态 k 出发经过 n 步到达状态 j ；
由马氏性知，后一阶段的状态转移与前一阶段的状 态转移独立，故两个阶段的转移概率可相乘.
四、n步转移概率、C-K方程
证明：
k
i
0
k
m
p(mn) ij
P{X mn
j|
X0
i}
j
nm
P{X mn j，X m k | X 0 i} kS
2
PX2
1, X 4
1|
X0
0
P01 2 P11 2
5 16
1 2
5 32
四、n步转移概率、C-K方程
例 (天气预测简单模型)假设明天是否下雨仅与今 天的天气(是否下雨)有关，而与过去的天气无关.假设今
天下雨、明天有雨的概率为 ，今天无雨而明天有雨的
概率为 ；又假设把有雨称为 0 状态天气，把无雨称为 1 状态天气.记 X n 表示第 n 天的天气状态.则 {Xn，n 0}
P(2)
P2
0.7 0.4
四、n步转移概率、C-K方程
例 设Xn, n 0是具有三个状态0,1, 2的齐次马氏链，一步转移概率矩阵为：
初始分布pi
0
PX0
i
1 3
试求：1 PX0 0, X2 1, X4 1
2 PX2 1, X4 1| X0 0
i 0,1, 2
012
P
0
1
3 4
1 4
1 4
1 2
0 1 4
2 0
例4设一醉汉Q(或看作一随机游动的质点)在直线上 的点集S={1,2,3,4,5}作随机游动，且仅在1秒、2秒等时 刻发生游动，游动的概率规则是：如果Q现在位于点 i(1<i<5)，则下一时刻各以 1的3 概率向左或向右移动一 格，或以 1的3 概率留在原处；如果Q现在处于1(或5)这 一点上，则下一时刻就以概率1移动到2(或4)这点上，1 和5这两点称为反射壁，这种游动称为带有两个反射壁的
p11 p12 p13 p14
P
p21
p22
p23
p24
0 0 1 0
0
0
0
1
三、马氏链的例子
例2 (0-1传输系统或简单信号模型)
X0
1
X1
2
… X2
Xn-1
n
Xn …
如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，
误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn 是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程，状态空 间S={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与 Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链， 而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：
M M M M ML
则称矩阵 P 为齐次马尔科夫链的一步转移概率矩阵.
记 (0，1，L )，(i P{X0 i}，i S) .称
为齐次马尔可夫链的初始分布.
齐次马尔科夫链的有限维分布族完全由其一步转移
概率矩阵 P和初始分布 确定.
三、马氏链的例子
例1 (一个简单的疾病死亡模型)
考虑一个包含两个健康状态S1和S2以及两个死亡状态 S3和S（4 即由不同原因引起的死亡）的模型。若个体病愈， 则认为它处于状态S1，若患病，则认为它处于S2，个体可 以从S1，S2进入S3和S4，易见这是一个马氏链，转移矩阵为
p, j i pij P{Xn1 j | Xn i} q, j i i, j 0,1
P
p q
q p
三、马氏链的例子
例3 (带有一个吸收壁的随机游动)质点在直线上作
随机游动.在某一时刻质点位于 i ，则下一步质点以概率 p 向右移动一格到达 i 1 ；或以概率 q 1 p向左移动
则称过程X (t),t T具有马尔可夫性或无后效性，并称此过程为马尔
可夫过程。
定义 设随机过程{Xn ,n 0，1，2，L } 的状态空间为： S {0，1，2，3，L }
若对任意的 n 0，及i0，i1，i2，L ，in1，i, j S 有
P{Xn1 j | Xn i，Xn1 in1，L ，X1 i1，X0 i0} P{Xn1 j | Xn i}
S { 0，1，2，L }
一步状态概率为：
P{X n1
j|
Xn
i}
p， 若 j i 1，i 0； q，若 j i 1，i 0； 1， 若j i 0； 0， 其他情形.
一步状态概率矩阵为：
1 0 0 0 0 L
P
q 0
0 q
p 0
0 p
0L 0L
L L L O O O
三、马氏链的例子
通俗地说，就是在已经知道过程“现在”的条件下，其“将来” 不依赖于“过去”。
用分布函数表述马尔可夫性：
设随机过程X (t),t T,其状态空间为S, 对参数集T中任意n个数值
t1 t2 L tn , n 3, ti T
P X (tn ) in | X t1 i1L X tn1 in1 P X (tn ) in | X tn1 in1