【建模 精品资源】马尔科夫链

p11 p12
a2 (n) p21 a2 (n) p22
给定a(0), 预测 a(n), n=1,2,…
设投保 时健康
n a1(n) a2(n)
本0 节内1 容结2束
1 0.8 0.78 0 0.2 0.22
3 …∞ 0.778 … 7/9
0.222 … 2/9
设投保 a1(n) 0
0.7
0.77 0.777 … 7/9
u0 1, uc 0
首页
欲求 ua 先求 u j
于是 （p + q）u j pu j1 qu j1
uj
u j1
(
q )(u p
j 1
uj
)
设
r q p
本节d j 内 u容j 结u j束1
则可得到两个相邻差分间的递推关系
d j rd j1
于是
d j rd j1 r2d j2
需讨论 r
右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1， 2，…，c}，c = a + b，。现在的问题是求质点从a出 发到达0状态先于到达c状态的概率。
解 设0 j c
设u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进 行赌博，每赌一局输者给赢者1元，没有和局，
直甲赌获至胜两的人概中 率本有为节一p，人乙内输获光容胜为的结止概。束率设为在q 每1一局p 中，，
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
1
2
0.7
Xn+1只取决于Xn和pij, 与Xn-1, …
无关
状态转移具
有无后效性
a1(n 1) a1(n) p11 a2 (n) p21
a2 (n 1) a1(n) p12 a2 (n) p22
状态与状态转移
0.8
0.2
0.3
1
2
0.7
aa12
(n (n
1) 1)
a1 (n) a1 (n)
状态X n
1, 2,
第n年健康 第n年疾病
状态概率ai (n) P(X n i), i 1,2, n 0,1,
转移概率pij P(X本n1节 内j X容n 结i),束i, j 1,2, n 0,1,
p11 0.8 p12 1 p11 0.2
0.8
0.2
0.3
p21 0.7 p22 1 p21 0.3
当 r 1 即( qpp)a本q(节qp时)内c ， 容甲先1结输(束光qp)的c 概率为b c
用同样的方法可以求得乙先输光的概率
当
p
q
时，乙输光的概率为1
(
q) p
a
当 p q 时，乙先输光的概率为a
c
1
(
q p
)
c
首页
马氏链模型
描述一类重要的随机动态系统(过程)的模型.
• 系统在每个时期所处的状态是随机的.
r jd0
首页
当 r 1
c 1
1 u0 uc
(u j u j1)
c 1
j 0 c1
j
本0
节d 内j c1
容j0结r束j d
0
1 rc 1 r
d0
而 u j u j uc (ui ui1)
i j
c 1
百度文库
c 1
di
rid0
i j
i j
r j (1 r rc j1)d0
保险公司要对投保人未来的健康状态作出估计, 以制 订保险金和理赔金的数额 .
例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、明年保持健康状态的概率 为0.8, 而今年患病、明年转为健康状态的概率为0.7.
若某人投保时健康, 问10年后他仍处于健康状态的概率.
‹# ›
状态与状态转移
r j rc 1 r
d0
两式相比
uj
r j rc 1 rc
首页
故
ua
ra rc 1 rc
(
q )a p
(
q )c p
1
(
q p
)c
本节内容结束
当 r 1
u0 uc 1 cd0
而
u j (c j)d0
c j
因此 故
u j c c a b
ua
c
c
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
马氏链模型
本节内容结束
直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，本移动节的内规容则是结：束
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
0.65
1
2
0.02 3 0.1
1
a1(n 1) a1(n) p11 a2 (n) p21 a3 (n) p31 a2 (n 1) a1(n) p12 a2 (n) p22 a3 (n) p32 a3 (n 1) a1(n) p13 a2 (n) p23 a3 (n) p33
• 从一时期到下本时期节的内状态容按结一束定概率转移.
• 下时期状态只取决于本时期状态和转移概率. 已知现在，将来与过去无关（无后效性）
马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程
健康与疾病
通过有实际背景的例子介绍马氏链的基本概念和性质. 人的健康状态随着时间的推移会随机地发生转变.
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，
其一步转 移矩阵为
1 0 0
P1
1
本2 节
0
内0容结12束
10
2
0 0 1 2
0
0
1 2
0
0 0 0 0
有两个吸收壁的随机游动
0
0
0
1
2 1
首页
赌徒输光问题
时疾病 a2(n) 1
0.3
0.23 0.223 … 2/9
n 时状态概率趋于稳定值, 稳定值与初始状态无关.
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾
病死亡为第3种状态，记Xn=3 0.8
0.18
0.25
p11=0.8, p12=0.18, pp1231==00..0625, p22=0.25, p23=0.1 p31=0, p32=0, p33=1
考虑质点从j出发移动一步后的情况
在以概率 p 移本到节j 内1 的容假设 结下束，
到达 0 状态先于到达 c 状态的概率为u j1
同理 以概率 q 移到 j 1 的前提下，
到达 0 状态先于到达 c 状态的概率为u j1 根据全概率公式有 u j u j1 p u j1q
这一方程实质上是一差分方程，它的边界条件是