第六章 马氏链模型--华东理工大学数学建模课件

状态与状态转移
状态 X n 1, 第 n 年健康 2 , 第 n 年疾病
状态概率 a i ( n ) P ( X
n
i ),
i 1, 2 , n 0 ,1,
转移概率 p ij P ( X n 1 j X n i ), i , j 1, 2 , n 0 ,1,
•
模型求解
• 此时，方程⑵化为
d p x (t ) dt x p x ( t ) ( x 1) p x 1 ( t ), x 1
• 注意到当x=1时
d p1 ( t ) dt p1 ( t )
即 p1 ( t ) C 1 exp( t )
• 由此，可得递推关系式
j 1

• 为极限分布。
TH2.正 则 链 存 在 唯 一 极 限 分 布 1 , , k 使 a ( n ) , 且 与 初 始 状 态 概 率 a (0) 无 关 ， 还 是 平 稳 分 布 。 记 Tij inf n: X (0) i , X ( n ) j , n 1 它 表 示 系 统 从 状 态 i出 发 首 次 进 入 状 态 j的 时 刻 ； 记 f ij ( n ) p (T ij n X (0) i ), n 1 它 表 示 系 统 从 状 态 i出 发 经 n 次 转 移 进 入 状 态 j的 概 率 ； 记 m ij
i
。
• Def4.设i∈I，若pii=1,称i是吸收态。如果马氏 链至少包含一个吸收态，并且从每个非吸收 态出发能以正的概率经有限次转移到达某个 吸收状态，那么这个马氏链称为吸收链。
转移矩阵
I rr p R
0 Q
行之和为1
r个吸收状态，k-r个非吸收状态
• TH4.对于吸收链Ｐ的标准形式，Ｉ－Ｑ是可 逆矩阵，且其逆矩阵可表示为形式
时齐马氏链
• 记pij(n)= pij，由马氏性和全概率公式得 基本方程为 k
a j ( n 1)
a (n) p
i i 1
ij
, j 1, 2, , k
记 a ( n ) a1 ( n ), a 2 ( n ), , a k ( n ) p
p
ij
kk
nf
n 1

ij
(n )
它 表 示 系 统 从 状 态 i出 发 首 次 进 入 状 态 j的 平 均 转 移 次 数 。
特 别 地 ， m ii 表 示 系 统 从 状 态 i出 发 返 回 状 态 i的 平 均 转 移 次 数 。
• TH3.对于正则链，设 分布，则
m ij 1
1 , , k是其极限
• 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。
马氏链的基本方程
j
j
0， v j 1
j 1
k
称为
马氏链的平稳分布，如果
vj
v
j 1
k
j
p ij
• 记
v ( v1 , v 2 , , v k )
v vp
n
上式可表示为向量形式
p ij
(n)
• Def3.如果记 p 的元素为 k
p ij
(n)
，
j 0, 且 j 1, 则 称 j 1， 2 ， , k
模型一、纯生过程模型
• 对于某个生物群体，设在t时刻群体的数量 为X(t)，X(t)为一随机变量，并作如下假设。
模型假设
• ⑴如果在t时刻群体数量为x（x=0,1,2,..）， 则在时间段（t,t+Δt）内，群体数量增加一 个的概率为λχΔt+0(Δt) 。 • ⑵群体数目在（t,t+Δt）增加两个或两个以 上的概率为0(Δt）。 • ⑶群体数目在（t,t+Δt）内不发生变化的概 率为1 -λχΔt+0(Δt) ）。 • （以上模型适合于一个微生物群体在良好环 境下的增长情况）
马尔可夫过程
• 可数马氏链 • (指变化仅仅发生在一些离散时刻的具有马 氏性的一类随机过程) • 连续时间马氏过程 • (指变化发生是随时间的连续变化而变化,具 有马氏性的一类随机过程)
一、可数马氏链模型
• 仅考虑系统只有有限个状态（I=｛1， 2，…，k｝）的情形。 • 记n时刻系统的状态为Xn ，记Xn =i的概率 为ai(n)(状态概率)。从Xn =i变到Xn+1 =j的 概率记为pij(n)(状态转移概率)。如果对一 切I,j∈I， pij(n)都与n无关，相应的马氏链 称为时齐马氏链。
, p称 为 转 移 矩 阵
• 则基本方程写成向量形式可表示为
a ( n 1) a ( n ) p
• 显然，P 的每一元素均为非负，且其行 和为1。（ 称P矩阵为随机矩阵 ） • 这里，一旦有了P，那么给定初始状态 概率a(0)，就可计算任意时间n的状态概 率。
a ( n 1) a ( n ) p
第六章马氏链模型61健康与疾病62钢琴销售的存贮策略62钢琴销售的存贮策略63基因遗传64等级结构第九章马氏链模型??在经济预测中常常需要由经济系统的近期在经济预测中常常需要由经济系统的近期状态状态tttt00及过去的状态及过去的状态tt去预测以后的状态去预测以后的状态tt经济系统的变化过程仅与该经济系统的近期经济系统的变化过程仅与该经济系统的近期状态有关而与过去状态无关状态有关而与过去状态无关状态有关而与过去状态无关即该经济系状态有关而与过去状态无关即该经济系统在统在tt0011时的状态仅与时的状态仅与tt00时的状态有关而与以前的状态无关则称这种特性为以前的状态无关则称这种特性为无后效性或或马尔可夫性马尔可夫性
马氏链模型
描述一类重要的随机动态系统（过程）的模型
• 系统在每个时期所处的状态是随机的
• 从一时期到下时期的状态按一定概率转移 • 下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性） 马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程
11.1 健康与疾病
通过有实际背景的例子介绍马氏链的基本概念和性质
人的健康状态随着时间的推移会随机地发生转变
保险公司要对投保人未来的健康状态作出估计, 以制 订保险金和理赔金的数额 例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、明年保持健康状态的概率 为0.8, 而今年患病、明年转为健康状态的概率为0.7， 若某人投保时健康, 问10年后他仍处于健康状态的概率
0.8
0.18
0.65
0.25
1
0.02 1
2 3
0.1
a 1 ( n 1) a 1 ( n ) p 11 a 2 ( n ) p 21 a 3 ( n ) p 31 a 2 ( n 1) a 1 ( n ) p 12 a 2 ( n ) p 22 a 3 ( n ) p 32 a 3 ( n 1) a 1 ( n ) p 13 a 2 ( n ) p 23 a 3 ( n ) p 33
1
• Def5.对i，j∈Ｉ，若存在非负整数n， (n) 使 p ij 0 ，则称自状态i可达状态j。 • 若 f ii 1 ，则称状态i是常返的； • 若 f ii 1 ，则称状态i是非常返的。 TH6.对i，j∈Ｉ，若状态j是非常返的，则
lim p ij
n
(n)
0
可数马氏链的应用
p x ( t ) ex p ( xt )[ ( x 1) p x 1 ( ) ex p ( x ) d C x ]
0 t
• 从初始条件
p 1 (0 ) 1, p x (0 ) 0 ( x 1), 可 知 ：
对 x 1, 有 C 1 1； 对 x 1, 有 C x 0； 于 是 归 纳 出 0, x 0 p x (t ) x 1 ex p ( t )(1 ex p ( t ) ), x 1, 2,
• 定编定岗问题 • 仓库管理模型 • 物种保护问题
二、连续时间马氏过程模型
• 1、生物群体的增长模型 • 2、传染病的流行模型
1、生物群体的增长模型
• 关于生物群体增长的常微分方程模型 中有两大缺点： • ①它假定了群体数目是时间的连续函 数，而不是时间的整值函数； • ②它假定了群体的增长是确定性的， 从而得出了“在初始条件不变时，到 时刻t时，群体含量永远相同”的结果。
模型建立
• 用px(t)表示t时刻群体数目为x的概率，即 px(t)=p(X(t)=x),则有 • px(t+Δt)=(1-λxΔt) px(t) +λx-1 px-1(t) Δt+0Δt • 移项整理得
d p 0 (t ) d t 0 p 0 ( t ) (1) d p x (t ) x p x ( t ) x 1 p x 1 ( t ), x 1, 2, . (2 ) dt
p 11 0 . 8
p12 1 p11 0 . 2
p 22 1 p 21 0 . 3
0.8
0.2
0.3
p 21 0 . 7
1
0.7
2
Xn+1只取决于Xn和pij, 与Xn-1, …无关 状态转移具 有无后效性
a 1 ( n 1) a 1 ( n ) p 11 a 2 ( n ) p 21
第六章
马氏链模型
6.1 健康与疾病 6.2 钢琴销售的存贮策略 6.3 基因遗传
6.4 等级结构
第九章 马氏链模型
• 在经济预测中，常常需要由经济系统的近期 状态（t=t0）及过去的状态（t=t0-1,t0-2,…t0-k） 去预测以后的状态（t=t0+1,t0+2…）。若某一 经济系统的变化过程仅与该经济系统的近期 状态有关，而与过去状态无关，即该经济系 统在t0+1时的状态仅与t0时的状态有关而与t0 以前的状态无关，则称这种特性为无后效性 或马尔可夫性。具有无后效性的随机时间序 列称为马尔可夫过程或马尔可夫链。
2
给定a(0), 预测 a(n), n=1,2…
3 … ∞
n
0 1 0
1
2
设投保 时健康
设投保 时疾病
a1(n) a2(n)
0.8
0.2 0.7 0.3
0.78
0.22 0.77 0.33
0.778 … 7/9
0.222 … 2/9 0.777 … 0.333 … 7/9 2/9
a1(n)
a2(n)
(I Q )
1

Q
S 0

Байду номын сангаас
S
• 且(I-Q)-1的第j行之和是从第j个非吸收状态出 发被某个吸收状态吸收的平均转移次数。 • 设i是非吸收态，j是吸收态，记
f ij


f ij ( n ), F ( f ij ) ( k r ) r
n 1
• TH5.
F (I Q ) R
0
1
n时状态概率趋于稳定值，稳定值与初始状态无关
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
死亡为第3种状态，记Xn=3
p11=0.8, p12=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1
• 其初始条件为
p x (0 ) xx
0
1, x x 0 0, x x 0
• 其中 x 0 X (0) 是初始时间生物群体的 数目。 • （下面假定 X (0 ) 1 ）
补充假设
• ⑸增长率λx为x的线性函数，即
x x ( x 1, 0)
相关定义和相关定理
• Def1.一个有k个状态的马氏链如果存在正 整数N，使从任意状态i经N次转移都以大 于零的概率到达状态j（i,j=1,2,…,k）,则称 为正则链。 • TH1.若马氏链的转移矩阵为P，则它是正 则链的充要条件是：存在正整数n，使得Pn 的每个元素均为正。
v ,即 v • Def2.一个概率分布
a 2 ( n 1) a 1 ( n ) p 12 a 2 ( n ) p 22
状态与状态转移
0.8
0.2
0.3
a 1 ( n 1) a 1 ( n ) p 11 a 2 ( n 1) a 1 ( n ) p 12 a 2 ( n ) p 22
1 0.7 a 2 ( n ) p 21
状态与状态转移
设投保时处于健康状态，预测 a(n), n=1,2…
n
a1(n)
0
1
1
0.8
2
0.757
3

50


0 0 1
0.7285 0.1293
a2(n)
a3(n)
0
0
0.18
0.02
0.189
0.054
0.1835
0.0326
0.0880 0.8381
• 不论初始状态如何，最终都要转到状态3 ；