第六章 马氏链模型华东理工大学数学建模课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 马氏链模型
6.1 健康与疾病 6.2 钢琴销售的存贮策略 6.3 基因遗传 6.4 等级结构
第九章 马氏链模型
• 在经济预测中，常常需要由经济系统的近期 状态（t=t0）及过去的状态（t=t0-1,t0-2,…t0-k） 去预测以后的状态（t=t0+1,t0+2…）。若某一 经济系统的变化过程仅与该经济系统的近期 状态有关，而与过去状态无关，即该经济系 统在t0+1时的状态仅与t0时的状态有关而与t0 以前的状态无关，则称这种特性为无后效性 或马尔可夫性。具有无后效性的随机时间序 列称为马尔可夫过程或马尔可夫链。
• 定编定岗问题 • 仓库管理模型 • 物种保护问题
二、连续时间马氏过程模型
• 1、生物群体的增长模型 • 2、传染病的流行模型
1、生物群体的增长模型
• 关于生物群体增长的常微分方程模型 中有两大缺点：
• ①它假定了群体数目是时间的连续函 数，而不是时间的整值函数；
• ②它假定了群体的增长是确定性的， 从而得出了“在初始条件不变时，到 时刻t时，群体含量永远相同”的结果。
•
Def3.如果记 pn 的元素为
p(n) ij
，
k
p(n) ij
j
0, 且
j 1,则称 j 1，2，
• 为极限分布。j1
,k
TH2.正则链存在唯一极限分布 1, , k 使a(n) ,
且与初始状态概率a(0)无关，还是平稳分布。记
Tij inf n:X (0) i, X (n) j, n 1
• ⑶群体数目在（t,t+Δt）内不发生变化的概 率为1 -λχΔt+0(Δt) ）。
• （以上模型适合于一个微生物群体在良好环 境下的增长情况）
模型建立
• 用px(t)表示t时刻群体数目为x的概率，即 px(t)=p(X(t)=x),则有
• px(t+Δt)=(1-λxΔt) px(t) +λx-1 px-1(t) Δt+0Δt
• 显然，P 的每一元素均为非负，且其行 和为1。（ 称P矩阵为随机矩阵 ）
• 这里，一旦有了P，那么给定初始状态 概率a(0)，就可计算任意时间n的状态概 率。
a(n 1) a(n) p
相关定义和相关定理
• Def1.一个有k个状态的马氏链如果存在正 整数N，使从任意状态i经N次转移都以大 于零的概率到达状态j（i,j=1,2,…,k）,则称 为正则链。
补充假设
• ⑸增长率λx为x的线性函ቤተ መጻሕፍቲ ባይዱ，即
x x(x 1, 0)
• TH5. F (I Q)1 R
• Def5.对i，j∈Ｉ，若存在非负整数n，
使
p(n) ij
0
，则称自状态i可达状态j。
• 若 fii 1 ，则称状态i是常返的；
• 若 fii 1 ，则称状态i是非常返的。
TH6.对i，j∈Ｉ，若状态j是非常返的，则
lim
n
p(n) ij
0
可数马氏链的应用
• 移项整理得
dp0 (t) dt
0
p0 (t)
(1)
dpx (t) dt
x
px
(t)
x1
px 1 (t ),
x
1,
2,
.
(2)
• 其初始条件为
px (0)
xx0
1, x x0 0, x x0
• 其中 x0 X (0) 是初始时间生物群体的 数目。
• （下面假定 X (0) 1 ）
模型一、纯生过程模型
• 对于某个生物群体，设在t时刻群体的数量 为X(t)，X(t)为一随机变量，并作如下假设。
模型假设
• ⑴如果在t时刻群体数量为x（x=0,1,2,..）， 则在时间段（t,t+Δt）内，群体数量增加一 个的概率为λχΔt+0(Δt) 。
• ⑵群体数目在（t,t+Δt）增加两个或两个以 上的概率为0(Δt）。
• TH3.对于正则链，设 1, , k是 其极限
分布，则
mij
1。
i
• Def4.设i∈I，若pii=1,称i是吸收态。如果马氏 链至少包含一个吸收态，并且从每个非吸收
态出发能以正的概率经有限次转移到达某个
吸收状态，那么这个马氏链称为吸收链。
转移矩阵
p
Irr R
0 Q
行之和为1
r个吸收状态，k-r个非吸收状态
马尔可夫过程
• 可数马氏链 • (指变化仅仅发生在一些离散时刻的具有马
氏性的一类随机过程) • 连续时间马氏过程 • (指变化发生是随时间的连续变化而变化,具
有马氏性的一类随机过程)
一、可数马氏链模型
• 仅考虑系统只有有限个状态（I=｛1， 2，…，k｝）的情形。
• 记n时刻系统的状态为Xn ，记Xn =i的概率 为ai(n)(状态概率)。从Xn =i变到Xn+1 =j的 概率记为pij(n)(状态转移概率)。如果对一 切I,j∈I， pij(n)都与n无关，相应的马氏链 称为时齐马氏链。
它表示系统从状态i出发首次进入状态j的时刻；记
fij (n) p(Tij n X (0) i), n 1 它表示系统从状态i出发经n次转移进入状态j的概率；记
mij nfij (n) n1
它表示系统从状态i出发首次进入状态j的平均转移次数。 特别地，mii表示系统从状态i出发返回状态i的平均转移次数。
• TH1.若马氏链的转移矩阵为P，则它是正 则链的充要条件是：存在正整数n，使得Pn 的每个元素均为正。
k
• Def2.一个概率分布
vj
,即v j 0， v j 1称为 j 1
马氏链的平稳分布，如果
k
v j v j pij j 1
v vp • 记 v (v1, v2, , vk ) 上式可表示为向量形式
• TH4.对于吸收链Ｐ的标准形式，Ｉ－Ｑ是可 逆矩阵，且其逆矩阵可表示为形式
(I Q)1 QS S 0
• 且(I-Q)-1的第j行之和是从第j个非吸收状态出 发被某个吸收状态吸收的平均转移次数。
• 设i是非吸收态，j是吸收态，记
fij fij (n), F ( f )ij (k r)r n1
时齐马氏链
• 记pij(n)= pij，由马氏性和全概率公式得 基本方程为 k
a j (n 1) ai (n)pij , j 1, 2, , k i 1
记a(n) a1(n), a2 (n), , ak (n)
p
pij
, p称为转移矩阵
kk
• 则基本方程写成向量形式可表示为
a(n 1) a(n) p
6.1 健康与疾病 6.2 钢琴销售的存贮策略 6.3 基因遗传 6.4 等级结构
第九章 马氏链模型
• 在经济预测中，常常需要由经济系统的近期 状态（t=t0）及过去的状态（t=t0-1,t0-2,…t0-k） 去预测以后的状态（t=t0+1,t0+2…）。若某一 经济系统的变化过程仅与该经济系统的近期 状态有关，而与过去状态无关，即该经济系 统在t0+1时的状态仅与t0时的状态有关而与t0 以前的状态无关，则称这种特性为无后效性 或马尔可夫性。具有无后效性的随机时间序 列称为马尔可夫过程或马尔可夫链。
• 定编定岗问题 • 仓库管理模型 • 物种保护问题
二、连续时间马氏过程模型
• 1、生物群体的增长模型 • 2、传染病的流行模型
1、生物群体的增长模型
• 关于生物群体增长的常微分方程模型 中有两大缺点：
• ①它假定了群体数目是时间的连续函 数，而不是时间的整值函数；
• ②它假定了群体的增长是确定性的， 从而得出了“在初始条件不变时，到 时刻t时，群体含量永远相同”的结果。
•
Def3.如果记 pn 的元素为
p(n) ij
，
k
p(n) ij
j
0, 且
j 1,则称 j 1，2，
• 为极限分布。j1
,k
TH2.正则链存在唯一极限分布 1, , k 使a(n) ,
且与初始状态概率a(0)无关，还是平稳分布。记
Tij inf n:X (0) i, X (n) j, n 1
• ⑶群体数目在（t,t+Δt）内不发生变化的概 率为1 -λχΔt+0(Δt) ）。
• （以上模型适合于一个微生物群体在良好环 境下的增长情况）
模型建立
• 用px(t)表示t时刻群体数目为x的概率，即 px(t)=p(X(t)=x),则有
• px(t+Δt)=(1-λxΔt) px(t) +λx-1 px-1(t) Δt+0Δt
• 显然，P 的每一元素均为非负，且其行 和为1。（ 称P矩阵为随机矩阵 ）
• 这里，一旦有了P，那么给定初始状态 概率a(0)，就可计算任意时间n的状态概 率。
a(n 1) a(n) p
相关定义和相关定理
• Def1.一个有k个状态的马氏链如果存在正 整数N，使从任意状态i经N次转移都以大 于零的概率到达状态j（i,j=1,2,…,k）,则称 为正则链。
补充假设
• ⑸增长率λx为x的线性函ቤተ መጻሕፍቲ ባይዱ，即
x x(x 1, 0)
• TH5. F (I Q)1 R
• Def5.对i，j∈Ｉ，若存在非负整数n，
使
p(n) ij
0
，则称自状态i可达状态j。
• 若 fii 1 ，则称状态i是常返的；
• 若 fii 1 ，则称状态i是非常返的。
TH6.对i，j∈Ｉ，若状态j是非常返的，则
lim
n
p(n) ij
0
可数马氏链的应用
• 移项整理得
dp0 (t) dt
0
p0 (t)
(1)
dpx (t) dt
x
px
(t)
x1
px 1 (t ),
x
1,
2,
.
(2)
• 其初始条件为
px (0)
xx0
1, x x0 0, x x0
• 其中 x0 X (0) 是初始时间生物群体的 数目。
• （下面假定 X (0) 1 ）
模型一、纯生过程模型
• 对于某个生物群体，设在t时刻群体的数量 为X(t)，X(t)为一随机变量，并作如下假设。
模型假设
• ⑴如果在t时刻群体数量为x（x=0,1,2,..）， 则在时间段（t,t+Δt）内，群体数量增加一 个的概率为λχΔt+0(Δt) 。
• ⑵群体数目在（t,t+Δt）增加两个或两个以 上的概率为0(Δt）。
• TH3.对于正则链，设 1, , k是 其极限
分布，则
mij
1。
i
• Def4.设i∈I，若pii=1,称i是吸收态。如果马氏 链至少包含一个吸收态，并且从每个非吸收
态出发能以正的概率经有限次转移到达某个
吸收状态，那么这个马氏链称为吸收链。
转移矩阵
p
Irr R
0 Q
行之和为1
r个吸收状态，k-r个非吸收状态
马尔可夫过程
• 可数马氏链 • (指变化仅仅发生在一些离散时刻的具有马
氏性的一类随机过程) • 连续时间马氏过程 • (指变化发生是随时间的连续变化而变化,具
有马氏性的一类随机过程)
一、可数马氏链模型
• 仅考虑系统只有有限个状态（I=｛1， 2，…，k｝）的情形。
• 记n时刻系统的状态为Xn ，记Xn =i的概率 为ai(n)(状态概率)。从Xn =i变到Xn+1 =j的 概率记为pij(n)(状态转移概率)。如果对一 切I,j∈I， pij(n)都与n无关，相应的马氏链 称为时齐马氏链。
它表示系统从状态i出发首次进入状态j的时刻；记
fij (n) p(Tij n X (0) i), n 1 它表示系统从状态i出发经n次转移进入状态j的概率；记
mij nfij (n) n1
它表示系统从状态i出发首次进入状态j的平均转移次数。 特别地，mii表示系统从状态i出发返回状态i的平均转移次数。
• TH1.若马氏链的转移矩阵为P，则它是正 则链的充要条件是：存在正整数n，使得Pn 的每个元素均为正。
k
• Def2.一个概率分布
vj
,即v j 0， v j 1称为 j 1
马氏链的平稳分布，如果
k
v j v j pij j 1
v vp • 记 v (v1, v2, , vk ) 上式可表示为向量形式
• TH4.对于吸收链Ｐ的标准形式，Ｉ－Ｑ是可 逆矩阵，且其逆矩阵可表示为形式
(I Q)1 QS S 0
• 且(I-Q)-1的第j行之和是从第j个非吸收状态出 发被某个吸收状态吸收的平均转移次数。
• 设i是非吸收态，j是吸收态，记
fij fij (n), F ( f )ij (k r)r n1
时齐马氏链
• 记pij(n)= pij，由马氏性和全概率公式得 基本方程为 k
a j (n 1) ai (n)pij , j 1, 2, , k i 1
记a(n) a1(n), a2 (n), , ak (n)
p
pij
, p称为转移矩阵
kk
• 则基本方程写成向量形式可表示为
a(n 1) a(n) p