第九章概率论及马氏链模型
马氏链模型——精选推荐
1 马氏链模型正则链 从任意的状态出发经过有限次的转移都能达到另外的任意状态，定义如下： 一个有K 个状态的马氏链如果存在正整数N ，使从任意状态i 经过N 次转移都以大于零的概率到达状态j （i ，j=1,2，...k ）则称为正则链。
定理1 若马氏链的转移矩阵为P ，则它是正则链的充要条件是：存在正整数N 使p N >0(指p N 的每个元素大于零)定理 2 正则链存在唯一的极限状态概率w=()12k ωωω ，，，使得当n →∞时状态概率()a n w →，w 与初始状态概率无关，w 又称稳定概率，满足11k i i wP ww ===∑从状态i 出发经过n 次转移，第一次到状态j 的概率称为i 到j 的首次概率，记作()ij f n 于是()1i j i j n n f n μ∞==∑为状态i 第一次到达状态j 的平均转移次数，特别地，ij μ是状态i 首次返回的平均转移次数。
ij μ与稳定概率ω有密切地关系，即定理3 对于正则链ij =1/μω吸收链 1ii p =，于是系统一旦进入状态i 就不再离开它，可以把它看作“吸收”其它状态的一个状态，并且从其它的状态可以经过有限次的转移到达状态i 定义如下： 定义2 转移概率1ii p =的状态i 称为吸收状态。
如果马氏链至少包含一个吸收状态，并且从每个非吸收状态出发，能以正的概率经有限次的转移到达某个吸收状态，那么这个马氏链称为吸收链。
吸收链的转移矩阵可以写成简单的标准形式，若有r 个 吸收状态，k-r 个非吸收状态，则转移矩阵P 可表示为r r I O P R Q ⨯⎡⎤=⎢⎥⎣⎦其中k-r 阶子方阵Q 的特征值λ满足1λ＜这要求子阵()k r r R -⨯中必含有非零元素，已满足从任意一非吸收状态出发经有限次转移可到达某个吸收状态的条件。
这样Q 就不是随机矩阵， 它至少存在一个小于1的行和，且如下定理成立定理4 对吸收链P 的标准形式，（I-Q ）可逆，()10s s M I Q Q ∞-==-=∑记元素全为1的列向量()1,1,,1Te = 则y=Me的第i 个分量是从第i 个非吸收状态出发，被某个吸收状态吸收的平均转移次数。
马氏链预测模型
马氏链预测模型：
马氏链分为正则链和吸收链
正则链即任意状态都可通过正概率到达其他状态，吸收链为存在一个状态，当到达此状态时，就不能再向其他状态转移，其他任意状态都可经过一个正概率向此状态转移，且经过足够长时间后，所有状态都将变为这个状态。
基本模型：
状态⎪⎪⎩⎪⎪⎨⎧=4
3
21n X ，分别表示四种水质，状态概率)()(i X P n a n i ==，
状态转移概率..2,1,0;,...,2,1,)),(|)((1=====+n k j i i X j X P P n n ij
经n 次转以后状态概率：
k i P n a n a k j ij j i ...,2,1,*)()1(1
==+∑=
当经过足够长时间达到稳态时，对于正则链，假设w 为稳态概率，则满足：
w P w =*
利用MATLAB 程序实现：
function Markov_Chain=f1(P,n,A0)
%P 为转移概率矩阵，n 为递推时间，A0为初始状态列向量
b=size(A0,1);%确定初始状态矩阵A0行数
A=zeros(b,n);
A(:,1)=A0;
p=P';%按照递推公式，需将转移概率矩阵P 转置
j=1;
while j<=n
A(:,j+1)= p*A(:,j)%第j 列代表递推j 次后的状态向量
j=j+1;
end
A_n=A(:,n) %得到递推n 次后的状态向量
根据数据可分别求出四个地区四种水质的转移概率：
P1=。
《马氏链模型》课件
马氏链模型的求解
1
平稳分布
马氏链模型的平稳分布是指随着时间的推移，状态转移概率趋于稳定的情况。
2
极限行为
马氏链模型在假设条件下，其极限行为会收敛到一个稳定的状态。
马氏链模型的改进
1
非齐次马氏链模型
非齐次马氏链模型考虑了不同时间段的状态转移概率的变化。
2
马尔可夫决策过程
马尔可夫决策过程是马氏链模型的扩展，同时考虑了状态转移和决策的影响。
总结
马氏链模型的优点
马氏链模型能够描述状态转移的概率，并用于解决 实际问题。
马氏链模型的应用前景
马氏链模型在各个领域具有广泛的应用前景，可以 帮助解决实际问题。
《马氏链模型》PPT课件
马氏链模型是概率论中的重要工具，它描述了一个系统按照一定的概率从一 个状态转移到另一个状态的过程。
什么是马氏链模型？
马氏链模型是描述系统状态转移的数学模型，它具有马氏性质，即下一个状 态只依赖于当前状态，与之前的状态无关。
马氏链模型的特点
状态转移概率
马氏链模型中的每一个状态都有一定的概率转移到其他的状态。
马链的齐次性
马氏链模型的转移概率在时间上保持不变，不受时间影响。
时间齐次性
时间齐次性指的是马氏链模型的转移概率与时间的长度无关，只与当前状态有关。
马氏链模型的应用
随机游走问题
随机游走问题是马氏链模型的一 个重要应用领域，它可以描述在 随机环境下的随机漫步过程。
网站访问模型
马氏链模型可以用于描述网站访 问行为，帮助优化页面设计和内 容推荐。
马氏链模型
完全 优势 基因 遗传
完全优势基因遗传
3种基因类型：dd~优种D, dr~混种H, rr~劣种R 父母基因类型决定后代各种基因类型的概率
父母基因类型组合 后代各种 基因类型 的概率 R 0 1 0 0 1/4 1/2 D H DD 1 0 RR 0 0 DH 1/2 1/2 DR 0 1 HH 1/4 1/2 HR 0 1/2
该稳定值与初始状态无关。
a1 ( n + 1) p11 a ( n + 1) = p 1 2 12 p21 a1 ( n) p11 a ( n) = p p22 2 12
p21 a1 (0) p22 a2 (0)
n
马氏链模型理论
马氏链的基本方程
随机繁殖
假设
讨论基因类型的演变情况
设群体中雄性、雌性的比例相等，基因类 型的分布相同（记作D:H:R） 每一雄性个体以D:H:R的概率与一雌性个体交配， 其后代随机地继承它们的各一个基因 设初始一代基因类型比例D:H:R =a:2b:c （a+2b+c=1), 记p=a+b, q=b+c, 则群体中优势基因和 劣势基因比例 d:r=p:q (p+q=1)。
父母基因类型组合 后代各种 基因类型 的概率 R 0 1 0 0 1/4 1/2 D H DD 1 0 RR 0 0 DH 1/2 1/2 DR 0 1 HH 1/4 1/2 HR 0 1/2
当父母均为DD时,子女为DD的概率为1,其他为零 当父母均为RR时,子女为RR的概率为1,其他为零
父母基因类型组合 后代各种 基因类型 的概率 R D H
5 2 2 5 y = Me = ( 4 , 6 , 5 , 4 ) 6 3 3 6
《马氏链及其应用》课件
马氏链的性质
总结词
马氏链具有无记忆性、强马尔可夫性和转移概率性等性质。
详细描述
马氏链的一个重要性质是无记忆性，即下一个状态与过去状 态无关，只与当前状态有关。此外，马氏链还具有强马尔可 夫性和转移概率性等性质，这些性质使得马氏链在描述随机 现象时具有独特的优势。
马氏链的分类
要点一
总结词
马氏链可以分为离散时间和连续时间的马氏链，以及有向 和无向的马氏链。
机器学习算法
马氏链在强化学习中用于 估计策略值函数和近似最 优策略，提高机器学习的 效率和准确性。
图像处理
通过马氏链模拟图像的随 机过程，实现图像的降噪 、增强和修复等处理。
数据压缩
利用马氏链对数据进行编 码和压缩，降低存储和传 输成本，提高数据处理的 效率。
在其他领域的应用
物理学中的随机过程模拟
在生态领域的应用
种群动态模拟
01
马氏链用于模拟物种数量的变化过程，研究种群的增长规律和
生态平衡机制。
生态系统稳定性分析
02
通过马氏链分析生态系统中的反馈机制和稳定性条件，评估生
态系统受到干扰后的恢复能力。
生物多样性保护
03
利用马氏链预测物种的灭绝风险和保护策略，为生物多样性保
护提供科学依据。
在计算机科学领域的应用
马氏链面临的挑战和问题
理论体系的完善
马氏链理论体系仍需不 断完善和发展，以适应 不断涌现的新问题和挑 战。
应用领域的拓展
尽管马氏链在某些领域 已经取得广泛应用，但 仍需拓展更多应用领域 ，解决实际问题。
计算效率的提高
随着数据规模的增大， 如何提高马氏链的计算 效率成为亟待解决的问 题。
THANKS
[学习笔记]马氏链模型
![[学习笔记]马氏链模型](https://img.taocdn.com/s3/m/772cbde79f3143323968011ca300a6c30c22f13e.png)
[学习笔记]马⽒链模型引例：（带有反射壁的随机徘徊）如果在原点右边距离原点⼀个单位及距原点 s(s > 1)个单位处各⽴⼀个弹性壁。
⼀个质点在数轴右半部从距原点两个单位处开始随机徘徊。
每次分别以概率 p(0 < p < 1) 和 q(q = 1− p) 向右和向左移动⼀个单位；若在+1 处，则以概率 p 反射到 2，以概率q 停在原处；在 s 处，则以概率 q 反射到 s −1，以概率 p 停在原处。
由该例⼦可以看出，我们所做的，是根据质点的移动⽅向和⽅向对应的概率，对质点的运动⽅向进⾏预测。
在这背景下，球移动的⽅向与概率只与当前的点有关，与它历史运动轨迹⽆关。
因此，这种现象可以⽤⼀句话来概括：某⼀系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，⽽与过去的历史⽆直接关系。
描述这类随机现象的数学模型称为马⽒模型。
概念以及定理：时齐性：它的含义是：系统由状态i 到状态j 的转移概率只依赖于时间间隔的长短，与起始的时刻⽆关。
在此马⽒链假定都是时齐的，因此省略“时齐”⼆字。
n可以理解成起点的位置n=1，2… m表⽰从n开始的时间间隔，i与j分别表⽰n点的状态与n+m点的状态。
由式⼦可以看出，概率与n⽆关，只与起点状态，终点状态，以及两点之间的距离有关。
转移概率矩阵： m 步转移概率 p (m) ij 为元素的矩阵 为马尔可夫链的m 步转移矩阵。
当m = 1时，记 P(1) = P 称为马尔可夫链的⼀步转移矩阵，或简称转移矩阵。
（下⾯是⼀个转移矩阵）并且由上⾯的图可以看出⼀些性质：(1)上次购买的A对应下次购买的A、B、C的概率，每⼀个都在范⽂[0,1]，⽽且总和是1.(2)当步数为0时，若前后状态相同，概率为1。
状态不同概率为0。
吸收链：如果马⽒链⾄少含有⼀个吸收状态，并且从每⼀个⾮吸收状态出发，都可以到达某个吸收状态，那么这个马⽒链被称为吸收链。
如图，当状态到4的时候就会停留到4，状态4也就被称为吸收状态。
马氏链模型基础共25页文档
11、战争满足了，或曾经满足过人的 好斗的 本能， 但它同 时还满 足了人 对掠夺 ，破坏 以及残 酷的纪 律和专 制力的 欲望。 ——查·埃利奥 特 12、不应把纪律仅仅看成教育的手段 。纪律 是教育 过程的 结果， 首先是 学生集 体表现 在一切 生活领 域—— 生产、 日常生 活、学 校、文 化等领 域中努 力的结 果。— —马卡 连柯(名 言网)
Thank you
13、遵守纪律的风气的培养，只有领 导者本 身在这 方面以 身作则 才能收 到成效 。—— 马卡连 柯 14、劳动者的组织性、纪律性、坚毅 精神以 及同全 世界劳 动者的 团结一 致，是 取得最 后胜利 的保证 。—— 列宁 摘自名言网
15、机会是不守纪律的。——雨果
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂，怯懦通往地狱。——塞内加 9、有时候读书是一种巧同和过去最杰出的人谈话。——笛卡儿
马氏链模型
收状态出发，被某个吸收状态吸收的平均转移次数。而fij 为从非吸收状态i出发终将被吸收
状态j吸收的概率。记F = {fij}(k−r)×r = M R.
下面我们通过一个具体的实例来分析马氏链在完全优势基因遗传理论中的应用。基因分
为优势基因和劣势基因两种，分别用d和r表示，每种外部表现特征都可以由体内的两个基因
还有另外一种情况，可以直接给出所对应的转移矩阵和初始的状态概率，其表达式为：
′
′
′
a1(n + 1) a2(n + 1)
=
a1(n) a2(n)
p11 p12
p21 p22
p31 p32
=
a1(n) a2(n)
0.5 0.4
0.3 0.2
0.2 0.4
(1.3)
a3(n + 1)
a3(n)
在马氏链模型中，有两类非常重要的类型，正则链和吸收链。下面我们通过一个具体的 实例来说明一下相关的概念：
某个商店每月考察一次经营情况，其结果用销售好和销售坏的两种状况中的一种表示。 已知如果本月销售好，下月仍保持这种状况的概率为0.5,如果本月销售坏，下月转变为销售 好的概率为0.4，试分析假若开始时商店处于销售好的状况，那么经过若干月后能保持销售 好的概率是多少？如果开始时商店处于销售坏的情况呢？对该问题进行分析，商店的经营状 况是随机的，每月会随机的转变。但是，也可以看出，下个月的销售和这个月的销售情况和 转变概率有关。在初始状态已知的情况下，我们希望通过一个递推公式，推出将来销售好和 坏的概率？
3
种RR，全是混种H H ,一优种一混种DH ,一优种一劣种DR,一混种一劣种H R,简单计算就可 以得到每种组其后代各种基因类型的概率。
马氏链模型
T i =1 k
调入比例 r = ( r1 , r2 , rk ), ri ~ 每年调入 i的比例
R (t ) ~ t年调入总人数, ri R (t ) ~ t年调入 i的人数
p ij , w i , ri ≥ 0 ,
p11 = P ( X n +1 = 1(后代为 dd ) X n =(父为 dd ) = p 1 ) p12 = P ( X n +1 = 2(后代为 dr ) X n =(父为 dd ) = q 1 ) p13 = P ( X n +1 = 3(后代为 rr ) X n =(父为 dd ) = 0 1 ) p21 = P( X n+1 = 1(后代为dd ) X n = (父为dr)= 1/ 2 p = p / 2 2 )
11.3 基因遗传
背景
生物的外部表征由内部相应的基因决定. 生物的外部表征由内部相应的基因决定. 基因分优势基因 和劣势基因 两种. 基因分优势基因d 和劣势基因r 两种. 每种外部表征由两个基因决定,每个基因可以是 每种外部表征由两个基因决定, d, r 中的任一个.形成 种基因类型:dd ~ 优种 中的任一个.形成3种基因类型 种基因类型: 优种D, dr ~ 混种 混种H, rr ~ 劣种 . 劣种R. 基因类型为优种和混种 外部表征呈优势;基因 基因类型为优种和混种, 外部表征呈优势; 类型为劣种, 外部表征呈劣势. 类型为劣种 外部表征呈劣势. 生物繁殖时后代随机地(等概率地)继承父,母的 生物繁殖时后代随机地(等概率地)继承父, 生物繁殖时后代随机地 各一个基因,形成它的两个基因. 各一个基因,形成它的两个基因.父母的基因类型 决定后代基因类型的概率
《马氏链及其应用》课件
通过游走过程，可以观察系统在不同状态之间的转移情况。
2
直接求解
可以使用转移概率矩阵，直接计算系统在不同状态之间的转移概率。
马氏链的评指标
平稳分布
马氏链的平稳分布表示系统在长 时间后达到的稳定状态。
收敛速度
衡量马氏链从初始状态收敛到平 稳分布所需的步数。
误差分析
通过分析马氏链模型的误差情况， 评估其在实际应用中的可行性。
转移概率
马氏链的转移概率描述了系统 在不同状态之间的可能转移情 况。
马氏链应用场景
金融市场
马氏链可以用于分析金融市场的波 动性和风险。
智能客服
马氏链可以应用于智能客服系统， 提供更准确和高效的服务。
自然语言处理
马氏链能够帮助解决自然语言处理 任务，如文本生成和敏感词过滤。
马氏链的使用方法
1游Leabharlann 过程《马氏链及其应用》PPT 课件
# 马氏链及其应用
马氏链是一种数学模型，描述一个系统在一系列状态之间的随机转移。它在 多个领域具有广泛的应用。
什么是马氏链？
定义
马氏链是一个随机过程，其未 来状态只依赖于当前状态，而 与过去的状态无关。
特点
马氏链具有无后效性、有限维 状态空间和固定转移概率矩阵 等特点。
实战案例
大盘指数预测
通过利用历史数据构建马氏链 模型，预测未来的大盘指数走 势。
销售额预测
应用马氏链模型分析销售历史 数据，预测未来的销售额变化。
文本分类
利用马氏链模型对文本进行分 类，提高自然语言处理的准确 性。
总结
1 优势和不足
马氏链具有简单和灵活的特点，但对初始状态和转移概率的准确性要求较高。
2 未来发展方向
马氏链模型专业知识讲座
• 显然，P 旳每一元素均为非负，且其行 和为1。（ 称P矩阵为随机矩阵 ）
• 这里，一旦有了P，那么给定初始状态 概率a(0)，就可计算任意时间n旳状态概 率。
a(n 1) a(n) p
有关定义和有关定理
• Def1.一种有k个状态旳马氏链假如存在正 整数N，使从任意状态i经N次转移都以不 小于零旳概率到达状态j（i,j=1,2,…,k）,则 称为正则链。
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
p21=0.65, p22=0.25, p23=0.1
0.02 3 0.1
p31=0, p32=0, p33=1
1
a1(n 1) a1(n) p11 a2 (n) p21 a3 (n) p31 a2 (n 1) a1(n) p12 a2 (n) p22 a3 (n) p32 a3 (n 1) a1(n) p13 a2 (n) p23 a3 (n) p33
钢琴销售量很小，商店旳库存量不大以免积压资金
一家商店根据经验估计，平均每七天旳钢琴需求为1 架 存贮策略：每七天末检验库存量，仅当库存量为零 时，才订购3架供下周销售；不然，不订购。
•
Def3.假如记 pn 旳元素为
p(n ij
)
，
k
p(n) ij
j
0, 且
j 1,则称 j 1，2，
• 为极限分布。j1
, k
TH2.正则链存在唯一极限分布 1, , k 使a(n) ,
且与初始状态概率a(0)无关，还是平稳分布。记
Tij inf n:X (0) i, X (n) j, n 1
若某人投保时健康, 问23年后他仍处于健康状态旳概率
正则马氏链模型
正则马氏链模型正则马氏链模型是一种常用的概率模型，它是一种离散时间、离散状态的随机过程。
该模型的基本假设是：在任意时刻，系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
正则马氏链模型可以用来描述许多实际问题，比如天气预报、股票价格变化、人口迁移等。
一、基本概念1. 马氏性质马氏性质是指一个随机过程中，在任意时刻，系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
这种性质也称为无后效性。
2. 状态转移矩阵状态转移矩阵是一个n×n 的矩阵，其中第 i 行第 j 列表示从状态 i 转移到状态 j 的概率。
对于正则马氏链模型而言，每个状态可以转移到任何其他状态，因此矩阵中所有元素都大于等于 0，并且每行元素之和为 1。
3. 平稳分布平稳分布是指当一个随机过程在长期运行后，其概率分布不再发生变化，并且该分布与起始分布无关。
对于正则马氏链模型而言，其平稳分布存在且唯一。
二、模型定义正则马氏链模型可以用一个四元组来表示，即(S, P, π, T)。
其中：1. S 表示状态集合，每个状态都有一个唯一的标识符。
2. P 表示状态转移矩阵，P(i,j) 表示从状态 i 转移到状态 j 的概率。
3. π 表示初始分布，π(i) 表示初始时系统处于状态 i 的概率。
4. T 表示时间步数，表示模型运行的时间长度。
三、模型计算1. 状态转移概率计算对于正则马氏链模型而言，任意时刻系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
因此，在已知 t 时刻系统处于某一特定状态 i 的条件下，t+1 时刻系统处于某一特定状态 j 的概率可以用如下公式计算：P(i,j,t+1) = Σ P(i,k,t) × P(k,j)其中 k 是所有可能的中间状态。
2. 平稳分布计算平稳分布是指当一个随机过程在长期运行后，其概率分布不再发生变化，并且该分布与起始分布无关。
对于正则马氏链模型而言，其平稳分布可以通过不断迭代计算得到。
马氏链及其应用
1 t 1 1 t p11 2 t p21 n t pn1 2 t 1 1 t p12 2 t p22 n t pn 2 ⑼ . t 1 t p t p t p 1 1n 2 2n n nn n
三种状态的转移概率
平行于⑴式，有
n1 1 n 1 p11 n 2 p21 n 3 p31 ,
n1 2 n 1 p12 n 2 p22 n 3 p32 , ⑷
n1 3 n 1 p31 n 2 p32 n 3 p33 ,
马尔科夫连原理及其建模实例
马氏链及其应用
1.一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康
与疾病以及相应的风险。通过下面的例子我们来看保险 公司是如何处理这类问题的。
问题的提出 设t
1,2,3,
表示年龄的时段，假定在一年中，今
年健康而明年患病的概率是0.2, 而今年患病明年转为健
0时系统的状态概率向量，又称为
例
在前两例中，初始向量与概率转移矩阵分别为
0 0.8,0.2 ,
0.8 0.2 P , 0.7 0.3
0.8 0.18 0.02 0 0.75,0.25,0 , P 0.65 0.25 0.1 . 0 0 1
n 1 1 0.8 0.78 0.778 0.7778 n 2 0 0.2 0.22 0.222 0.2222
若投保人在开始时处于疾病状态，即0 1 0, 0 2 1. 则有
n
0
1
2
3
4
马氏链模型
x
(n)
x =M
(n−1)
=M x
2
(n−2)
=⋯= M x
n
(0)
的三个特征值。 这里 1， 2 ， 3 是矩 阵M的三个特征值。对于 (4.5)式 的三个特征值 式 中的M，易求得它的特征值和特征向量： 中的 ，易求得它的特征值和特征向量： =1， =1/2， =0 ， ，
λ λ λ λ2 λ1
根据假设 ，可递推得出： 根据假设(I)，可递推得出： 假设
an +bn +cn = a0 +b0 +c0 =1
对于(4.2)式.(4.3)式和 式 式和(4.4)式，我们采用矩阵形式简记为 对于 式和 式
x
(n)
x =M
(n−1)
, n =1,2,⋯
(4.5)
其中 1 1 0
2 an 1 为转移矩阵的位置） 注 这里M为转移矩阵的位置 M = 0 1, x(n) = bn （注：这里 为转移矩阵的位置） 2 cn 0 0 0
（a）假设：令n=0,1,2,…。 ）假设： 。 分别表示第n代植物中 代植物中， （i）设an,bn和cn分别表示第 代植物中，基因型 为AA,Aa和aa ） 和 为第n代植物的基因型分 的植物占植物总数的百分比 。令x (n)为第 代植物的基因型分 布： a0 a n 时 x(n) = b 当n=0时 x(0) = b
= D = λ2 0 λ3 0
n
1
1
λ
n 2
λn 3
λ3
因此
1 D = 0 0
所以
0 0 1 1 1 1 0, e1 = 0 e2 = −1 e3 = −2 2 0 0 1 0 0 1 1 1 P = [e1 ⋮e2 ⋮e3 ] = 0 −1 −2 0 0 1
马氏规则原理
马氏规则原理马氏规则原理马氏规则是一种概率统计学中的理论，它描述了在已知过去事件的情况下，预测未来事件发生的概率。
该原理由俄罗斯数学家安德烈·马尔可夫在20世纪初提出，并因此而得名。
一、马氏链要理解马氏规则，首先需要了解“马氏链”这个概念。
所谓“马氏链”，指的是一个随机过程，在该过程中，当前状态只与前一状态有关，与更早的状态无关。
这种特殊的随机过程被称为“马氏过程”。
二、条件概率为了理解马氏规则，还需要了解“条件概率”的概念。
所谓“条件概率”，指的是在已知某个事件发生时，另一个事件发生的概率。
用符号表示为P(A|B)，表示在事件B已经发生的情况下，事件A发生的概率。
三、转移矩阵在马氏链中，每个状态之间都有一个转移概率。
这些转移概率可以用一个矩阵来表示，称为“转移矩阵”。
假设有n个状态，则转移矩阵为n×n的矩阵。
四、稳态分布在马氏链中，如果状态之间的转移概率是固定的，那么该链将会趋于一个稳态分布。
所谓“稳态分布”，指的是当时间趋近于无穷大时，各个状态出现的概率趋于一个固定值。
这个固定值就是该马氏链的稳态分布。
五、马氏规则了解了以上概念后，我们就可以来理解“马氏规则”了。
所谓“马氏规则”，指的是在已知某个状态下，预测未来状态发生的概率。
具体来说，假设当前处于状态i，想要预测下一步会进入状态j的概率，则可以通过以下公式计算：P(i→j) = P(j|i) × P(i)其中，P(j|i)表示从状态i转移到状态j的概率；P(i)表示当前处于状态i 的概率。
六、应用马氏规则在实际应用中有很多用途。
例如，在自然语言处理中，可以利用马氏模型来进行文本分类和词性标注；在金融领域中，可以利用马氏模型来预测股票价格等。
总之，马氏规则是一种非常有用且广泛应用的概率统计学理论。
了解马氏规则的原理和应用，可以帮助我们更好地理解和应用这个理论。
数学建模姜启源第四版第九章--概率模型
dG
n
(ab)n(p n) (bc)p(r)dr
dn
0
(ab)n(p n)n(ab)p(r)dr
n
(b c)0p (r)d r (a b )np (r)drdG 0 dn Nhomakorabean
0
n
p(r)dr p(r)dr
a b
b c
9.6 航空公司的预订票策略 问题 预订票业务～航空公司为争取客源开展优质服务
4）每人在生产完一件产品时都能且只能触到一只 挂钩，若这只挂钩是空的，则可将产品挂上运走； 若该钩非空，则这件产品被放下，退出运送系统.
模型建立
• 定义传送带效率为一周期内运走的产品数（记作s, 待定）与生产总数 n（已知）之比，记作 D=s /n
为确定s，从工人考虑还是从挂钩考虑，哪个方便？
• 若求出一周期内每只挂钩非空的概率p，则 s=mp
• 预先订票的乘客如果未能按时登机，可以乘坐下一 班机或退票，无需附加任何费用.
• 若公司限制预订票的数量等于飞机容量，由于会有订 了机票的乘客不按时来，致使飞机不满员而利润降低.
• 如果不限制预订票数量，若持票按时来的乘客超过飞 机容量，必然引起不能走乘客的抱怨, 给公司带来损失 .
• 公司需要综合考虑经济利益和社会声誉，确定预订票 数量的最佳限额 .
题, 如是否有考试作弊、赌博、偷税漏税等.
即使无记名调查也很难消除被调查者的顾虑, 极有 可能拒绝或故意做出错误的回答, 难以保证数据的 真实性, 使得调查结果存在很大的误差.
以对学生考试作弊现象的调查和估计为例, 建立 数学模型研究敏感问题的调查和估计方法.
问题及分析
设计合理的调查方案来提高应答率, 降低不真实回答 率, 尽量准确地估计有过作弊行为的学生所占的比例 .
数学建模马氏链模型
数学建模马氏链模型马氏链模型教学目的:通过教学，使学生掌握马尔可夫链的基本知识，掌握建立马氏链模型的基本方法，能用马氏链模型解决一些简单的实际问题。
教学重点和难点:建立马氏链模型的基本思想和基本步骤。
教学内容：马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术．这种技术已在市场预测分析和市场管理决策中得到广泛应用，近年来逐步被应用于卫生事业管理和卫生经济研究中．下面扼要介绍马尔可夫链的基本原理以及运用原理去进行市场预测的基本方法．（1）马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量X n便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量X1，X2，…，X n，…．称{ X t，t∈T ，T是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n}的参数为非负整数，X n 为离散随机变量，且{ X n}具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n}的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：若假定上式与n无关，即，则可记为（此时，称过程是平稳的），并记（1）称为转移概率矩阵．例1 设某抗病毒药销售情况分为“畅销”和“滞销”两种，以“1”代表“畅销”，“2”代表“滞销”．以X n表示第n个季度的销售状态，则X n可以取值1或2．若未来的抗病毒药销售状态，只与现在的市场状态有关，而与以前的市场状态无关，则抗病毒药的市场状态{ X n ，n≥1}就构成一个马氏链．设，，，则转移概率矩阵为这里表示连续畅销的可能性，表示由畅销转入滞销的可能性，表示由滞销转入畅销的可能性，表示连续滞销的可能性．这种状态转移的情况也可以用状态转移图来表示.转移概率矩阵具有下述性质：（1）．即每个元素非负．（2）．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n时刻处于状态i，n+k时刻转移到状态j的k步转移概率：同样由平稳性，上式概率与n无关，可写成．记（2）称为k步转移概率矩阵．其中具有性质：；．例2 求例1中抗病毒药的销售状态{X n}的二步转移矩阵P (2)．解由例1知，其一步转移矩阵为:若本季度抗病毒药的销售处于畅销（即处于状态“1” ），那么，经过两个季度以后，就经历了两次转移，可能转移到状态“2”，也可能保持状态“1”，这种转移的可能性的大小就是二步转移概率．表示抗病毒药的销售由畅销经两次转移后仍然是畅销的概率，由概率计算的全概率公式同样可算得由畅销经两次转移到滞销的概率由滞销经两次转移到畅销和滞销的概率分别为所以二步转移矩阵为由例2的计算过程知一般地有，若为一步转移矩阵，则k步转移矩阵（3）（2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态11 (畅销)71(畅销)131(畅销)192(滞销)21(畅销)81(畅销)141(畅销)201(畅销) 32(滞销)91(畅销)152(滞销)212(滞销) 41(畅销)102(滞销)162(滞销)221(畅销) 52(滞销)111(畅销)171(畅销)231(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表下季度药品所处的市场状态1（畅销）2（滞销）本季度药品所1（畅销）77处的市场状态2（滞销）72市场状态次数市场状态现计算转移概率．以频率代替概率，可得连续畅销的概率：分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：滞销转入畅销的概率：连续滞销的概率：综上，得销售状态转移概率矩阵为：从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2，…，S m，根据系统的状态转移的历史记录，得到表3的统计表格，以表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表系统下步所处状态S1S2…S m系S1n11n12 (1)统本S2n21n22 (2)步所处状S m n m1n m2…n mm 态状态次数状态……………（4）例4 设某系统有3种状态S1，S2和S3，系统状态的转移情况见表4．试求系统的状态转移概率矩阵．表4 某系统状态转移情况表系统下步所处状态S1S2S3S16159系统的本步S24142所处状态S3334状态次数状态解由公式（4），得，，，，，，故系统的转移概率矩为（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r11元，连续滞销时亏本r22元，由畅销转为滞销盈利r12元，由滞销转为畅销盈利r21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵的马氏链，当系统由i转移到j时，赋予利润r ij（i，j=1，2，…，N），则称（5）为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量、的概率分布分别为：r11r12r21r22概率p11p12概率p21p22其中 p11+ p12 = 1 ，p21+ p22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义为抗病毒药现在处于，经过步转移之后的总期望利润，则一步转移的期望利润为：其中是随机变量的数学期望．二步转移的期望利润为：其中随机变量（称为二步利润随机变量）的分布为：例如，若，则抗病毒药销售的一步利润随机变量：933-7概率0.50.5概率0.40.6抗病毒药畅销和滞销时的一步转移的期望利润分别为：二步利润随机变量为：9+63-33+6-7-3概率0.50.5概率0.40.6抗病毒药畅销和滞销时的二步转移的期望利润分别为：一般地定义k步转移利润随机变量的分布为：则系统处于状态i经过k步转移后所得的期望利润的递推计算式为：（6）当k=1时，规定边界条件．称一步转移的期望利润为即时的期望利润，并记．（4）市场占有率预测利用马尔可夫链，我们可以进行市场占有率的预测．例如，预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情况，其具体步骤如下：第一步进行市场调查．主要调查以下两件事：（1）目前的市场占有情况．如在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%．称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布．（2）查清使用对象的流动情况．流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出．如从定货单得表5．表5 顾客订货情况表下季度订货情况合计来自A B CA160120120400 B1809030300 C1803090300合计5202402401000第二步建立数学模型．假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A、B、C三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5，我们可以得模型的转移概率矩阵：矩阵中的第一行（0.4，0.3，0.3）表示目前是A厂的顾客下季度有40%仍买A厂的药，转为买B厂和C厂的各有30%．同样，第二行、第三行分别表示目前是B厂和C厂的顾客下季度的流向．由P我们可以计算任意的k步转移矩阵，如三步转移矩阵：从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（0.504，0.252，0.244）知，B厂的顾客三个季度后有50.4%转向买A 厂的药，25.2%仍买B厂的，24.4%转向买C厂的药．第三步进行预测．设表示预测对象k季度以后的市场占有率，初始分布则为，市场占有率的预测模型为（7）现在，由第一步，我们有，由此，我们可预测任意时期A、B、C三厂家的市场占有率．例如，三个季度以后的预测值为：大致上，A 厂占有一半的市场，B厂、C厂各占四分之一．模型（7）可推广到N个状态的情形：（8）如果我们按公式（7）继续逐步求A、B、C三家的市场占有率，会发现，当k大到一定的程度，S (k) 将不会有多少改变，即有稳定的市场占有率，设其稳定值为，满足．事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关．如何求出这种稳定的市场占有率呢？以A、B、C三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P，即由此得经整理，并加上条件，得上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：，，这就是A、B、C三家的最终市场占有率．一般N个状态的稳定市场占有率（稳态概率）可通过解方程组（9）求得，而（9）的前N个方程中只有N-1个是独立的，可任意删去一个．（5）期望利润预测企业追逐市场占有率的真正目的是使利润增加，因此，竞争各方无论是为了夺回市场份额，还是为了保住或者提高市场份额，在制订对策时都必须对期望利润进行预测．预测主要分两步进行：①市场统计调查．首先调查销路的变化情况，即查清由畅销到滞销或由滞销到畅销，连续畅销或连续滞销的可能性是多少．其次统计出由于销路的变化，获得的利润和亏损情况．②建立数学模型，列出预测公式进行预测．例如，通过市场调查，我们得到如下的销路转移表（表6）和利润变化表（表7）．由此，我们来建立数学模型．表6 销路转移表畅销滞销121畅销0.50.52滞销0.40.6状态j可能性状态i销路转移表说明连续畅销的可能性为50%，由畅销转入滞销的可能性也是50%，由滞销到畅销为40%，连续滞销的可能性为60%．利润表说明的是连续畅销获利900万元，由畅销到滞销或由滞销到畅销均获利300万元，连续滞销则亏损700万元．从而得到销售状态的转移矩阵P 和利润矩阵R分别为：表7 利润变化表（单位：百万元）畅销滞销121畅销932滞销3-7状态j利润状态iP和R便构成一个有利润的马氏链．由前面所述的基本原理及公式（6）得下面的预测公式：即时期利润：k步以后的期望利润：将调查数据代入上公式则可预测各时期的期望利润值．如：由此可知，当本季度处于畅销时，在下一季度可以期望获得利润600万元；当本季度处于滞销时，下一季度将期望亏损300万元．同样算得：，，由此可预测本季度处于畅销时，两个季度后可期望获利750万元，三个季度后可期望获利855万元；当本季度处于滞销时，两个季度后将亏损240万元，三个季度后亏损144万元．（6）应用举例例5 Markov模型在流行病监测中的应用Markov模型是用于描述时间和状态都是离散的随机过程的数学模型．应用其理论和方法，可以对疾病发病情况随时间序列的变化规律进行分析和研究，预测疾病的发展变化趋势，为预防和控制疾病提供依据．统计了某市1980年至1995年肾综合征出血热（HFRS）的发病率分别为（单位：1/10万）：2.95、6.28、10.28、7.01、7.36、13.78、33.93、35.87、33.40、28.38、30.50、33.79、39.70、30.39、39.70、33.59（引自：李洪杰等. 龙泉市肾综合征出血热发病趋势的预测. 浙江预防医学,1997,02：44）．下面进行建模预测．首先根据资料将发病率划分为四个状态，统计各数据的状态归属及各状态出现的频率（初始概率），得表8和表9．表8 某市HFRS流行状况年份发病率(1/10万)状态年份发病率(1/10万)状态1980 2.951198833.404 1981 6.281198928.383 198210.282199030.504 19837.011199133.794 19847.361199239.704 198513.782199330.394 198633.934199439.704 198735.874199533.594表9 各状态取值范围及初始概率状态发病率取值范围初始概率1X≤104/16210＜X≤202/16320＜X≤301/164X＞30 9/16由表8可得各状态的转移频率即状态转移概率的估计值，从而得模型的一步转移概率矩阵：可认为HFRS下一年的发病率只与当年发病率有关，而与过去的发病率无关，且任意时期的一步转移概率矩阵不变，从而满足无后效性和平稳性的假设，因而可用初始分布为（4/16，2/16，1/16，9/16），转移概率矩阵为P的马氏链模型来预测HFRS发病率未来的情况．计算多步转移矩阵：计算极限或解方程，得模型的极限概率分布（稳态分布）：（0，0，1/9，8/9）．分析预测：由于95年处于状态4，比较P的第4行的四个数字知，最大，所以预测96年仍处于状态4，即发病率大于30/10万．同样，从二、三、四步转移矩阵知，依然是状态4转入状态4的概率最大，所以预测1996年至1999年该市的HFRS发病率将持续在大于30/10万（高发区）水平，这提醒我们应该对此高度重视，采取相应对策．如果转移概率矩阵始终不变，从极限分布看，最终HFRS发病率将保持在高发区水平，当然，这应该是不会符合实际情况的，因为随着各方面因素的改变，转移概率矩阵一般也会发生变化．所以Markov 模型主要适用于短期预测．在用Markov模型进行预测的过程中，无后效性和平稳性是最基本的要求，而模型是否合理有效，状态的划分和转移概率矩阵的估算是关键，不同的状态划分可能会得到不同的结果，通常我们根据有关预测对象的专业知识和数据的多少及范围来确定系统状态．在卫生管理事业中，用Markov模型还可预测医疗器械、药品的市场占有率，药品的期望利润收益等．习题在钢琴销售模型中，将存贮策略修改为：（1）当周末库存量为0或1时，订购，使下周初的库存量达到3架；否则，不订购。
马氏链模型基础
P
0.368 0.368 0.184 0.061 0.019
0 .2 6 4 0 .2 8 5 0 .0 8 0 0 .2 6 3 0 .0 1 9 0 .4 5 2 0 .1 0 5
从长期看，失去销售机会的可能性大约 10%。
w 满足 wP w
0 .8 0 .2 例 1. P 0 .7 0 .3
0 .8 w 1 0 .7 w 2 w 1 0 .2 w 1 0 .3 w 2 w 2
0 .2 w 1 0 .7 w 2
w 满足
i 1
k
wi 1
w1 w 2 1
w (7 / 9, 2 / 9)
若某人投保时健康, 问10年后他仍处于健康状 态的概率
前一页
后一页
退 出
关于健康的统计信息
2005年
健康人 数
90
住院病 人数
10
2006年
健康人 数 其中两 年无病
79
住院病 人数 其中老 病号数
21
72
3
注：年统计数据，数据为虚拟的，人数单位为：万人
前一页
后一页
退 出
状态与状态转移
状态 X
n
a (n ) a (0) P
前一页 后一页
n
退 出
马氏链的两个重要类型
a ( n 1) a ( n ) P
1. 正则链 ~ 从任一状态出发经有限次转移 能以正概率到达另外任一状态（如例1）。
正则链
正则链
N , P
N
0
w, a (n) w(n )
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 不论初始状态如何，最终都要转到状态3 ；
• 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。
马氏链的基本方程 状态X n 1,2, k (n 0,1, )
状态概率ai (n) P( X n i),
从长期看，失去销售机会的可能性大约 10%。
模型求解 2. 估计这种策略下每周的平均销售量
第n周平
均售量
3i
Rn [ jP(Dn j, Sn i) iP(Dn i, Sn i) ]
i1 j1
需求不超过存量,销售需求 需求超过存量,销售存量
3i
[ jP(Dn j Sn i) iP(Dn i Sn i)]P(Sn i) i1 j 1 n充分大时 P(Sn i) wi
有r个吸收状态的吸收链 的转移概率阵标准形式
P
I rr R
0 R有非 Q 零元素
M (I Q)1 Q s
y ( y1, y2 , ykr ) Me
s0
e (1,1, ,1)T
yi ~ 从第 i 个非吸收状态出发，被某个 吸收状态吸收前的平均转移次数。
9.2 钢琴销售的存贮策略
背景与问题
模型建立 状态概率 ai (n) P(Sn i), i 1,2,3 马氏链的基本方程 a(n 1) a(n)P
0.368 0 0.632 P 0.368 0.368 0.264
0.184 0.368 0.448
已知初始状态，可预测第 n周初库存量Sn=i 的概率
正则链 N, PN 0 P2 0 正则链
k
a i
(n)
1
i 1,2, , k, n 0,1, i1
k
转移概率pij P( X n1 j X n i) pij 0, pij 1, i 1,2, , k j 1
k
基本方程 ai (n 1) a j (n) p ji , i 1,2, , k j 1
a(n) (a1(n), a2 (n), , ak (n)) a(n 1) a(n)P
w满足 wP w
例1.
P
0.8 0.7
0.2 0.3
k
w满足 wi 1 i 1
0.8w1 0.7w2 w1 0.2w1 0.3w2 w2
0.2w1 0.7w2
w1 w2 1
w (7 / 9,2 / 9)
马氏链的两个重要类型
2. 吸收链 ~ 存在吸收状态（一旦到达就不会离
开的状态i, pii=1）,且从任一非吸收状态出发经有 限次转移能以正概率到达吸收状态（如例2）。
稳态概率分布 w 满足 wP=w
w (w1, w2 , w3 ) (0.285,0.263,0.452 )
n, 状态概率 a(n) (0.285,0.263,0.452)
模型求解
1. 估计在这种策略下失去销售机会的可能性
第n周失去销售机会的概率
3
P(Dn Sn ) P(Dn i Sn i)P(Sn i) i 1
• 设初始一代基因类型比例D:H:R =a:2b:c （a+2b+c=1), 记p=a+b, q=b+c, 则群体中优势基因和 劣势基因比例 d:r=p:q (p+q=1)。
建模
状态Xn=1,2,3 ~ 第n代的一个体属于D, H, R
状态概率 ai(n) ~ 第n代的一个体属于状态 i(=1,2,3)的概率。
Dn 0
1
2
3
>3
P 0.368 0.368 0.184 0.061 0.019
Sn~第n周初库存量(状态变量 ) Sn {1,2,3} 状态转移阵
状态转 移规律
Sn1
Sn 3,
Dn ,
Dn Sn Dn Sn
p11 P(Sn1 1Sn 1) P(Dn 0) 0.368
p12 P(Sn1 2 Sn 1) 0
~ 状态概率向量
P
{
p ij
}kk
~
转移概率矩阵
a(n) a(0)Pn
（非负，行和为1）
马氏链的两个重要类型 a(n 1) a(n)P
1. 正则链 ~ 从任一状态出发经有限次转移 能以正概率到达另外任一状态（如例1）。
正则链 N, PN 0
正则链 w, a(n) w(n ) w ~ 稳态概率
自然界中通常p=q=1/2 稳态分布D:H:R=1/4:1/2:1/4
解释“豆科植物的茎，绿色:黄色=3:1”
基因类型为D和H, 优势表征——绿色， (D+H):R=3:1 基因类型为R, 劣势表征——黄色。
近亲 在一对父母的大量后代中, 雄雌随机配对繁殖， 繁殖 讨论一系列后代的基因类型的演变过程。
0.6320.285 0.8960.263 0.9770.452 0.857
从长期看，每周的平均销售量为 0.857(架)
思考：为什么这个数值略小于每周平均需求量1(架) ?
敏感性分析 当平均需求在每周1 (架) 附近波
动时，最终结果有多大变化。
设Dn服从均值为
的波松分布
状态转移阵
P(Dn k) ke / k!, (k 0,1,2 )
p13 P(Sn1 3 Sn 1) P(Dn 1) 0.632
……
p11 p12 p13
P
p21
p22
p23
p31 p32 p33
0.368 0 0.632 0.368 0.368 0.264
0.184 0.368 0.448
p33 P(Sn1 3Sn 3) P(Dn 0) P(Dn 3) 0.448
0.2
0.3
p21 0.7 p22 1 p21 0.3
1
Xn+1只取决于Xn和pij, 与Xn-1, …无关
0.7
2
状态转移具 a1(n 1) a1(n) p11 a2 (n) p21
有无后效性 a2 (n 1) a1(n) p12 a2 (n) p22
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
第九章 马氏链模型
9.1 健康与疾病 9.2 钢琴销售的存贮策略 9.3 基因遗传 9.4 等级结构
马氏链模型
描述一类重要的随机动态系统（过程）的模型
• 系统在每个时期所处的状态是随机的 • 从一时期到下时期的状态按一定概率转移 • 下时期状态只取决于本时期状态和转移概率
已知现在，将来与过去无关（无后效性）
p21 P(X n1 1(后代为dd) X n （2 父为dr）) 1/ 2 p p / 2
p22 P( X n1 2(后代为dr)
转移概率矩阵
X n （2 父为dr）) 1/ 2 p 1/ 2q 1/ 2
p q 0
P
p
/
2
1/ 2
q / 2
0
p q
随机繁殖 马氏链模型 a(n 1) a(n)P, n 0,1,
模型假设
钢琴每周需求量服从波松分布，均值为每周1架 存贮策略：当周末库存量为零时，订购3架，周 初到货；否则，不订购。 以每周初的库存量作为状态变量，状态转移具有 无后效性。
在稳态情况下计算该存贮策略失去销售机会的概 率，和每周的平均销售量。
模型建立 Dn~第n周需求量，均值为1的波松分布
P(Dn k) e1 / k! (k 0,1,2 )
a(0) (a,2b, c)
a(1) a(0)P ( p2 ,2 pq, q2 ) a(2) a(1)P ( p2 ,2 pq, q2 )
p q 0
P
p
/
2
1/ 2
q / 2
0
p q
p a b, q b c
a 2b c 1
a(0)任意，稳态分布w wP ( p2,2 pq, q2 )
若某人投保时健康, 问10年后他仍处于健康状态的概率
状态与状态转移
状态X n
1, 2,
第n年健康 第n年疾病
状态概率ai (n) P(X n i), i 1,2, n 0,1,
转移概率pij P(Xn1 j Xn i), i, j 1,2, n 0,1,
p11 0.8 p12 1 p11 0.2 0.8
钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为1架 存贮策略：每周末检查库存量，仅当库存量为零时， 才订购3架供下周销售；否则，不订购。
估计在这种策略下失去销售机会的可能性有多大， 以及每周的平均销售量是多少。
问题分析
顾客的到来相互独立，需求量近似服从波松分布，其 参数由需求均值为每周1架确定，由此计算需求概率
死亡为第3种状态，记Xn=3 0.8
0.18
0.25
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
p21=0.65, p22=0.25, p23=0.1
0.02 3 0.1
p31=0, p32=0, p33=1
1
a1(n 1) a1(n) p11 a2 (n) p21 a3 (n) p31 a2 (n 1) a1(n) p12 a2 (n) p22 a3 (n) p32 a3 (n 1) a1(n) p13 a2 (n) p23 a3 (n) p33
存贮策略是周末库存量为零时订购3架 周末的库存 量可能是0, 1, 2, 3，周初的库存量可能是1, 2, 3。
用马氏链描述不同需求导致的周初库存状态的变化。
动态过程中每周销售量不同，失去销售机会（需求 超过库存）的概率不同。
可按稳态情况（时间充分长以后）计算失去销售机 会的概率和每周的平均销售量。