10：马尔可夫链 数学建模

P{ nm j | n i, n1 in1 ,.......1 i1} P{ nm j | n i}
则称
{ n , n 1,2,....} 为一个 马尔可夫链
马氏链及其基本方程
按照系统的发展，时间离散化为n 1,2,3.......... , 对于每一个n，系统的状态用一个随机变量X n 表示，设X n 可以取k个离散值X n 1,2,....... k , 且 X n i的概率记作ai (n)，即状态概率，从 X n i到X n 1 j的概率为pij，即转移概率。 如果X n 1的取值只取决于X n的取值及转移概率， 而与X n 1 , X n 2 ....的取值无关，那麽这种离散状 态按照离散时间的随机转移过程称为马氏链
X n 1表示销路好，X n 2表示销路坏
,n=0,1,2,……….. X n 称为这个经营系统的状态
用ai (n)表示第n月处于状态i的概率(i 1,2), 即ai (n) P( X n i), pij 表示本月处于状态i，下月转为状态的j概率(i 1,2, , j 1,2) 即pij P( X n 1 j | X n i )
例4.6 设某商店经营情况可能有三种状态： 好（S1：利润丰厚）、一般（S2）和不好 （S3：亏损）。根据统计资料，上月状态为 Si，下月状态为Sj的概率为pij（i=1,2,3; j=1,2,3），0≤pij≤1
例4.6中的关系既可用一转移矩阵表示
p11 A p21 p31
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程
ai (n 1) a j (n) pij , i 1,2,......... .. (3)
j 1
k
并且ai (n)和pij 应满足

i 1 k
k
ai (n) 1,
n 0,1,2,...... (4) i, j 1,2,3,.....( 5) i 1,2,3,........( 6)
例一 在一条生产线上检验产品质量，每次取一个，废品记为1 合格品记为0。以 表示第n次检验结果，则 n 是一个随机
n
变量. 不断检验，得到一系列随机变量，
1 , 2 ,......... ........ n
记为
{ n , n 1,2,.......}
它是一个 随机序列，其状态空间为E={0，1}
还 甲 相 乙 0.8 0 0.3 机 丙 0 0.2 0.6 处
租 相 机 处
甲 乙 丙
0.2 0.8 0.1
今欲选择其中之一附设相机维修点，请你设计一种方案。
模型分析
由于旅客还相机的情况只与该次租机地点有关，而与相机 以前所处的点址无关。
所以可用 n 表示相机第n次被租时所在的点址；
n 1, n 2, n 3" 分别表示相机第次被租用时 在甲乙丙馆。则{ n , n ` ,2,......... ..}是一个马尔可 1
马尔可夫链建模法
1 马尔可夫链基本理论和结论 2 服务网点的设置问题 3 常染色体遗传模型
4 常染体隐性疾病模型
马尔可夫链的应用
预备知识：马尔可夫链 随机过程：设 { t , t T }是一族随机变量，T是一个实数集合，
若对任意的 实数 t T， t 是一个随机变量，则称
{ t , t T } 为随机过程。
p12 p22 p32
p13 p23 p33
例4.7 研究某一草原生态系统中物质磷的循环，考 i+1时段状态 状态转移概率 虑土壤中含磷、牧草含磷、牛羊体内含磷和流失于 S1 S2 S3 S4 系统之外四种状态，分别 以S1，S2，S3和S4表示 S1土壤含 0.4 0.4 0 0.2 这四种状态。以年为时间参数，一年内如果土壤中 磷 的磷以0.4的概率被牧草生长吸收，水土流失于系统 S2牧草含 0.1 0.3 0.6 0 外的概率为磷 0.2；牧草中的含磷以 0.6的概率被牛羊 i时段状 吃掉而转换到牛羊体内，0.1的概率随牧草枯死腐败 态 S3羊体含 0.7 0 0.2 0.1 归还土壤；牛羊体中的磷 以0.7的概率因粪便排泄 磷 而还归土壤，又以自 身0.1的比率因屠宰后投放市 S4流失系 0 0 0 1 场而转移到系统外。我们可以建立一个马尔柯夫链 统外 来研究此生态系统问题，其转移概率列表于下：
例二：在m个商店联营出租相机业务中（顾客从其中一个商店租出
可以到m个商店中的任意一个归还）规定一天为一个时间单位
t j
则
表示第t天开始时照相机在第j个商店,j=1,2,…..m. 是一个随机序列，其状态空间为
{ n , n 1,2,....}
E={1,2,…….m}
例3： 某商店每月考察一次经营情况，其结果用销路好或坏这 两种状况中的一种表示。已知若果本月销路好，下月任 保只这种状况的概率为0.5；如果本月销路坏，下月转变 为销路好的概率为0.4，试分析假若开始时商店处于销路 好的状态，过若干月后能保持销路好的概率有多大？如果 开始是处于销路坏呢？
n
（8）
（9）
(5)式表明转移矩阵P是非负阵，（6）式表明P 的行和为1，称为随机矩阵。对于例3的转移矩阵 为 0.5 0.4 0.5 0.6
因此对于马氏链模型最基本的问题是：构造状态xn及写出转移 矩阵p，一旦有了P，则给定初始状态a(0)就可以用（9）或（8） 计算任意时间n的状态概率a(n)
即：
解上列方程组可得：
17 16 8 p1 , p 2 , p3 41 41 41
由计算看出，经过长期经营后，该联营部的每架照相机 还到甲乙丙照相馆的概率为17/41，16/41，8/41。由于 还到甲的照相机的概率最大，因此维修点设在甲馆较好。
模型推广：生物基因遗传等方面的应用。
§4.3 马氏链模型
随着人类的进化，为了揭示生命的奥秘，人们越来越注重 遗传学的研究，特别是遗传特征的逐代传播，已引起人们 广泛的注意。无论是人，还是动、植物都会将本身的特征 遗传给下一代，这主要是因为后代继承了双亲的基因，形 成自己的基因对，由基因又确定了后代所表现的特征。本 节将利用数学的 马氏链方法来建立相应的遗传模型等，并 讨论几个简单而又有趣的实例。 马氏链（马尔柯夫链）研究的是一类重要的随机过程，研 究对象的状 态s(t)是不确定的，它可能 取K种 状态 si(i=1,…,k)之一，有时甚至可取无穷多种状态。在建模时， 时间变量也被离散化，我们希望通过建立两个相邻时刻研 究对象取各种状态的概率之间的联系来研究其变化规律， 故马氏链研究的也是一类状态转移问题。
相应的转移矩阵 为：
0.4 0.4 0 0.2 0.1 0.3 0.6 0 M 0.7 0 0.2 0.1 0 0 1 0
且Sj+1=SjM 首先，任一转移矩阵的行向量均为概率向量，即有 （1） 马氏链模型的性质完全由其转移矩 （I , j=1,…,n）1 0 Pig n 阵决定，故研究马氏链的数学工 具是线性代数中有关矩阵的理论。 （2） Pig 1 （i=1,…,n）
夫链，其转移矩阵P由上表给出。考虑维修点的 设置问题实际上要计算这一马尔可夫链的极限 概率分布。
对于所有的i, j 1,2,3, 满足定理2, 的条件，极限概率p j ( j 1,2,3) 存在，并可从下列方程组解出
由（10）有，设极限概率为W
wp p
p
i 1
k
i
1
p1 0.2 p1 0.8 p 2 0.1 p 3 p 2 0.8 p1 p3 p 1 p 2 p3 1 0 .3 p 3 0 . 2 p 2 0 .6 p 3
定理2：正则链存在唯一的极限状态概率
w ( w1 , w2 , w3 ........ wk ), 使得当n 时状态概率 a ( n) w, w与初始状态概率无关，又称稳定概率 满足 wp w
(10 )a ( n 1) a ( n) p 两边同时取极限及 (11)
w
i 1
例4.8 农场的植物园中某种植物的基因型 为AA,Aa 和aa。农场计划采用 AA型的植物与每种基因型植物 相结合的方案培育植物后代。那么经过若干年后， 相结合的方案培育植物后代。那么经过若干年后，这 这种植物的任一代的三种基因型分布情况如何？ 种植物的任一代的三种基因型分布情况如何？
如表所示，由数字变化规律可以看出
当n 时， 4 a1 ( n ) , 9 5 a 2 ( n) 9
开始销路好时状态概率的变化
n
0
1
1
0.5
2
0.45
3
0.445
………

4/9
a1 ( n) a 2 (n)
0
0.5
0.55
0.555
5/9
表2 开始销路坏时的状态概率的变化
n
0 0 1
ai (n)称为状态概率, pij 称为转移概率, 这里X n 1只取决于X n 和pij , 和X n 1 , X n 2 ...无关
称为无后效性，由此，更椐全概率公式容易得到
a1 ( n 1) a1 ( n) p11 a 2 ( n) p12 a 2 ( n 1) a1 ( n) p12 a 2 ( n) p 22 因为知道p11 0.5, p 21 0.4 p12 1 p11 0.5 p 22 1 p12 0.6 当商店开始销路好，即 a1 (0) 1, a 2 (0) 0时，用式（ ）立即可算出 1 a1 ( n), a 2 ( n), n 1,2,......... ... , 所以显然有
1 0.4 0.6
2 0.44 0.56
3 0.444 0.556
………

4/9 5/9
a1 ( n) a 2 (n)
马尔可夫链的定义：
设{ n , n 1,2,....}是一个随机序列，状态空间E为有限或可列
对于任意的正整数m,n，若i,j,
ik E (k 1,2......., n 1)有
k
i
1
引入状态概率向量和转移概率矩阵
a(n) {a1 (n), a 2 (n), a 2 (n)......... .....a k (n)} P { pij }k k
则基本方程（3）可表为
（7）
a ( n 1) a ( n ) P 由此还可以得到 a ( n ) a ( 0) P
pij 0,
p
j 1
ij
1
定理一：若马氏链的转移矩阵为P，则它是 正则链的充要条件是：存在正整数N使P N 0
定义2：转移概率Pii 1的状态称为吸收状态, 如果 马氏链至少包括一个吸收状态，并且从每一个非吸收状 态出发，能以正的概率经有限次转移达到某个吸收状态 则称此马氏链为吸收链。
源自文库
正则链。
定义1：一个有k个状态的马氏链，如果存在正整数N，使从任意 状态i经N次转移，都以大于0的概率达到状态j(I,j=1,2,…k) 称此马氏链为正则链。
马尔可夫链的应用 模型六：服务网点的设置问题
为适应日益扩大的旅游事业的需要，某城市的甲乙丙三个 照相馆组成一个联营部，联合经营出租相机的业务。游客 可由甲乙丙三处任一处租出相机，用完后，还到三处中的 任一处即可。估计其转移概率为：

j 1
这样的矩阵被称为 随机矩阵。
常染色体遗传模型
在常染色体遗传中，后代从每个亲体的基因对中各继承一 父体——母体的基因型 个基因，形成自己的基因时，基因对也称为基因型。如果 我们所考虑的遗传特征是由两个基 Aa Aa aa AA AA AA 因A和a控制的，（A、 a为表示两类基因的符号）那么就有三种基因对，记为AA， － － － － － － Aa，aa。 AA Aa aa Aa aa aa 0 0 0 后 AA 1 下面给出双亲体基因型的所有可能的结合，以及其后代形成 代 Aa 0 每种基因型的概率，如0表所示。 1 基 因 aa 0 0 0 1 双亲随机结合的较一般模型相对比较复杂，这些我们仅研究 型 一个较简单的特例 。