5马尔可夫链模型
马尔可夫链模型简介
马尔可夫链模型简介设考察对象为一系统,若该系统在某一时刻可能出现的事件集合为,}{N N E E E E E E ⋅⋅⋅⋅⋅⋅,2,1,2,1,两两互斥,则陈i E 为状态。
N i ⋅⋅⋅=,2,1。
称该系统从一种状态i E 变化到另一状态j E 的过程称为状态转移，并把整个系统不断实现状态转移的过程称为马尔可夫过程。
定义1 具有下列两个性质的马尔可夫过程称为马尔可夫链： （1）无后效性，即系统的第n 次实验结果出现的状态，只与第1-n 次有关，而与它以前所处的状态无关；（2）具有稳定性，该过程逐渐趋于稳定状态，而与初始状态无关。
定义2 向量),,,(21n u u u u ⋅⋅⋅= 成为概率向量，如果u 满足：⎪⎩⎪⎨⎧=⋅⋅⋅=≥∑=nj jj u nj u 11,,2,10 定义3 如果方阵P 的每行都为概率向量，则称此方阵为概率矩阵。
如果矩阵A 和B 皆为概率矩阵，则AB ，k A ，k B 也都是概率矩阵（k 为正整数）。
定义4 系统由状态i E 经过一次转移到状态j E 的概率记为ij P ，称矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=3212222111211N N N N N P P P P P P P P P P 为一次（或一步）转移矩阵。
转移矩阵必为概率矩阵，且具有以下两个性质： 1、P P P k k )1()(-=； 2、k k P P =)(其中)(k P 为k 次转移矩阵。
定义5 对概率矩阵P ，若幂次方)(m P 的所有元素皆为正数，则矩阵P 称为正规概率矩阵。
（此处2≥m ）定理1 正规概率矩阵P 的幂次方序列P ，2P ，3P ，…趋近于某一方阵T ，T 的每一行均为同一概率向量t ，且满足t tP = 。
马尔可夫链模型如下：设系统在0=k 时所处的初始状态 ),,()0()0(2)0(1)0(N S S S S ⋅⋅⋅=为已知，经过k 次转移后的状态向量 ),,()()(2)(1)(k N k k k S S S S ⋅⋅⋅=),2,1(⋅⋅⋅=k ，则⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=NN N N N N k P P P P P P P P P S S 212222111211)0()( 此式即为马尔可夫链预测模型。
5马尔可夫链(精品PPT)
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
马尔科夫链模型
所研究的时间是无限的，是连续变量，其数值是连续不 断的，相邻两个值之间可作无限分割。马尔柯夫过程所 研究的状态也是无效的。而马尔柯夫链的时间参数取离 散数值如日、月、季、年，其状况是有限的只有可到个 状态
马尔柯夫链表明事物的状态由过去转变到现在，
由现在转变到将来，一环接一环，象一根链条。其
3
特点是“无后效应性”
犏 犏 P 11 P 11 P 11 (k ) (0) 犏 S = S 犏 犏 犏 P 犏 11 P 11 P 11 臌
此式即为马尔可夫预测模型。
2、市场占有率预测
例 设有甲乙丙三家企业，生产同一种产品， 共同供应1000家用户，各用户在各企业间自 由选购，但不超出这三家企业，也无新用户。 假定在10月末经过市场调查得知，甲乙丙三 家企业拥有的客户分别是250户，300户， 450户，而11月份用户可能的流动情况如下：
从 甲 到 甲 230 乙 10 丙 10 ∑ 250
乙
丙 ∑
20
30 280
250
10 270
30
410 450
300
450 1000
问题： 假定该产品用户的流动按上述方向继 续变化下去（转移矩阵不变），预测12月 份三家企业市场用户各自的拥有量，并计 算经过一段时间后，三家企业在稳定状态 下该种产品的市场占有率。
2
12月份三个企业市场用户拥有量分别为： 甲： 1000? 0.306 306 户 乙： 1000? 0.246 246 户 丙： 1000? 0.448 448 户
现在假定该产品用户的流动情况按上述 方向继续变化下去，我们来求三个企业的该 种产品市场占有的稳定状态概率。 易证 P 为正规矩阵，设t = ( x, y,1- x - y) 令 tP = t ，则
马尔可夫链模型及其应用领域
马尔可夫链模型及其应用领域马尔可夫链模型是一种描述随机过程的数学工具，它以马尔可夫性质为基础，描述了一个系统在不同状态之间转移的概率。
马尔可夫链模型在各个领域都有广泛的应用，包括自然科学、金融、计算机科学等。
本文将介绍马尔可夫链模型的基本原理，并探讨其在不同应用领域中的具体应用。
马尔可夫链模型的基本原理是基于马尔可夫性质。
马尔可夫性质指的是一个系统在给定当前状态下，其下一个状态只依赖于当前状态，而与过去的状态无关。
这种性质使得马尔可夫链模型成为处理许多问题的理想模型。
首先，我们来了解一下马尔可夫链模型的基本概念。
一个马尔可夫链由一组状态和状态转移矩阵组成。
状态表示系统可能处于的情况，状态转移矩阵描述了状态之间的转移概率。
状态转移矩阵是一个方阵，其元素表示从一个状态到另一个状态的转移概率。
在实际应用中，马尔可夫链模型可以用于解决许多问题。
其中一个常见的应用是预测未来状态。
根据当前的状态和状态转移矩阵，我们可以计算下一步系统处于不同状态的概率。
通过不断迭代计算，我们可以预测未来系统状态的分布。
另一个常见的应用是基于马尔可夫链模型的推荐系统。
推荐系统通过分析用户的历史行为，预测用户未来的喜好，并向其推荐相关的内容。
马尔可夫链模型可以用于建模用户的行为转移过程，推断用户下一步的行为。
在金融领域，马尔可夫链模型被广泛应用于股票市场的预测和风险评估。
通过分析历史股票价格的变化，我们可以建立一个马尔可夫链模型，来预测股票未来的涨跌趋势。
此外，马尔可夫链模型还被用于计算资产组合的风险价值，帮助投资者制定合理的投资策略。
在自然科学领域，马尔可夫链模型可以用于模拟复杂系统的行为。
例如，生态学家可以使用马尔可夫链模型来模拟生物群落的动态变化，预测不同物种的数量和分布。
此外，马尔可夫链模型还可以用于研究气象系统、生物化学反应等的动态特性。
另一个马尔可夫链模型的应用领域是自然语言处理。
马尔可夫链模型可以用于根据已有的语料库生成新的文本。
马尔可夫链模型及其在预测模型中的应用
马尔可夫链模型及其在预测模型中的应用马尔可夫链模型是一个重要的数学模型，在各种预测问题中都有广泛应用。
该模型描述的是一个随机过程，在每一个时间步骤上，其状态可以从当前状态转移到另一个状态，并且转移的概率只与当前状态有关，而与历史状态无关。
这种性质被称为“马尔可夫性”。
本文将介绍马尔可夫链模型的基本原理和应用，以及相关的统计方法和算法。
马尔可夫链模型的构造方法通常是通过定义状态空间和状态之间的转移概率来完成的。
状态空间是指可能的状态集合，而状态之间的转移概率则是指在一个时间步骤上从一个状态转移到另一个状态的概率。
这些转移概率通常被表示为一个矩阵，称为转移矩阵。
转移矩阵的元素表示从一个状态转移到另一个状态的概率。
马尔可夫链模型的重要性在于它对于许多实际问题的数学描述，因为很多现象都符合马尔可夫过程的特点，即时间上的无后效性，即系统的当前状态仅仅依赖于它的上一个状态。
比如，一个天气预测问题，天气系统的状态可以描述为“晴、雨、阴”，在每一个时间步骤上，系统可能会转移到另一个状态，转移概率可以根据历史天气数据进行估计。
马尔可夫链模型可以用于各种预测问题，如下一个状态的预测、状态序列的预测以及时间序列的预测。
对于下一个状态的预测问题，我们可以使用当前状态的转移矩阵来计算目标状态的概率分布。
对于状态序列的预测，我们可以利用当前状态的转移概率估计下一个状态的状态分布，并重复该过程，直到预测的序列达到一定的长度为止。
对于时间序列的预测，我们可以将时间序列转化为状态序列，并将时间作为状态的一个特征进行建模，在此基础上进行预测。
马尔可夫链模型也可以用于分析时间序列数据的特性。
例如，可以使用马尔可夫过程来检测时间序列数据中的周期性、趋势和季节性等特征。
这些特征可以反映时间序列数据的长期和短期变化情况，为精确的预测提供了基础。
对于马尔可夫链模型的参数估计问题，通常使用统计学习方法来完成。
常见的方法包括极大似然估计、贝叶斯估计以及最大后验估计等。
马尔科夫链模型简介
马 氏 链 模 型 简 介1、随机过程的概念。
定义：设集合{}T t t ∈:ξ是一族随机变量，T 是一个实数集合，如果对于任意T t ∈，t ξ是一个随机变量，则称{}T t t ∈:ξ是一个随机过程。
其中：（1）t 为参数可以认为是时间，T 为参数集合。
（2）随机变量t ξ的每一个可能值，称为随机过程的一个状态。
其全体可能值构成的集合，称为随机过程的状态空间，用E 表示。
（3）当参数集合T 为非负整数集时，随机过程又称为随机序列。
随机序列可用{} ,3,2,1:=n n ξ表示。
当T 为时间时，该随机序列就是一个时间序列。
如：（1）用t ξ表示“t 时刻，某商店的库存量”，则{}),0[:+∞∈t t ξ就是一个随机过程。
（2）用t ξ表示“在一天中t 时刻，某地区的天气状况”，则{}]24,0[:∈t t ξ是一个随机过程。
（3）用t ξ表示“在一天中t 时刻（整数），某城市的出租汽车的分布状况”，则{}24,,2,1,0: =t t ξ是一个随机时间序列。
马氏链，也称为马尔可夫链，就是一个特殊的随机时间序列，也为随机序列。
2、（离散时间）马尔可夫链——马氏链。
定义：设{} ,3,2,1:=n n ξ是一个随机序列，状态空间E 为有限或可列集。
若对于任意正整数m 、n 。
如果E i ∈、E j ∈、E i k ∈ （1,,2,1-=n k ）满足)(),,,(1111i j P i i i j P n m n n n n m n =======+--+ξξξξξξ 成立，则称随机序列{} ,3,2,1:=n n ξ为一个马尔可夫链，简称为马氏链。
（时间、状态均为离散的随机转移过程） 从该定义可知：（1）如果将随机变量n ξ的下角标n ，理解为步数。
则随机变量n ξ就是从起始点经过n 步，到达的随机变量。
（2）随机变量)(i n =ξ，是指第n 步时的随机变量n ξ所处的状态i 。
（3）条件概率)(i j P n m n ==+ξξ是指，第n 步时的随机变量n ξ所处的状态i 发生的条件下，第m n +步时的随机变量m n +ξ所处的状态j ，发生的条件概率。
马尔科夫链模型简介
马尔科夫链模型简介马尔科夫链模型是一种描述随机过程的数学模型，它使用状态转移概率矩阵来表示状态之间的转移。
该模型有着广泛的应用，在自然语言处理、金融学、生态学、物理学和化学等多个领域中有着重要的地位。
状态与状态转移马尔科夫链模型中的状态可以是任何状态，例如一个人的身体状态、一个系统的状况、一个物品的状态等。
设状态集合为$S=\\{s_1,s_2,...,s_n\\}$，则任何一个时刻系统都处于其中的一个状态。
接着，我们定义状态之间的转移概率矩阵$P=(p_{ij})_{n\\times n}$，其中p ij表示在状态s i下，系统转移到s j的概率。
因此，对于所有的$i,j\\in\\{1,2,...,n\\}$，有$0\\leq p_{ij}\\leq1$且$\\sum_{j=1}^{n}p_{ij}=1$。
由此可以看出，状态转移矩阵P具有无后效性：状态s i到s i+k的转移只和当前状态s i有关，和之前的所有状态都无关。
马尔科夫性质马尔科夫链模型有一个很重要的性质，即马尔科夫性质。
它指的是，一个某时刻的状态和当前状态之前的所有状态无关，只和当前状态有关。
更正式地，对于所有$i\\in\\{1,2,...,n\\}$，$j\\in\\{1,2,...,n\\}$和k>0，有：$$ \\begin{aligned} P(X_{t+k}=s_j|X_t=s_i,X_{t-1}=s_{i-1},...,X_0=s_0)&=P(X_{t+k}=s_j|X_t=s_i)\\\\ &=p_{ij}^k \\end{aligned} $$其中X t表示在时刻t系统所处的状态。
这个性质使得我们可以用状态转移概率矩阵来描述系统随时间的演化。
平稳分布在马尔科夫链中，平稳分布是一个与时间无关的状态分布。
它满足以下条件：若$\\pi$是一个向量，其中第i个元素表示系统处于状态s i的稳态概率，则有$\\pi P=\\pi$。
马尔可夫链模型
状态与 状态与状态转移
1, 第n年健康 状态X n = 2, 第n年疾病
状态概率ai (n) = P( X n = i ), i = 1,2, n = 0,1,L
0.8 0.2 0.3
转移概率 pij = P ( X n +1 = j X n = i ), i, j = 1,2, n = 0,1, L
正则链 ⇔ ∃N , P > 0
P >0
2
正则链
稳态概率分布 w 满足 wP=w
w = ( w1 , w2 , w3 ) = ( 0.285 ,0.263,0.452 )
n→∞, 状态概率 a ( n ) = ( 0.285 ,0.263 ,0.452 ) →
模型求解
1. 估计在这种策略下失去销售机会的可能性 第n周失去销售机会的概率 周失去销售机会的概率 充分大时 = ∑ P( Dn > i Sn = i)P(Sn = i) n充分大时 P(Dn > Sn)
基本方程
a i ( n + 1) =
∑ a ( n ) p , i = 1, 2 , L , k
j =1 j ji
k
a(n) = (a1 (n), a2 (n),L, ak (n)) a ( n + 1) = a ( n ) P ~ 状态概率向量 P = { pij }k ×k ~ 转移概率矩阵 a ( n ) = a ( 0 ) P n
模型假设
钢琴每周需求量服从波松分布，均值为每周 架 钢琴每周需求量服从波松分布，均值为每周1架 存贮策略：当周末库存量为零时，订购 架 存贮策略：当周末库存量为零时，订购3架，周 初到货；否则，不订购。 初到货；否则，不订购。 以每周初的库存量作为状态变量， 以每周初的库存量作为状态变量，状态转移具有 无后效性。 无后效性。 在稳态情况下计算该存贮策略失去销售机会的概 和每周的平均销售量。 率，和每周的平均销售量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
马尔可夫链模型在考察随机因素影响的动态系统时，常常碰到这样的情况，系统在每个时期所处的状态是随机的，从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各时期的状态无关。
这种性质称为无后效性或马尔可夫性。
通俗的说就是已知现在，将来与历史无关。
具有马氏性的，时间、状态无为离散的随机转移过程通常用马氏链(Markov Chain)模型描述。
马氏链模型在经济、社会、生态、遗传等许多领域中有着广泛的应用。
值得提出的是，虽然它是解决随机转移过程的工具，但是一些确定性系统的状态转移问题也能用马氏链模型处理。
马氏链简介：马氏链及其基本方程：按照系统的发展，时间离散化为0,1,2,n =，对每个n ，系统的状态用随机变量nX 表示，设nX 可以取k 个离散值1,2,,nX k= ，且nXi=的概率记作()ian ，称为状态概率，从nXi=到1n Xj+=的概率记作ijp ，称为转移概率。
如果1n X+的取值只取决于nX 的取值及转移概率，而与12,,n n XX --的取值无关，那么这种离散状态按照离散时间的随机转移过程称为马氏链。
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为1(1)()1,2,,ki jijj a n an p i k=+==∑并且()ian 和ijp 应满足11()10,1,2,;0;11,2,,kkjij ij j j an n p p i k====≥==∑∑引入状态概率向量和转移概率矩阵12()((),(),,()){}k ij ka n a n a n a n P p ==则基本方程可以表为1(1)()(0)n a n a n Pa P++==例1：某商店每月考察一次经营情况，其结果用经营状况好与孬表示。
若本月经营状况好，则下月保持好的概率为0.5，若本月经营状况不好，则下月保持好的概率为0.4，试分析该商店若干时间后的经营状况。
解：商店的经营状况是随机的，每月转变一次。
用随机变量nX 表示第n 个月的经营状况，称为经营系统的状态.1,2nX =分别表示好与不好，0,1,n = 。
用()ia n 表示第n 月处于状态i 的概率（1,2i =）即()()in an P X i ==，ij p 表示本月处于状态i，下月转为状态j 的概率。
这里1n X+无后效性，只取决于nX 和ijp 。
112112220.5,0.4,0.5,0.6p p p p ==∴==根据全概率公式可以得到：11112212112222(1)()()0.50.5(1)()(1)()()0.40.6a n a n p a n p a n a n PP a n a n p a n p +=+⎧⎛⎫⇒+==⎨⎪+=+⎝⎭⎩假设这个递推公式存在极限w ，有w w P=，即()0w P E -=。
于是当经营状况好或孬时，经计算可以得到下面的结果事实上，p 的特征值1,0.1λ=，1λ=时可以得到特征向量(1,1)，0.1λ=时可以得到特征向量( 1.25,1)-，令11.2511X -⎛⎫=⎪⎝⎭，则111.251112.25X-⎛⎫= ⎪-⎝⎭，114/95/90.14/95/9nnp X X -⎛⎫⎛⎫∴=→ ⎪⎪⎝⎭⎝⎭可以看出，虽然对于不同的n ，两种情况对应的数字不同，但是当n →∞时却得到相同的结果，即其状态概率趋于稳定值，且这个稳定值与初始状态无关。
例2：考察微量元素磷在自然界中的转移情况，假定磷只分布在土壤，草、牛、羊等生物体，及上述系统之外这三种自然环境里。
每经过一段时间磷在上述三种环境里的比例会发生变化，变化具有无后效性。
假定磷在三种环境下的初始比例为 0.5：0.3：0.2，研究经过若干时段后磷在 三种环境中的转移情况。
磷在三种环境中的分布及其变化是确定性的，但是如果把它在某种环境如土壤中的比例视为处于这种状态下的概率（将全部含量作为一个整体），把它的变化比例视为转移概率，就能用处理随机转移的马氏链模型来解决这个问题。
时期用0,1,2,n = 离散化，1,2,3nX=分别表示第n 时期磷处于土壤、生物体和系统外三种状态，()ia n 表示状态概率，即分布比例（1,2,3i =）ijp 表示由nXi=到1n Xj +=的转移概率，即变化的比例。
状态的转移具有无后效性。
利用全概率公式并将ijp 的值代入得到：1111221331122112222332123113223333123(1)()()()0.5()0.4()0.50.40(1)()()()0.3()0.2()0.30.20(1)()()()0.2()0.4()()0.20.41a n a n p a n p a n p a n a n a n a n p a n p a n p a n a n P a n a n p a n p a n p a n a n a n +=++=+⎧⎛⎫⎪⎪+=++=+=⎨ ⎪⎪ ⎪+=++=++⎩⎝⎭以初始状态代入计算可得通过以上两个例子给出马氏链的基本概念马氏链及其基本方程：按照系统的发展，时间离散化为0,1,n =，对每个n ，系统的状态用随机变量nX 表示，设nX 可以取k 个离散值1,2,,nX k= ，且nXi=的的概率记作()ian ，称为状态概率，从nXi=到1n Xj +=的概率记作ij p ，为转移概率。
如果1n X+的取值只取决于nX 的取值及转移概率，而与12,,n n XX --的取值无关，则这种离散状态按照离散时间的随机转移过程称为马氏链。
从以上两个例子的计算结果可以看出这两个马氏链之间有很大的差别，它们分别属于马氏两个重要类型。
一、正则链：例1表示的马氏链的定义1：一个有k 个状态的马氏链如果存在正整数N ，使从任意状态i 经N 次转移都以大于零的概率到达状态j (i ,j =1,2,…,k)，则称其为正则链。
定理1：若马氏链的转移矩阵为P ，则它是正则链的充要重要条件是存在正整数N 使0NP>。
定理2：正则链存在唯一的极限状态概率12(,,,)k w w w w = ，使得当n →∞时的状态概率()a n w→，w 与初始概率(0)a 无关。
w 称为稳态概率，满足1iw P ww==∑从状态i 出发经n 次转移，鳘次到达j 的概率称为i 到j 的首达概率，记作()ijfn 。
于是1()ij ij n n f n μ∞==∑为由状态i 第一次到达状态j 的平均转移次数。
ijμ与稳态概率间有 定理3：对于正则链，1/ijwμ=二、吸收链：例2 的特点是状态3的转移概率331p=，于是系统一旦进入状态3就再还会离开它，可以把它看作“吸收”其它状态的一个状态。
并且从状态1或2出发，可以经过有限次转移到达状态3。
例2表示如下定义的一类重要的马氏链。
定义2：转移概率1ijp=的状态i 称为吸收状态。
如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，则这个马氏链称为吸收链。
若吸收链中有r 个吸收状态，k -r 个非吸收状态，则其转移矩阵可以写成下面的形式：rI O P RQ ⎛⎫=⎪⎝⎭其中k r -阶方阵Q 的特征值()Q λ满足|()|1Q λ<。
这要求矩阵R 中必含有非零元素，以满足从任一非吸收状态出发经有限次转移可到达某吸收状态的条件。
这样Q 就还是随机矩阵，它至少存在一个小于1的行和，且如下定理成立定理4：对于吸收链P 的标准形式，()I Q -可逆，1()ss M I Q Q ∞-==-=∑记元素为1的列向量(1,1,,1)e = ，则y M e =的第i 个分量是从第i 个非吸收状态出发，被某个吸收状态吸收的平均转移次数。
设状态i 是非吸收状态 ，j 是吸收状态，那么首达概率()ijf n 实际上是i 经n 次转移被j 吸收的概率，而1()ijij n ff n ∞==∑则是从非吸收状态i 出发终将被吸收状态j 吸收的概率。
记(){}ij k r rF f -=，则下面定理给出了计算ijf 的方法定理5：设吸收链的转移矩阵P 表为标准形式，则(){}ij k r r F f M R-==下面通过几个例子说明如何利用马氏链解决一些具体的问题。
一、 基因遗传问题豆科植物茎的颜色有绿有黄，生猪的毛有黒有白，人会得一些先天性疾病等，这些都与基因遗传有关。
基因从一代到下一代的转移是随机的，并且具有马氏性。
因此马氏链模型是研究遗传学的重要工具之一。
生物的外部表征如豆科植物茎的颜色，人的皮肤或头发，是由生物体内相应的基因决定。
基因分优势基因与劣势基因，分别用d 和r 表示。
每种外部表征由体内的两个基因决定，而每个基因都可以是d 或r 中的一个，于是可以得到三种基因类型，即dd 、dr 和rr ，分别称为优种、混种和劣种，用D 、H 和R 表示。
含D 、H 基因类型的个体，外部表征呈优势，如豆科植物的茎呈绿色，人的皮肤有色素；含劣种R 基因类型的个体外部表征呈劣势，如豆科植物的茎呈黄色，人的皮肤无色素。
生物繁殖时，一个后代随机的继承父与母各自的两个基因中的一个，形成两个基因。
一般两个基因中哪个遗传下去是等概率的，所以父母的基因类型就决定了每一后代基因类型的概率。
下面我们以马氏链为工具讨论两个具体的基因遗传模型。
随机交配 这是自然界中生物群体一种常见的、也是最简单的交配方式。
考察一个群体，假设雄性和雌性的比例永远相等，并且有相同的基因类型分布，即雄性和雌性的D 、H 、R 的数量比例相等。
所谓随机交配是指对于每一个不论属于D 、H 或R 的雌性（或雄性）个体交配，都以D ：H ：R 的数量比例为概率与一个属于D 、H 或R 的雄性（或雌性）个体交配，其后代则按照前面所说的方式等概率地继承其父母亲的各一个基因，来决定它的基因类型。
假定在初始一代的群体中，三种基因类型的数量比是D ：H ：R =a ：2b ：c ，满足21a b c ++=。
记,p a b q b c =+=+，则群体中优势基因d 与劣势基因r 的数量比例为:p q ，且1p q +=。
讨论随机交配方式产生的一系列后代群体中的基因类型分布。
用1,2,3nX=分别表示第n 代的一个体属于D 、H 及R 基因类型，即三种状态，0,1,2,.()i n a n = 表示个体属于第i 种状态的概率，1,2,3i =可视为第n 代的群体属于第i 种基因类型的比例。
转移矩阵ij p 可用ij p P=（一个后代具有基因类型j ｜母亲（或父亲）具有基因类型i ）计算。
在已知母亲基因类型的条件下，后代的基因类型取决于父亲的基因类型。
值得指出的是，在计算ijp 时与其考虑被随机选择为父亲的三种不同基因类型的比例a ：2b ：c ，不如直接考察从雄性群体中以:p q 的比例获得优势基因d 和劣势基因r 。