10：马尔可夫链 数学建模.

例一 在一条生产线上检验产品质量，每次取一个，废品记为1 合格品记为0。以 表示第n次检验结果，则 n 是一个随机
n
变量. 不断检验，得到一系列随机变量，
1 , 2 ,......... ........ n
记为
{ n , n 1,2,.......}
它是一个 随机序列，其状态空间为E={0，1}
2 0.44 0.56
3 0.444 0.556
………

4/9 5/9
a1 (n) a2 (n)
马尔可夫链的定义：
设{ n , n 1,2,....} 是一个随机序列，状态空间E为有限或可列
对于任意的正整数m,n，若i,j,
ik E(k 1,2.......,n 1)有
P{ nm j | n i, n1 in1 ,....... 1 i1} P{ nm j | n i}
i 1
k
i
1
引入状态概率向量和转移概率矩阵
a(n) {a1 (n), a2 (n), a2 (n)......... .....ak (n)} P { pij }kk
则基本方程（3）可表为
（7）
a(n 1) a(n) P a(n) a(0) P
n
（8）
由此还可以得到
（9）
例二：在m个商店联营出租相机业务中（顾客从其中一个商店租出
可以到m个商店中的任意一个归还）规定一天为一个时间单位
t j
则
表示第t天开始时照相机在第j个商店,j=1,2,…..m.
{ n , n 1,2,....} 是一个随机序列，其状态空间为
E={1,2,…….m}
例3： 某商店每月考察一次经营情况，其结果用销路好或坏这 两种状况中的一种表示。已知若果本月销路好，下月任 保只这种状况的概率为0.5；如果本月销路坏，下月转变 为销路好的概率为0.4，试分析假若开始时商店处于销路 好的状态，过若干月后能保持销路好的概率有多大？如果 开始是处于销路坏呢？
则称
{ n , n 1,2,....} 为一个 马尔可夫链
马氏链及其基本方程
按照系统的发展，时间 离散化为n 1,2,3.......... , 对于每一个n，系统的状态用一个随 机变量X n 表示，设X n 可以取k个离散值X n 1,2,....... k,且 X n i的概率记作ai ( n)，即状态概率，从 X n i到X n 1 j的概率为pij，即转移概率。 如果X n 1的取值只取决于 X n的取值及转移概率， 而与X n 1 , X n 2 .... 的取值无关，那麽这种 离散状 态按照离散时间的随机 转移过程称为马氏链
X n 1表示销路好， X n 2表示销路坏
,n=0,1,2,……….. X 称为这个经营系统的状态 n
用ai (n)表示第n月处于状态i的概率(i 1,2),即ai (n) P( X n i ), pij 表示本月处于状态 i，下月转为状态的 j概率(i 1,2, , j 1,2) 即pij P( X n 1 j | X n i )
ai (n)称为状态概率 , pij 称为转移概率 , 这里X n1只取决于X n 和pij , 和X n1 , X n2 ...无关 称为无后效性，由此，更椐全概率公式容易得到
a1 ( n 1) a1 ( n) p11 a 2 ( n) p12 a 2 ( n 1) a1 ( n) p12 a 2 ( n) p 22 因为知道p11 0.5, p 21 0.4 p12 1 p11 0.5 p 22 1 p12 0.6 当商店开始销路好，即 a1 (0) 1, a 2 (0) 0时，用式（ 1 ）立即可算出 a1 ( n), a 2 ( n), n 1,2,......... ... , 所以显然有
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程
ai (n 1) a j (n) pij , i 1,2,......... .. (3)
j 1
k
并且ai (n)和pij 应满足

i 1 k
k
ai (n) 1,
n 0,1,2,...... (4) i, j 1,2,3,.....(5) i 1,2,3,........( 6)
pij 0,
p
j 1
ij
1
定理一：若马氏链的转 移矩阵为P，则它是 正则链的充要条件是： 存在正整数 N使P 0
N
定义2：转移概率 P 的状态称为吸收状态 , 如果 ii 1 马氏链至少包括一个吸收状态，并且从每一个非吸收状 态出发，能以正的概率经有限次转移达到某个吸收状态 则称此马氏链为吸收链。
(5)式表明转移矩阵 P是非负阵，（ 6）式表明P 的行和为 1，称为随机矩阵。对于 例3的转移矩阵 为 0.5 0.4 0.5 0.6
如表所示，由数字变化规律可以看出
Leabharlann Baidu
当n 时 ， 4 a1 ( n ) , 9 5 a 2 (n) 9
开始销路好时状态概率的变化
n
0
1
1
0.5
2
0.45
3
0.445
………

4/9
a1 (n) a2 (n)
0
0.5
0.55
0.555
5/9
表2 开始销路坏时的状态概率的变化
n
0 0 1
1 0.4 0.6
定理2：正则链存在唯一的极限状态概率
w ( w1 , w2 , w3 ........ wk ), 使得当n 时状态概率 a ( n) w, w与初始状态概率无关， 又称稳定概率 满足 wp w
(10)a ( n 1) a ( n) p 两边同时取极限及 (11 )
w
马尔可夫链建模法
1 马尔可夫链基本理论和结论 2 服务网点的设置问题 3 常染色体遗传模型
4 常染体隐性疾病模型
马尔可夫链的应用
预备知识：马尔可夫链 随机过程：设 { t , t T }是一族随机变量，T是一个实数集合，
若对任意的 实数 t T，
t
是一个随机变量，则称
{ t , t T } 为随机过程。