10：马尔可夫链-数学建模教程文件

满足
wp w
(10)a(n 1) a(n)p两边同时取极限
k
wi 1
i1
(11)
引入状态概率向量和转移概率矩阵
a(n){a1(n)a ,2(n)a ,2(n)......a ..k.(.n ..).}.
P{pi} jkk
（7）
则基本方程（3）可表为
a (n 1) a (n) P （8） 由此还可以得到
并且 a i (n )和 p ij 应满足
k a i (n ) 1,
i 1
n 0,1,2,...... (4)
p ij 0,
i, j 1,2,3,.....( 5)
k
p ij 1
j 1
i 1,2,3,........( 6)
定理一：若马移 氏矩 链阵 P的 ， 为 转 则它是 正则链的充要存 条在 件正 是 N整 使 ： P数 N 0
正则链。
定义1：一个有k个状态的马氏链，如果存在正整数N，使从任意 状态i经N次转移，都以大于0的概率达到状态j(I,j=1,2,…k) 称此马氏链为正则链。
马尔可夫链的应用
模型六：服务网点的设置问题
为适应日益扩大的旅游事业的需要，某城市的甲乙丙三个 照相馆组成一个联营部，联合经营出租相机的业务。游客 可由甲乙丙三处任一处租出相机，用完后，还到三处中的 任一处即可。估计其转移概率为：
定义 2：转移Pi概 i1的 率状态称为,如 吸果 收状态 马氏链至少包括一个吸收状态，并且从每一个非吸收状 态出发，能以正的概率经有限次转移达到某个吸收状态 则称此马氏链为吸收链。
定理2：正则链存在唯一的极限状态概率
w (w1, w2, w3.......w. k ),使得当 n 时状态概率 a(n) w, w与初始状态概率无又 关称 ，稳定概率
E={1,2,…….m}
例3：
某商店每月考察一次经营情况，其结果用销路好或坏这 两种状况中的一种表示。已知若果本月销路好，下月任 保只这种状况的概率为0.5；如果本月销路坏，下月转变 为销路好的概率为0.4，试分析假若开始时商店处于销路 好的状态，过若干月后能保持销路好的概率有多大？如果 开始是处于销路坏呢？
a(n) a(0)P n
（9）
(5)式表明转移矩P是 阵非负阵，6） （式表明 P
的行和1为 ，称为随机矩阵。例 对3的 于转移矩阵 为
0.5 0.5 0.4 0.6
因此对于马氏链模型最基本的问题是：构造状态xn及写出转移 矩阵p，一旦有了P，则给定初始状态a(0)就可以用（9）或（8） 计算任意时间n的状态概率a(n)
马氏链及其基本方程
按照系统的发展，时间 离散化为 n 1,2,3.......... ,
对于每一个 n，系统的状态用一个随 机变量 X n
表示，设 X n可以取 k个离散值 X n 1,2,....... k , 且
X n i的概率记作 ai (n)，即状态概率，从
Xn
i到X n1
马尔可夫链建模法
1 马尔可夫链基本理论和结论 2 服务网点的设置问题 3 常染色体遗传模型
4 常染体隐性疾病模型
Baidu Nhomakorabea
马尔可夫链的应用
预备知识：马尔可夫链
随机过程：设 {t,tT}是一族随机变量，T是一个实数集合，
若对任意的 实数t T， t 是一个随机变量，则称
{t ,t T}为随机过程。
a1 (0) 1, a 2 (0) 0时，用式（ 1）立即可算出 a1 (n), a 2 (n), n 1,2,......... ...
如表所示，由数字变化规律可以看出
当 n 时，
a1 (n )
4, 9
a 2 (n )
5 9
开始销路好时状态概率的变化
n
01
a 1 ( n ) 1 0.5
a i(n )称为,状 p i称 j 态 为 概 ,这 转 X 率 n 里 移 1 只概 取 X n 和 率 p 决 i,j 和 X n 1,X n 2.无 .. 关
称为无后效性，由此，更椐全概率公式容易得到
a1 (n 1) a1 (n) p11 a 2 (n) p12 a 2 (n 1) a1 (n) p12 a 2 (n) p 22 因为知道 p11 0.5, p 21 0.4 , 所以显然有 p12 1 p11 0.5 p 22 1 p12 0.6 当商店开始销路好，即
a 2 ( n ) 0 0.5
2
3
0.45 0.445
0.55 0.555
………
4/9 5/9
表2 开始销路坏时的状态概率的变化
n
a1 (n ) a 2 (n)
01
2
0 0.4 0.44 1 0.6 0.56
3 0.444
0.556
………

4/9 5/9
马尔可夫链的定义：
设 {n,n1,2,...是.}一个随机序列，状态空间E为有限或可列
还
相
甲
乙
对于任意的正整数m,n，若i,j, ikE(k1,2....n. .1 .)有,
P { n m j |n i ,n 1 i n 1 ,.1 . i 1 } .P { . n m .j |.n . i }
则称 {n,n1,2,....}为一个 马尔可夫链
Xn1表示销X路 n2表 好示 ，销
,n=0,1,2,……….. X n 称为这个经营系统的状态
用 ai(n)表示 n月 第 处于 i的状 概 (i 态 1 率 ,2)即 , ai(n)P(Xni), pij表示本月 i， 处 下 于 月 状 转 态 j概 为 (率 i状 1,2,,态 j1,2的 ) 即 pijP(Xn1j|Xni)

j的概率为
p
，即转移概率。
ij
如果
X
n
的取值只取决于
1
X
的取值及转移概率，
n
而与 X n1 , X n2 ....的取值无关，那麽这种 离散状
态按照离散时间的随机 转移过程称为马氏链
由状态转移的无后效性和全概率公式可以写出马氏链的基本方程
k
a i (n 1) a j (n ) p ij , i 1,2,......... .. (3) j 1