马尔科夫链详解

P{ X nm j | X n i, X n1 in1, , X1 i1} P{Xnm j | Xn i}
（1）
则称{n , n 1,2, }为一个马尔可夫链（简称马氏链），
（1）式称为马氏性。
5
事实上，可以证明若等式（1）对于m 1成立， 则它对于任意的正整数m 也成立。因此，只要当m 1 时（1）式成立，就可以称随机序列{ Xn , n 1,2, }具 有马氏性，即{ Xn , n 1,2, }是一个马尔可夫链。
马尔科夫Markov链
Markov原名A.A. Markov（俄，1856－1922） 于1906年开始研究此类问题.
1
1 马尔可夫链的定义 现实世界中有很多这样的现象，某一系统在已知 现在情况的条件下，系统未来时刻的情况只与现在有 关，而与过去的历史无直接关系。比如，研究一个商 店的累计销售额，如果现在时刻的累计销售额已知， 则未来某一时刻的累计销售额与现在时刻以前的任一 时刻累计销售额无关。描述这类随机现象的数学模型 称为马尔科夫模型，简称马氏模型。
0→0，8 次；
6
定义 2 设{ Xn , n 1,2, }是一个马氏链。如果等 式（1）右边的条件概率与n无关，即
P{ Xnm j | Xn i} pij (m)
（2）
则称{n , n 1, 2, }为时齐的马氏链。称 pij (m)为系统
由状态i 经过m 个时间间隔（或m 步）转移到状态 j 的
转移概率。（2）式称为时齐性，它的含义是系统由状
态，也可能处于那种状态，往往条件变化，状态也会发生 变化。如某种产品在市场上本来是滞销的，但是由于销售 渠道变化了，或者消费心理发生了变化等，它便可能变为 畅销产品。
4
定义 1 设{ Xn , n 1,2, }是一个随机序列，状态 空间 E为有限或可列集，对于任意的正整数m,n，若
i, j,ik E(k 1, ,n 1)，有
12
用马尔科夫链方法进行决策的特点：
主要用于企业产品的市场占有率预测
（1）转移概率矩阵中的元素是根据近期市场 或顾客的保留与得失流向资料确定的。
（2）下一期的概率只与上一期的预测结果有 关，不取决于更早期的概率。
（3）利用转移概率矩阵进行决策，其最后结 果取决于转移矩阵的组成，不取决于原 始条件，即最初占有率。
10
（1）对一切i, j E ，0 pij (m) 1；
（2）对一切i E ， pij (m) 1； jE
（3）对一切i,
j
E ， pij (0)
ij
1, 当i 0， 当i
j时, j时 .
11
当实际问题可以用马尔可夫链来描述时，首先要 确定它的状态空间及参数集合，然后确定它的一步转 移概率。关于这一概率的确定，可以由问题的内在规 律得到，也可以由过去经验给出，还可以根据观测数 据来估计。
15
解 设 Xn(n 1, ,97) 为第 n 个时段的计算机状 态，可以认为它是一个时齐马氏链，状态空间
E {0,1}。要分别统计各状态一步转移的次数，即
0→0，0→1，1→0，1→1 的次数，也就是要统计数据
字符串中‘00’，‘01’，来自百度文库10’，‘11’四个子串的个数。
利用 Matlab 软件，求得 96 次状态转移的情况是
2
引例
假定某大学有1万学生，每人每月用1支牙膏，并且只
使用“中华”牙膏与“黑妹”牙膏两者之一。根据本
月（12月）调查，有3000人使用黑妹牙膏，7000人使
用中华牙膏。又据调查,使用黑妹牙膏的3000人中，有
60％的人下月将继续使用黑妹牙膏， 40％的人将改
用中华牙膏； 使用中华牙膏的7000人中， 有70％的
现用
拟用
黑妹牙膏
中华牙膏
黑妹牙膏
60％
40％
8
中华牙膏
30％
70％
上表中的4个概率就称为状态的转移概率，而这四个 转移概率组成的矩阵
B＝ 称为转移概率矩阵。可以看出， 转移概率矩阵的 一个特点是其各行元素之和为１
9
2 转移概率矩阵及柯尔莫哥洛夫定理
对于一个马尔可夫链{ Xn , n 1,2, }，称以m 步转 移概率 pij (m)为元素的矩阵 P(m) ( pij (m)) 为马尔可 夫链的m 步转移矩阵。当m 1时，记P(1) P 称为马 尔可夫链的一步转移矩阵，或简称转移矩阵。它们具有 下列三个基本性质
人下月将继续使用中华牙膏， 30％的人将改用黑妹
牙膏。据此，可以得到如表所示的统计表
现用
拟用
黑妹牙膏
中华牙膏
黑妹牙膏
60％
40％
中华牙膏
30％
70％
3
基本概念
状态和状态转移
状态是指客观事物可能出现或存在的状况。
如企业的产品在市场上可能畅销，也可能滞销。
状态转移是指客观事物由一种状态到另一种状态的变化。 客观事物的状态不是固定不变的，它可能处于这种状
态i 到状态 j 的转移概率只依赖于时间间隔的长短，与
起始的时刻无关。本章介绍的马氏链假定都是时齐
的，因此省略“时齐”二字。
7
转移概率与转移概率矩阵
假定某大学有1万学生，每人每月用1支牙膏，并且只 使用“中华”牙膏与“黑妹”牙膏两者之一。根据本 月（12月）调查，有3000人使用黑妹牙膏，7000人使 用中华牙膏。又据调查,使用黑妹牙膏的3000人中，有 60％的人下月将继续使用黑妹牙膏， 40％的人将改 用中华牙膏； 使用中华牙膏的7000人中， 有70％的 人下月将继续使用中华牙膏， 30％的人将改用黑妹 牙膏。据此，可以得到如表所示的统计表
13
转移概率矩阵决策的应用步骤 1）建立转移概率矩阵。 2）利用转移概率矩阵进行模拟预测。 3）求出转移概率矩阵的平衡状态，即稳定状态。 4）应用转移概率矩阵进行决策。
14
1）建立转移概率矩阵 例1 某计算机机房的一台计算机经常出故障，研究 者每隔15min观察一次计算机的运行状态，收集了 24h的数据（共作97次观察）。用1表示正常状态 ，用0表示不正常状态，所得的数据序列如下： 111001001111111001111011111100111111111000 1101101 111011011010111101110111101111110011011111 100111