数学建模马尔可夫讲义

马尔可夫链
马尔可夫链
状态。指某一事件在某个时刻（或时期） 出现的某种结果。
几 个 基 本 概 念
状态转移过程。事件的发展，从一种状态 转变为另一种状态，称为状态转移。
马尔可夫过程。在事件的发展过程中，若 每次状态的转移都仅与前一时刻的状态有 关，而与过去的状态无关，或者说状态转 移过程是无后效性的，则这样的状态转移 过程就称为马尔可夫过程。
几 个 基 本 概 念
状态转移概率。在事件的发展变化过程中， 状态转移概率。在事件的发展变化过程中， 从某一种状态出发， 从某一种状态出发，下一时刻转移到其它 状态的可能性，称为状态转移概率。 状态的可能性，称为状态转移概率。由状 P( Ei → E j ) 转为状态E 态Ei转为状态 j的状态转移概率 是
第七节 马尔可夫预测方法
本节主要内容：
几个基本概念
状态； 状态； 状态转移过程； 状态转移过程； 马尔科夫过程； 马尔科夫过程； 状态转移概率； 状态转移概率； 状态转移概率矩阵。 状态转移概率矩阵。
马尔可夫预测法
状态转移概率； 状态转移概率； 状态转移概率矩阵。 状态转移概率矩阵
对事件的全面预测，不仅要能够指出 事件发生的各种可能结果，而且还必须给 出每一种结果出现的概率。 马尔可夫（Markov）预测法，就是一种 预测事件发生的概率的方法。它是基于马 尔可夫链，根据事件的目前状况预测其将 来各个时刻（或时期）变动状况的一种预 测方法。马尔可夫预测法是对地理事件进 行预测的基本方法，它是地理预测中常用 的重要方法之一。
（即1→2，24→25，34→35） → ， → ， → ）
(2)有7个是从 1转移到 2的 有 个是从 转移到E 个是从E
（即2→3，9→10，12→13，15→16，29→30， → ， → ， → ， → ， → ， 35→36，39→40） → ， → ）
(3)有5个是从 1转移到 3的 有 个是从 转移到E 个是从E
π (1) = π (0) P π (2) = π (1) P = π (0) P2 M π (k ) = π (k −1) P = L = π (0) Pk
（3.7.8）
π 式中，(0) = [π 1 (0), π 2 (0),L , π n (0)]为初始状态 式中， 概率向量。 概率向量。
某地区1990 2000年农业收成 1990—2000 表3.7.2 某地区1990 2000年农业收成 状态概率预测值
年份 2000 2001 2002 2003 E1 E2 E3 E1 E2 E3 E1 E2 E3 E1 E2 E3 状态 概率 0.5 0.1 0.3 0.3 0.4 0.2 0.3 0.3 0.2 0.3 0.3 0.2 385 528 077 024 14 837 867 334 799 587 589 779 年 份 状 态 概 率 年份 2004 2005 2006 2007
（3.7.3）
一般地，将满足条件（3.7.3） 一般地，将满足条件（3.7.3）的任 何矩阵都称为随机矩阵，或概率矩阵。 何矩阵都称为随机矩阵，或概率矩阵
不难证明，如果 为概率矩阵 为概率矩阵， 不难证明，如果P为概率矩阵，则对于任何整 数m>0，矩阵都是概率矩阵。 ，矩阵都是概率矩阵。
标准概率矩阵、平衡向量。 标准概率矩阵、平衡向量。 如果P为概率矩阵，而且存在整数 如果 为概率矩阵，而且存在整数m>0， 为概率矩阵 ， 中诸元素皆非零，则称P 使得概率矩阵 中诸元素皆非零，则称 Pm 标准概率矩阵。可以证明，如果P为标 为 标准概率矩阵 。 可以证明 ， 如果 为标 准概率矩阵， 准概率矩阵，则存在非零向量 α = [ x1 , x2 ,L, xn ] ，而且 xi 满足
例题2： 例题2
将例题1中 将例题 中1999年的农业收成状态记为 年的农业收成状态记为 将状态转移概率矩阵（3.7.5） π (0)=[0,1,0] ，将状态转移概率矩阵（3.7.5） 式及代入递推公式（3.7.8） 式及代入递推公式（3.7.8）式，可求得 2000——2010年可能出现的各种状态的概率 年可能出现的各种状态的概率 （见表3.7.2 见表3.7.2）。 3.7.2
表3.7.1 某地区农业收成变化的状态转移情况
1960 1 E1 1970 11 E3 1980 21 E3 1990 31 E1 1961 2 E1 1971 12 E1 1981 22 E3 1991 32 E3 1962 1963 3 E2 1972 13 E2 1982 23 E2 1992 33 E2 4 E3 1973 14 E3 1983 24 E1 1993 34 E1 1964 5 E2 1974 15 E1 1984 25 E1 1994 35 E1 1965 6 E1 1975 16 E2 1985 26 E3 1995 36 E2 1966 7 E3 1976 17 E1 1986 27 E2 1996 37 E2 1967 8 E2 1977 18 E3 1987 28 E2 1997 38 E3 1968 1969 9 E1 1978 19 E3 1988 29 E1 1998 39 E1 10 E2 1979 20 E1 1989 30 E2 1999 40 E2
E1 E2 E3 E1 E2 E3 E1 E2 E3 E1 E2 E3 0.3 0.3 0.2 0.3 0.3 0.2 0.3 0.3 0.2 0.3 0.3 0.2 677 509 799 647 532 799 656 524 799 653 526 799 2008 2009 2010
E1 E2 E3 E1 E2 E3 E1 E2 E3 状态 概率 0.3 0.3 0.2 0.3 0.3 0.2 0.3 0.3 0.2 653 525 799 653 525 799 653 525 799
P11 P12 L P1n P P L P 22 2n P = 21 M M M M Pn1 Pn 2 L Pnn
（3.7.2）
Pm
几 个 基 本 概 念
称为状态转移概率矩阵。 称为状态转移概率矩阵。 概率矩阵。 概率矩阵。
0 ≤ Pij ≤ 1 n ∑ Pij = 1 j =1 (i, j = 1,2, L , n) (i = 1,2, L , n)
5 P13 = P ( E1 → E 3 ) = P ( E 3 E1 ) = = 0.3333 15
同理可得：
7 = 0.5385 13 2 P22 = P( E2 → E2 ) = P( E2 E2 ) = = 0.1538 13 4 P23 = P( E2 → E3 ) = P( E3 E2 ) = = 0.3077 13 P21 = P( E2 → E1 ) = P( E1 E2 ) =
（即6→7，17→18，20→21，25→26，31→32） → ， → ， → ， → ， → ）
所以
3 P11 = P ( E1 → E1 ) = P ( E1 E1 ) = = 0.2000 15
7 P12 = P ( E1 → E 2 ) = P ( E 2 E1 ) = = 0.4667 15
例题1： 例题 ： 考虑某地区农业收成变化的三个状态， 考虑某地区农业收成变化的三个状态， 丰收” 平收” 欠收” 即“丰收”、“平收”和“欠收”。记E1 丰收”状态， 平收”状态， 为“丰收”状态，E2为“平收”状态，E3 欠收”状态。 为“欠收”状态。表3.7.1给出了该地区 给出了该地区 1960～1999年期间农业收成的状态变化情 ～ 年期间农业收成的状态变化情 况。试计算该地区农业收成变化的状态转 移概率矩阵。 移概率矩阵。
年份 序号 状态 年份 序号 状态 年份 序号 状态 年份 序号 状态
计算： ① 计算：
从表3.7.1中可以知道， 个从E 从表3.7.1中可以知道，在15个从 1出发 3.7.1中可以知道 个从 转移出去）的状态中， （转移出去）的状态中， (1)有3个是从 1转移到 1的 有 个是从 转移到E 个是从E
0 .2000 P = 0 .5385 0 .3636
0 .4667 0 .1538 0 .4545
0 .3333 0 .3077 0 .1818
（3.6.5）
状 态 概 率 及 其 计 算
表示事件在初始（ ＝ ） 状态概率 π j (k ) ：表示事件在初始（k＝0） 状态为已知的条件下，经过k次状态转移后 次状态转移后， 状态为已知的条件下，经过 次状态转移后， 在第k 个时刻（时期） 的概率。 在第 个时刻（时期）处于状态 的概率。 Ej 且： Ei ) = Pij
（3.7.1）
状态转移概率矩阵。 状态转移概率矩阵。假定某一个事件的发展 过程有n个可能的状态， 过程有n个可能的状态，即E1，E2，…， ， En。记为从状态 i转变为状态 j的状态转移概 记为从状态E 转变为状态E 率 P ( E i → E，则矩阵 j)
马 尔 可 夫 预 测 法
个时刻（ 第k个时刻（时期）的状态概率预测 个时刻 时期） 如果某一事件在第0个时刻 个时刻（ 如果某一事件在第 个时刻（或 时期）的初始状态已知， 已知， 时期）的初始状态已知，即π ( 0 ) 已知， 则利用递推公式(3.7.8) (3.7.8)式 则利用递推公式(3.7.8)式，就可以 求得它经过k次状态转移后 在第k个 次状态转移后， 求得它经过 次状态转移后，在第 个 时刻（时期） 时刻（时期）处于各种可能的状态的 概率， 概率，即 π (k ) 从而就得到该事件 ， 在第k个时刻 时期） 个时刻（ 在第 个时刻（时期）的状态概率预 测。
状态转移概率矩阵的计算。 状态转移概率矩阵的计算。 计算状态转移概率矩阵P， 计算状态转移概率矩阵 ，就是求 从每个状态转移到其它任何一个状态的 状态转移概率 Pij (i,j = 1,2, L , n ) 。 为了求出每一个， 为了求出每一个，一般采用频率近 似概率的思想进行计算。 似概率的思想进行计算。