马尔科夫预测

第6章 马尔可夫预测

马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。

6.1 马尔可夫预测的基本原理

马尔可夫（A.A.Markov ）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。

6.1.1 马尔可夫链

为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。

设有参数集(,)T ⊂-∞+∞，如果对任意的t T ∈，总有一随机变量t X 与之对应，则称

{,}t X t T ∈为一随机过程。

如若T 为离散集（不妨设012{,,,...,,...}n T t t t t =），同时t X 的取值也是离散的，则称

{,}t X t T ∈为离散型随机过程。

设有一离散型随机过程，它所有可能处于的状态的集合为{1,2,,}S N =L ，称其为状态空间。系统只能在时刻012,,,...t t t 改变它的状态。为简便计，以下将n t X 等简记为n X 。

一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。这个性质称为无后效性，即所谓马尔可夫假设。具备这个性质的离散型随机过程，称为马尔可夫链。用数学语言来描述就是：

马尔可夫链 如果对任一1n >，任意的S j i i i n ∈-,,,,121Λ恒有

{}{}11221111,,,n n n n n n P X j X i X i X i P X j X i ----=======L (6.1.1)

则称离散型随机过程{,}t X t T ∈为马尔可夫链。

例如，在荷花池中有N 张荷叶，编号为1,2,...,N 。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻n t ，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处的状态()N i i ,,2,1Λ=有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。

由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。

6.1.2 状态转移矩阵

马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。系统状态常表示为向量，故称之为状态向量。例如，已知某月A 、B 、C 三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量()0.3,0.4,0.3P =来描述该月市场洗衣粉销售的状况。

当系统由一种状态变为另一种状态时，我们称之为状态转移。例如，洗衣粉销售市场状态的转移就是各种牌号洗衣粉市场占有率的变化。显然，这类系统由一种状态转移到另一种状态完全是随机的，因此必须用概率描述状态转移的各种可能性的大小。

如果在时刻n t 系统的状态为n X i =的条件下，在下一个时刻1n t +系统状态为1n X j +=的概率

()ij p n 与n 无关，则称此马尔可夫链是齐次马尔可夫链，并记

{}1,,1,2,,ij n n p P X j X i i j N +====L

称ij p 为状态转移概率。显然，我们有

1

0,,1,2,,,

1,1,2,,.

ij N

ij j p i j N p i N =≥===∑L L

转移矩阵 设系统的状态转移过程是一齐次马尔可夫链，状态空间 {

}N S ,,2,1Λ=有限，状态转移概率为ij p ，则称矩阵

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡=NN N N N N p p p p p p p p p P Λ

ΛΛ

Λ

ΛΛΛ21

22221

11211 (6.1.2) 为该系统的状态转移概率矩阵，简称转移矩阵。

为了论述和计算的需要，引入下述有关概念。

概率向量 对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。

对于一个概率矩阵P ，若存在正整数m ，使得m P 的所有元素均为正数，则称矩阵P 为正规

概率矩阵。

例如，矩阵

⎥

⎦

⎤

⎢⎣⎡=5.05.03.07.0A 中每个元素均非负，每行元素之和皆为1，行数和列数相同，为22⨯方阵，故矩阵A 为概率矩阵。

概率矩阵有如下性质：如果A 、B 皆是概率矩阵，则AB 也是概率矩阵；如果A 是概率矩阵，则A 的任意次幂(0)m A m ≥也是概率矩阵。

对1k ≥，记

(){}()

()

(

)

,

,

k

ij n k n k k ij

N N

p P X j X i P

p +⨯==== (6.1.3)

称()

k ij

p 为k 步状态转移概率，()

k P

为k 步状态转移概率矩阵，它们均与n 无关（从下面的式(6.1.4)

也可看出）。

特别，当1k =时，()1

ij ij p p =为1步状态转移概率。马尔可夫链中任何k 步状态转移概率都

可由1步状态转移概率求出。

由全概率公式可知对1≥k 有（其中()

0P

表示单位矩阵）：

(){}k

ij n k n p P X j X i +===