马尔科夫预测

第6章 马尔可夫预测马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。

它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。

6.1 马尔可夫预测的基本原理马尔可夫（A.A.Markov ）是俄国数学家。

二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。

具有这种特性的随机过程称为马尔可夫过程。

设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。

6.1.1 马尔可夫链为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。

如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。

设有参数集(,)T ⊂-∞+∞，如果对任意的t T ∈，总有一随机变量t X 与之对应，则称{,}t X t T ∈为一随机过程。

如若T 为离散集（不妨设012{,,,...,,...}n T t t t t =），同时t X 的取值也是离散的，则称{,}t X t T ∈为离散型随机过程。

设有一离散型随机过程，它所有可能处于的状态的集合为{1,2,,}S N =L ，称其为状态空间。

系统只能在时刻012,,,...t t t 改变它的状态。

为简便计，以下将n t X 等简记为n X 。

一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。

在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。

这个性质称为无后效性，即所谓马尔可夫假设。

具备这个性质的离散型随机过程，称为马尔可夫链。

用数学语言来描述就是：马尔可夫链 如果对任一1n >，任意的S j i i i n ∈-,,,,121Λ恒有{}{}11221111,,,n n n n n n P X j X i X i X i P X j X i ----=======L (6.1.1)则称离散型随机过程{,}t X t T ∈为马尔可夫链。

例如，在荷花池中有N 张荷叶，编号为1,2,...,N 。

假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。

青蛙的运动可看作一随机过程。

在时刻n t ，青蛙所在的那张荷叶，称为青蛙所处的状态。

那么，青蛙在未来处于什么状态，只与它现在所处的状态()N i i ,,2,1Λ=有关，与它以前在哪张荷叶上无关。

此过程就是一个马尔可夫链。

由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。

6.1.2 状态转移矩阵马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。

所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。

当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。

系统状态常表示为向量，故称之为状态向量。

例如，已知某月A 、B 、C 三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量()0.3,0.4,0.3P =来描述该月市场洗衣粉销售的状况。

当系统由一种状态变为另一种状态时，我们称之为状态转移。

例如，洗衣粉销售市场状态的转移就是各种牌号洗衣粉市场占有率的变化。

显然，这类系统由一种状态转移到另一种状态完全是随机的，因此必须用概率描述状态转移的各种可能性的大小。

如果在时刻n t 系统的状态为n X i =的条件下，在下一个时刻1n t +系统状态为1n X j +=的概率()ij p n 与n 无关，则称此马尔可夫链是齐次马尔可夫链，并记{}1,,1,2,,ij n n p P X j X i i j N +====L称ij p 为状态转移概率。

显然，我们有10,,1,2,,,1,1,2,,.ij Nij j p i j N p i N =≥===∑L L转移矩阵 设系统的状态转移过程是一齐次马尔可夫链，状态空间 {}N S ,,2,1Λ=有限，状态转移概率为ij p ，则称矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=NN N N N N p p p p p p p p p P ΛΛΛΛΛΛΛ212222111211 (6.1.2) 为该系统的状态转移概率矩阵，简称转移矩阵。

为了论述和计算的需要，引入下述有关概念。

概率向量 对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。

概率矩阵 由概率向量作为行向量所构成的方阵称为概率矩阵。

对于一个概率矩阵P ，若存在正整数m ，使得m P 的所有元素均为正数，则称矩阵P 为正规概率矩阵。

例如，矩阵⎥⎦⎤⎢⎣⎡=5.05.03.07.0A 中每个元素均非负，每行元素之和皆为1，行数和列数相同，为22⨯方阵，故矩阵A 为概率矩阵。

概率矩阵有如下性质：如果A 、B 皆是概率矩阵，则AB 也是概率矩阵；如果A 是概率矩阵，则A 的任意次幂(0)m A m ≥也是概率矩阵。

对1k ≥，记(){}()()(),,kij n k n k k ijN Np P X j X i Pp +⨯==== (6.1.3)称()k ijp 为k 步状态转移概率，()k P为k 步状态转移概率矩阵，它们均与n 无关（从下面的式(6.1.4)也可看出）。

特别，当1k =时，()1ij ij p p =为1步状态转移概率。

马尔可夫链中任何k 步状态转移概率都可由1步状态转移概率求出。

由全概率公式可知对1≥k 有（其中()0P表示单位矩阵）：(){}kij n k n p P X j X i +==={}{}111Nn k n n k n k l P X l X i P x j X l +-++-====⋅==∑(1)1,,1,2,...,Nk il lj l p p i j N -===∑ 其中用到马尔可夫链的“无记忆性”和齐次性。

用矩阵表示，即为P P P k k )1()(-=，从而可得()1,≥=k P P k k (6.1.4)记0t 为过程的开始时刻，()(){}000i p P X X t i ===，则称()()()()()1200,0,...,0N P p p p =为初始状态概率向量。

如已知齐次马尔可夫链的转移矩阵()ij P p =以及初始状态概率向量()0P ，则任一时刻的状态概率分布也就确定了：对1≥k ，记(){}i k p k P X i ==，则由全概率公式有()()()10,1,2,,,1Nki j ji j p k p p i N k ==⋅=≥∑L (6.1.5)若记向量()()()()()12,,,N P k p k p k p k =L ，则上式可写为()()()()00k k P k P P P P == (6.1.6)由此可得，()()1P k P k P =- (6.1.7)例6.1 考察一台机床的运行状态。

机床的运行存在正常和故障两种状态。

由于出现故障带有随机性，故可将机床的运行看作一个状态随时间变化的随机系统。

可以认为，机床以后的状态只与以前的状态有关，而与过去的状态无关，即具有无后效性。

因此，机床的运行可看作马尔可夫链。

设正常状态为1，故障状态为2，即机床的状态空间由两个元素组成。

机床在运行过程中出现故障，这时从状态1转移到状态2；处于故障状态的机床经维修，恢复到正常状态，即从状态2转移到状态1。

现以一个月为时间单位。

经观察统计，知从某月份到下月份机床出现故障的概率为0.2，即120.2p =。

其对立事件，保持正常状态的概率为110.8p =。

在这一时间，故障机床经维修返回到正常状态的概率为0.9，即210.9p =；不能修好的概率为220.1p =。

机床的状态转移情形见图6.1。

由机床的一步转移概率得状态转移概率矩阵111221220.80.20.90.1pp P p p ⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦ 若已知本月机床的状态向量(0)(0.850.15)P =，现要预测机床两个月后的状态。

先求出两步转移概率矩阵图6.1 机床的状态转移2(2)20.80.20.820.180.90.10.810.19P P ⎡⎤⎡⎤===⎢⎥⎢⎥⎣⎦⎣⎦矩阵的第一行表明，本月处于正常状态的机床，两个月后仍处于正常状态的有0.82，转移到故障状态的有0.18。

第二行说明，本月处于故障状态的机床，两个月后转移到正常状态的有0.81，仍处于故障状态的有0.19。

于是，两个月后机床的状态向量(2)0.820.18(2)(0)(0.850.15)0.810.19(0.81850.1815)P P P ⎡⎤==⎢⎥⎣⎦=6.1.3 稳态概率矩阵在马尔可夫链中，已知系统的初始状态和状态转移概率矩阵，就可推断出系统在任意时刻可能所处的状态。

现在需要研究当k 不断增大时，()k P 的变化趋势。

1． 平稳分布若存在非零概率向量()12,,,N X x x x =L ，使得XP X =，其中P 为一概率矩阵，则称X 为P 的固定概率向量。

特别，设()12,,,N X x x x =L 为一状态概率向量，P 为状态转移概率矩阵。

若XP X = (6.1.8)即N j x px j iji i,,2,1,Λ==∑则称X 为马尔可夫链的一个平稳分布。

若随机过程某时刻的状态概率向量()k P 为平稳分布，则称过程处于平衡状态。

一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。

对于我们所讨论的状态有限（即N 个状态）的马尔可夫链，平稳分布必定存在[1]。

特别地，当状态转移矩阵为正规概率矩阵时，平稳分布唯一。

此时，求解方程(6.1.8)，即可得到系统的平稳分布。

2． 稳态分布对概率向量()12,,...,N ππππ=，如对任意的S j i ∈,均有()lim ij j m p m π→+∞= (6.1.9)则称π为稳态分布。

此时，不管初始状态概率向量如何，均有()()()11lim lim0()0NNj i ij i j j m m i i p m p p m p ππ→+∞→+∞=====∑∑或12lim ()lim ()()()N m m P m p m p m p m π→∞→∞==（，，...,）这也是称π为稳态分布的理由。

设存在稳态分布()12,,...,N ππππ=，则由于下式恒成立()()1P k P k P =-+∞→k ，就得P ππ= (6.1.10)即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。