马尔可夫预测算法

马尔可夫预测算法

综述

马尔可夫预测法以系统状态转移图为分析对象，对服从给定状态转移率、系统的离

散稳定状态或连续时间变化状态进行分析马尔可夫预测技术是应用马尔可夫链的基本原理和方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种技术。

方法由来

马尔可夫是俄国的一位著名数学家 (1856—1922)，20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。针对这种情况，他提出了马尔可夫预测方法，该方法具有较高的科学性，准确性和适应性，在现代预测方法中占有重要地位。

基础理论

在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。因此，变化过程可用时间的函数来描述。不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。这样的变化过程称为随机过程一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就是研究随机现象变化过程的概率规律性的。客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化状态即为客观事物可能出现或存在的状况，用状态变量表示状态：

⎪⎪⎭

⎫

⎝⎛⋅⋅⋅=⋅⋅⋅==,2,1,,2,1t N i i X t 它表示随机运动系统，在时刻),2,1( =t t 所处的状态为

),2,1(N i i =。状态转移：客观事物由一种状态到另一种状态的变化。设客观事物有

N E E E E ...,,321共 N 种状态，其中每次只能处于一种状态，则每一状态都具有N 个转向

（包括转向自身），即由于状态转移是随机的，因此，必须用概率来描述状态转移可能

性的大小，将这种转移的可能性用概率描述，就是状态转移概率。

概率论中的条件概率：P （A ∣B ）就表达了由状态 B 向状态 A 转移的概率，简称为状态转移概率。对于由状态 E i 转移到状态E j 的概率，称它为从 i 到 j 的转移概率，即为：()(

)

P E E P E E P P j i i j ij =→==()

i x j x n n ==+1它表示由状态E i 经过一步转移到状态E j 的概率。

状态转移概率矩阵具有如下特征：

N j i P ij ,....2,1,10=≤≤

∑===N

j ij

N i P

1

...,2,11

⎪⎪

⎪

⎪

⎪

⎭

⎫

⎝⎛=NN N N N N P P P P P P P P P P 2

1

22221

11211

通常称矩阵 P 为 状态转移概率矩阵，没有特别说明步数时，一般均为一步转移概率矩阵。

矩阵中的每一行称之为概率向量。状态转移概率的估算方法有两种：主观概率法和统计估算法。

状态转移概率矩阵完全描述了所研究对象的变化过程。正如前面所指出的，上述矩阵为一步转移概率矩阵。对于多步转移概率矩阵，可按如下定义解释：

若系统在时刻0t 处于状态i ，经过 n 步转移，在时刻n t 处于状态j 。那么，对这种转移的可能性的数量描述称为n 步转移概率。记为:

()()

n ij

n P i x j x P ===0

并令

()

()()

()

()()()

()()()

⎪⎪

⎪⎪

⎪⎭

⎫

⎝⎛=n NN n N n N n N n n n N n n n P P P P P P P P P P 2122221112

11

()

()()

()()()()

()()()

⎪⎪

⎪⎪⎪⎭

⎫

⎝⎛=n NN n N n N n N n n n N n n n P P P P P P P P P P 2

1

22221112

11称 ()

n P 为 n 步转移概率矩阵。

多步转移概率矩阵，除具有一步转移概率矩阵的性质外，还具有以下的性质：

P P P n n )1()()1(-= n n P P =)()2(

记0t 为过程的开始时刻, )})({()0(00i t X X P i ===,则称()()()()(),0,0,0021N P P P P = 为初始状态概率向量。已知马尔科夫链的转移矩阵()

()

k ij

k P P

=以及初始状态概率向量

()0P ，则任一时刻的状态概率分布也就确定了：

对1≥k ,记(){}i x P k P k i ==,则由全概率公式有：

()()()

1,,,2,1,01

≥==∑=k N i P P k P N

j k ij j i ,若记向量()()()()(),,,21k P k P k P k P N =则上式

可写为()()()()k k P P P P k P 00==,由此可得()()P k P k P 1-=

在马尔可夫链中，已知系统的初始状态和状态转移概率矩阵，就可推断出系统在任意时刻可能所处的状态。

现在需要研究当 k 不断增大时，()k P 的变化趋势。 一、平稳分布

预备定义:

如存在非零向量()n x x x x X 321,=，使得：

XP X =,其中P 为一概率矩阵，

则称 X 为 P 的固定概率向量。特别地，设()n x x x x X 321,= 为一状态概率向量， P 为状态转移概率矩阵，若XP X = 即：

N j x p

x j N

i ij

i ,2,11

==∑=

称 X 为该马尔可夫链的一个平稳分布性质。

若随机过程某时刻的状态概率向量 P (k ) 为平稳分布，则称过程处于平衡状态。 （X P = X ）一旦过程处于平衡状态，则经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。对于所讨论的状态有限（即N 个状态）的马尔可夫链，平稳分布必定存在。特别地，当状态转移矩阵为正规概率矩阵时，平稳分布唯一。

方法改进

马氏链预测对象要求具有马氏链和平稳过程等均值的特点，而客观世界中的预测问题大量是随时间变化或呈某种变化趋势的非平稳过程如果采用灰色GM （l ，l ）模型对预测问题的时序数据进行拟合，找出其变化趋势，则可以弥补马氏链预测的局限。

算法应用

当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然后确定它的一步转移概率。关于这一概率的确定，可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。 例1：

某计算机机房的一台计算机经常出故障，研究者每隔 15 分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1 表示正常状态，用0 表示不正常状态，所得的数据序列如下：

11100100111111 10011110111111001111111110001101101 11101101101011110111011110 1111110011011111 100111

解 设Xn(n=1,…,97)为第n 个时段的计算机状态，可以认为它是一个时齐马氏链，状态空间E={0,1}，编写如下Matlab 程序：

a1= '1110010011111110011110111111001111111110001101101'; a2= '111011011010111101110111101111110011011111100111' ; a=[ a1 a2];

f00=length(findstr('00',a))