马尔科夫预测

第 6 章马尔可夫预测马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。

它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。

6.1 马尔可夫预测的基本原理马尔可夫（A.A.Markov ）是俄国数学家。

二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。

具有这种特性的随机过程称为马尔可夫过程。

设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。

6.1.1 马尔可夫链为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。

如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。

设有参数集T （ , ），如果对任意的t T ，总有一随机变量X t 与之对应，则称{X t ,t T} 为一随机过程。

如若T 为离散集（不妨设T {t0,t1,t2,...,t n,...} ），同时X t的取值也是离散的，则称{X t ,t T} 为离散型随机过程。

设有一离散型随机过程，它所有可能处于的状态的集合为S {1,2,L ,N} ，称其为状态空间。

系统只能在时刻t0,t1,t2,...改变它的状态。

为简便计，以下将X t n等简记为X n。

一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。

在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。

这个性质称为无后效性，即所谓马尔可夫假设。

具备这个性质的离散型随机过程，称为马尔可夫链。

用数学语言来描述就是：马尔可夫链如果对任一n 1，任意的i1,i2, ,i n 1, j S恒有P X n j X1 i1,X2 i2,L ,X n 1 i n 1 P X n j X n 1 i n 1 （6.1.1）则称离散型随机过程{X t ,t T} 为马尔可夫链。

例如，在荷花池中有N 张荷叶，编号为1,2,..., N 。

假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。

青蛙的运动可看作一随机过程。

在时刻t n ，青蛙所在的那张荷叶，称为青蛙所处的状态。

那么，青蛙在未来处于什么状态，只与它现在所处的状态i i 1,2, ,N 有关，与它以前在哪张荷叶上无关。

此过程就是一个马尔可夫链。

由于系统状态的变化是随机的，因此，必须用概率描述状态转移的各种可能性的大小。

6.1.2 状态转移矩阵马尔可夫链是一种描述动态随机现象的数学模型，它建立在系统“状态”和“状态转移”的概念之上。

所谓系统，就是我们所研究的事物对象；所谓状态，是表示系统的一组记号。

当确定了这组记号的值时，也就确定了系统的行为，并说系统处于某一状态。

系统状态常表示为向量，故称之为状态向量。

例如，已知某月 A 、B 、C 三种牌号洗衣粉的市场占有率分别是0.3、0.4、0.3，则可用向量P 0.3,0.4,0.3 来描述该月市场洗衣粉销售的状况。

当系统由一种状态变为另一种状态时，我们称之为 状态转移 。

例如，洗衣粉销售市场状态的 转移就是各种牌号洗衣粉市场占有率的变化。

显然，这类系统由一种状态转移到另一种状态完全 是随机的，因此必须用概率描述状态转移的各种可能性的大小。

如果在时刻 t n 系统的状态为 X n i 的条件下，在下一个时刻 t n 1系统状态为 X n 1 j 的概率pijn 与 n 无关，则称此马尔可夫链是齐次马尔可 夫链，并记p ij P X n 1 j X n i, i, j 1,2,L ,N称p ij 为状态转移概率。

显然，我们有p ij 0, i, j 1,2,L ,N,Np ij 1, i 1,2,L ,N.j1转移矩阵 设系统的状态转移过程是一齐次马尔可夫链，状态空间 S 1,2, ,N 有限，状 态转移概率为 p ij ，则称矩阵Pp 11 p 21p 12 p 22p 1Np 2N(6.1.2)p N1p N2p NN为该系统的 状态转移概率矩阵， 简称 转移矩阵。

为了论述和计算的需要，引入下述有关概念。

概率向量 对于任意的行向量（或列向量）， 如果其每个元素均非负且总和等于1，则称该向量为 概率向量。

概率矩阵 由概率向量作为行向量所构成的方阵称为 概率矩阵。

对于一个概率矩阵 P ，若存在正整数 m ，使得 P m 的所有元素均为正数，则称矩阵 P 为正规 概率矩阵 。

例如，矩阵0.7 0.3 A0.5 0.51，行数和列数相同，为 2 2 方阵，故矩阵 A 为概率矩概率矩阵有如下性质：如果 A 、B 皆是概率矩阵，则 AB 也是概率矩阵；如果 A 是概率矩阵，则 A 的任意次幂 A m （m 0） 也是概率矩阵。

对 k 1 ，记p ij k P X n k j X n i中每个元素均非负，每行元素之和皆为 阵。

P kk p ijk(6.1.3)NNk称 p ij k 为 k 步状态转移概率， 也可看出）。

特别，当 k 1时， p ij 1 可由1 步状态转移概率求出。

由全概率公式可知对 kkp ij kPP k 为 k 步状态转移概率矩阵，它们均与n 无关（从下面的式 （6.1.4）p ij 为 1 步状态转移概率。

马尔可夫链中任何k 步状态转移概率都1有（其中 P 0 表示单位矩阵）： X nkj Xni其中用到马尔可夫链的“无记忆性”和齐次性。

用矩阵表示，即为P (k)P (k 1) P ，从而可得P k P k , k 1 (6.1.4)P 0p 1 0 , p 2 0 ,..., p N 0为初始状态概率向量P p ij 以及初始状态概率向量 P 0 ，则任一时刻的状态 概率分布也就确定了：对 k 1，记 p i k P X k i ，则由全概率公式有 Nkp i k p j 0 p ji k , i 1,2,L ,N, k 1 (6.1.5)j1若记向量P k p 1 k ,p 2 k ,L ,p N k ，则上式可写为P k P 0 P (k ) P 0 P k(6.1.6)由此可得，P k P k 1 P (6.1.7)例 6.1 考察一台机床的运行状态。

机床的运行存在正常和故障两种状态。

由于出现故障带有 随机性，故可将机床的运行看作一个状态随时间变化的随机系统。

可以认为，机床以后的状态只 与以前的状态有关，而与过去的状态无关，即具有无后效性。

因此，机床的运行可看作马尔可夫 链。

设正常状态为 1，故障状态为 2，即机床的状态空间由两个元素组成。

机床在运行过程中出现故障，这时从状态 1 转移到状态 2；处于故障状态的机床经维修，恢复到正常状态，即从状态 2 转移到状态 1。

现以一个月为时间单位。

经观察统计，知从某月份到下月份机床出现故障的概率为 0.2，即 p 12 0.2 。

其对立事件，保持正常状态的概率为p 11 0.8 。

在这一时间，故障机床经维修返回到正常状态的概率为 0.9，即 p 21 0.9 ；不能修好的概率为 p 22 0.1 。

机床的状态转移情形见图6.1。

图 6.1 机床的状态转移由机床的一步转移概率得状态转移概率矩阵P p 11 p 120.8 0.2p 21 p 220.9 0.1P(0) (0.85 0.15) ，现要预测机床两个月后的状态。

先求出两步P X n k 1 l X n l1i P x n kj X n k 1 lN l1pi (lk 1)p lj, i,j1,2,..., N记 t 0 为过程的开始时刻，p i 0 P X 0 X t 0 i ，则称如已知齐次马尔可夫链的转移矩阵若已知本月机床的状态向量 转移概率矩阵2(2) 20.8 0.2 P (2) P 20.9 0.1矩阵的第一行表明，本月处于正常状态的机床，两个月后仍处于正常状态的有0.82，转移到故障状态的有 0.18 。

第二行说明，本月处于故障状态的机床，两个月后转移到正常状态的有 0.81，仍处于故障状态的有 0.19。

于是，两个月后机床的状态向量P(2) P(0)P(2)(0.85 0.15) 0.82 0.180.81 0.19(0.8185 0.1815)6.1.3 稳态概率矩阵在马尔可夫链中，已知系统的初始状态和状态转移概率矩阵，就可推断出系统在任意时刻可 能所处的状态。

现在需要研究当 k 不断增大时， P (k) 的变化趋势。

1． 平稳分布若存在非零概率向量 X x 1, x 2 ,L ,x N ，使得 XP X ，其中 P 为一概率矩阵，则称 X 为 P 的 固定概率向量 。

特别，设 X x 1,x 2,L ,x N 为一状态概率向量， P 为状态转移概率矩阵。

若 XP X (6.1.8) 即i x i p ij x j, j 1,2, ,N则称 X 为马尔可夫链的一个 平稳分布 。

若随机过程某时刻的状态概率向量 P k 为平稳分布，则称 过程处于平衡状态。

一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率 分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。

对于我们所讨论的状态有限(即 N 个状态)的马尔可夫链，平稳分布必定存在 [1] 。

特别地， 当状态转移矩阵为正规概率矩阵时，平稳分布唯一。

此时，求解方程 (6.1.8) ，即可得到系统的平 稳分布。

2． 稳态分布对概率向量1, 2,..., N ，如对任意的 i, j S 均有lim p ij m j (6.1.9) m则称 为 稳态分布 。

此时，不管初始状态概率向量如何，均有NNlim p j m lim p i 0 p ij (m)p i 0 j jm mi1 i 1 或m lim P(m) m lim (p 1(m)，p 2(m)，..., p N (m)) 这也是称 为稳态分布的理由。

设存在稳态分布1, 2,..., N ，则由于下式恒成立P k P k 1Pk ，就得P (6.1.10) 即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。

对任一状态 i ，如果｛ k : p ii k 0｝的公约数为 1，则称 i 是非周期状态。

如果一个马尔可夫链0.82 0.18 0.81 0.19的所有状态均是非周期的，则称此马尔可夫链是非周期的。

对非周期的马尔可夫链，稳态分布必存在，对不可约非周期的马尔可夫链，稳态分布和平稳 分布相同且均唯一 [1] 。

例 6.2 设一马尔可夫链的转移矩阵为求其平稳分布及稳态分布。

解：（ 1）P 不可约i x i 1得 X 0.4,0.2,0.4 , 这就是该马尔可夫链的稳态分布，而且也是平稳分布。