马尔可夫链模型简介

马尔可夫链模型简介

设考察对象为一系统,若该系统在某一时刻可能出现的事件集合为,}{N N E E E E E E ⋅⋅⋅⋅⋅⋅,2,1,2,1,两两互斥,则陈i E 为状态。N i ⋅⋅⋅=,2,1。称该系统从一种状态i E 变化到另一状态j E 的过程称为状态转移，并把整个系统不断实现状态转移的过程称为马尔可夫过程。 定义1 具有下列两个性质的马尔可夫过程称为马尔可夫链： （1）无后效性，即系统的第n 次实验结果出现的状态，只与第1-n 次有关，而与它以前所处的状态无关；

（2）具有稳定性，该过程逐渐趋于稳定状态，而与初始状态无关。 定义2 向量),,,(21n u u u u ⋅⋅⋅= 成为概率向量，如果u 满足：

⎪⎩

⎪⎨⎧=⋅⋅⋅=≥∑=n

j j

j u n

j u 11,,2,10 定义3 如果方阵P 的每行都为概率向量，则称此方阵为概率矩阵。 如果矩阵A 和B 皆为概率矩阵，则AB ，k A ，k B 也都是概率矩阵（k 为正整数）。

定义4 系统由状态i E 经过一次转移到状态j E 的概率记为ij P ，称矩阵

⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=32

12222111211N N N N N P P P P P P P P P P 为一次（或一步）转移矩阵。

转移矩阵必为概率矩阵，且具有以下两个性质： 1、P P P k k )1()(-=； 2、k k P P =)(

其中)(k P 为k 次转移矩阵。

定义5 对概率矩阵P ，若幂次方)(m P 的所有元素皆为正数，则矩阵P 称为正规概率矩阵。（此处2≥m ）

定理1 正规概率矩阵P 的幂次方序列P ，2P ，3P ，…趋近于某一方阵T ，T 的每一行均为同一概率向量t ，且满足t tP = 。 马尔可夫链模型如下：

设系统在0=k 时所处的初始状态 ),,()

0()0(2)0(1)0(N S S S S ⋅⋅⋅=为已知，经过k 次转移后的状态向量 ),,()()(2)(1)(k N k k k S S S S ⋅⋅⋅=),2,1(⋅⋅⋅=k ，则

⎥⎥⎥⎥⎥⎦⎤

⎢⎢⎢⎢⎢⎣

⎡⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=NN N N N N k P P P P P P P P P S S 212222111211)0()

( 此式即为马尔可夫链预测模型。

由上式可以看出，系统在经过k 次转后所处的状态)(k S 取决与它的初始状态)0(S 和转移矩阵P 。

马尔可夫引例

例1：市场占有率预测

设有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户，各用户在各企业间自由选购，但不超出这三家企业，也无新的用户，假定在10月末经过市场调查得知，甲，乙，丙三家企业拥有的客户分别是：250户，300户，450户，而11月份用户可能的流动情况如下表所示：

)

45.03.0,25.0()1000/450,1000/300,1000/250()

,,()

0(3)0(2)0(1)0(===S S S S

第二步：确定一次转移概率矩阵，此例有用户可能流动情况调查表可 知，其一次转移概率矩阵为：

甲 乙 丙

⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=911.0022.0067.01.0833.0067.004.004.092.0450/410450/10450/30300/30300/250300/20250/10250/10250/230丙乙甲P

矩阵中每一行的元素，代表着各企业保持和失去用户的概率，如第一 行甲企业保持用户的概率是0.92,转移到乙,丙两次企业的概率都是0.04,甲企业失去用户的概率是

08.004.004.0=+

第三步：利用马尔可夫链进行预测.显然,12月份三家企业市场占有率为

)

448.0,246.0,306.0(911.0022.0067.01.0833.0067.004.004.092.0)45.03.0,25.0()

,,(2

2

)0()

2(322)2(1)2(=⎥⎥

⎥⎦

⎤⎢⎢⎢⎣⎡===P S S S S S ）（

12月份三个企业用户拥有量分别为:

甲：306306.01000=⨯户 乙：246246.01000=⨯户 丙：448448.01000=⨯户

现在,假定该产品用户的流动情况按上述方向继续变化下去,我们来求三个企业的该种产品市场占有的稳定状态概率. 易验证P 为正规矩阵. 设)1,,(y x y x t --= 令t tP =

)1,,(911.0022.0067.01.0833.0067.004.004.092.0)1,,(y x y x y x y x --=⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡-- 将上式展开，得

x y x y x =--++)1(067.0067.092.0 y y x y x =--++)1(022.0833.004.0 y x y x y x --=--++1)1(911.01.004.0

解上述联立方程式，得

4558.0=x ，1598.0=y

故)3844.0,1598.0,4558.0()1,,(=--y x y x

⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=6.02.02.08.002.002.08.0P 所以

⎥⎥

⎥⎦

⎤

⎢⎢⎢⎣⎡=52.016.032.048.02.032.016.016.068.02P 因为2P 都大于0，所以P 为正规矩阵,当甲、乙、丙三处租车还车业务开展一定时期后,就会达到平衡条件,这样就可以得到一固定概率向量t ,使t tP =,即