第6章+马尔可夫预测方法

为概率矩阵。对于一个概率矩阵P,若存在正整数m,使
得Pm的所有元素均为正数,则称矩阵P为正规概率矩阵。
例如,
A

0.7 0.5
0.3 0.5
中每个元素均非负,每行元素之和皆为1,行数和列
数相同,为2×2方阵,故矩阵A为概率矩阵。
第6章
概率矩阵有如下性质： 如果A、B皆是概率矩阵,则 AB也是概率矩阵；如果A是概率矩阵,则A的任意次幂 Am(m≥0)也是概率矩阵。对k≥1,
分布,
第6章
6.2 马尔可夫预测的应用
6.2.1
我们结合例题来说明如何预测市场占有率。
例6.3 伍迪公司、布卢杰.里维公司、雷恩公司(分别
用符号 A、B、C
)是美国中西部地区生产灭虫剂
的三家主要厂商。根据历史资料得知,公司A、B、C产品
销售额的市场占有率分别为50%、30%、20% 。由于C
公司实行了改善销售与服务方针的经营管理决策,使其产
对于我们所讨论的状态有限（即N个状态）的马尔可夫 链,平稳分布必定存在。特别地,当状态转移矩阵为正规概率矩 阵时,平稳分布惟一。此时,求解方程(6.8),即可得到系统的平 稳分布。
第6章
2． 对概率向量π=(π1, π2, …, πN),如对任意的i, j∈S, 均有
N
N
或lim m
第6章
例6.2
0.50 0.25 0.25 P 0.50 0.00 0.50
0.25 0.25 0.50
求其平稳分布及稳态分布。
解 （1） P不可约。
0.4375 0.1875 0.375
P(2)

P2


0.375
0.25
0.375

0.375 0.1875 0.4375 pij>0,仅当i≠2且j≠2时。又p (2) 22>0,由定义可知,P是
第6章
如果对任一n>1,任意的i1, i2, …, in-1 , j∈S, P{Xn=j|X1=i1, X2=i2, …, Xn-1=in-1}=P{Xn=j|Xn-1=in-1}
(6.1)
则称离散型随机过程{Xt, t∈T}为马尔可夫链。
例如,在荷花池中有N张荷叶,编号为1, 2, …, N。假设有一
第6章
现以1个月为时间单位。经观察统计,知从某月份到 下月份机床出现故障的概率为0.2,即p12=0.2。其对立事 件,保持正常状态的概率为p11=0.8。在这一时间,故障机 床经维修返回到正常状态的概率为0.9,即p21=0.9；不能 修好的概率为p22=0.1。机床的状态转移情形见图6.1。
第6章
不可约的。
第6章
（2） P非周期。
由p (1) 11>0, p (2) 11>0, 而1、2的公约数为1,故状态1 为非周期状态。同理可得状态2、3均为非周期状态。 故P
（3）由于P不可约且是非周期的,求解如下方程组:
XP X


3
i1
xi
1
得X=［0.4 0.2 0.4］, 这就是该马尔可夫链的稳态
第6章
例6.1 考察一台机床的运行状态。机床的运行存在 正常和故障两种状态。由于出现故障带有随机性,故可将 机床的运行看作一个状态随时间变化的随机系统。可以 认为,机床以后的状态只与其以前的状态有关,而与过去 的状态无关,即具有无后效性。因此,机床的运行可看作 马尔可夫链。
设正常状态为1,故障状态为2,即机床的状态空间由 两个元素组成。机床在运行过程中出现故障,这时从状态 1转移到状态2；处于故障状态的机床经维修,恢复到正常 状态,即从状态2转移到状态1。
pij P{X n1 j X n i} i, j 1,2,...N
N
pij 1 i 1,2,...N
j 1
第6章
转移矩阵设系统的状态转移过程是一齐次马尔可夫
链,状态空间S={1, 2, …, N}为有限,状态转移概率为pij,则 称矩阵
p11 p12 p1N
0.18 0.19
矩阵的第一行表明,本月处于正常状态的机床,两个月后
仍处于正常状态的概率为0.82，转移到故障状态的概率为
0.18。第二行说明,本月处于故障状态的机床,两个月后转移
到正常状态的概率为0.81,仍处于故障状态的概率为0.19。
第6章
于是,两个月后机床的状态向量
P(2) P(0)P(2) [0.85
P


p21
p22

p2
N



(6.2)

pN
1
pN 2
pNN

为该系统的状态转移概率矩阵,简称转移矩阵。
为了论述和计算的需要,引入下述有关概念。
第6章
概率向量 对于任意的行向量（或列向量）,如果其 每个元素均非负且总和等于1,则称该向量为概率向量。
概率矩阵 由概率向量作为行向量所构成的方阵称
表示,即为
p (k) =P (k-1) P, p (k) =Pk k≥1
(6.4)
记t0为过程的开始时刻,pi(0)=P{X0=X(t0)=i},
P(0)=(p1(0), p2(0), …, pN(0))
第6章
为初始状态概率向量。
如已知齐次马尔可夫链的转移矩阵P=(pij)以及初始状态 概率向量P(0),则任一时刻的状态概率分布也就确定了：
第6章
将表6.1中的数据化为转移概率将对研究分析未来 若干周期的顾客流向更为有利。表6.2列出了各公司顾 客流动的转移概率。表6.2中的数据是每家厂商在一个 周期中的顾客数与前一周期的顾客数相除所得。表中 每一行表示某公司从一个周期到下一个周期将能保住 的顾客数的百分比,以及将要丧失给竞争对手的顾客数 的百分比。表中每一列表示各公司在下一周期将能保 住的顾客数的百分比,以及该公司将要从竞争对手那里 获得顾客数的百分比。
第6章
表6.2
第6章
如用矩阵来表示表6.2中的数据,就得到了如下的状 态转移矩阵:
只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动
可看作一随机过程。在时刻tn,青蛙所在的那张荷叶,称为青蛙 所处的状态。那么,青蛙在未来处于什么状态,只与它现在所
处的状态i(i=1, 2, …, N)
,与它以前在哪张荷叶上无关。
此过程就是一个马尔可夫链。
由于系统状态的变化是随机的,因此,必须用概率描述状 态转移的各种可能性的大小。
第6章
由全概率公式可知, 对k≥1,有（其中P (0) 表示单位矩阵）
p (k) ij=P{Xn+k=j|Xn=i}
N
=

l 1
P{Xn+k-1=l| Xn =i}·P{Xn+k=j|Xn+k-1=l}
N
= p (k-1) ilplj l 1
i, j=1, 2, …, N
其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵
0.15]00..8821
0.18 0.19
0.8185 0.1815
6.1.3 稳态概率矩阵
1．
若存在非零概率向量X=(x1, x2, …, xN),使得XP=X,其 中P为一概率矩阵,则称X为P的固定概率向量。
特别地,设X=(x1, x2, …, xN)为一状态概率向量,P为状 态转移概率矩阵。若
0.8
0.2
1
0.9
0.1 2
图6.1 机床的状态转移
第6章
P


p11 p21
p12 p22


0.82

0.9
0.2 0.1
若已知本月机床的状态向量P(0)=(0.85, 0.15),现要预测
机床两个月后的状态。
P(2)

P2

0.8 0.9
0.22 0.82 0.1 0.81
XP=X
第6章
N
xi pij x j
i 1
j=1, 2, …, N
则称X为马尔可夫链的一个平稳分布。若随机过程某时 刻的状态概率向量P(k)为平稳分布,则称过程处于平衡状态。 一旦过程处于平衡状态,则过程经过一步或多步状态转移之后, 其状态概率分布保持不变,也就是说,过程一旦处于平衡状态后 将永远处于平衡状态。
p (k) ij=P{Xn+k=j|Xn=i}
P(k) =(p (k) ij) N×N
(6.3)
称p (k) ij为k步状态转移概率, P(k)为k步状态转移概率 矩阵,它们均与n无关（从式(6.4)也可看出）。
特别地,当k=1时,p (1) ij=pij为1步状态转移概率。马 尔可夫链中任何k步状态转移概率都可由1步状态转移 概率求出。
对k≥1,记pi(k)=P{Xk=i},
N
pi(k)= pj(0)·p (k) ji i=1, 2, …, N; k≥1
j 1
若记向量P(k)=(p1(k), p2(k), …, pN(k)),
P(k)=P(0)P (k) =P(0)Pk
(6.5) (6.6)
P(k)=P(k-1)P
(6.7)
p j (m)

lim
m
i 1
pi
(0)
p(m) ij

i 1
pi (0)
j

j
这mlim也是P称(mπ)为稳mli态m分(布p1的(m理),由p。2(m),...,pN (m))
设存在稳态分布π=(π1, π 2, …, πN),则由于下式恒成 立:
百度文库P(k)=P(k-1)P
0.3,则可用向量P=(0.3, 0.4, 0.3)来描述该月市场洗衣粉
销售的状况。
第6章
当系统由一种状态变为另一种状态时,我们称之为状态 转移。例如,洗衣粉销售市场状态的转移就是各种牌号洗衣 粉市场占有率的变化。显然,这类系统由一种状态转移到另 一种状态完全是随机的,因此必须用概率描述状态转移的各 种可能性的大小。如果在时刻tn系统的状态为Xn=i的条件下, 在下一个时刻tn+1系统状态为Xn+1=j的概率pij (n)与n无关,则 称 此 马 尔 可 夫 链 是 齐 次 马 尔 可 夫 链 , 并 pij=P{Xn+1=j|Xn=i}i, j=1, 2, …, N称pij为状态转移概率。显然,
第6章
6.1.2
马尔可夫链是一种描述动态随机现象的数学模型, 它建立在系统“状态”和“状态转移”的概念之上。
所谓系统,就是我们所研究的事物对象；所谓状态,是表
示系统的一组记号。当确定了这组记号的值时,也就确
定了系统的行为,并说系统处于某一状态。系统状态常
表示为向量,故称之为状态向量。例如,
A、
B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、
设有参数集T (-∞, +∞),如果对任意的t∈T,总有一随机
变量Xt与之对应,则称{Xt, t∈T}为一随机过程。
T
为离散集（不妨设T={t0, t1, t2, …, tn, …}）,同时Xt的取值也
是离散的,则称{Xt, t∈T}为离散型随机过程。
第6章
设有一离散型随机过程,它所有可能处于的状态的集合 为S={1, 2,…, N},称其为状态空间。系统只能在时刻t0, t1, t2, … 改变它的状态。为简便计,以下将Xtn等简记为Xn。
第6章
第6章 马尔可夫预测方法
6.1 马尔可夫预测的基本原理 6.2 马尔可夫预测的应用 思考与练习
第6章
6.1 马尔可夫预测的基本原理
6.1.1
为了表征一个系统在变化过程中的特性（状态）,可 以用一组随时间进程而变化的变量来描述。如果系统在 任何时刻上的状态是随机的,则变化过程就是一个随机过 程。
品销售额逐期稳定上升,而A公司的产品销售额却在下降。
通过市场调查发现三个公司间的顾客流动情况如表6.1所
示。
第6章
其中产品销售周期是季度。现在的问题是,按照目 前的趋势发展下去, A公司的产品销售额或客户转移的 影响将严重到何种程度？ 更全面地,三个公司的产品销 售额的占有率将如何变化？
第6章 表6.1 A、B、C三公司的顾客流动情况
一般地说,描述系统状态的随机变量序列不一定满足相 互独立的条件,也就是说,系统将来的状态与过去时刻以及现 在时刻的状态是有关系的。在实际情况中,也有具有这样性 质的随机系统： 系统在每一时刻（或每一步）上的状态,仅 仅取决于前一时刻（或前一步）的状态。这个性质称为无 后效性,即所谓马尔可夫假设。具备这个性质的离散型随机 过程,称为马尔可夫链。用数学语言来描述就是：
第6章
令k→+∞,
π=πP
(6.10)
即有限状态马尔可夫链的稳态分布如存在,那么它
也是平稳分布。
对任一状态i,如果{k|p (k) ii>0}的公约数为1,则称状 态i为非周期状态。
如果一个马尔可夫链的所有状态均是非周期的,则 称此马尔可夫链是非周期的。
对非周期的马尔可夫链,稳态分布必存在,对不可约 非周期的马尔可夫链,稳态分布和平稳分布相同且均惟 一。