第八讲 马尔可夫预测
第8章 马尔可夫预测方法(1)PPT课件
马尔可夫预测方法
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n )n , 0 ,1 ,2 , },
状态 I 空 (a 1 ,a 2 , 间 }a ,i R 为 .
1. 用分布律描述马尔可夫性
对任意 n ,r和 的 0t1 正 t2 整 trm 数 ; ti,m ,n m T i, 有
马尔可夫预测方法
•
箭头表示跳跃的方向，数
字表示跳跃的概率，白环表示
青蛙保持不动。
此图表明：在一定时间内， 当青蛙开始时刻在第1片荷叶上时，它保持不动的概率为
0.3，它跳跃到第2片荷叶上的概率为0.6，跳跃到第3片荷叶 上的概率为0.1；
当青蛙开始时刻在第2片荷叶上时，它保持不动的概率为 0.4，它跳跃到第1片荷叶上的概率为0.2，跳跃到第3片荷叶 上的概率为0.4；
P {x(t1)jx(0)i0,x(1)i1,...,x(t)i}
P {x(t1)jx(t)i}
我们称满足上式的随机过程{x(t)}(t>0)为马尔可夫过程或马尔可 夫链，而把上式的随机过程{x(t)}称为马尔可夫性，它反映了前 一状态x(t-1) 、现状态x(t)和后一状态x(t+1)之间的链接. 因此，用马尔可夫链描述随机性状态变量的变化时，只需求在 某一点上两个相邻随机变量的条件分布就可以了.
马尔可夫预测方法
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例
马尔可夫预测方法
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
马尔可夫资料
过程 (系 或统 )在时 t0所 刻处的状态为 条件 ,过 下程在 t时 t0所刻 处状态的条件 与过程t0在 之时 前刻 所处的特 状性 态称 无 马尔可夫性或无后效性.
决策与预测第八章 马尔可夫预测
( pilk 1) plj , i , j 1, 2,..., N l 1
N
（全概率公式 ）
22
一般地，
pij P X n k j X n i
k
P X n k 1 l X n i P xn k j X n k 1 l
24
初始状态概率向量 记 t 0 为过程的开始时刻，
pi 0 PX 0 X t0 i
则称
P 0 p1 0 , p2 0 ,..., pN 0
为初始状态概率向量。
25
初始状态概率向量 记 t 0 为过程的开始时刻，
pi 0 PX 0 X t0 i
p1 (1) ?
p12
p1 (0) p2 (0)
p22
p21
p2 (1) ?
33
p11
p1 (1) ?
p12
p1 (0) p2 (0)
p22
p21
p2 (1) ?
p1 (1) p1 (0) p11 p2 (0) p21
34
p11
p1 (1) ?
p12
p1 (0) p2 (0)
S {1,2,, N }
（与时刻无关）
称其为状态空间。
X tn
Xn
5
设有一离散型随机过程，它在时刻 t n 所有可 能处于的状态的集合为
S {1,2,, N }
（与时刻无关）
称其为状态空间。
X tn
Xn
定义3 若 X n 只与 X n1 有关，而与 X n 2 ,..., X 1 等无关，称 {X t , t T } 为马尔可夫链，即
定义6 k步状态转移概率，k步状态转移概率矩阵
马尔科夫预测法的原理
马尔科夫预测法的原理
马尔科夫预测法是一种基于马尔科夫链的预测方法。
其原理是利用过去的一系列观测值，通过构建一个马尔科夫链模型来预测未来的观测值。
马尔科夫链是一种具有状态转移概率的数学模型，其特点是当前状态的转移只依赖于前一个状态，与其他历史状态无关。
马尔科夫预测法假设未来的观测值只与过去的观测值有关，而与其他因素无关。
具体实施马尔科夫预测法的步骤如下：
1. 收集并整理历史数据，将其分为一系列观测值的序列。
2. 根据历史数据计算每个状态之间的转移概率。
即计算每个观测值之间的转移概率，这可以通过统计历史数据中观测值之间的频率来进行估计。
3. 根据已知的初始状态分布，选择一个初始状态作为预测的起点。
4. 根据转移概率和初始状态，依次生成未来的观测值，直到达到所需的预测长度。
马尔科夫预测法的关键在于确定状态和计算状态之间的转移概率。
这可以通过统计方法、最大似然估计或其他相应的方法来实现。
然后，使用马尔科夫链的转移概率来模拟未来的状态转移，从而得到未来观测值的预测。
第八讲 马尔可夫预测
P 11 P ( L xnt) ) 21 L Pn1
P L Pn 12 1 P22 L P2n L L L Pn2 L Pnn
例2:已知市场上有A、B、C三种品牌的洗
衣粉，上月的市场占有率分布为（0.3 0.4 0.3），并且转移概率矩阵为：
0.6 0.2 P = 0.1 0.7 0.1 0.1 0.2 0.2 0.8
用 Ri (k) 表示从状态Si开始,经K步转移后的期望利润。那么,当k=1 时,期望利润为
Ri = Pi1ri1 + Pi2ri2 +L+ Pinrin = ∑Pij rij , i =1,2L, n
(1)
n
于是K步转移后的期望利润为两次转移(一步转移和K-1步转移) 期望利润之和,即
j=1
Ri
记
(k )
= ∑ Pij rij + ∑ Pij R j
j =1 j =1
n
n
( k −1)
R(k) = (R1 , R2 ,LRn )T
(k ) (k ) (k )
则可表为矩阵形式:
R(k ) = R(1) + PR(k−1)
例4:设某商品连续两个月畅销时,可获利8万元;连续滞销时,亏
损2万元;由畅销转滞销时可获利3万元;滞销转畅销时可获利4万 元,试预测4个月后总期望利润。
预测第21月的销售额
• 因为第20月的销售属状态3，而状态3经 过一步转移达到状态1、2、3的概率分别 为2/7、0、5/7，P33>P31>P32，所以第21月 仍处于状态3的概率最大，即销售额超过 100万元的可能性最大。
§2 马尔可夫预测应用
• 一、市场占有率预测
马尔可夫预测算法
马尔可夫预测算法马尔可夫预测算法是一种基于马尔可夫链的概率模型，用于进行状态转移预测。
它被广泛应用于自然语言处理、机器翻译、语音识别等领域。
马尔可夫预测算法通过分析过去的状态序列来预测未来的状态。
本文将介绍马尔可夫预测算法的原理、应用以及优缺点。
一、原理1.马尔可夫链马尔可夫链是指一个随机过程，在给定当前状态的情况下，未来的状态只与当前状态有关，与其他历史状态无关。
每个状态的转移概率是固定的，可以表示为一个概率矩阵。
马尔可夫链可以用有向图表示，其中每个节点代表一个状态，每个边表示状态的转移概率。
（1）收集训练数据：根据需要预测的状态序列，收集过去的状态序列作为训练数据。
（2）计算转移概率矩阵：根据训练数据，统计相邻状态之间的转移次数，然后归一化得到转移概率矩阵。
（3）预测未来状态：根据转移概率矩阵，可以计算出目标状态的概率分布。
利用这个概率分布，可以进行下一步的状态预测。
二、应用1.自然语言处理在自然语言处理中，马尔可夫预测算法被用于语言模型的建立。
通过分析文本中的单词序列，可以计算出单词之间的转移概率。
然后利用这个概率模型，可以生成新的文本，实现文本自动生成的功能。
2.机器翻译在机器翻译中，马尔可夫预测算法被用于建立语言模型，用于计算源语言和目标语言之间的转移概率。
通过分析双语平行语料库中的句子对，可以得到句子中单词之间的转移概率。
然后利用这个转移概率模型，可以进行句子的翻译。
3.语音识别在语音识别中，马尔可夫预测算法被用于建立音频信号的模型。
通过分析音频数据中的频谱特征，可以计算出特征之间的转移概率。
然后利用这个转移概率模型，可以进行音频信号的识别。
三、优缺点1.优点（1）简单易懂：马尔可夫预测算法的原理相对简单，易于理解和实现。
（2）适用范围广：马尔可夫预测算法可以应用于多个领域，例如自然语言处理、机器翻译和语音识别等。
2.缺点（1）数据需求大：马尔可夫预测算法需要大量的训练数据，才能准确计算状态之间的转移概率。
决策与预测第八章马尔可夫预测
决策与预测第八章马尔可夫预测马尔可夫预测（Markov Prediction）是一种基于马尔可夫模型的预测方法。
马尔可夫模型是一种具有状态转移特性的随机过程，即当前状态的发生只与前一个状态有关，与之前的状态无关。
马尔可夫预测依据这一性质，通过对已有的状态序列进行分析，来预测未来可能的状态。
马尔可夫预测在许多领域都有应用，比如天气预测、股市预测、自然语言处理等。
在天气预测中，我们可以将天气分为晴天、阴天、雨天等若干个状态，通过观察历史天气数据，建立马尔可夫模型，从而预测未来几天的天气情况。
在股市预测中，我们可以将股票价格分为涨、跌、平稳等若干个状态，通过分析历史股价数据，建立马尔可夫模型，从而预测未来股票价格的走势。
马尔可夫预测的关键是确定马尔可夫链的阶数。
马尔可夫链的阶数决定了当前状态只与前几个状态有关。
一般情况下，阶数越高，预测的准确性越高，但计算复杂度也越高。
选择合适的阶数需要根据具体问题进行权衡。
马尔可夫预测的关键步骤包括状态定义、状态转移矩阵的估计和预测结果生成。
首先，需要将观测序列转化为状态序列。
状态定义需要根据具体问题确定，通常是将连续的观测值离散化为若干个状态。
然后，需要估计马尔可夫链的状态转移矩阵。
状态转移矩阵描述了从一个状态转移到另一个状态的概率。
可以通过历史数据来估计状态转移矩阵，常用的方法有最大似然估计和贝叶斯估计。
最后，通过状态转移矩阵和当前的状态，可以通过马尔可夫链进行状态的预测。
马尔可夫预测有一些优点和限制。
优点是简单易用，不需要太多的领域知识，只需要一些历史数据。
同时，马尔可夫预测可以处理非线性和非平稳的数据，具有一定的适应性。
然而，马尔可夫预测也有一些限制。
首先，马尔可夫模型假设当前状态只与前一个状态相关，而与之前的状态无关，这个假设在一些情况下可能不成立。
其次，马尔可夫模型对于状态转移矩阵的估计需要大量的历史数据，否则预测的准确性可能较低。
在实际应用中，马尔可夫预测通常与其他方法结合使用，以提高预测的准确性。
08马尔柯夫预测法
0 7 3
5 5 7
所以
3 7 1 P 5 2 7
4 4 1 5 0
3 5 5 7 0
18
第四步，预测第21个月的销售情况。由于第20个月销售量处 于畅销状态，而经由一次转移到达三种状态的概率分别为
p 31 2 7 p 32 0 7
p 33 5 7
15
fi M i M
就是Ei出现的
频率，这里用它近似地表示Ei出现的概率。即
– 第三步，计算状态转移概率。仍然以频率近似地表示概率进行计算。 首先计算状态
Ei E j
(由Ei转移到Ej)的频率
f ij f ( E j E i )
从第二步知道Ei出现了Mi次，接着从Mi个Ei出发，计算下一步转 移到Ej的个数Mij，于是得到
P
j 1
ij
( m , m k ) 1, i 1, 2 ,
6
当转移概率
Pij ( m , m k )
只与i，j及时间间距k有关时，即
Pij ( m , m k ) Pij ( k )
时，称转移概率具有平稳性，同时也称
此链是齐次的或时齐的，本章只限于讨论齐次马氏链。
f ij M
ij
并令 f p ij ij
M
i
– 第四步，根据转移概率进行预测。由第三步可得状态转移概率矩阵 P。如果目前预测对象处于状态Ei。这时 p ij 就描述了目前状态Ei在 未来将转向状态 Ej(j=1，2，…，N)的可能性。按最大概率原则， 这里选择 ( p i 1 , p i 2 , , p iN ) 中最大者对应的状态为预测结果。即当
为一步转移概率矩阵。 一步转移概率矩阵具有如下性质：
预测方法——马尔可夫预测
预测⽅法——马尔可夫预测马尔可夫预测若某⼀系统在已知现在情况的条件下，系统未来情况只与现在有关，与历史⽆直接关系，则称描述这类随机现象的数学模型为马尔可夫模型（马⽒模型）。
时齐马尔可夫链：系统由状态i转移到状态j的转移概率只与时间间隔长短有关，与初始时刻⽆关。
状态转移概率矩阵及柯尔莫哥洛夫定理：概率矩阵：若系统在时刻 t0 处于状态 i，经过 n 步转移，在时刻 tn 处于状态 j 。
那么，对这种转移的可能性的数量描述称为 n 步转移概率。
记为:P(xn =j|x=i)=P(n)ij令P(n)=P11(n)P12(n)⋯P1N(n) P21(n)P22(n)⋯P2N(n)⋯⋯⋯P N1(n)P N2(n)⋯P NN(n)为n部转移概率矩阵。
(P0为初始分布⾏向量)性质：1. P(n)=P(n−1)P2. P(n)=P n转移概率的渐进性质——极限概率分布正则矩阵:若存在正整数k，使得p k的每⼀个元素都是正数，则称该马尔可夫链的转移矩阵P是正则的。
马克可夫链正则阵的性质：1. P有唯⼀的不动点向量W，W的每个分量为正，满⾜WP=W；2. P的n次幂P n随n的增加趋近于矩阵V, V的每⼀⾏向量均等于不动点向量W。
马尔可夫链预测法步骤：1. 划分预测对象可能出现的状态；2. 计算初始概率，由此计算⼀步状态转移概率；3. 计算多步状态转移概率；4. 根据状态转移概率进⾏预测。
()实例：eg：由于公路运输的发展，⼤量的短途客流由铁路转向公路。
历年市场调查结果显⽰，某铁路局发现今年⽐上年相⽐有如下规律：原铁路客流有85%仍由铁路运输，有15%转由公路运输，原公路运输的客流有95%仍由公路运输，有5%转由铁路运输。
已知去年公、铁客运量合计为12000万⼈，其中铁路10000万⼈，公路2000万⼈。
预测明年总客运量为18000万⼈。
运输市场符合马⽒链模型假定。
试预测明年铁、公路客运市场占有率各是多少？客运量是多少？最后发展趋势如何？解：1. 计算去年铁路、公路客运市场占有率将旅客由铁路运输视为状态1，由公路运输视作状态2，则铁、公占有率就是处于两种状态的概率，分别记作a1,a2.以去年作为初始状态，则初始状态概率向量:A(0)=(a1(0),a2(0))=(0.83,0.17)2. 建⽴状态转移矩阵PP=0.850.15 0.050.953. 预测明年铁路，公路客运市场占有率A(2)=(a1(2),a2(2))=A(0)P2=(0.83,0.17)0.850.150.050.952=(0.62,0.38)4. 进后发展趋势lim ()()Loading [MathJax]/jax/element/mml/optable/BasicLatin.js。
精编第8章马尔柯夫预测法资料
N
p (k ) ij
1
j 1
i, j 1,2,, N
i
1,2,,
N
（8.1.5）
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
3. 状态转移矩阵
从状态转移概率矩阵的性质可知，2 步状态转移概率矩阵可由一步状态转移概率矩阵 求出。
N
p (2) ij
pik pkj
p22 p2N p21
pN2
p NN
pN1
p12 p1N
p22 p2N
pN2
p NN
p11 = p21 pN1
p12 p22
pN2
2
p1N p2N
＝
P2
pNN
P X mk E j X m Ei
£¨8.1.2£©
ÔÚ ¸Å ÂÊ ÂÛ ÖÐ £¬ Ìõ ¼þ ¸Å ÂÊ P( A | B) ± í ´ï ÁË ÓÉ × ´ ̬ £Â Ïò × ´ ̬ £Á × ª ÒÆ µÄ ¸Å ÂÊ £¬ ¼ò ³Æ Ϊ × ´ ̬ × ª ÒÆ ¸Å
第八章 马尔可夫预测与决策法
第8章 马尔柯夫预测法
马尔柯夫预测法是应用随机过程中马尔 柯夫链的理论和方法研究分析有关经济现 象变化规律并籍此对未来进行预测的一种 方法。
在经济现象中存在一种“无后效性”。 即“系统在每一时刻的状态仅仅取决于前 一时刻的状态，而与其过去的历史无关。”
第八章 马尔可夫预测与决策法
5 7
3 4 0
7 7
马尔可夫预测
1. 马尔可夫矩阵一般式
（十）均匀马尔可夫链
若
P(k) ij
Pij
k 1,2,
则称该马尔可夫链为均匀马尔可夫链。
用下式表示：
Pij
P(E j
/ Ei )
P
A(j k )
/
A( k 1) i
（十一）预测模型
前提：必须是均匀马尔可夫链。
S (0) ：初始状态；
S (k 1) ：经（K+1）次转移后的状态；
机变量,称为随机过程。 定义：在给定的概率空间( ,F,P)及实数集
T,其中 为样本空间,F为分布函数,P为概率, 对于
每一个 t T , 有定义在( ,F,P)上的随机变量
(t, w), w
与之对应,则称为 (t, w);t T 随机过程,一
般简化为 (t) 。
特点：
1. 随机性：确切的未来状态是不可预测；
2. 局限性：只适合于马尔可夫过程；
3. 简便性：有率、选 择服务点、设备更新等的预测。
（六）马尔可夫链
定义：设随机过程 (t)只能取可列个值 r1, r2 ,rn ,, 把 (t) rn 称为在时刻 t 系统处于状态 En (n 1,2,)
我厂牌子
0.8
0.2
别厂牌子
0.3
0.7
问:从经济效益的角度决定要否做这个广告?
定义：设随机过程(t) ,如果在已知时间t系统
处于状态x的条件下,在时刻 ( >t)系统所处
状态和时刻t以前所处的状态无关,则称 (t)为 马尔可夫过程。 从定义可知马尔可夫过程只与t时刻有关,与t 时刻以前无关。
（五）马尔可夫预测法
第八讲-马尔科夫预测法
马尔柯夫预测法.pptx
则称 X n , n 0为马尔柯夫链。
X n 所可能取到的每一个值 E1, E2 ,, Em ; E j 称为状态。
第4页/共75页
第8.1 马尔柯夫链简介
2. 状态转移概率
由定义 8.1.1 可知，马尔柯夫链的概率特性取决于条件概率
P X mk E j X m Ei
（8.1.2）
在概率论中，条件概率 P( A | B) 表达了由状态Ｂ向状态Ａ转移的概率，简称为状态
M11 3
M12 4
M13 0
M 21 1
M 22 1
M 23 3
M 31 2
M 32 0
M 33 5
第19页/共75页
从而
p11
3 7
3 p23 5
所以
p12
4 7
p13
0 7
p 21
1 5
2
0
p31 7 p32 7
5 p33 7
3 4 0
7 7
P
1 5
1 5
3 5
k 1 N
p2k pk2
k 1
N
pNk pk 2
N
k 1
N
k 1
N
p1k
p2k
p Nk
pkN pkN pkN
==
p11 p21
pN1
p12 p22
p1N p11 p2N p21
pN 2 pNN pN1
p12 p22
pN2
p1N p2N
转移概率。式（8.1.2）中条件概率的含义是，某系统在时刻 m 处于状态 Ei 的条件下，
到时刻 m k 处于状态 E j 的概率。
定义 8.1.2 称
ch8 马尔可夫预测方法
u ( m ) = u ( 0) ?P ( m ) (m
.
1, 2, L ).
（8.9）
由上述内容可以看到,应用马尔可夫预测法的关键是要找出所考察 系统的一步转移矩阵P 及初始状态向量 u ( 0 ) .
2013-7-9
15
8.1 马尔可夫过程定义及其性质 下面通过实例理解上述的预测模型. 【例8.1】设任意相继的两天中，雨天转晴天的概率为1/3，晴 天转雨天的概率为1/2，任一天晴或雨是互为逆事件. 以0 表示晴 天状态（0或1）.试写 天状态，以1 表示雨天状态， x表示第 n n 出马尔可夫链的一步转移概率矩阵；又已知10月1日为晴天， 问10月3日为晴天、10月5日为雨天的概率各等于多少？ 解 由于任一天晴或雨是互为逆事件，而且雨天转晴天的概率 为1/3，晴天转雨天的概率为1/2，故一步转移概率矩阵分别为
2013-7-9 9
我们称 P{x(t 1) j x(t ) i} 为转移概率.由于这种转 移概率不依赖于时间，因此具有稳定性，我们用常数 pij 来表示.将各个状态之间的转移概率用一个矩阵表 示出来，就得到一个马尔科夫问题（有限状态稳定的 马尔可夫过程问题）的数学模型：
2013-7-9
u (0) (0.3, 0.4, 0.3)
转移矩阵为
轾 p11 犏 P = 犏 p21 犏 犏 p31 犏 臌
p12 p22 p32
p13 p23 = p33
轾 0.2 0.2 0.6 犏 犏 0.1 犏 0.7 0.2 犏 犏 0.1 0.8 0.1 犏 臌
2013-7-9
19
8.1 马尔可夫过程定义及其性质
轾 0.2 0.2 0.6 犏 犏 = (0.25 , 0.347 , 0.428) 犏 0.7 0.2 = (0.225 , 0.347 , 0.428). 0.1 犏 犏 0.1 0.8 0.1 犏 臌
计量地理学第8章 马可尔夫预测方法
如果三个公司在这个地区的初 始占有率为A=22%，B=49%， C=29% ， 且它们都不改变营业 状态和规模，问：
（1）明年和后年，三个公司在这 个地区市场占有率为如何？
（2）稳定状态下，三个公司的 市场占有率？
可能的状态的概率，即 (k) ，从而就得到该事件在
第k个时刻（时期）的状态概率预测。
(1) (0)P
(2) (1)P (0)P2
............
(k) (k 1)P (0)Pk
例题2:
将例题1中1999年的农业收
成状态记为 (0) =[0,1,0] ，将
状态转移概率矩阵，代入递推 公式，可求得2000—2010年可 能出现的各种状态的概率。
2＝0.352 5， 3 ＝0.279 9。 结论：该地区农业收成的变化过程，在无 穷多次状态转移后，“丰收”和“平收”状态 出现的概率都将大于“歉收”状态出现的概率。
归纳:马尔可夫预测方法的应用思路
第一步 求状态转移概率矩阵。 第二步 预测未来某时刻的状态概率。 第三步 预测终极状态概率。
(i, j 1,2,, n) (i 1,2,, n)
一般地，将满足上述条件的任何矩阵都称为随
机矩阵，或概率矩阵。
状态转移概率矩阵的计算 计算状态转移概率矩阵P，就是求从每
个状态转移到其他任何一个状态的状态转移 概率：
Pij (i,j 1,2, , n)
为了求出每一个 Pij (i,j 1,2, , n) ，一般
今年的市场占有率 u=（0.22,0.49,0.29） 明年的市场占有率up=
0.80 0.10 0.10 （0.22,0.49,0.29） 0.07 0.90 0.03
马尔科夫预测
第 6 章马尔可夫预测马尔可夫预测方法不需要大量历史资料，而只需对近期状况作详细分析。
它可用于产品的市场占有率预测、期望报酬预测、人力资源预测等等，还可用来分析系统的长期平衡条件，为决策提供有意义的参考。
6.1 马尔可夫预测的基本原理马尔可夫（A.A.Markov ）是俄国数学家。
二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。
具有这种特性的随机过程称为马尔可夫过程。
设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济和社会行为都可用这一类过程来描述或近似，故其应用范围非常广泛。
6.1.1 马尔可夫链为了表征一个系统在变化过程中的特性（状态），可以用一组随时间进程而变化的变量来描述。
如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程。
设有参数集T （ , ），如果对任意的t T ，总有一随机变量X t 与之对应，则称{X t ,t T} 为一随机过程。
如若T 为离散集（不妨设T {t0,t1,t2,...,t n,...} ），同时X t的取值也是离散的，则称{X t ,t T} 为离散型随机过程。
设有一离散型随机过程，它所有可能处于的状态的集合为S {1,2,L ,N} ，称其为状态空间。
系统只能在时刻t0,t1,t2,...改变它的状态。
为简便计，以下将X t n等简记为X n。
一般地说，描述系统状态的随机变量序列不一定满足相互独立的条件，也就是说，系统将来的状态与过去时刻以及现在时刻的状态是有关系的。
在实际情况中，也有具有这样性质的随机系统：系统在每一时刻（或每一步）上的状态，仅仅取决于前一时刻（或前一步）的状态。
这个性质称为无后效性，即所谓马尔可夫假设。
具备这个性质的离散型随机过程，称为马尔可夫链。
用数学语言来描述就是：马尔可夫链如果对任一n 1，任意的i1,i2, ,i n 1, j S恒有P X n j X1 i1,X2 i2,L ,X n 1 i n 1 P X n j X n 1 i n 1 （6.1.1）则称离散型随机过程{X t ,t T} 为马尔可夫链。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(k )
= ∑ Pij rij + ∑ Pij R j
j =1 j =1
n
n
( k −1)
R(k) = (R1 , R2 ,LRn )T
(k ) (k ) (k )
则可表为矩阵形式:
R(k ) = R(1) + PR(k−1)
例4:设某商品连续两个月畅销时,可获利8万元;连续滞销时,亏
损2万元;由畅销转滞销时可获利3万元;滞销转畅销时可获利4万 元,试预测4个月后总期望利润。
例3:
A 、 B、C三家企业的同种产品上个月在某 地区市场上的占有率分别为：052、030、018。 根据市场调查情况，每1000户顾客中分别购买 A、B、C三家企业产品的变化情况如下表。试 用马尔柯夫预测法分析，若按目前趋势发展下 去，三家企业产品占有率的状况。
企业占有顾客变化情况 单位：人
企业 A B C
(x1 , x2 ,Lxn ) = (x1
X
(k )
, x2
(k −1)
,Lxn
(k −1)
)P
递推可得
=X P
(0)
k
应用条件
应用马尔柯夫预测法进行预测时，首先必 须将研究的问题归纳成独立的状态； 其次是要确定经过一个时期后，由一种状态转 变为另一种状态的概率，并且这种概率必须满 足下列条件： 1.只与目前状态有关； 2.与具体的时间周期无关； 3.预测期间，状态的个数必须保持不变。
条件
• 设市场中提供某种商品的厂商共有n家。 用Pij代表经过一个时期后i厂商丧失的顾 客转移到j厂商的概率，或j厂商得到由i 厂商转来的顾客的概率。特别是当i=j时， Pij代表i厂商保留上期顾客的概率。这样 Pij即为市场占有率的转移概率。
转移概率矩阵
• 对于整个市场中各厂商的顾客的转移概 率，可用转移概率矩阵表示：
由状态i转移为状态j的次数记为Mij，
• • • • • 则有： M11=3；M12=4；M13=0； M21=1；M22=1；M23=3； M31=2；M32=0；M33=5。 在计算时，最后一个数据转移到哪个状 态时未知的，所以不参加计算。
转移概率
• 以转移次数Mij与状态次数Mi之比作为转 移概率，则转移概率Pij= Mij / Mi。 • 各转移概率为： • P11=3/7；P12=4/7；P13=0； • P21=1/5；P22=1/5；P23=3/5； • P31=2/7； P32=0； P33=5/7。
马尔可夫预测方法
马尔科夫预测方法就是根据某些变量的现在 状态及其变化趋向，来预测它在未来某一特 定期间可能出现的状态，从而提供某种决策 的依据。 马尔科夫预测基本方法是用转移概率矩阵进 行预测和决策。
§1
马尔可夫链
有这样一类随机过程 {Y(t), t ∈T} ,它在时刻t>t0所处的状态仅 与t=t0时的状态有关,而与t<t0以前的状态无关。这样的特性被 称为”无后效性” 。具有无后效性的随机过程就称为马尔可夫 过程。 如果 Y(ti ) = yi , i = 1,2,..., n −1, n ,那么马尔可夫过程可用条件分布函 数描述如下: F( yn ;tn | yn−1, yn−2 ,..., y1;tn−1, tn−2 ,..., t1 ) = F( yn ;tn | yn−1;tn−1 ) 亦即随机过程在tn时刻的状态yn仅与tn-1时刻的状态yn-1有关,而与 以前各时刻的状态无关。 时间和状态都取离散值的马尔可夫过程,习惯上称为马尔可夫 链。
步骤
如果研究的问题符合上述条件，则构成一 阶马尔柯夫链，并可以据此建立预测模 型，进行预测。具体步骤如下： 第一步，确定系统的状态； 第二步，确定转移概率矩阵； 第三步，进行预测。
例1:某公司将最近20个月的商品销售额统计如下，
试预测第21个月的商品销售额。 各月商品销售额 单位：万元 月 数 销售额 月 数 销售额 月 数 销售额 1 40 9 62 17 45 2 3 4 5 6 45 80 120 110 38 10 11 12 13 14 90 110 130 140 120 18 19 20 80 110 120 7 40 15 55 8 50 16 70
P = P{Y(m +1) = S j | Y(m) = Si }, i, j = 1,2Ln ij
显然,应有
0 ≤ P ≤ 1 ∑P = 1 , ij ij
j =1
n
将n个状态的一步转移概率依次排列,便可得到一个n阶矩阵, 称为状态(一步)转移概率矩阵。
P P12 L P1n 11 P P L P 2n P = 21 22 L L L L Pn1 Pn2 L Pnn 状态Si经K步转移到状态Sj的概率称为K步转移概率,记为Pij(k)
划分状态。 按销售额多少作为划分状态的标准。 状态1——滞销：销售额<60万元； 状态2——平销：60万元≤销售额≤100万 元； • 状态3——畅销：销售额>100万元。 • • • •
则各状态出现的次数Mi为：
M1=7； M2=5； M3=8。 根据统计数据计算比例数，建立状态转概 率矩阵。
分析
• （1）A企业和B企业产品的市场占有率 逐期下降，并且A企业产品的市场占有率 下降幅度较大； • （2）C企业产品的市场占有率却以较大 的幅度逐期上升。 • （3）变化的幅度逐渐减小，趋近于不变。
预测应用
二、期望利润预测
马尔可夫链的状态变化时常伴随着某种报酬或利润。设状态Si 经一步转移到Sj所获得的利润为rij,i,j=1,2,…n.由rij排成的矩 阵 r L r r
解:利润矩阵为 R = 8 3 4 − 2 已知转移概率矩阵
0.7 0.3 P= 0.4 0.6
0.30 0.35 0.20
0.10 0.30 0.70
3.计算本期市场占有率。
• 假设分析期内转移概率不变（即顾客的 偏好不变），根据马尔柯夫预测模型， 本月市场占有率X（1）=X（0）P。 • 即： • X（1）=（0.435 0.297 0.268）
4.后续周期趋势预测
• 若以本月为第一个月,则第K个月的市场 占有率为X（K）=X（0）PK。如果需要进行长 期趋势预测,则可以此公式计算下去。 • 根据上式，计算第一月至第十二月的市 场占有率于下表：
K步转移概率矩阵为：
P (k) P (k) 11 12 P (k) P (k) 22 P(k) = 21 L L n n P 1 (k) P 2 (k) L Pn (k) 1 L P n (k) 2 L L 则有P(k)=Pk L P (k) nn
马尔可夫预测模型
转移概率
马尔可夫链所有状态的集合称为状态空间。 现在设马尔可夫链的状态空间为 S = {S1, S2 ,LSn } Si之间互不相容。从一种状态变化到另一种状态,称为状态转 移。 将这种转移的可能性用概率描述,就是状态转移概率,简称转移概 率。 转移概率中最基本的是一步转移概率。 由状态Si经过一步转移到状态Sj,其概率记为Pij ,即
上月占有顾客数
520 300 180
本月占有顾客数
本月流动情况 A B C 312 156 52 105 105 90 18 36 126 435 297 268
解： 1．确定初始状态。
以上月各企业的市场占有率为初始状态， X（0）=( 0.52 0.30 0.18）。
2．确定转移概率矩阵。
转移概率矩阵可以反映企业现有顾客在 下一周期仍购买该企业产品的顾客人数 的百分比，即保有率；和在下一周期转 向购买其它企业产品顾客人数的百分比， 即转出率。根据顾客人数转移的数据， 计算出保有率和转出率，作为转移概率， 组成转移概率矩阵。
试求本月和下月的市场占有率。
由马尔柯夫预测法
解:依题意，设上月市场占有率为初始概率向量， 即X（0）=(0.3 0.4 0.3），则本月市场占有率为 X（1），下月市场占有率为X（2） 本月市场占有率X（1）=X（0）P=（0.25 0.37 0.38） 下月市场占有率X（2）=X（1）P=（0.225 0.347 0.428） 计算结果表明A、B、C三种品牌的洗衣粉，本月的市场 占有率分别为：25%，37%和38%；下月的市场占有率分 别为：22.5%，34.7%和42.8%。
企业转移概率计算表
出
入
A B C
A B C 312÷520=0.60 156÷520=0.30 52÷520=0.10 105÷300=0.35 105÷300=0.35 90÷300=0.30 18÷180=0.10 36÷180=0.20 126÷180=0.70
上表结果用矩阵形式表示为：
0.60 0.35 P= 0.10
r r22 L r2n 21 R= L L L L rn1 rn2 L rnn
11 12 1n
称为利润矩阵。当rij>0时,为盈利;rij<0时为亏损; rij=0时为不 盈不亏。 由于马尔可夫链的状态转移是随机的,因此与之相伴的利润值也 是随机变动的。称这种马尔可夫链为带利润的马尔可夫链。
0.2970 0.2881 0.2824 0.2791 0.2773 0.2763 0.2757 0.2754 0.2752 0.2751 0.2751 0.2750
0.2680 0.3202 0.3497 0.3663 0.3766 0.3808 0.3838 0.3854 0.3863 0.3868 0.3871 0.3874
P 11 P 21 P= L Pn1
P L Pn 12 1 P22 L P2n L L L Pn2 L Pnn
( ( ( (x1(t+1) x2t+1) L xnt+1) ) = (x1(t) x2t )