马尔科夫链决策方法

马尔科夫预测与决策法

马尔科夫预测与决策法——是应用随机过程中马尔科夫链的理论和方法研究分析有关经济现象变化规律并借此对未来进行预测和决策的一种方法。

池塘里有三张荷叶，编号为1，2，3，假设有一只青蛙随机地在荷叶上跳来跳去。在初始时刻t

，它在第二张荷叶上。在时

，它有可能跳到第一张或者第三张荷叶上，也有可能在原刻t

1

地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状态。这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关。实际上青蛙在一段时间内在荷叶间跳或不跳的过程就是一个马尔科夫过程。

2010年6月6日Sunday2

马尔可夫性与转移概率矩阵

一个过程或系统在未来时刻的状态只依赖于现状时刻的状态，而与以往更前的时刻无关，这一特性就成为无后效性（无记忆性）或马尔可夫性（简称马氏性）。换一个说法，从过程演变或推移的角度上考虑，如果系统在时刻的状态概率，仅依赖于当前时刻的状态，而与如何达到这个状态的初始概率无关，这一特性即马尔可夫性。

2010年6月6日Sunday3

设随机变量序列，{X

,X2, ···,X n, ···},它的状态集合记为

1

S= {s1,s2 , ···, s n, ···}

若对任意的k和任意的正整数i

, i2 , ···,i k, i k+1,有下式成

1

立：

P{X k+1= s ik+1| X1= s i1, X2= s i2, ···X k= s ik}

= P{X k+1= s ik+1| X k= s ik}

,X2, ···,X n, ···} 为一个马尔可夫则称随机变量序列{X

1

链（Markov chains）。

2010年6月6日Sunday4

2010年6月6日Sunday 5

如果系统从状态s i 转移到状态s j ，我们将条件概率P { s i | s j }称为状态转移概率，记作：P ( s i | s j )=p ij 简单地说，p ij 是从i 到j 的转移概率。

对于条件概率,

()n

j i s s X P P j i k k ij L ,2,1,,1)

(===+称为从状态s i 到s j 的k 步转移概率。当k =1时，称为从s i 到状态s j 的一步转移概率。

如果一个经济现象有n状态s

1,s

2

, ···, s

n

, 状态的转移是每隔单位

时间才可能发生，而且这种转移满足马氏性的要求，那么我们就可以把所研究的经济现象视为一个马尔可夫链。虽然一个经济现象是复杂的，但只要具有马氏性，我们便可以简单而方便的进行预测和决策。需要指出的是，马尔可夫链适用于近期资料的预测和决策。例如，在对某公司的一种商品的市场占有率进行预测时，就可以利用这种模型加以解决。又如对一个工厂转产的前景进行预测时，也同样可以利用这种方法来处理。在预测的基础上，在利用这种方法进行决策，即马尔可夫决策。

需要指出的是，这里我们只限于研究一种特殊的马尔可夫链，即齐次马尔可夫链。所谓齐次是指状态转移概率与状态所在的时间无关，而且这里只考虑状态集是有限的情形。

2010年6月6日Sunday6

2010年6月6日Sunday 7

假设系统的状态为s 1,s 2 , ···, s n 共n 个状态，而且任一时刻系统只能处于一种状态s i ，那么下一个单位时间，它可能由s i 转向s 1,s 2 , ···, s i , ···, s n 中之一状态；相应的转移概率为p i 1, p i 2 , ···, p ii , ···, p in 。因此有

)

1(,,2,1,11

01n i p

p n j ij ij L ==≤≤∑=

2010年6月6日Sunday 8

不难看出，一般的矩阵并不一定满足式（1），因此我们称式（2）的矩阵P(或P (k ))为随机矩阵，或概率矩阵。

)

2(212222111211⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nn n n n n p p p p p p p p p P L L L L L L L 并称矩阵

为状态转移概率矩阵。

对于k 步转移概率矩

）也满足式（其中1,)()

()

()(k ij

n m k ij k p p P ×=

2010年6月6日Sunday 9

稳态概率

定义设{X n ,n ≥0}为有限状态齐次马尔科夫链，对所有的i , j =1,2,···,N,存在与i 无关的极限

j

k ij k P π=∞→)

(lim 其中πj 为常数，则称此{X n ,n ≥0}为具有遍历性的马尔科夫链。

2010年6月6日Sunday 10举例：讨论转移概率矩阵的遍历性。

定理设{X n ,n ≥0}为有限状态齐次马尔科夫链，P 为其一步转移概率矩阵，若存在正整数s >0，使对所有的i , j =1,2,···,N ，有

)

(>s ij p 则此马尔科夫链满足遍历性。

⎟⎟⎠⎞⎜⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛=⎟⎟⎠

⎞⎜⎜⎝⎛=5.05.001)3(,6.04.010)2(,4.06.06.04.0)1(321P P P

2010年6月6日Sunday

11

设P 是标准概率矩阵，则必存在非零向量π= (π1,π2, ···, πn ) 使得

πP= π

称π为P 的平衡向量。如果进一步满足：

π1+ π2+ ···+ πn =1

称此πj 为状态s j 的稳态（平衡）概率。P 的这一特性在实用中有重要的价值。通常在市场预测中，所讨论的用户转移概率矩阵就属于标准概率矩阵，它可以通过几步转移达到稳定（平衡）状态。在这种情况下，各厂家的用户占有率不再发生变化，此时的π称为最终用户的占有率P 向量。