数学建模马氏链模型

马氏链模型

教学目的:

通过教学，使学生掌握马尔可夫链的基本知识，掌握建立马氏链模型的基本方法，能用马氏链模型解决一些简单的实际问题。

教学重点和难点:

建立马氏链模型的基本思想和基本步骤。

教学内容：

马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术．这种技术已在市场预测分析和市场管理决策中得到广泛应用，近年来逐步被应用于卫生事业管理和卫生经济研究中．下面扼要介绍马尔可夫链的基本原理以及运用原理去进行市场预测的基本方法．

（1）马尔可夫链的基本原理

我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量X n便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量

X1，X2，…，X n，…．称{ X t，t∈T ，T是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n}的参数为非负整数， X n 为离散随机变量，且{ X n}具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n}的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．

对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：

若假定上式与n无关，即，则可记为（此时，称过程是平稳的），并记

（1）称为转移概率矩阵．

例1 设某抗病毒药销售情况分为“畅销”和“滞销”两种，

以“1”代表“畅销”，“2”代表“滞销”．以X n表示第n个季度的销售状态，则X n可以取值1或2．若未来的抗病毒药销售状态，只与现在的市场状态有关，而与以前的市场状态无关，则抗病毒药的市场状态{ X n ，n≥1}就构成一个马氏链．设

， ， ，

则转移概率矩阵为

这里表示连续畅销的可能性，表示由畅销转入滞销的可能性，表示由滞销转入畅销的可能性，表示连续滞销的可能性．这种状态转移的情况也可以用状态转移图来表示.

转移概率矩阵具有下述性质：

（1）．即每个元素非负．

（2）．即矩阵每行的元素和等于1．

如果我们考虑状态多次转移的情况，则有过程在n时刻处于状

态i，n+k时刻转移到状态j的k步转移概率：

同样由平稳性，上式概率与n无关，可写成．记

（2）称为k步转移概率矩阵．其中具有性质：

； ．

例2 求例1中抗病毒药的销售状态{X n}的二步转移矩阵P (2)．

解 由例1知，其一步转移矩阵为:

若本季度抗病毒药的销售处于畅销（即处于状态“1” ），那么，经过两个季度以后，就经历了两次转移，可能转移到状态“2”，也可能保持状态“1”，这种转移的可能性的大小就是二步转移概率．表示抗病毒药的销售由畅销经两次转移后仍然是畅销的概率，由概率计算的全概率公式

同样可算得由畅销经两次转移到滞销的概率

由滞销经两次转移到畅销和滞销的概率分别为

所以二步转移矩阵为

由例2的计算过程知

一般地有，若为一步转移矩阵，则k步转移矩阵

（3）（2）状态转移概率的估算

在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．

例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．

表1 某抗病毒药24个季度的销售情况

季度销售状

态

季度

销售状

态

季度销售状态

季度

销售状态

11 (畅

销)

7

1(畅销)

131(畅销)

19

2(滞销)

21(畅销)81(畅销)141(畅销)201(畅销) 32(滞销)91(畅销)152(滞销)212(滞销) 41(畅销)102(滞销)162(滞销)221(畅销) 52(滞销)111(畅销)171(畅销)231(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．

表2 市场状态转移情况表

下季度药品所处的市场状态

1（畅销）2（滞销）

本季度药品所1（畅销）77

处的市场状态2（滞销）72

市

场

状

态

次数

市场状态

现计算转移概率．以频率代替概率，可得连续畅销的概率：

分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：

滞销转入畅销的概率：

连续滞销的概率：

综上，得销售状态转移概率矩阵为：

从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：

由此，推广到一般情况，我们得到估计转移概率的方法：假定系统

有m种状态S1，S2，…，S m，根据系统的状态转移的历史记录，得到表3的统计表格，以表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：

表3 系统状态转移情况表

系统下步所处状态

S1S2…S m

系

S1n11n12 (1)

统

本

S2n21n22 (2)

步

所

处

状

S m n m1n m2…n mm 态

状

态

次数

状态

…