马氏链模型及matlab程序
随机实验报告3多状态马氏链的极限分布
数学与计算科学学院实验报告实验项目名称多状态马氏链的极限分布所属课程名称随机过程__________实验类型_______________ 综合___________实验日期_____________________________班级_________________________学号__________________________姓名___________________________成绩_____________________________一、实验概述：【实验目的】通过具体的计算多状态状态马氏链的多步转移矩阵，考察其极限分布，并通过具体的实例了解其实际意义。
【实验原理】多状态状态的马氏链多步转移矩阵：已知某马氏链的一步转移矩阵，利用p（n）_（p n）C-K方程，知出其n步转移矩阵为P _（）ij，利用二P =:计算平稳分布二.问题：（1）已知齐次马氏链‘X n ,n=0,1,2,川匚的状态空间E = ：1,23；状态转移矩阵为1/21/31/6P =1/61/31/21/31/21/6计算4、6步转移概率，并求其平稳分布；（2）为适应日益扩大的旅游事业的需要,某城市的A,B,C三个照相馆组成一个联营部,联合经营出租相机的业务,旅游者可由A,B,C三处任何一处租出相机,用完后还到A,B,C三处的任何一处即可•估计转移概率如表所示，今欲选择A,B,C之一附设租机维修点，问该点设在何处为好？（程序与结果）硬件环境Win dows 7 Microsoft Corporati onIn ter(R)Core(TM) i3 CPU 软件环境软件环境Mtlab7.0二、实验内容： 【实验方案】利用C-K 矩阵乘法算出n 步转移矩阵 利用解方程计算其平稳分布， 极限分布的应用•【实验过程】(实验步骤、记录、数据、分析)问题重述：(1)已知齐次马氏链＜X (n )，n =0,1,2,川}的状态空间E 」，2，?},状态转移矩阵为1/2 1/3 1/6' P= 1/6 1/3 1/20/3 1/2 1/6』计算4、6步转移概率，并求其平稳分布当n=4时0. 32560.3812 0. 2932 0. 32250. 3843 0, 2932 0.12250.56120.2963当n=6时P6 =0. 3233 0.3823 山 29410.32350. 3825 0.2941 0. 32350, 33230. 2942其次，利用71卩二71计算平稳分布応，设平稳分布为兀=(兀1，兀2，兀3)，建立平稳方程为:首先，利用C-K 方程，知出其n 步转移矩阵为 p (n) ij= (P n)j1 1 1 = 二彳亠_ '&亠_ ‘32 1 326 31 1 1 6 1 32 2 31 1 1 3 122 63,:卜専2川'爲3二1利用matlab 软件求解该方程得到如下解（程序见附录）： / ） / 11 13 5）:（切， 心2， ：!- 3）=（1 2334 34 17（2）为适应日益扩大的旅游事业的需要,某城市的A,B,C 三个照相馆组成一个 联营部,联合经营出租相机的业务,旅游者可由A,B,C 三处任何一处租出相机,用完后还到A,B,C 三处的任何一处即可•估计转移概率如表所示，今欲选择A,B,C 之一附 设租机维修点，问该点设在何处为好？（程序与结果）还相机处AB C 租相机处A 0.2 0.8 0B 0.8 0 0.2 C0.10.30.6「= 0.2^+ 0.8兀 2兀2 = 0.871] + 0.2 兀 3 「3 二 0.1S03 20.6 3[ 兀1匕2“3 = 1利用matlab 求解得二（二卩二 2，二 3）=（0.41,0.39,0.2）所以应该在A 附设租机维修点，因为在改点相机的分布概率最大分布设平稳分布为0.2 0.80 '0.8 0 0.2 ，求解该题的模型就是求解其平稳010.30.6 y兀2, 心）， 建立平稳方程为：由题可得其转移矩阵为P 二二十1,x2。
马氏链方程 markov
马尔可夫链（Markov Chain）是一种数学模型，用来描述一系列事件，其中每个事件的发生只与前一个事件有关，而与之前的事件无关。
这种特性被称为“无后效性”或“马尔可夫性质”。
马尔可夫链常用于统计学、经济学、计算机科学和物理学等领域。
在统计学中，马尔可夫链被用来建模时间序列，如股票价格或天气模式。
在经济学中，马尔可夫链被用于预测经济趋势。
在计算机科学中，马尔可夫链被用于自然语言处理、图像处理和机器学习等领域。
在物理学中，马尔可夫链被用于描述粒子系统的行为。
马尔可夫链的数学表示通常是一个转移概率矩阵，该矩阵描述了从一个状态转移到另一个状态的概率。
对于给定的状态，转移概率矩阵提供了到达所有可能后续状态的概率分布。
马尔可夫链的一个关键特性是它是“齐次的”，这意味着转移概率不随时间变化。
也就是说，无论链在何时处于特定状态，从该状态转移到任何其他状态的概率都是相同的。
马尔可夫链的方程通常表示为：P(X(t+1) = j | X(t) = i) = p_ij其中，X(t)表示在时间t的链的状态，p_ij表示从状态i转移到状态j的概率。
这个方程描述了马尔可夫链的核心特性，即未来的状态只与当前状态有关，而与过去状态无关。
马尔可夫链的一个重要应用是在蒙特卡罗方法中，特别是在马尔可夫链蒙特卡罗（MCMC）方法中。
MCMC 方法通过构造一个满足特定条件的马尔可夫链来生成样本，从而估计难以直接计算的统计量。
这些样本可以用于估计函数的期望值、计算积分或进行模型选择等任务。
总之，马尔可夫链是一种强大的工具，用于建模和预测一系列相互关联的事件。
通过转移概率矩阵和马尔可夫链方程，可以描述和分析这些事件的行为和趋势。
马氏链模型
马氏链模型作业指导1、在英国，工党成员的第二代加入工党的概率为0.5，加入保守党的概率为0.4，加入自由党的概率为0.1。
而保守党成员的第二代加入保守党的概率为0.7，加入工党的概率为0.2，加入自由党的概率为0.1。
而自由党成员的第二代加入保守党的概率为0.2，加入工党的概率为0.4，加入自由党的概率为0.4。
求自由党成员的第三代加入工党的概率是多少？在经过较长的时间后，各党成员的后代加入各党派的概率分布是否具有稳定性？解：状态转移图0.7如上图是所示：P11=0.5P12=0.4P13=0.1P21=0.2P22=0.7P23=0.1P31=0.4P32=0.2P33=0.4则它的系数矩阵0.50,40.1A=0.20.70.10.40.20.4假设：起初只有自由党。
自由党第一代子女加入各个党的概率P1=[0,0,1]×A=[0.4,0.2,0.4]加入工党的概率为0.4第二代子女加入各个党的概率P1=[0,0,1]×A×A=[0.40,0.38,0.22]第三代子女加入各个党的概率P1=[0,0,1]×A×A×A=[0.364,0.47,0.166]即在此种情况下自由党第三代子女加入工党的概率0.3642)假设：三个党派的初始数量都为1第一代各党派的人数P1=[111]×A得b=1.1000 1.30000.6000第二代各党派的人数P1=[111]×A×A得P2=1.0500 1.47000.4800第三代各党派的人数P3=[111]×A×A×AP3=1.0110 1.54500.4440经过n代后Pn=[111]×A n得Pn=0.9796 1.59180.42862、社会学的某些调查结果指出：儿童受教育的水平依赖于他们父母受教育的水平。
调查过程是将人们划分为三类：E类，这类人具有初中或初中以下的文化程度；S类，这类人具有高中文化程度；C类，这类人受过高等教育。
马尔科夫链matlab程序
马尔科夫链matlab程序自己编写的马尔科夫链程序A 代表一组数据序列一维数组本程序的操作对象也是如此t=length(A); % 计算序列“A”的总状态数 B=unique(A); % 序列“A”的独立状态数顺序，“E”E=sort(B,'ascend');a=0;b=0;c=0;d=0;for j=1:1:ttLocalization=find(A==E(j)); % 序列“A”中找到其独立状态“E”的位置for i=1:1:length(Localization) if Localization(i)+1>tbreak; % 范围限定 elseif A(Localization(i)+1)== E(1)a=a+1;elseif A(Localization(i)+1)== E(2)b=b+1;elseif A(Localization(i)+1)== E(3)c=c+1;% 依此类推，取决于独立状态“E”的个数elsed=d+1;endendT(j,1:tt)=[a,b,c,d]; % “T”为占位矩阵 endTT=T;for u=2:1:ttTT(u,:)= T(u,:)- T(u-1,:); endTT; % 至此，得到转移频数矩阵Y=sum(TT,2);for uu=1:1:ttTR(uu,:)= TT(uu,:)./Y(uu,1); endTR % 最终得到马尔科夫转移频率/概率矩阵 % 观测序列马尔科夫性质的检验: N=numel(TT);uuu=1;Col=sum(TT,2); % 对列求和Row=sum(TT,1); % 对行求和 Total=sum(Row); % 频数总和 for i=1:1:tt for j=1:1:ttxx(uuu,1)=sum((TT(i,j)-(Row(i)*Col(j))./Total).^2./( (Row(i)*Col(j))./Total));uuu=uuu+1; % 计算统计量x2 endendxx=sum(xx)。
马尔科夫链模型
n1
(a1 (n 1),a2 (n 1)) w (w1 ,w2 )
w1 w2
w1 w1
p11 p12
w2 w2
p21 p22
0.8w1 0.7w2 w1 0.2w1 0.3w2 w2
w1 w2 1
w (7 / 9,2 / 9)
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
死亡为第3种状态，记Xn=3 0.8
0.18
0.25
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
p21=0.65, p22=0.25, p23=0.1
0.02 3 0.1
p31=0, p32=0, p33=1
1
a1(n 1) a1(n) p11 a2 (n) p21 a3 (n) p31 a2 (n 1) a1(n) p12 a2 (n) p22 a3 (n) p32 a3 (n 1) a1(n) p13 a2 (n) p23 a3 (n) p33
p21 0.7 p22 1 p21 0.3
1
Xn+1只取决于Xn和pij, 与Xn-1, …无关
0.2
0.3
0.7
2
状态转移具 a1(n 1) a1(n) p11 a2 (n) p21
有无后效性 a2 (n 1) a1(n) p12 a2 (n) p22
状态与状态转移 0.8
0.2
0.3
• 不论初始状态如何，最终都要转到状态3 ；
• 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于n>k, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。
马尔可夫链模型
马尔可夫链在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。
例如，微分方程的初值问题描述的物理系统属于这类随机性现象。
随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。
在贝努利过程(){},1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。
在维纳过程(){},0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。
在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。
易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进入商店的顾客无关。
一、马尔可夫过程定义：给定随机过程(){},X t t T ∈。
如果对任意正整数3n ≥，任意的12,,1,,n i t t t t T i n <<<∈=，任意的11,,,n x x S -∈S 是()X t 的状态空间，总有()()()1111|,n n n n P X x X t x X t x --≤==()()11|,n n n n n P X x X t x x R --=≤=∈ 则称(){},X t t T ∈为马尔可夫过程。
在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t -是“过去”。
马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --==无关。
(完整版)马氏链模型及matlab程序
一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1若假定上式与n 无关，即 )()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 ．即每个元素非负．（2）N i p Nj j i ,,2,1,11．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()(同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2）称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k ji ,,2,1,,0)( ； N i p Nj k j i ,,2,1,11)( ．一般地有，若P 为一步转移矩阵，则k 步转移矩阵)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711p 77712p 27721p 77222p Matlab 程序：format rat clca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a)); end end fni=(sum(f'))' for i=1:2p(i,:)=f(i,:)/ni(i); end p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m 种状态S 1，S 2，…，S m ，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i 转移到状态j 的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵N N N N N N p p p p p p p p p P212222111211的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1( i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(ix （称为二步利润随机变量）的分布为：2,1,)()1()2( j p v r x P j i j j i i例如，若6.04.05.05.0P ，7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1 p r p r x E v 36.074.03)(22222121)1(2)1(2 p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v5.75.0)33(5.0)69(22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v4.26.0)37(4.0)63(一般地定义k 步转移利润随机变量),2,1()(N i x k i的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(则系统处于状态i 经过k 步转移后所得的期望利润)(k iv 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(Nj j i k j i Nj j i k j Nj j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0( iv ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1( ．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
计算机模拟_排队论
当排队系统的到达间隔时间和服务时间的概率分布很复杂时，或不能用公式给出时，那么就不能用解析法求解。
这就需用随机模拟法求解，现举例说明。
例1 设某仓库前有一卸货场，货车一般是夜间到达，白天卸货，每天只能卸货2车，若一天内到达数超过2车，那么就推迟到次日卸货。
根据表3所示的数据，货车到达数的概率分布（相对频率）平均为1.5车/天，求每天推迟卸货的平均车数。
服从指数分布（这是定长服务时间）。
随机模拟法首先要求事件能按历史的概率分布规律出现。
模拟时产生的随机数与事件的对应关系如表4。
表 4 到达车数的概率及其对应的随机数我们用 a1 表示产生的随机数，a2 表示到达的车数，a3 表示需要卸货车数，a4 表示实际卸货车数，a5 表示推迟卸货车数。
编写程序如下：clearrand('state',sum(100*clock));n=50000;m=2a1=rand(n,1);a2=a1; %a2初始化a2(find(a1<0.23))=0;a2(find(0.23<=a1&a1<0.53))=1;a2(find(0.53<=a1&a1<0.83))=2;a2(find(0.83<=a1&a1<0.93),1)=3;a2(find(0.93<=a1&a1<0.98),1)=4;a2(find(a1>=0.98))=5;a3=zeros(n,1);a4=zeros(n,1);a5=zeros(n,1); %a2初始化a3(1)=a2(1);if a3(1)<=ma4(1)=a3(1);a5(1)=0;elsea4(1)=m;a5(1)=a2(1)-m;endfor i=2:na3(i)=a2(i)+a5(i-1);if a3(i)<=ma4(i)=a3(i);a5(i)=0;elsea4(i)=m;a5(i)=a3(i)-m;endenda=[a1,a2,a3,a4,a5];sum(a)/nm =2ans =0.4985 1.4909 2.3782 1.4909 0.8874例2银行计划安置自动取款机，已知A型机的价格是B型机的2倍，而A型机的性能—平均服务率也是B型机的2倍，问应该购置1台 A 型机还是2台 B 型机。
马尔科夫链例题整理
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
p20 P( X n1 0 | X n 2) P( X n 1 Yn 0 | X n 2) P(Yn 1) 0 p21 P( X n1 1 | X n 2) P( X n 1 Yn 1 | X n 2)
p11 P( X n1 1 | X n 1) P( X n 1 Yn 1 | X n 1) P(Yn 1) p1
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
首页
欲求
于是
ua
uj （p + q）u j pu j 1 qu j 1
先求
q u j u j 1 ( )(u j 1 u j ) p
设
q r p
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 首页 0 ... 0 0
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
基于马尔可夫链的人民币汇率走势分析
基于马尔可夫链的人民币汇率走势分析摘要在经济全球化加速发展的时代背景下，人民币汇率问题一度成为我国外汇贸易的首要关注问题，因此研究其基本发展趋势进行科学预测意义重大。
根据2011年5月3号至12月23号的USD/CNY 汇率相关日频数据流资料，通过对美元兑人民币汇率进行基于齐次马尔科夫转移模型的预测和实证分析，用该模型预测汇率走势。
首先验证了人民币汇率的马尔科夫性，将得到的数据划分为6个状态，由极大似然估计确定了一步转移概率矩阵P ，并由转移概率矩阵计算预测后的汇率状态概率；最后根据平稳分布的条件预测收盘状态。
其平稳分布是：），，，，，（），，，，，1368.02479.00855.02565.02565.00190.0(654321=ππππππ 最后得到的结论是人民币的汇价在状态2,3时最为稳定，其次是状态5，即人民币汇率在634.47-641.12（兑100美元）内最稳定，其次是644.45-647.76较为稳定，而汇率处于其他区间时很快转移。
而且通过对当前人民币中长期的走势分析并结合所做的马尔可夫预测，人民币的汇率走势在后期会有小幅度的升值空间。
关键词：人民币汇率，马尔科夫链，转移概率，汇率预测Based on Markov chain to predictthe tendency of RMB rateAbstractIn economic globalization,considering the foreign exchange, RMB Rate is the primary problem. So studying the development trend of it is of great significance.Based on the USD/CNY datas from 3-5-2011 to 23-12-2011, we applied the homogeneous markov model to predict RMB exchange rate and empirical analysis. First,we need to prove the Markov property;Then,we shoud divide the datas into 6 states, and use the method of Maximum Likelihood Estimation to confirm the transition probability matrix to predict the rate state in the st but not least,we take advantage of the stationary distribution to get:），，，，，（），，，，，1368.02479.00855.02565.02565.00190.0(654321=ππππππ We can reach the conclusion :the price of RMB exchange is the most stable at state 2,3,and next is state 5,which means the price range from 634.47 to 641.12 is themost stable. Basing on these,whatMarkov chain is applied to ascertain the state transition probability matrix show RMB rate should have room to increase in the future. Keywords:RMB rate, Markov chain, transition probability, the prediction of RMB Rate引言：经济全球化加速发展的时代背景下，全球汇市在世界各国各种汇率机制交相作用与冲撞中呈现出很大的不稳定性。
Matlab教程课件-马尔科夫模型简介
X (t j )与X (tn ) xn1相互独立.
此时X (tn )与X (t j ), j 1,2,,n 2相互独立. 这表明X (t )具有无后效性,即{ X (t ), t 0}是一个 马尔可夫过程. 说明:
泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程.
例2 只传输数字0和1的串联系统 ( 0 1 传输系统) 如图:
X 0 1 X1 2 X 2 X n1 n X n
X
是第一级的输入
0
Xn是第n级的输出(n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
p21
状
态
ai
pi1
P(1)
X m1的状态
a2 a j
p12 p1 j
p22 p1 j
P(1)
pi2 pij 记为P
三、应用举例
例1 设{ X (t), t 0}是独立增量过程,且X (0) 0, 证明 { X (t ), t 0}是一个马尔可夫过程.
证明 由独立增量过程的定义知, 当0 t j tn1 tn , j 1,2,,n 2时,
马尔可夫模型
马尔可夫个人简介
• 马尔可夫（1856~1922），苏联数学家。切比雪夫的学生。在概率论、 数论、函数逼近论和微分方程等方面卓有成就。
• 马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作 著称。他的主要著作有《概率演算》等。在数论方面，他研究了连分 数和二次不定式理论 ，解决了许多难题 。在概率论中，他发展了矩 法，扩大了大数律和中心极限定理的应用范围。马尔可夫最重要的工 作是在1906～1912年间，提出并研究了一种能用数学分析方法研究自 然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随 机过程——马尔可夫过程的研究。马尔可夫经多次观察试验发现，一 个系统的状态转换过程中第n次转换获得的状态常决定于前一次（第 n-1次）试验的结果。马尔可夫进行深入研究后指出：对于一个系统， 由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这 种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始 状态和此次转移前的马尔可夫过程无关。目前，马尔可夫链理论与方 法已经被广泛应用于自然科学、工程技术和公用事业中
第十七章 马氏链模型
-207-第十七章 马氏链模型§1 随机过程的概念一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。
在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。
这就要研究无限多个，即一族随机变量。
随机过程理论就是研究随机现象变化过程的概率规律性的。
定义1 设},{T t t ∈ξ是一族随机变量，T 是一个实数集合，若对任意实数t T t ξ,∈是一个随机变量，则称},{T t t ∈ξ为随机过程。
T 称为参数集合，参数t 可以看作时间。
t ξ的每一个可能取值称为随机过程的一个状态。
其全体可能取值所构成的集合称为状态空间，记作E 。
当参数集合T 为非负整数集时，随机过程又称随机序列。
本章要介绍的马尔可夫链就是一类特殊的随机序列。
例1 在一条自动生产线上检验产品质量，每次取一个，“废品”记为1，“合格品”记为0。
以n ξ表示第n 次检验结果，则n ξ是一个随机变量。
不断检验，得到一列随机变量 ,,21ξξ，记为},2,1,{ =n n ξ。
它是一个随机序列，其状态空间}1,0{=E 。
例2 在m 个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到m 个商店中的任意一个归还），规定一天为一个时间单位，“j t =ξ”表示“第t 天开始营业时照相机在第j 个商店”，m j ,,2,1 =。
则},2,1,{ =n n ξ是一个随机序列，其状态空间},,2,1{m E =。
例 3 统计某种商品在t 时刻的库存量，对于不同的t ，得到一族随机变量，)},0[,{+∞∈t t ξ是一个随机过程，状态空间],0[R E =，其中R 为最大库存量。
我们用一族分布函数来描述随机过程的统计规律。
一般地，一个随机过程},{T t t ∈ξ，对于任意正整数n 及T 中任意n 个元素n t t ,,1 相应的随机变量n t t ξξ,,1 的联合分布函数记为},,{),,(1111n t t n t t x x P x x F n n ≤≤=ξξ （1）由于n 及),,1(n i t i =的任意性，（1）式给出了一族分布函数。
数学模型4-1马氏模型
马氏链的遍历极限(II)
若马氏链{ξn: n≥ 0}的状态空间S为有限 集(不妨设S={1,2,L, N}),且转移矩阵 矩阵的每个元素为正,则它存在唯一不 变概率分布π=(π1,π2,L, πN), 满足如下 (指数)遍历性
4
马氏链的遍历极限(III)
令Ti(ω)是(ξ1(ω),L,ξn(ω))首次出现状态 i 的时间.那么μi=E(Ti(ω) | ξ0(ω)=i)就是 一个平均返回(状态i)时间.有结论如下
也就是说随机过程下一时间的发展只和包括当 前时间在内的最近的k个时间的状态有关 而和 这k个时间之前的历史没有关系, (其中k=0, 1, 2, L) ,我们把这样的随机过程叫做k-阶马氏 链.
关于名称的一点说明
参考书中,看到马氏链(过程)的时候要根据上下 文进行判断.有的时候是指普遍的马氏链(包括 高阶,一阶,零阶),有时候特指一阶马氏链. 在大多数情况下,如不特别说明,通常是特指 一阶时齐的马氏链. 如果将一个 k-阶马氏链的相邻 k 个时间的状态 合为一个新的状态: yn=(xn,xn-1,L,xn-k+1) ,则 {yn} 是一个 1-阶马氏链.程
3
时齐马氏链性质 (I)
时齐马氏链由转移概率矩阵和初分布完 全确定,设转移概率矩阵为P=(pij),初 始分布: ,则
时齐马氏链性质 (II)
若记μi(n)=P(ξn=i), μ(n)=(μi(n): i∈ S),即 所谓绝对概率,则:
马氏链的不变分布
记之为pi,j(n,n+k) 矩阵P(n,n+k)=( pi,j(n,n+k) )称为从n出 发的k步转移概率矩阵
高阶马氏过程
若一个随机过程满足:
零(1)阶马氏过程
马尔可夫预测算法
马尔可夫预测算法综述马尔可夫预测法以系统状态转移图为分析对象，对服从给定状态转移率、系统的离散稳定状态或连续时间变化状态进行分析马尔可夫预测技术是应用马尔可夫链的基本原理和方法研究分析时间序列的变化规律，并预测其未来变化趋势的一种技术。
方法由来马尔可夫是俄国的一位著名数学家 (1856—1922)，20世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。
针对这种情况，他提出了马尔可夫预测方法，该方法具有较高的科学性，准确性和适应性，在现代预测方法中占有重要地位。
基础理论在自然界和人类社会中，事物的变化过程可分为两类:一类是确定性变化过程；另一类是不确定性变化过程。
确定性变化过程是指事物的变化是由时间唯一确定的，或者说，对给定的时间，人们事先能够确切地知道事物变化的结果。
因此，变化过程可用时间的函数来描述。
不确定性变化过程是指对给定的时间，事物变化的结果不止一个，事先人们不能肯定哪个结果一定发生，即事物的变化具有随机性。
这样的变化过程称为随机过程一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。
在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。
这就要研究无限多个，即一族随机变量。
随机过程理论就是研究随机现象变化过程的概率规律性的。
客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化状态即为客观事物可能出现或存在的状况，用状态变量表示状态：⎪⎪⎭⎫⎝⎛⋅⋅⋅=⋅⋅⋅==,2,1,,2,1t N i i X t 它表示随机运动系统，在时刻),2,1( =t t 所处的状态为),2,1(N i i =。
状态转移：客观事物由一种状态到另一种状态的变化。
设客观事物有 N E E E E ...,,321共 N 种状态，其中每次只能处于一种状态，则每一状态都具有N 个转向（包括转向自身），即由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。
基于MATLAB语言的消息传播模型
管理社区数码世界 P .114基于MATLAB 语言的消息传播模型周健超 暨南大学新闻与传播学院新闻学摘要：本文基于传统的SI 及SIR 传播模型，以信息传播为研究对象，通过分析传统的传染病模型与信息传播模型的不同，分析符合本文研究的信息传播模式，同时基于传统的传染病模型，以微分方程的方法作为理论基础，结合马氏链模型及MATLAB 编程，最终刻画出谣言及信息的传播过程，对传统结论进行了挑战，有助于推动最终认清网络上信息传播的真实机制。
关键词：SIR 传播模型 SI 传播模型 信息传播 MATLAB引言科学家在研究网络的传播过程时通常采用通用的模型，如SIR，SI 等，或基于这些模型的变种，来统一描述疾病传播和信息传播。
网络中有一条谣言，所有知道这个谣言的人都是已感染人群，所有不知道该谣言的人群都是易感人群。
知道但没有兴趣再传播的人被视为免疫的人。
基于SIR 模型，人们发现规则网络传播能力最差，小世界网络略好，然后是随机网络，而同质的随机网络（HMER）效果最好。
1 传染病模型研究分析根据传染病的模型建立研究进而推广产生了传染病动力学模型。
传染病动力学是对进行理论性定量研究的一种重要方法,是根据种群生长的特性,疾病的发生及在种群内的传播,发展规律,以及与之有关的社会等因素,建立能反映传染病动力学特性的数学模型,通过对模型动力学性态的定性,定量分析和数值模拟,来分析疾病的发展过程,揭示流行规律,预测变化趋势,分析疾病流行的原因和关键。
对于2003年发生的SARS 疫情,国内外学者建立了大量的动力学模型研究其传播规律和趋势,研究各种隔离预防措施的强度对控制流行的作用,为决策部门提供参考.有关SARS 传播动力学研究多数采用的是SIR 或SEIR 模型.评价措施效果或拟合实际流行数据时,往往通过改变接触率和感染效率两个参数的值来实现.石耀霖建了SARS 传播的系统动力学模型,以越南的数据为参考,进行了MonteCarlo 实验,初步结果表明,感染率及其随时间的变化是影响SARS 传播的最重要因素.蔡全才建立了可定量评价SARS 干预措施效果的传播动力学模型,并对北京的数据进行了较好的拟合。
正则马氏链模型
正则马氏链模型正则马氏链模型是一种常用的概率模型，它是一种离散时间、离散状态的随机过程。
该模型的基本假设是：在任意时刻，系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
正则马氏链模型可以用来描述许多实际问题，比如天气预报、股票价格变化、人口迁移等。
一、基本概念1. 马氏性质马氏性质是指一个随机过程中，在任意时刻，系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
这种性质也称为无后效性。
2. 状态转移矩阵状态转移矩阵是一个n×n 的矩阵，其中第 i 行第 j 列表示从状态 i 转移到状态 j 的概率。
对于正则马氏链模型而言，每个状态可以转移到任何其他状态，因此矩阵中所有元素都大于等于 0，并且每行元素之和为 1。
3. 平稳分布平稳分布是指当一个随机过程在长期运行后，其概率分布不再发生变化，并且该分布与起始分布无关。
对于正则马氏链模型而言，其平稳分布存在且唯一。
二、模型定义正则马氏链模型可以用一个四元组来表示，即(S, P, π, T)。
其中：1. S 表示状态集合，每个状态都有一个唯一的标识符。
2. P 表示状态转移矩阵，P(i,j) 表示从状态 i 转移到状态 j 的概率。
3. π 表示初始分布，π(i) 表示初始时系统处于状态 i 的概率。
4. T 表示时间步数，表示模型运行的时间长度。
三、模型计算1. 状态转移概率计算对于正则马氏链模型而言，任意时刻系统处于某一特定状态的概率只与其前一时刻所处的状态有关。
因此，在已知 t 时刻系统处于某一特定状态 i 的条件下，t+1 时刻系统处于某一特定状态 j 的概率可以用如下公式计算：P(i,j,t+1) = Σ P(i,k,t) × P(k,j)其中 k 是所有可能的中间状态。
2. 平稳分布计算平稳分布是指当一个随机过程在长期运行后，其概率分布不再发生变化，并且该分布与起始分布无关。
对于正则马氏链模型而言，其平稳分布可以通过不断迭代计算得到。
马氏链及其应用
1 t 1 1 t p11 2 t p21 n t pn1 2 t 1 1 t p12 2 t p22 n t pn 2 ⑼ . t 1 t p t p t p 1 1n 2 2n n nn n
三种状态的转移概率
平行于⑴式，有
n1 1 n 1 p11 n 2 p21 n 3 p31 ,
n1 2 n 1 p12 n 2 p22 n 3 p32 , ⑷
n1 3 n 1 p31 n 2 p32 n 3 p33 ,
马尔科夫连原理及其建模实例
马氏链及其应用
1.一个简单的例子 我们知道，人寿保险公司最为关心的是投保人的健康
与疾病以及相应的风险。通过下面的例子我们来看保险 公司是如何处理这类问题的。
问题的提出 设t
1,2,3,
表示年龄的时段，假定在一年中，今
年健康而明年患病的概率是0.2, 而今年患病明年转为健
0时系统的状态概率向量，又称为
例
在前两例中，初始向量与概率转移矩阵分别为
0 0.8,0.2 ,
0.8 0.2 P , 0.7 0.3
0.8 0.18 0.02 0 0.75,0.25,0 , P 0.65 0.25 0.1 . 0 0 1
n 1 1 0.8 0.78 0.778 0.7778 n 2 0 0.2 0.22 0.222 0.2222
若投保人在开始时处于疾病状态，即0 1 0, 0 2 1. 则有
n
0
1
2
3
4
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量X n便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量X1，X2，…，X n，…．称{ X t，t∈T ，T是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n为离散随机变量，且{X n}具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{X n}的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N个状态的马氏链，描述它的概率性质，最重要的是它在n时刻处于状态i下一时刻转移到状态j的一步转移概率：若假定上式与n 无关，即 ====)()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211 （1）称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 =≥．即每个元素非负．（2）N i p Nj j i ,,2,1,11 ==∑=．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2） 称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k j i ,,2,1,,0)( =≥； N i p Nj k j i ,,2,1,11)( ==∑=．一般地有，若P 为一步转移矩阵，则k 步转移矩阵⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销)6 2(滞销) 12 2(滞销) 18 1(畅销) 24 1(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：滞销转入畅销的概率：连续滞销的概率：综上，得销售状态转移概率矩阵为：从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：Matlab程序：format ratclca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1];for i=1:2for j=1:2f(i,j)=length(findstr([i j],a));endendfni=(sum(f'))'for i=1:2p(i,:)=f(i,:)/ni(i);endp由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2，…，S m，根据系统的状态转移的历史记录，得到表3的统计表格，以pˆ表示系统从状态i转移j i到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N r r r r r r r r r R212222111211（5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1(=i i ，经过n 步转移之后的总期望利润，则 一步转移的期望利润为：其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：其中随机变量)2(i x （称为二步利润随机变量）的分布为：例如，若⎪⎪⎭⎫ ⎝⎛=6.04.05.05.0P ， ⎪⎪⎭⎫⎝⎛-=7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为： 二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：一般地定义k 步转移利润随机变量),2,1()(N i x k i =的分布为： 则系统处于状态i 经过k 步转移后所得的期望利润)(k i v 的递推计算式为：∑∑∑=-=-=+=+=Nj j i k j i Nj j i k j N j j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0(=i v ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1(==．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，预测A、B、C三个厂家生产的某种抗病毒药在未来的市场占有情况。
顾客订货情况如下表5：表5 顾客订货情况表下季度订货情况合计来自A B CA 160 120 120 400B 180 90 30 300C 180 30 90 300合计520 240 240 1000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A、B、C三药厂的各有400家、300家、300家，那么A、B、C三药厂目前的市场占有份额分别为：40%、30%、30%．称（0.4，0.3，0.3）为目前市场的占有分布或称初始分布．此外，我们需要查清使用对象的流动情况。
流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。
由题已知顾客订货情况如下表5表5 顾客订货情况表下季度订货情况合计来 自A B CA 160 120 120 400B 180 90 30 300 C1803090300合计520 240 240 1000二、模型的建立 2.1模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A 、B 、C 三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5，我们可以得模型的转移概率矩阵：矩阵中的第一行（0.4，0.3，0.3）表示目前是A 厂的顾客下季度有40%仍买A 厂的药，转为买B 厂和C 厂的各有30%．同样，第二行、第三行分别表示目前是B 厂和C 厂的顾客下季度的流向．由P 我们可以计算任意的k 步转移矩阵，如三步转移矩阵：从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（0.504，0.252，0.244）知，B 厂的顾客三个季度后有50.4%转向买A 厂的药，25.2%仍买B 厂的，24.4%转向买C 厂的药．设),,()(3)(2)(1)(k k k k p p p S =表示预测对象k 季度以后的市场占有率，初始分布则为),,()0(3)0(2)0(1)0(p p p S =，市场占有率的预测模型为P S P S S k k k ⋅=⋅=-)1()0()( （7）已知)3.0,3.0,4.0()0(=S ，由此，我们可预测任意时期A 、B 、C 三厂家的市场占有率．例如，三个季度以后的预测值为：大致上，A 厂占有一半的市场，B 厂、C 厂各占四分之一．模型（7）可推广到N 个状态的情形：kN N N N N N Nk k k p p p p p p p p p p p p P S P S S ⎪⎪⎪⎪⎪⎭⎫⎝⎛===-212222111211)0()0(2)0(1)0()1()(),,(（8） 如果我们按公式（7）继续逐步求A 、B 、C 三家的市场占有率，会发现，当k 大到一定的程度，S (k ) 将不会有多少改变，即有稳定的市场占有率，设其稳定值为),,(321p p p S =，满足1321=++p p p ．事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关．如何求出这种稳定的市场占有率呢？2.2模型求解以A 、B 、C 三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P ，即 由此得经整理，并加上条件1321=++p p p ，得 0.4 0.3 0.3，0.6 0.3 0.1,0.6 0.1 0.3上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：5.01=p ， 25.02=p ， 25.03=p这就是A 、B 、C 三家的最终市场占有率．一般N 个状态的稳定市场占有率（稳态概率）),,(21N p p p S =可通过解方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎪⎪⎪⎪⎪⎭⎫⎝⎛=∑=1),,(),,(12122221112112121Nk k N N N N N N NN p p p p p p p p p p pp p p p p（9） 求得，而（9）的前N 个方程中只有N -1个是独立的，可任意删去一个。