马氏链模型及matlab程序
第十一章 马氏链模型
设投保 a1(n) 0 时疾病 a2(n) 1
0.7 0.77 0.777 … 7/9 0.3 0.33 0.333 … 2/9
n时状态概率趋于稳定值，稳定值与初始状态无关
健康与疾病
例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病
死亡为第3种状态，记Xn=3 0.8
0.18
0.25
有r个吸收状态的吸收链 的转移概率阵标准形式
P
Irr R
0 R有非 Q 零元素
M(IQ)1
Qs s0
y (y 1 ,y 2 , y k r) M
e(1 ,1 , ,1 )T
yi ~ 从第 i 个非吸收状态出发，被某个 吸收状态吸收前的平均转移次数。
11.2 钢琴销售的存贮策略
背景与问题
钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为1架 存贮策略：每周末检查库存量，仅当库存量为零时， 才订购3架供下周销售；否则，不订购。
=a:2b:c
状态定义为配对的基因类型组合
动时，最终结果有多大变化。
设Dn服从均值为
的波松分布
状态转移阵
P (D n k ) k e /k !,( k 0 ,1 ,2 )
e 0
1e
P
e
e
1(1)e
2e/2 e 1(2/2)e
第n周(n充分大)失去销售机会的概率 PP(DnSn)
0.8
0.9
1.0
1.1
1.2
P 0.073 0.089 0.105 0.122 0.139
p11=0.8, p12=0.18, p13=0.02
0.65
1
2
05 马氏链模型
w (0.285,0.263,0.452 )
0.264 0.285 0.080 0.263 0.019 0.452 0.105
从长期看，失去销售机会的可能性大约 10%。
模型求解
第n周平 均售量
3
2. 估计这种策略下每周的平均销售量
i
Rn [ jP( Dn j, S n i) iP( Dn i, S n i) ]
N (t ) ni (t )
i 1 k
t年总人数
ni (t ) ai (t ) N (t )
a(t)~等级结构
ai (t ) 0,
a (t ) 1
i 1 i
k
转移矩阵 Q={pij}kk, pij 是每年从i 转至j 的比例
基本模型
模型建立
状态概率 ai (n ) P( S n i ), i 1,2,3
马氏链的基本方程
0.632 0.368 0 P 0.368 0.368 0.264 0.184 0.368 0.448
N
a(n 1) a(n) P
已知初始状态，可预测第 n周初库存量Sn=i 的概率
状态与状态转移
设投保时处于健康状态，预测 a(n), n=1,2…
n
a1(n)
0
1
1
0.8
2
0.757
3
50
0 0 1
0.7285 0.1293
a2(n)
a3(n)
0
0
0.18
0.02
0.189
0.054
0.1835
0.0326
0.0880 0.8381
马尔科夫链matlab代码
马尔科夫链%This is programmed for calculating the Markov-chain state transfer probability(First order) matrice!%This program is based on 4 thresholds,that is, the transfer probability matrice is 4x4.%Follow the notes to conduct the processing.%Coded by EOS%Nanchang Chinaclearclc%A=csvread('widetype.csv');% % or manually define via "A=[ ]".A=[]%A is the information matrix which must be adjusted to wide-type,i(section)-j(time)%%out=zeros(4,4);%Initialize the transfering probability(First order) matrice[r1,r2,r3]=deal(1.009, 1.285, 1.7256);%%Define the state threshold value manually.flag=0;trans=zeros(4,4);s0=zeros(1,4);epro=zeros(10,4);for i=1:10if A(i,1)< r1s0(1,1)=s0(1,1)+1;elseif A(i,1)>= r1 && A(i,1)<r2s0(1,2)=s0(1,2)+1;elseif A(i,1)>=r2 && A(i,1)<r3s0(1,3)=s0(1,3)+1;elses0(1,4)=s0(1,4)+1;endendfor i=1:10for t=1:14if A(i,t)< r1epro(i,1)=epro(i,1)+1;elseif A(i,t)>= r1 && A(i,t)<r2epro(i,2)=epro(i,2)+1;elseif A(i,t)>=r2 && A(i,t)<r3epro(i,3)=epro(i,3)+1;elseepro(i,4)=epro(i,4)+1;endendendfor s=1:10for t=1:13%%within an initial state 1if A(s,t) < r1flag=1;if A(s,t+1)<r1trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)<r2trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)<r3trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;end%%within an initial state 2elseif A(s,t)>=r1 && A(s,t)<r2flag=2;if A(s,t+1)<r1trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)<r2trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)<r3trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;end%%within an initial state 3elseif A(s,t)>=r2 && A(s,t)<r3flag=3;if A(s,t+1)<r1trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)<r2trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)<r3trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;end%%within an initial state 4elseflag=4;if A(s,t+1)<r1trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)<r2trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)<r3trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;endendendend%Calculate the Markov state transfering probability matrice for i=1:4for j=1:4out(i,j)=trans(i,j)/sum(trans(i,:));endenddisp('Markov state transfering probability matrice is:') disp(out)。
齐次马尔可夫预测的应用及其在Matlab上的实现
表 1 公司间顾客流动情况表
公司
A
B
C
A 3500 ／ 5000＝0．7 500 ／ 5000＝0．1 1000 ／ 5000＝0．2 B 300 ／ 3000＝0．1 2400 ／ 3000＝0．8 300 ／ 3000＝0．1
C 100 ／ 2000＝0．05 100 ／ 2000＝0．05 1800 ／ 2000＝0．95
所谓马尔可夫链是一类时间参数离散、状态空间为可列 集或有限集且具有马尔可夫性的随机过程[2]。在市场预测经 常用到的是一类具有遍历性的齐次马氏链，下面给出相应
的定义。 定义 1：设邀X（n），n＝0，1，2…妖是一马尔可夫链，如果其一
步转移 概 率 p（ij n）恒 与 起 始 时 刻 n 无 关 ，记 为 pij，则 称 邀X （n），n＝0，1，2…妖为齐次（时间齐次或时齐）马尔可夫链。否 则，称为非齐次马尔可夫链。
π 1＋π 2＋π 3＝1
∈π 1＝0．8π 1＋0．5π 2＋0．5π 3
即:
∈π
∈∈π
2＝0．1π 3＝0．1π
1＋0．1π 1＋0．4π
2＋0．3π 2＋0．2π
3 3
∈π 1＋π 2＋π 3＝1
用顺序 Gauss 消去法，其功能由 nagauss（a，b）函数来实
现:
＞＞ x＝nagauss（a，b） x＝
System Optimization and Security Settings of Windows XP
Ning Yunting
Abstract: After the initial installation of Windows XP,the optimal performance is not achieved．By modifying virtual memory、b－
马氏链预测模型
马氏链预测模型：
马氏链分为正则链和吸收链
正则链即任意状态都可通过正概率到达其他状态，吸收链为存在一个状态，当到达此状态时，就不能再向其他状态转移，其他任意状态都可经过一个正概率向此状态转移，且经过足够长时间后，所有状态都将变为这个状态。
基本模型：
状态⎪⎪⎩⎪⎪⎨⎧=4
3
21n X ，分别表示四种水质，状态概率)()(i X P n a n i ==，
状态转移概率..2,1,0;,...,2,1,)),(|)((1=====+n k j i i X j X P P n n ij
经n 次转以后状态概率：
k i P n a n a k j ij j i ...,2,1,*)()1(1
==+∑=
当经过足够长时间达到稳态时，对于正则链，假设w 为稳态概率，则满足：
w P w =*
利用MATLAB 程序实现：
function Markov_Chain=f1(P,n,A0)
%P 为转移概率矩阵，n 为递推时间，A0为初始状态列向量
b=size(A0,1);%确定初始状态矩阵A0行数
A=zeros(b,n);
A(:,1)=A0;
p=P';%按照递推公式，需将转移概率矩阵P 转置
j=1;
while j<=n
A(:,j+1)= p*A(:,j)%第j 列代表递推j 次后的状态向量
j=j+1;
end
A_n=A(:,n) %得到递推n 次后的状态向量
根据数据可分别求出四个地区四种水质的转移概率：
P1=。
马氏链模型和matlab程序
一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1 ====+若假定上式与n 无关，即 ====)()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 =≥．即每个元素非负．（2）N i p Nj j i ,,2,1,11==∑=．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()( ====+同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2）称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k ji ,,2,1,,0)( =≥； N i p Nj k j i ,,2,1,11)( ==∑=．一般地有，若P 为一步转移矩阵，则k 步转移矩阵⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p ===-连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p ===-畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p ===滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p ===连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：⎪⎪⎭⎫ ⎝⎛=⎪⎪⎭⎫ ⎝⎛=22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711+=p 77712+=p27721+=p77222+=p Matlab 程序：format rat clca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a)); end end fni=(sum(f'))' for i=1:2p(i,:)=f(i,:)/ni(i);endp由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2，…，S m，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r11元，连续滞销时亏本r22元，由畅销转为滞销盈利r12元，由滞销转为畅销盈利r21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211 的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1(=i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：∑==+==212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：∑=+=+++==21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(i x （称为二步利润随机变量）的分布为：2,1,)()1()2(==+=j p v r x P j i j j i i例如，若⎪⎪⎭⎫ ⎝⎛=6.04.05.05.0P ， ⎪⎪⎭⎫⎝⎛-=7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1=⨯+⨯=+==p r p r x E v 36.074.03)(22222121)1(2)1(2-=⨯-⨯=+==p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v +++==5.75.0)33(5.0)69(=⨯-+⨯+=22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v +++==4.26.0)37(4.0)63(-=⨯--+⨯+=一般地定义k 步转移利润随机变量),2,1()(N i x k i=的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(==+=-则系统处于状态i 经过k 步转移后所得的期望利润)(k iv 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(-=+==∑∑∑∑=-=-=+=+=Nj j i k j i Nj ji k j N j j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0(=iv ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1(==．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
马尔科夫链matlab程序
马尔科夫链matlab程序自己编写的马尔科夫链程序A 代表一组数据序列一维数组本程序的操作对象也是如此t=length(A); % 计算序列“A”的总状态数 B=unique(A); % 序列“A”的独立状态数顺序，“E”E=sort(B,'ascend');a=0;b=0;c=0;d=0;for j=1:1:ttLocalization=find(A==E(j)); % 序列“A”中找到其独立状态“E”的位置for i=1:1:length(Localization) if Localization(i)+1>tbreak; % 范围限定 elseif A(Localization(i)+1)== E(1)a=a+1;elseif A(Localization(i)+1)== E(2)b=b+1;elseif A(Localization(i)+1)== E(3)c=c+1;% 依此类推，取决于独立状态“E”的个数elsed=d+1;endendT(j,1:tt)=[a,b,c,d]; % “T”为占位矩阵 endTT=T;for u=2:1:ttTT(u,:)= T(u,:)- T(u-1,:); endTT; % 至此，得到转移频数矩阵Y=sum(TT,2);for uu=1:1:ttTR(uu,:)= TT(uu,:)./Y(uu,1); endTR % 最终得到马尔科夫转移频率/概率矩阵 % 观测序列马尔科夫性质的检验: N=numel(TT);uuu=1;Col=sum(TT,2); % 对列求和Row=sum(TT,1); % 对行求和 Total=sum(Row); % 频数总和 for i=1:1:tt for j=1:1:ttxx(uuu,1)=sum((TT(i,j)-(Row(i)*Col(j))./Total).^2./( (Row(i)*Col(j))./Total));uuu=uuu+1; % 计算统计量x2 endendxx=sum(xx)。
马尔可夫链模型
马尔可夫链在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。
例如，微分方程的初值问题描述的物理系统属于这类随机性现象。
随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。
在贝努利过程(){},1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。
在维纳过程(){},0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。
在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。
易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进入商店的顾客无关。
一、马尔可夫过程定义：给定随机过程(){},X t t T ∈。
如果对任意正整数3n ≥，任意的12,,1,,n i t t t t T i n <<<∈=，任意的11,,,n x x S -∈S 是()X t 的状态空间，总有()()()1111|,n n n n P X x X t x X t x --≤==()()11|,n n n n n P X x X t x x R --=≤=∈ 则称(){},X t t T ∈为马尔可夫过程。
在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t -是“过去”。
马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --==无关。
马尔科夫链matlab代码
马尔科夫链matlab代码马尔科夫链%This is programmed for calculating the Markov-chain state transfer probability(First order) matrice! %This program is based on 4 thresholds,that is, the transfer probability matrice is 4x4.%Follow the notes to conduct the processing.%Coded by EOS%Nanchang Chinaclearclc%A=csvread('widetype.csv');% % or manually define via "A=[ ]".A=[]%A is the information matrix which must be adjusted to wide-type,i(section)-j(time)%%out=zeros(4,4);%Initialize the transfering probability(First order) matrice[r1,r2,r3]=deal(1.009, 1.285, 1.7256);%%Define the state threshold value manually.flag=0;trans=zeros(4,4);s0=zeros(1,4);epro=zeros(10,4);for i=1:10if A(i,1)< r1s0(1,1)=s0(1,1)+1;elseif A(i,1)>= r1 && A(i,1)s0(1,2)=s0(1,2)+1;elseif A(i,1)>=r2 && A(i,1)s0(1,3)=s0(1,3)+1;elses0(1,4)=s0(1,4)+1;endendfor i=1:10for t=1:14if A(i,t)< r1epro(i,1)=epro(i,1)+1;elseif A(i,t)>= r1 && A(i,t)epro(i,2)=epro(i,2)+1;elseif A(i,t)>=r2 && A(i,t)epro(i,3)=epro(i,3)+1;elseepro(i,4)=epro(i,4)+1;endendendfor s=1:10for t=1:13%%within an initial state 1if A(s,t) < r1flag=1;if A(s,t+1)trans(flag,1)=trans(flag,1)+1; elseif A(s,t+1)>=r1 && A(s,t+1) trans(flag,2)=trans(flag,2)+1; elseif A(s,t+1)>=r2 && A(s,t+1) trans(flag,3)=trans(flag,3)+1; elsetrans(flag,4)=trans(flag,4)+1; end%%within an initial state 2 elseif A(s,t)>=r1 && A(s,t) flag=2;if A(s,t+1)trans(flag,1)=trans(flag,1)+1; elseif A(s,t+1)>=r1 && A(s,t+1) trans(flag,2)=trans(flag,2)+1; elseif A(s,t+1)>=r2 && A(s,t+1) trans(flag,3)=trans(flag,3)+1; elsetrans(flag,4)=trans(flag,4)+1; end%%within an initial state 3 elseif A(s,t)>=r2 && A(s,t) flag=3;if A(s,t+1)trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;end%%within an initial state 4elseflag=4;if A(s,t+1)trans(flag,1)=trans(flag,1)+1;elseif A(s,t+1)>=r1 && A(s,t+1)trans(flag,2)=trans(flag,2)+1;elseif A(s,t+1)>=r2 && A(s,t+1)trans(flag,3)=trans(flag,3)+1;elsetrans(flag,4)=trans(flag,4)+1;endendendend%Calculate the Markov state transfering probability matrice for i=1:4 for j=1:4out(i,j)=trans(i,j)/sum(trans(i,:));endenddisp('Markov state transfering probability matrice is:') disp(out)。
(完整版)马氏链模型及matlab程序
一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1若假定上式与n 无关，即 )()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 ．即每个元素非负．（2）N i p Nj j i ,,2,1,11．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()(同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2）称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k ji ,,2,1,,0)( ； N i p Nj k j i ,,2,1,11)( ．一般地有，若P 为一步转移矩阵，则k 步转移矩阵)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711p 77712p 27721p 77222p Matlab 程序：format rat clca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a)); end end fni=(sum(f'))' for i=1:2p(i,:)=f(i,:)/ni(i); end p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m 种状态S 1，S 2，…，S m ，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i 转移到状态j 的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵N N N N N N p p p p p p p p p P212222111211的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1( i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(ix （称为二步利润随机变量）的分布为：2,1,)()1()2( j p v r x P j i j j i i例如，若6.04.05.05.0P ，7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1 p r p r x E v 36.074.03)(22222121)1(2)1(2 p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v5.75.0)33(5.0)69(22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v4.26.0)37(4.0)63(一般地定义k 步转移利润随机变量),2,1()(N i x k i的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(则系统处于状态i 经过k 步转移后所得的期望利润)(k iv 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(Nj j i k j i Nj j i k j Nj j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0( iv ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1( ．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
(完整版)马氏链模型及matlab程序
一、用法，用来干什么，什么时候用 二、步骤，前因后果，算法的步骤，公式 三、程序 四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain ）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析， 主要目的是根据某些变量现在的情 况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依 据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n 季度是畅销还是滞销，用一个随机变量X n 便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量 X 1，X 2，…，X n ，…．称{ X t ，t ∈T ，T 是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n 看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：N j i n p i X j X P j i n n ,,2,1,)()|(1若假定上式与n 无关，即 )()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记N N N N N N p p p p p p p p p P212222111211（1） 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 ．即每个元素非负．（2）N i p Nj j i ,,2,1,11．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：N j i n p i X j X P k j i n k n ,,2,1,)()|()(同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2）称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k ji ,,2,1,,0)( ； N i p Nj k j i ,,2,1,11)( ．一般地有，若P 为一步转移矩阵，则k 步转移矩阵)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3） （2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态1 1 (畅销) 7 1(畅销) 13 1(畅销) 19 2(滞销)2 1(畅销) 8 1(畅销) 14 1(畅销) 20 1(畅销)3 2(滞销) 9 1(畅销) 15 2(滞销) 21 2(滞销)4 1(畅销) 10 2(滞销) 16 2(滞销) 22 1(畅销)5 2(滞销) 11 1(畅销) 17 1(畅销) 23 1(畅销) 62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：1170.5151p连续出现畅销的次数出现畅销的次数分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：1270.5151p畅销转入滞销的次数出现畅销的次数滞销转入畅销的概率：2170.789p滞销转入畅销的次数出现滞销的次数连续滞销的概率：2220.229p连续滞销的次数出现滞销的次数综上，得销售状态转移概率矩阵为：22.078.05.05.022211211p pp p P 从上面的计算过程知，所求转移概率矩阵P 的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：77711p 77712p 27721p 77222p Matlab 程序：format rat clca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1]; for i=1:2 for j=1:2f(i,j)=length(findstr([i j],a)); end end fni=(sum(f'))' for i=1:2p(i,:)=f(i,:)/ni(i); end p由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m 种状态S 1，S 2，…，S m ，根据系统的状态转移的历史记录，得到表3的统计表格，以j i pˆ表示系统从状态i 转移到状态j 的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵N N N N N N p p p p p p p p p P212222111211的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少？为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1( i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：212211)1()1()(j j i j i i i i i i i p r p r p r x E v其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量)2(ix （称为二步利润随机变量）的分布为：2,1,)()1()2( j p v r x P j i j j i i例如，若6.04.05.05.0P ，7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为：65.035.09)(12121111)1(1)1(1 p r p r x E v 36.074.03)(22222121)1(2)1(2 p r p r x E v二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：12)1(21211)1(111)2(1)2(1][][)(p v r p v r x E v5.75.0)33(5.0)69(22)1(22221)1(121)2(2)2(2][][)(p v r p v r x E v4.26.0)37(4.0)63(一般地定义k 步转移利润随机变量),2,1()(N i x k i的分布为：N j p v r x P ji k j j i k i ,2,1)()1()(则系统处于状态i 经过k 步转移后所得的期望利润)(k iv 的递推计算式为：j i k j Nj j i k i k i p v r x E v )()()1(1)()(Nj j i k j i Nj j i k j Nj j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0( iv ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1( ．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
[学习笔记]马氏链模型
![[学习笔记]马氏链模型](https://img.taocdn.com/s3/m/772cbde79f3143323968011ca300a6c30c22f13e.png)
[学习笔记]马⽒链模型引例：（带有反射壁的随机徘徊）如果在原点右边距离原点⼀个单位及距原点 s(s > 1)个单位处各⽴⼀个弹性壁。
⼀个质点在数轴右半部从距原点两个单位处开始随机徘徊。
每次分别以概率 p(0 < p < 1) 和 q(q = 1− p) 向右和向左移动⼀个单位；若在+1 处，则以概率 p 反射到 2，以概率q 停在原处；在 s 处，则以概率 q 反射到 s −1，以概率 p 停在原处。
由该例⼦可以看出，我们所做的，是根据质点的移动⽅向和⽅向对应的概率，对质点的运动⽅向进⾏预测。
在这背景下，球移动的⽅向与概率只与当前的点有关，与它历史运动轨迹⽆关。
因此，这种现象可以⽤⼀句话来概括：某⼀系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，⽽与过去的历史⽆直接关系。
描述这类随机现象的数学模型称为马⽒模型。
概念以及定理：时齐性：它的含义是：系统由状态i 到状态j 的转移概率只依赖于时间间隔的长短，与起始的时刻⽆关。
在此马⽒链假定都是时齐的，因此省略“时齐”⼆字。
n可以理解成起点的位置n=1，2… m表⽰从n开始的时间间隔，i与j分别表⽰n点的状态与n+m点的状态。
由式⼦可以看出，概率与n⽆关，只与起点状态，终点状态，以及两点之间的距离有关。
转移概率矩阵： m 步转移概率 p (m) ij 为元素的矩阵 为马尔可夫链的m 步转移矩阵。
当m = 1时，记 P(1) = P 称为马尔可夫链的⼀步转移矩阵，或简称转移矩阵。
（下⾯是⼀个转移矩阵）并且由上⾯的图可以看出⼀些性质：(1)上次购买的A对应下次购买的A、B、C的概率，每⼀个都在范⽂[0,1]，⽽且总和是1.(2)当步数为0时，若前后状态相同，概率为1。
状态不同概率为0。
吸收链：如果马⽒链⾄少含有⼀个吸收状态，并且从每⼀个⾮吸收状态出发，都可以到达某个吸收状态，那么这个马⽒链被称为吸收链。
如图，当状态到4的时候就会停留到4，状态4也就被称为吸收状态。
马尔科夫链例题整理
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
p20 P( X n1 0 | X n 2) P( X n 1 Yn 0 | X n 2) P(Yn 1) 0 p21 P( X n1 1 | X n 2) P( X n 1 Yn 1 | X n 2)
p11 P( X n1 1 | X n 1) P( X n 1 Yn 1 | X n 1) P(Yn 1) p1
根据全概率公式有
u j u j 1 p u j 1q
这一方程实质上是一差分方程，它的边界条件是
u0 1, uc 0
首页
欲求
于是
ua
uj （p + q）u j pu j 1 qu j 1
先求
q u j u j 1 ( )(u j 1 u j ) p
设
q r p
解 这是一个齐次马氏链，其状态空间为 0 0 I={0，1，2，…，a} 0 1 1 a 1 0 0 a a 一步转移矩阵是 2 a2 0 0 P a a 1 ... ... ... ... a 1 0 ... 0 a 首页 0 ... 0 0
... 0 ... 0 ... 0 ... ... 1 0 a 1 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
matlab用马尔可夫链蒙特卡洛 (mcmc) 的logistic逻辑回归
matlab用马尔可夫链蒙特卡洛(mcmc) 的logistic逻辑回归在MATLAB中实现马尔可夫链蒙特卡洛（MCMC）的逻辑回归可能涉及到多个步骤，这里是一个基本的步骤概述和代码示例。
请注意，这个示例可能需要根据你的具体需求进行调整。
首先，你需要安装统计和机器学习工具箱。
你也需要先生成一组数据。
下面的示例代码是假设你已经有了一组二元分类数据。
以下是代码的基本步骤：1. 加载或生成数据2. 定义模型参数的初始值3. 创建马尔可夫链4. 在循环中更新马尔可夫链5. 使用工具箱中的函数来评估模型的性能以下是代码示例：```matlab% 加载或生成数据% 假设X 是特征矩阵，y 是标签向量（0 或1）X = ...; % 加载或生成数据y = ...; % 加载或生成数据% 定义模型参数的初始值theta = rand(size(X,1),1); % 初始值通常设置为随机数% 创建马尔可夫链numChains = 4; % 通常使用多个链以获得更可靠的估计numIterations = 1000; % 迭代次数，可以根据需要调整chains = cell(1, numChains);for i = 1:numChainschains{i} = theta + randn(size(theta))*0.01; % 初始化链end% 在循环中更新马尔可夫链for iter = 1:numIterationsfor i = 1:numChains% Metropolis-Hastings 算法步骤proposedTheta = chains{i} + randn(size(theta))*0.01; %提议新的参数值if proposedTheta > 1 || proposedTheta < 0 % logistic回归的参数范围是[0,1]continue; % 如果提议的参数值超出范围，就跳过这次迭代endacceptProb = exp(sum(log(1 + exp(-y*proposedTheta(X)))) - sum(log(1 + exp(-y*chains{i}(X)))); % Metropolis-Hastings接受概率if rand < acceptProb % 以概率acceptProb 接受提议的参数值chains{i} = proposedTheta; % 更新链endendend% 使用工具箱中的函数来评估模型的性能% 这里我们使用对数似然值作为评估指标，但你也可以使用其他的评估指标，如准确率等。
马氏链模型及matlab程序
一、用法,用来干什么,什么时候用ﻫ二、步骤,前因后果,算法得步骤,公式三、程序四、举例五、前面国赛用到此算法得备注一下马氏链模型用来干什么马尔可夫预测法就是应用概率论中马尔可夫链(Mａｒkoｖ chain)得理论与方法来研究分析时间序列得变化规律,并由此预测其未来变化趋势得一种预测技术。
什么时候用ﻫ应用马尔可夫链得计算方法进行马尔可夫分析, 主要目得就是根据某些变量现在得情况及其变动趋向,来预测它在未来某特定区间可能产生得变动,作为提供某种决策得依ﻫ据。
马尔可夫链得基本原理我们知道,要描述某种特定时期得随机现象如某种药品在未来某时期得销售情况,比如说第n季度就是畅销还就是滞销,用一个随机变量Xｎ便可以了,但要描述未来所有时期得情况,则需要一系列得随机变量Ｘ1,X2,…,Ｘn,…、称{Ｘt,t∈T ,T就是参数集}为随机过程,｛ X t｝得取值集合称为状态空间、若随机过程{ X n}得参数为非负整数, X n为离散随机变量,且{ X n｝具有无后效性(或称马尔可夫性),则称这一随机过程为马尔可夫链(简称马氏链)。
所谓无后效性,直观地说,就就是如果把｛Ｘn｝得参数n瞧作时间得话,那么它在将来取什么值只与它现在得取值有关,而与过去取什么值无关、对具有Ｎ个状态得马氏链,描述它得概率性质,最重要得就是它在n时刻处于状态i下一时刻转移到状态j得一步转移概率:若假定上式与n无关,即,则可记为(此时,称过程就是平稳得),并记(１) 称为转移概率矩阵、转移概率矩阵具有下述性质:(1)、即每个元素非负。
(2).即矩阵每行得元素与等于1、如果我们考虑状态多次转移得情况,则有过程在n时刻处于状态i,n＋k时刻转移到状态j得k步转移概率:同样由平稳性,上式概率与ｎ无关,可写成。
记(２) 称为k步转移概率矩阵。
其中具有性质:; 、一般地有,若为一步转移矩阵,则ｋ步转移矩阵(３) (２)状态转移概率得估算在马尔可夫预测方法中,系统状态得转移概率得估算非常重要.估算得方法通常有两种:一就是主观概率法,它就是根据人们长期积累得经验以及对预测事件得了解,对事件发生得可能性大小得一种主观估计,这种方法一般就是在缺乏历史统计资料或资料不全得情况下使用、二就是统计估算法,现通过实例介绍如下.例3 记录了某抗病毒药得6年24个季度得销售情况,得到表1、试求其销售状态得转移概率矩阵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、用法,用来干什么，什么时候用二、步骤，前因后果,算法得步骤,公式ﻫ三、程序四、举例五、前面国赛用到此算法得备注一下马氏链模型用来干什么马尔可夫预测法就是应用概率论中马尔可夫链（Marｋov ｃhain)得理论与方法来研究分析时间序列得变化规律,并由此预测其未来变化趋势得一种预测技术.什么时候用应用马尔可夫链得计算方法进行马尔可夫分析，主要目得就是根据某些变量现在得情ﻫ况及其变动趋向，来预测它在未来某特定区间可能产生得变动，作为提供某种决策得依据.马尔可夫链得基本原理我们知道，要描述某种特定时期得随机现象如某种药品在未来某时期得销售情况，比如说第n季度就是畅销还就是滞销，用一个随机变量Ｘｎ便可以了，但要描述未来所有时期得情况，则需要一系列得随机变量Ｘ１，X2，…,X n,…。
称｛ Xｔ，t∈Ｔ,Ｔ就是参数集}为随机过程，{ Xｔ｝得取值集合称为状态空间。
若随机过程｛X n｝得参数为非负整数, XXｎ }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔ｎ为离散随机变量，且{可夫链（简称马氏链)。
所谓无后效性,直观地说，就就是如果把{ X n｝得参数n瞧作时间得话,那么它在将来取什么值只与它现在得取值有关,而与过去取什么值无关。
对具有N个状态得马氏链,描述它得概率性质，最重要得就是它在ｎ时刻处于状态i下一时刻转移到状态j得一步转移概率：若假定上式与ｎ无关，即,则可记为（此时,称过程就是平稳得），并记（1) 称为转移概率矩阵．转移概率矩阵具有下述性质：（1）．即每个元素非负。
（2）。
即矩阵每行得元素与等于1。
如果我们考虑状态多次转移得情况,则有过程在n时刻处于状态i，ｎ＋ｋ时刻转移到状态j得ｋ步转移概率：同样由平稳性，上式概率与ｎ无关，可写成。
记（２) 称为ｋ步转移概率矩阵.其中具有性质：；。
一般地有，若为一步转移矩阵，则k步转移矩阵（3) (2）状态转移概率得估算在马尔可夫预测方法中,系统状态得转移概率得估算非常重要.估算得方法通常有两种：一就是主观概率法，它就是根据人们长期积累得经验以及对预测事件得了解,对事件发生得可能性大小得一种主观估计,这种方法一般就是在缺乏历史统计资料或资料不全得情况下使用。
二就是统计估算法，现通过实例介绍如下。
例3 记录了某抗病毒药得6年2４个季度得销售情况，得到表1.试求其销售状态得转移概率矩阵。
表１某抗病毒药24个季度得销售情况季度销售状态季度销售状态季度销售状态季度销售状态１ 1 (畅销）7 1(畅销) 13 1（畅销）19 ２（滞销）２1（畅销）8 1(畅销）14 1（畅销) 2０1（畅销)3 2（滞销）9 1(畅销）15 2(滞销）２1 2（滞销)4 １（畅销) 1０2（滞销）１6 2（滞销) 22 1（畅销)５2(滞销) 11 1(畅销）17 1(畅销) ２３1(畅销）6 ２（滞销）12 ２(滞销）18 1（畅销）24 1(畅销)分析表中得数据，其中有１5个季度畅销，9个季度滞销,连续出现畅销与由畅销转入滞销以及由滞销转入畅销得次数均为7,连续滞销得次数为2。
由此,可得到下面得市场状态转移情况表(表2）．表２市场状态转移情况表现计算转移概率.以频率代替概率，可得连续畅销得概率:分母中得数为15减１就是因为第24季度就是畅销,无后续记录,需减１.同样得由畅销转入滞销得概率：滞销转入畅销得概率:连续滞销得概率:综上，得销售状态转移概率矩阵为:从上面得计算过程知，所求转移概率矩阵Ｐ得元素其实可以直接通过表2中得数字计算而得到，即将表中数分别除以该数所在行得数字与便可:Maｔlａb程序：foｒmat ratclca=［ 1 12１ 2 2 1 1 1 212,11 2 ２ 1 1 2 1 2 1 1 1]；forｉ=1：２for j＝1：２f（ｉ，j)＝length(findstr(［i j］,ａ）);ｅndｅnｄfｎi＝（suｍ（f'））＇foｒｉ=1:2ｐ（ｉ，:)=f(i,:）/ni(i）；enｄｐ由此，推广到一般情况，我们得到估计转移概率得方法：假定系统有ｍ种状态S1，S２，…，Sｍ，根据系统得状态转移得历史记录,得到表３得统计表格，以表示系统从状态i转移到状态ｊ得转移概率估计值，则由表３得数据计算估计值得公式如下:表３系统状态转移情况表(３）带利润得马氏链在马氏链模型中，随着时间得推移,系统得状态可能发生转移,这种转移常常会引起某种经济指标得变化．如抗病毒药得销售状态有畅销与滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销,有时由畅销转为滞销或由滞销转为畅销,每次转移不就是盈利就就是亏本。
假定连续畅销时盈r１1元,连续滞销时亏本r2２元，由畅销转为滞销盈利ｒ１２元，由滞销转为畅销盈利r21元，这种随着系统得状态转移,赋予一定利润得马氏链，称为有利润得马氏链．对于一般得具有转移矩阵得马氏链,当系统由i 转移到j 时,赋予利润ｒｉj （ｉ，j =１,2,…，N ),则称(5)为系统得利润矩阵，r ij >0称为盈利，r ij 〈０称为亏本,r ij = 0称为不亏不盈。
随着时间得变化,系统得状态不断地转移,从而可得到一系列利润，由于状态得转移就是随机得，因而一系列得利润就是随机变量，其概率关系由马氏链得转移概率决定．例如从抗病毒药得销售状态得转移矩阵，得到一步利润随机变量、得概率分布分别为:其中 p 1１+ p 12 = 1 ，ｐ２１+ p 22 = 1。
如果药品处于畅销阶段,即销售状态为i =1,我们想知道，经过n 个季度以后，期望获得得利润就是多少？为此,引入一些计算公式．首先，定义为抗病毒药现在处于，经过步转移之后得总期望利润，则 一步转移得期望利润为:其中就是随机变量得数学期望.二步转移得期望利润为:∑=+=+++==21)1(2)1(221)1(11)2()2(][][][)(j j i j j i i i i i i i p v r p v r p v r x E v其中随机变量（称为二步利润随机变量）得分布为：例如，若，则抗病毒药销售得一步利润随机变量：抗病毒药畅销与滞销时得一步转移得期望利润分别为:二步利润随机变量为：抗病毒药畅销与滞销时得二步转移得期望利润分别为:一般地定义k步转移利润随机变量得分布为:则系统处于状态ｉ经过k步转移后所得得期望利润得递推计算式为:（６)当k=1时,规定边界条件.称一步转移得期望利润为即时得期望利润,并记.可能得应用题型题型一、市场占有率预测例题1在购买该药得总共10００家对象（购买力相当得医院、药店等)中,买A、Ｂ、C三药厂得各有４0０家、300家、30０家,预测A、B、C三个厂家生产得某种抗病毒药在未来得市场占有情况。
顾客订货情况如下表５:表5 顾客订货情况表下季度订货情况合计来自A Ｂ CA 160 1２０1２０4０0B 18０9０30 ３00C 1８0 30 90 3０0合计5２模型建立与求解一、问题分析目前得市场占有情况为：在购买该药得总共1０00家对象(购买力相当得医院、药店等)中，买A 、B 、C 三药厂得各有4０0家、300家、300家，那么A 、B 、C 三药厂目前得市场占有份额分别为：40%、30％、３０％.称(0、4，０、3，0、３）为目前市场得占有分布或称初始分布.此外,我们需要查清使用对象得流动情况.流动情况得调查可通过发放信息调查表来了解顾客以往得资料或将来得购买意向,也可从下一时期得订货单得出。
由题已知顾客订货情况如下表５表5 顾客订货情况表下季度订货情况 合计 来 自A B C Ａ 1６0 120 120 400 B 180 90 3０ 300 C１８0 3０ 90 300 合计52二、模型得建立 2、1模型构建假定在未来得时期内,顾客相同间隔时间得流动情况不因时期得不同而发生变化，以1、２、3分别表示顾客买A 、B 、C 三厂家得药这三个状态,以季度为模型得步长（即转移一步所需得时间），那么根据表5，我们可以得模型得转移概率矩阵：⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛=3.01.06.01.03.06.03.03.04.030090300303001803003030090300180400120400120400160333231232221131211p p p p p p p p p P 矩阵中得第一行(0、4，0、３,0、３）表示目前就是A 厂得顾客下季度有40％仍买A 厂得药,转为买B 厂与Ｃ厂得各有３0％．同样，第二行、第三行分别表示目前就是B 厂与Ｃ厂得顾客下季度得流向．由P 我们可以计算任意得ｋ步转移矩阵，如三步转移矩阵:⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛==252.0244.0504.0244.0252.0504.0252.0252.0496.03.01.06.01.03.06.03.03.04.033)3(P P 从这个矩阵得各行可知三个季度以后各厂家顾客得流动情况。
如从第二行（０、504，0、252，0、２44)知，B 厂得顾客三个季度后有５0、4%转向买A 厂得药,25、2%仍买B 厂得，24、4％转向买C 厂得药。
设表示预测对象k 季度以后得市场占有率,初始分布则为，市场占有率得预测模型为(7)已知，由此,我们可预测任意时期A 、Ｂ、C 三厂家得市场占有率。
例如，三个季度以后得预测值为：⎪⎪⎪⎭⎫⎝⎛=⋅==252.0244.0504.0244.0252.0504.0252.0252.0496.0)3.03.04.0(),,(3)0()3(3)3(2)3(1)3(P S p p p S大致上，Ａ 厂占有一半得市场，B 厂、C 厂各占四分之一.模型（7）可推广到N 个状态得情形：kN N N N N N Nk k k p p p p p p p p p p p p P S P S S ⎪⎪⎪⎪⎪⎭⎫⎝⎛===-212222111211)0()0(2)0(1)0()1()(),,(（8) 如果我们按公式（７）继续逐步求A 、B 、C 三家得市场占有率，会发现,当k 大到一定得程度，S(k )将不会有多少改变,即有稳定得市场占有率，设其稳定值为,满足．事实上,如果市场得顾客流动趋向长期稳定下去，则经过一段时期以后得市场占有率将会出现稳定得平衡状态,即顾客得流动，不会影响市场得占有率,而且这种占有率与初始分布无关。
如何求出这种稳定得市场占有率呢?2、2模型求解以A 、B 、C 三家得情况为例,当市场出现平衡状态时，从公式(７)可得方程S = Ｓ Ｐ，即由此得经整理，并加上条件,得0、4 0、3 0、3,0、６ 0、3 0、1，0、６ 0、1 ０、３上方程组就是三个变量四个方程得方程组,在前三个方程中只有二个就是独立得，任意删去一个，从剩下得三个方程中，可求出唯一解：, ，这就就是A 、B 、C 三家得最终市场占有率.一般Ｎ个状态得稳定市场占有率(稳态概率）可通过解方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎪⎪⎪⎪⎪⎭⎫⎝⎛=∑=1),,(),,(12122221112112121Nk k N N N N N N NN p p p p p p p p p p pp p p p p(9） 求得,而(9）得前N 个方程中只有N －1个就是独立得，可任意删去一个。