第5章 马尔可夫链
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0.8×0.7 P= 0.2×0.7 0.9×0.3 0.05×0.3 0.2×0.7 0.8×0.7 0.1×0.3 0.95×0.3 0.8×0.3 0.2×0.3 0.9×0.7 0.05×0.7 0.2×0.3 0.8×0.3 0.1×0.7 0.95×0.7
若从状态UM出发,要求在第4个时间周期后,硬币处于状态 4 4 D的概率,则由于2=DM和4=DW都是状态D,所求概率为P12 +P14 .
(n+1)×(n+1)
…
马尔可夫链
例5.7 在任意给定的一天, 一个人的心情或者是快乐的, 或者是一般的,或者是郁闷的.如果今天她是快乐的,那么 明天她分别以概率0.5,0.4和0.1是快乐的,一般的和郁闷 的; 如果今天她的心情一般,那么她明天分别以概率0.3, 0.4和0.3是快乐的,一般的和郁闷的; 如果今天她是郁闷 的, 那么她明天分别以概率0.2,0.3和0.5是快乐的,一般 的和郁闷的. 以Xn记她第n天的心情, 则{Xn,n≥0}是一个 三个状态{快乐,一般,郁闷}={0,1,2}的马尔可夫链,其转 移概率矩阵 P=
… 0 0 0 0 … 0 p …
… … … … … …
马尔可夫链
例5.4(一个简单的疾病死亡模型,Fix-Neyman(1951)) 考虑一个包含两个生命状态S1和S2以及两个死亡状态S3 和S4(即相异原因的非生命状态)的模型. 若个体病愈,则 认为它处于状态S1, 若患病,则认为它处于S2,个体可以从 S1,S2进入S3和S4, 这是一个马尔可夫链的模型,转移概率 p11 p12 p13 p14 矩阵为 p21 p22 p23 p24 P= 0 0 1 0
0.8 0.2 2= 0.68 0.32 , 状态转移矩阵P= .进而算得P 0.32 0.68 0.2 0.8 4 P4= 0.5648 0.4352 .于是P{X4=U}=P{X0=U→X4=U}=PUU 0.4352 0.5648 =0.5648.
马尔可夫链
例5.13(隐Markov链模型) 这里用简单例子引出隐Markov 链模型. 假定有分别记为M和W的两枚硬币. 在任何给定的时刻 两枚硬币或者为正面或者为反面.在任何给定时刻只有一 枚硬币呈现,但是有时硬币可能被替换(M换成W或W换成M) 但不改变其正反面.硬币M具有与例5.12相同的转移概率, 硬币W具有转移概率 0.9 0.1 .
马尔可夫链
状态0,如果昨天和今天都下雨; 状态1,如果昨天没有下雨但今天下雨; 状态2,如果昨天下雨但今天没有下雨; 状态3,如果昨天和今天都没有下雨. 这就将题目所给的过程转变成了一个具有4个状态的马尔 可夫链,其转移概率矩阵为 P=
0.7 0.5 0 0 0 0 0.4 0.2 0.3 0.5 0 0 0 0 0.6 0.8
0.05 0.95
在任何给定时刻硬币被替换的概率为30%,替换完成时, 硬币的状态不变.这一Markov链有4个状态,分别记为 1:UM; 2:DM; 3:UW; 4:DW. 状态1,3表示正面U,状态2,4表示反面D. 转移矩阵为4×4 的矩阵.
马尔可夫链
我们可以计算转移概率, 比如UM→UM,首先有U→U(无 转移),而后M→M(无转移).于是转移概率为P{U→U|M}· P{ M→M}=0.8×0.7=0.56.其它转移概率类似可得.转移方式 是 UM→UM UM→DM UM→UW UM→DW DM→UM DM→DM DM→UW DM→DW UW→UM UW→DM UW→UW UW→DW . DW→UM DW→DM DW→UW DW→DW 转移概率矩阵为
0.5 0.3 0.2 0.4 0.4 0.3 0.1 0.3 0.5
马尔可夫链
例5.8(图上的简单随机游动)设有一 蚂蚁在左图的图上爬行,当两个结 点相邻时,蚂蚁将爬向它临近一点, 并且,爬向任何一个邻近点的概率 是相同的,则此Markov链的转移矩 阵是
0 ½ ¼ 0 0 0 ½ 0 ¼ 0 0 0 ½ ½ 0 1 ½ 0 0 0 ¼ 0 0 0 0 0 ¼ 0 0 1 0 0 0 0 ½ 0
马尔可夫链
称P为转移概率矩阵,一般简称为转移矩阵. 转移概率矩阵具有性质(★). 称具有此性质的矩阵为随 机矩阵(随机矩阵是非负实数矩阵且每一行元素的和为1). 例5.1(天气预报) 假设明天下雨的机会只依赖于前一天的天气条件,即今 天是否下雨,而不依赖过去的天气条件.且如果今天下雨, 那么明天下雨的概率为α; 若今天没下雨,明天下雨的概 率为β. 如果下雨,记过程在状态0;如果不下雨,记过程在状态1. 如此,本例是一个两状态{0,1}的马尔可夫链,其转移概率 矩阵是: p00 p01 α 1-α P=(pij)= p = β 1-β p
马尔可夫链
可夫链的特性为Markov性,亦称“无后效性”.此性质说 明: 要确定过程将来的状态, 知道它此刻的状态就足够了, 并不需要对它以往状况的认识. 也就是说 对于一个马尔可夫链,在给定过去的状态X0,X1,…,Xn-1 和现在的状态Xn时, 将来的状态Xn+1的条件分布独立于过 去的状态而只依赖于现在的状态. pij表示过程处在状态i时, 下一次转移到状态j的概率. 由于概率值非负且过程必须转移到某个状态,所以有 (★) pij≥0, i,j≥0(即i,j∈I); j 0p =1, i=0,1,2,…(即i∈I) ij 我们称P{Xn+1=j|Xn=i}=pij为Markov链{Xn,n=0,1,2,…} 的
马尔可夫链
如何确定这个条件概率,是Markov链理论和应用中的重 要问题之一. • 一般情况下,转移概率pij与状态i,j和时间n有关. 当Markov链的转移概率P{Xn+1=j|Xn=i},只与状态i,j有 关,而与n无关时,称Markov链为时齐的;否则,称为非时齐 的. 我们只讨论时齐Markov链,并简称为Markov链. 当Markov链的状态为有限时,称为有限链; 否则称为无 p00 p01 p02 p03 … 限链.但无论状态是有限还是 p10 p11 p12 p13 … 无限,我们都可以将pij(i,j∈ … … … … … … {0,1,2,…})排成一个矩阵的 pi0 pi1 pi2 pi3 … 形式. 记为: P=(pij),它等于 … … … … …
2 5 1 3 4 6
P=
下面给出一个如何将一个过程转变为马尔可夫链的例子.
马尔可夫链
例5.9(将一个过程转变为马尔可夫链) 假设今天是否下雨依赖于前两天的天气条件.如果过去 的两天都下雨,那么明天下雨的概率为0.7;如果今天下雨 但昨天没下雨,那么明天下雨的概率为0.5;如果昨天下雨 但今天没下雨,那么明天下雨的概率为0.4;如果昨、今两 天都没下雨,那么明天下雨的概率为0.2. 假设在时间n的状态只依赖于在时间n-1是否下雨,那么 上述模型就不是一个马尔可夫链. 但是,当假定在任意时间的状态是由这天与前一天两者 的天气条件所决定时,上面的模型就可以转变为一个马尔 可夫链. 换言之,可以假定过程处在:
构成的{Xn,n≥1}是Markov链. 例5.Biblioteka Baidu1 以Sn表示保险公司在时刻n的盈余,这里的时间以 适当的单位来计算(如天,月等), 初始盈余S0=x显然为 已知,但未来的盈余S1,S2,…却必须视为随机变量,增量 Sn-Sn-1解释为n-1和n之间获得的盈利(可以为负).假定 X1,X2,…是不包含利息的盈利且独立同分布于F(x),则
马尔可夫链
由Markov链定义知 P{X0=i0,X1=i1,…,Xn=in} =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in-1}P{X0=i0,X1=i1,…, Xn-1=in-1} =P{Xn=in|Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1} =… =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}…P{X1=i1| X0=i0}P{X0=i0} 可见一旦Markov链的初始分布P{X0=i0}给定,其统计特性 就完全由条件概率 P{Xn=in|Xn-1=in-1} 所决定.
10 11
马尔可夫链
例5.2(一个通讯系统) 考察一个传送数字0和1的通信系统.每个数字的传送必 须经过几个阶段. 在每个阶段有一个概率p使进入的数字 在离开时不改变.以Xn记第n个阶段进入的数字,则{Xn,n= 0,1,2,…}是一个两个状态{0,1}的马尔可夫链,具有转移
1-p 概率矩阵: P= p 1-p p 例5.3(随机游动) … … … … … 有一个醉汉在直线上做 … q 0 p 0 … 0 0 无限制的随机游动其状态 … 0 q 0 p … 0 0 i=0,±1,±2,….且pi,i+1 P= … … … … … =p=1-pi,i-1. 这也是一个 … 0 0 0 0 … 0 q … … … … … Markov链,其转移矩阵为:
Xn-Yn+1, S-Yn+1,
若Xn≥s, 若Xn＜s.
马尔可夫链
Sn=Sn-1(1+i)+Xn , i为固定的利率,{Sn,n≥0}是一个Markov链,转移概率为 pxy=F[y-(1+i)x]. 例5.12 考察掷硬币的例子.硬币的正反面分别记为U和D, 于是状态空间为{U,D}={1,2},式中1,2分别代表U,D. 假定硬币初始时为正面,我们一共投掷了50次.在 每一次投掷时,硬币以概率20%翻转.于是转移概率为: p11=0.8, p12=0.2, p21=0.2, p22=0.8.
0 0
0 0
p 1
(n+1)×(n+1)
例5.6(带反射壁的随机游动)在例5.5中当A输光时将获得 赞助1让他继续赌下去, 就如同一个在直线上做随机游 动的球在到达左侧0点处就立即反弹回1一样,这就是一 个一侧带有反射壁的随机游动.此时 P=
0 q 0 … 0 0 1 0 q … 0 0 0 p 0 0 0 0 0 p 0 0 … … … … … … 0 0 0 … q 0 0 0 0 … 0 0 0 0 0 p 1
计算机学院研究生专业基础课程《应用数学基础》
应用随机过程
(Applied Stochastic processes)
主讲教师
段禅伦
2011年秋季学期
第5章 马尔可夫链
5.1 引言 本章,首先考察取有限个值或者可数个可能值的随机过 程{Xn,n=0,1,2,…}.一般将这种随机过程的可能值的集 合 也记为{0,1,2,…}(即状态空间也是非负整数集). 如果Xn=i,那么称随机过程在时刻n在状态i. 设只要过程在状态i, 就有一个固定的概率pij,使它在 下一个时刻在状态j. 我们有 定义5.1.1若对于一切状态i0,i1,…,in-1,i,j与一切n≥0, 有 P{Xn+1=j|Xn=i,Xn-1=in-1,…,X1=i1,X0=i0} =P{Xn+1=j|Xn=i} =pij 则称 这样的随机过程称为马尔可夫链.并称由此式刻画的马尔
例5.5(赌徒的破产或称带吸收壁的随机游动)系统的状态 是0到n,反映赌博者A在赌博期间拥有的钱数,当他输光或 拥有钱数为n时,赌博停止; 否则他将持续赌博,每次以概 率p赢得1,以概率q=1-p输掉1.该系统的转移概率矩阵为
0 0 0 1
马尔可夫链
1 q P= 0 … 0 0 0 0 q … 0 0 0 p 0 … 0 0 p … … … … … … 0 0 0 … q 0 0 0 0 … 0 0 0 0 0
例5.10考虑订货问题.设某商店使用(s,S)订货策略,每天 早上检查某商品的剩余量,设为x,则定购额为 0,若x≥s; S-x,若x＜s.
马尔可夫链
设订货和进货不需要时间,每天的需求量Yn独立同分布 且P{Yn=j}=aj,j=0,1,2,… .现在我们要从上述问题中寻 找一个Markov链. 令Xn为第n天结束时的存货量,则 Xn+1=
马尔可夫链
例5.14 确定汽车年保险金的系统称好-坏系统.在该系统 中,每个参保人被赋予一个正整数值的状态. 年保险金是 这个状态(保险车类型以及保险水平)的函数. 参保人的状态随着参保人要求理赔的次数而一年一年 地变化.低的状态对应于低的年保险金. 如果参保人在上 一年没有理赔要求,他的状态就将降低; 如果参保人在上 一年至少有一次理赔要求,他的状态一般会增加(可见,无 理赔是好的,并且会导致低保险金;而要求理赔是坏的,一 般会导致更高的保险金). 对于给定的一个好-坏系统, 以si(k)记一个在上一年 处在状态i,且在该年有k次理赔要求的参保人在下一年的 状态.
若从状态UM出发,要求在第4个时间周期后,硬币处于状态 4 4 D的概率,则由于2=DM和4=DW都是状态D,所求概率为P12 +P14 .
(n+1)×(n+1)
…
马尔可夫链
例5.7 在任意给定的一天, 一个人的心情或者是快乐的, 或者是一般的,或者是郁闷的.如果今天她是快乐的,那么 明天她分别以概率0.5,0.4和0.1是快乐的,一般的和郁闷 的; 如果今天她的心情一般,那么她明天分别以概率0.3, 0.4和0.3是快乐的,一般的和郁闷的; 如果今天她是郁闷 的, 那么她明天分别以概率0.2,0.3和0.5是快乐的,一般 的和郁闷的. 以Xn记她第n天的心情, 则{Xn,n≥0}是一个 三个状态{快乐,一般,郁闷}={0,1,2}的马尔可夫链,其转 移概率矩阵 P=
… 0 0 0 0 … 0 p …
… … … … … …
马尔可夫链
例5.4(一个简单的疾病死亡模型,Fix-Neyman(1951)) 考虑一个包含两个生命状态S1和S2以及两个死亡状态S3 和S4(即相异原因的非生命状态)的模型. 若个体病愈,则 认为它处于状态S1, 若患病,则认为它处于S2,个体可以从 S1,S2进入S3和S4, 这是一个马尔可夫链的模型,转移概率 p11 p12 p13 p14 矩阵为 p21 p22 p23 p24 P= 0 0 1 0
0.8 0.2 2= 0.68 0.32 , 状态转移矩阵P= .进而算得P 0.32 0.68 0.2 0.8 4 P4= 0.5648 0.4352 .于是P{X4=U}=P{X0=U→X4=U}=PUU 0.4352 0.5648 =0.5648.
马尔可夫链
例5.13(隐Markov链模型) 这里用简单例子引出隐Markov 链模型. 假定有分别记为M和W的两枚硬币. 在任何给定的时刻 两枚硬币或者为正面或者为反面.在任何给定时刻只有一 枚硬币呈现,但是有时硬币可能被替换(M换成W或W换成M) 但不改变其正反面.硬币M具有与例5.12相同的转移概率, 硬币W具有转移概率 0.9 0.1 .
马尔可夫链
状态0,如果昨天和今天都下雨; 状态1,如果昨天没有下雨但今天下雨; 状态2,如果昨天下雨但今天没有下雨; 状态3,如果昨天和今天都没有下雨. 这就将题目所给的过程转变成了一个具有4个状态的马尔 可夫链,其转移概率矩阵为 P=
0.7 0.5 0 0 0 0 0.4 0.2 0.3 0.5 0 0 0 0 0.6 0.8
0.05 0.95
在任何给定时刻硬币被替换的概率为30%,替换完成时, 硬币的状态不变.这一Markov链有4个状态,分别记为 1:UM; 2:DM; 3:UW; 4:DW. 状态1,3表示正面U,状态2,4表示反面D. 转移矩阵为4×4 的矩阵.
马尔可夫链
我们可以计算转移概率, 比如UM→UM,首先有U→U(无 转移),而后M→M(无转移).于是转移概率为P{U→U|M}· P{ M→M}=0.8×0.7=0.56.其它转移概率类似可得.转移方式 是 UM→UM UM→DM UM→UW UM→DW DM→UM DM→DM DM→UW DM→DW UW→UM UW→DM UW→UW UW→DW . DW→UM DW→DM DW→UW DW→DW 转移概率矩阵为
0.5 0.3 0.2 0.4 0.4 0.3 0.1 0.3 0.5
马尔可夫链
例5.8(图上的简单随机游动)设有一 蚂蚁在左图的图上爬行,当两个结 点相邻时,蚂蚁将爬向它临近一点, 并且,爬向任何一个邻近点的概率 是相同的,则此Markov链的转移矩 阵是
0 ½ ¼ 0 0 0 ½ 0 ¼ 0 0 0 ½ ½ 0 1 ½ 0 0 0 ¼ 0 0 0 0 0 ¼ 0 0 1 0 0 0 0 ½ 0
马尔可夫链
称P为转移概率矩阵,一般简称为转移矩阵. 转移概率矩阵具有性质(★). 称具有此性质的矩阵为随 机矩阵(随机矩阵是非负实数矩阵且每一行元素的和为1). 例5.1(天气预报) 假设明天下雨的机会只依赖于前一天的天气条件,即今 天是否下雨,而不依赖过去的天气条件.且如果今天下雨, 那么明天下雨的概率为α; 若今天没下雨,明天下雨的概 率为β. 如果下雨,记过程在状态0;如果不下雨,记过程在状态1. 如此,本例是一个两状态{0,1}的马尔可夫链,其转移概率 矩阵是: p00 p01 α 1-α P=(pij)= p = β 1-β p
马尔可夫链
可夫链的特性为Markov性,亦称“无后效性”.此性质说 明: 要确定过程将来的状态, 知道它此刻的状态就足够了, 并不需要对它以往状况的认识. 也就是说 对于一个马尔可夫链,在给定过去的状态X0,X1,…,Xn-1 和现在的状态Xn时, 将来的状态Xn+1的条件分布独立于过 去的状态而只依赖于现在的状态. pij表示过程处在状态i时, 下一次转移到状态j的概率. 由于概率值非负且过程必须转移到某个状态,所以有 (★) pij≥0, i,j≥0(即i,j∈I); j 0p =1, i=0,1,2,…(即i∈I) ij 我们称P{Xn+1=j|Xn=i}=pij为Markov链{Xn,n=0,1,2,…} 的
马尔可夫链
如何确定这个条件概率,是Markov链理论和应用中的重 要问题之一. • 一般情况下,转移概率pij与状态i,j和时间n有关. 当Markov链的转移概率P{Xn+1=j|Xn=i},只与状态i,j有 关,而与n无关时,称Markov链为时齐的;否则,称为非时齐 的. 我们只讨论时齐Markov链,并简称为Markov链. 当Markov链的状态为有限时,称为有限链; 否则称为无 p00 p01 p02 p03 … 限链.但无论状态是有限还是 p10 p11 p12 p13 … 无限,我们都可以将pij(i,j∈ … … … … … … {0,1,2,…})排成一个矩阵的 pi0 pi1 pi2 pi3 … 形式. 记为: P=(pij),它等于 … … … … …
2 5 1 3 4 6
P=
下面给出一个如何将一个过程转变为马尔可夫链的例子.
马尔可夫链
例5.9(将一个过程转变为马尔可夫链) 假设今天是否下雨依赖于前两天的天气条件.如果过去 的两天都下雨,那么明天下雨的概率为0.7;如果今天下雨 但昨天没下雨,那么明天下雨的概率为0.5;如果昨天下雨 但今天没下雨,那么明天下雨的概率为0.4;如果昨、今两 天都没下雨,那么明天下雨的概率为0.2. 假设在时间n的状态只依赖于在时间n-1是否下雨,那么 上述模型就不是一个马尔可夫链. 但是,当假定在任意时间的状态是由这天与前一天两者 的天气条件所决定时,上面的模型就可以转变为一个马尔 可夫链. 换言之,可以假定过程处在:
构成的{Xn,n≥1}是Markov链. 例5.Biblioteka Baidu1 以Sn表示保险公司在时刻n的盈余,这里的时间以 适当的单位来计算(如天,月等), 初始盈余S0=x显然为 已知,但未来的盈余S1,S2,…却必须视为随机变量,增量 Sn-Sn-1解释为n-1和n之间获得的盈利(可以为负).假定 X1,X2,…是不包含利息的盈利且独立同分布于F(x),则
马尔可夫链
由Markov链定义知 P{X0=i0,X1=i1,…,Xn=in} =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in-1}P{X0=i0,X1=i1,…, Xn-1=in-1} =P{Xn=in|Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1} =… =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}…P{X1=i1| X0=i0}P{X0=i0} 可见一旦Markov链的初始分布P{X0=i0}给定,其统计特性 就完全由条件概率 P{Xn=in|Xn-1=in-1} 所决定.
10 11
马尔可夫链
例5.2(一个通讯系统) 考察一个传送数字0和1的通信系统.每个数字的传送必 须经过几个阶段. 在每个阶段有一个概率p使进入的数字 在离开时不改变.以Xn记第n个阶段进入的数字,则{Xn,n= 0,1,2,…}是一个两个状态{0,1}的马尔可夫链,具有转移
1-p 概率矩阵: P= p 1-p p 例5.3(随机游动) … … … … … 有一个醉汉在直线上做 … q 0 p 0 … 0 0 无限制的随机游动其状态 … 0 q 0 p … 0 0 i=0,±1,±2,….且pi,i+1 P= … … … … … =p=1-pi,i-1. 这也是一个 … 0 0 0 0 … 0 q … … … … … Markov链,其转移矩阵为:
Xn-Yn+1, S-Yn+1,
若Xn≥s, 若Xn＜s.
马尔可夫链
Sn=Sn-1(1+i)+Xn , i为固定的利率,{Sn,n≥0}是一个Markov链,转移概率为 pxy=F[y-(1+i)x]. 例5.12 考察掷硬币的例子.硬币的正反面分别记为U和D, 于是状态空间为{U,D}={1,2},式中1,2分别代表U,D. 假定硬币初始时为正面,我们一共投掷了50次.在 每一次投掷时,硬币以概率20%翻转.于是转移概率为: p11=0.8, p12=0.2, p21=0.2, p22=0.8.
0 0
0 0
p 1
(n+1)×(n+1)
例5.6(带反射壁的随机游动)在例5.5中当A输光时将获得 赞助1让他继续赌下去, 就如同一个在直线上做随机游 动的球在到达左侧0点处就立即反弹回1一样,这就是一 个一侧带有反射壁的随机游动.此时 P=
0 q 0 … 0 0 1 0 q … 0 0 0 p 0 0 0 0 0 p 0 0 … … … … … … 0 0 0 … q 0 0 0 0 … 0 0 0 0 0 p 1
计算机学院研究生专业基础课程《应用数学基础》
应用随机过程
(Applied Stochastic processes)
主讲教师
段禅伦
2011年秋季学期
第5章 马尔可夫链
5.1 引言 本章,首先考察取有限个值或者可数个可能值的随机过 程{Xn,n=0,1,2,…}.一般将这种随机过程的可能值的集 合 也记为{0,1,2,…}(即状态空间也是非负整数集). 如果Xn=i,那么称随机过程在时刻n在状态i. 设只要过程在状态i, 就有一个固定的概率pij,使它在 下一个时刻在状态j. 我们有 定义5.1.1若对于一切状态i0,i1,…,in-1,i,j与一切n≥0, 有 P{Xn+1=j|Xn=i,Xn-1=in-1,…,X1=i1,X0=i0} =P{Xn+1=j|Xn=i} =pij 则称 这样的随机过程称为马尔可夫链.并称由此式刻画的马尔
例5.5(赌徒的破产或称带吸收壁的随机游动)系统的状态 是0到n,反映赌博者A在赌博期间拥有的钱数,当他输光或 拥有钱数为n时,赌博停止; 否则他将持续赌博,每次以概 率p赢得1,以概率q=1-p输掉1.该系统的转移概率矩阵为
0 0 0 1
马尔可夫链
1 q P= 0 … 0 0 0 0 q … 0 0 0 p 0 … 0 0 p … … … … … … 0 0 0 … q 0 0 0 0 … 0 0 0 0 0
例5.10考虑订货问题.设某商店使用(s,S)订货策略,每天 早上检查某商品的剩余量,设为x,则定购额为 0,若x≥s; S-x,若x＜s.
马尔可夫链
设订货和进货不需要时间,每天的需求量Yn独立同分布 且P{Yn=j}=aj,j=0,1,2,… .现在我们要从上述问题中寻 找一个Markov链. 令Xn为第n天结束时的存货量,则 Xn+1=
马尔可夫链
例5.14 确定汽车年保险金的系统称好-坏系统.在该系统 中,每个参保人被赋予一个正整数值的状态. 年保险金是 这个状态(保险车类型以及保险水平)的函数. 参保人的状态随着参保人要求理赔的次数而一年一年 地变化.低的状态对应于低的年保险金. 如果参保人在上 一年没有理赔要求,他的状态就将降低; 如果参保人在上 一年至少有一次理赔要求,他的状态一般会增加(可见,无 理赔是好的,并且会导致低保险金;而要求理赔是坏的,一 般会导致更高的保险金). 对于给定的一个好-坏系统, 以si(k)记一个在上一年 处在状态i,且在该年有k次理赔要求的参保人在下一年的 状态.