课上练习题_离散时间马尔科夫链 423
马尔可夫链
马尔可夫链马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。
经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。
马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。
1) 离散时间参数的马尔可夫链 ①基本概念定义 5.7 设{()0,1,2,}X n n ∙∙∙=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数时间120k n n n ∙∙∙≤<<<，以及任意状态12,,,k i i i E ∈，都有条件概率11{()|()}k k k k P X n i X n i --=== （5-17）即过程{()0,1,2,}X n n ∙∙∙=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称{()0,1,2,}X n n ∙∙∙=，是一个离散时间参数的马尔可夫链。
当E 为可列无限集时称其为可列无限状态的马尔可夫链，否则称其为有限状态的马尔可夫链。
定义5.8 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E =上的马尔可夫链，条件概率(,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18）称为马尔可夫链{()0,1,2,}X n n ∙∙∙=，在m 时刻的k 步转移概率。
k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状态j 的条件概率。
特别地，当1k =时，(,1){(1)|()}ij p m P X m j X m i =+== （5-19）称为一步转移概率，简称转移概率。
如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。
定义5.9 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E ∙∙∙=上的马尔可夫链，矩阵000101011101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。
马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5． （1）求第2次投篮的人是乙的概率； （2）求第i 次投篮的人是甲的概率； （3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ． 【解析】（1）记“第i 次投篮的人是甲”为事件i A ，“第i 次投篮的人是乙”为事件i B ，所以，()()()()()()()21212121121||P B P A B P B B P A P B A P B P B B =+=+()0.510.60.50.80.6×−+×.（2）设()i i P A p =，依题可知，()1i i P B p =−，则()()()()()()()11111||i i i i i i i i i i i P A P A A P B A P A P A A P B P A B +++++=+=+，即()()10.610.810.40.2i i i i p p p p +=+−×−=+， 构造等比数列{}i p λ+，设()125i i p p λλ++=+，解得13λ=−，则1121353i i p p + −=−，又11111,236p p =−=，所以13i p−是首项为16，公比为25的等比数列，即11112121,365653i i i i p p −−−=×=×+． （3）因为1121653i i p − =×+，1,2,,i n =⋅⋅⋅， 所以当*N n ∈时，()122115251263185315nnn n n E Y p p p − =+++=×+=−+ − ，故52()11853nnE Y=−+．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X . （1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性. 【解析】（1）X 的所有可能取值为－1，0，1.11()()P X αβ=−−=，()()()011P X αβαβ=+−−=，()1(1)P X αβ=−=， 所以X 的分布列为X －11P(1)αβ− )1((1)αβαβ+−− ()1αβ−（2）①证明 由（1）得0.4a =，0.5b =，0.1c =.因此110.40.50.1i i i i p p p p −+=++，故()()110.10.4i i i i p p p p −=−＋－，则()114i i i i p p p p −=−＋－.又因为1010p p p −≠=，所以1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为公比为4，首项为1p 的等比数列. ② 由①得()()()88877610087761001413p p p p p p p p p p p p p p p p −=−+−+…+−+=−+−+…+−+=⋅. 由于81p =，故18341p =−， 所以()()()()444332*********3257p p p p p p p p p p p −=−+−+−+−+==. 4p 表示最终认为甲药更有效的概率.由计算结果可以看出，在甲药治愈率为0.5，乙药治愈率为0.8时，认为甲药更有效的概率为410.0039257p =≈，此时得出错误结论的概率非常小，说明这种试验方案合理.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率． 【解析】记第n 次传球后球在甲手中的概率为n P ，则第1n −次传球后球在甲手中的概率为1n P −， 开始时球在甲手中，则01P =．若第n 次传球后球在甲手中，则第1n −次传球后球不在甲手中，即第1n −次传球后球在乙或丙手中， 所以第1n −次传球后球不在甲手中的概率为11n P −−，又乙或丙在第n 次把球传到甲手上的概率为12， 于是有()1112n n P P −−=，即1111323n n P P − −=−− ，1n ≥， 于是数列13n P−是首项为0213P −=，公比为12−得等比数列， 所以121332nn P −=×−，所以()*211323nn P n =×−+∈ N .1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率. (1)求23,p p ； (2)求20p . 【答案】(1)2815P =，33875P =；(2)201911652P =+⋅【分析】（1）分第一次取出黄球和绿球两种情况，再由互斥事件概率加法公式计算可得答案； （2）由题意可得()132155+=+−i i i P P P ，可得答案. 【详解】（1）从第二个箱子取出黄球的概率223128353515P =⋅+⋅=， 从第三个箱子取出黄球的概率3838238115515575P =⋅+−⋅= ； （2）由题意可知，()1321215555i i i i P P P P +=+−=+， 即1111252i i P P + −=− ，又123P = 1111111111,,,26265652i i i i P P P −− −=∴−=⋅∴=+ ⋅ 201911652P ∴=+⋅.重点题型·归类精讲【答案】(1)1942，1311776n n P −=−−(2)第二次，证明见解析【分析】（1）根据全概率公式即可求解2P ，利用抽奖规则，结合全概率公式即可由等比数列的定义求解， （2）根据1311776n n P −=−−，即可对n 分奇偶性求解.【详解】（1）记该顾客第()*N i i ∈次摸球抽中奖品为事件A ，依题意，127P =， ()()()()()22121121212119||1737242P P A P A P A A P A P A A ==+=×+−×= ． 因为()11|3n n P A A −=，()11|2n n P A A −=，()n n P P A =，所以()()()()()1111||n n n n n n n P A P A P A A P A P A A −−−−=+，所以()111111113262n n n n P P P P −−−=+−=−+， 所以1313767n n P P − −=−−， 又因为127P =，则131077P −=−≠， 所以数列37n P−是首项为17−，公比为16−的等比数列，故1311776n n P −=−−．（2）证明：当n 为奇数时，1131976742n n P −<<⋅，当n 为偶数时，131776n n P −=+⋅，则n P 随着n 的增大而减小， 所以，21942n P P ≤=，综上，该顾客第二次摸球抽中奖品的概率最大.3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出. (1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n = ，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈. 【答案】(1)分布列见解析(2)①10p =，212p =，314p =；②111,1,2,322n n p p n +=−+=；11(1)132n n − −+ 【分析】（1）由离散型随机变量的分布列可解；（2）记n A 表示事件“经过n 次传球后，球在甲手中”，由全概率公式可求111,22n n p p +=−+再由数列知识，由递推公式求得通项公式.【详解】（1）X 可能取值为1,2,3，()1232353110C C p X C ===；()213235325C C p X C ===；()3032351310C C p X C === 所以随机变量X 的分布列为（2）若刚好抽到甲乙丙三个人相互做传球训练，且n 次传球后球在甲手中的概率为,1,2,3,n p n = ， 则有10,p =2221,22p ==3321,24p == 记n A 表示事件“经过n 次传球后，球在甲手中”，111n n n n n A A A A A +++=⋅+⋅所以()()()11111n n n n n n n n n p P A A A A P A A P A A +++++=⋅+⋅=⋅+⋅ ()()()()()()111110122n n nn n n n n n P A P A A P A P A A p p p ++=⋅+⋅=−⋅+⋅=−∣∣ 即111,1,2,322n n p p n +=−+=， 所以1111323n n p p + −=−− ，且11133p −=− 所以数列13n p− 表示以13−为首项，12−为公比的等比数列，所以1111332n n p −−=−×−所以1111111132332n n n p −−=−×−+=−−即n 次传球后球在甲手中的概率是11(1)132n n −−+.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复. （1）求该同学第二天中午选择米饭套餐的概率 （2）记该同学第n 天选择米饭套餐的概率为n P（Ⅰ）证明：25n P −为等比数列；（Ⅱ）证明：当2n ≥时，512n P ≤. 【解析】（1）设1A =“第1天选择米饭套餐”，2A =“第2天选择米饭套餐”，则1A =“第1天不选择米饭套餐”，于是，()123P A =，()113P A =，()2114|P A A =，()2111122|P A A =−=， 由全概率公式()()()()()21211212111134323||P A P A P A A P A P A A =+=×+×=；（2）（Ⅰ）设n A =“第n 天选择米饭套餐”，则()n n P P A =，()1n n P A P =−，()14|1n n P A A +=，()11|1122n n P A A +=−=， ()()()()()()111111111424|2|n n n n n n n n n n n P P A P A P A A P A P A P P P A ++++==+=+−=−+， 所以1212545n n P P + −=−− ，25n P − 是以124515P −=为首项，14−为公比的等比数列。
离散时间马尔可夫模型例题
选择题在离散时间马尔可夫模型中，如果状态转移概率矩阵P的某一行所有元素之和不为1，这意味着什么？A. 该模型是稳态的B. 存在吸收状态C. 存在状态转移概率的误差（正确答案）D. 模型是周期性的设有一个三状态（S1, S2, S3）的离散时间马尔可夫模型，若从S1到S2的转移概率为0.4，从S1到S3的转移概率为0.5，则从S1到自身的转移概率是多少？A. 0.9B. 0.1（正确答案）C. 0.4D. 0.5在一个离散时间马尔可夫链中，如果一个状态是常返的，那么它满足什么条件？A. 平均返回时间为无穷大B. 在有限步内一定会返回到该状态（正确答案）C. 转移概率矩阵的对应行全为0D. 该状态是吸收状态假设一个离散时间马尔可夫模型有两个状态（A和B），从A到B的转移概率是0.7，从B 到A的转移概率是0.4，那么状态A是哪种类型的状态？A. 吸收状态B. 瞬时状态C. 常返状态（正确答案）D. 周期状态在离散时间马尔可夫链中，如果一个状态是瞬时的，那么它满足什么条件？A. 从该状态出发，最终会回到该状态B. 从该状态出发，永远不会回到该状态（正确答案）C. 该状态是链的起始状态D. 该状态是链的终止状态设有一个四状态（S1, S2, S3, S4）的离散时间马尔可夫模型，如果S1是吸收状态，那么从S1到其他状态的转移概率应该是多少？A. 大于0B. 小于1C. 等于0（正确答案）D. 无法确定在一个离散时间马尔可夫链中，如果状态转移概率矩阵P的某一列所有元素之和为1，这意味着什么？A. 存在一个吸收状态（正确答案）B. 模型是稳态的C. 存在状态转移概率的误差D. 模型是周期性的假设一个离散时间马尔可夫模型有三个状态（X, Y, Z），从X到Y的转移概率是0.3，从X到Z的转移概率是0.4，从X到自身的转移概率是0.2，那么从X状态出发，下一步不可能发生的情况是？A. 转移到Y状态B. 转移到Z状态C. 转移到一个新的未知状态（正确答案）D. 保持在X状态在离散时间马尔可夫模型中，如果一个状态是周期性的，且周期为2，那么这意味着什么？A. 该状态每隔一步就会返回到自身B. 该状态在两步之后才能返回到自身（正确答案）C. 该状态是吸收状态D. 该状态是瞬时状态。
马尔科夫链习题1解答
• 3、直线上带完全反射壁的随机游动
一个质点只能处在实数轴上1、2、3、4、5五 个点，当他处在2、3、4位置时，下一时刻 右移一格的概率为 p（0<p<1），左移一格 的为q，且 p+q=1。当质点处在1位置时，下 一时刻必定移动到位置2；当质点处在5位置 时，下一时刻必定移动到位置4；质点的随机 游动用 {X(n一个质点只能处在实数轴上1、2、3、4、5五 个点，当他处在2、3、4位置时，下一时刻 右移一格的概率为 p（0<p<1），左移一格 的为q，且 p+q=1。当质点处在1位置时，它 永远停留在1上，又当质点处在5位置时，它 永远停留在5上，质点的随机游动用
{X(n)，n=0,1,2,…}表示。
试求其一步转移概率矩阵
• 4、直线上带完全反射壁允许停留的随机游动
一个质点只能处在实数轴上1、2、3、4、5五 个点，当他处在2、3、4位置时，下一时刻 停留在原位置上的概率为r，右移一格的概率 为 p（0<p<1），左移一格的为q，且 p+q+r=1。当质点处在1位置时，下一时刻必 定移动到位置2；当质点处在5位置时，下一 时刻必定移动到位置4；质点的随机游动用 {X(n)，n=0,1,2,…}表示。
试求其一步转移概率矩阵
• 5、正半轴上带反射壁的随机游动
质点只能处在实数轴上正整数点的位置，当他 处在2、3、… 位置时，下一时刻右移一格的 概率为 p（0<p<1），左移一格的概率为q， 且 p+q=1。当质点处在1位置时，下一时刻留 在原位置上的概率为q，右移一格的概率为p。
质点的随机游动用 {X(n)，n=0,1,2,…}表示。
试求其一步转移概率矩阵
离散时间马氏链例题
离散时间马氏链例题离散时间马氏链（离散时间马尔科夫链）是一种随机过程，其中每个状态的未来转变仅依赖于其当前状态，而不依赖于过去的状态或转变。
以下是离散时间马氏链的一个简单例题：天气预报问题假设明天的天气仅与今天的天气有关，而与过去的天气无关。
如果今天下雨，那么明天下雨的概率为0.7；如果今天不下雨，那么明天下雨的概率为0.4。
我们要求出今天下雨并且四天后仍然下雨的概率（假设α=0.7，β=0.4）。
解：定义状态：我们可以定义两个状态，状态0表示不下雨，状态1表示下雨。
建立转移概率矩阵：根据题目描述，我们可以得到以下的转移概率矩阵P：P = [0.6 0.4; 0.3 0.7]其中，P(i, j)表示从状态i转移到状态j的概率。
3. 应用马氏链的性质：我们知道马氏链的性质是未来的状态只与当前状态有关，与过去的状态无关。
因此，我们可以使用转移概率矩阵来计算四天后仍然下雨的概率。
我们从今天下雨（状态1）开始，想要知道四天后仍然下雨的概率。
我们可以通过连续应用转移概率矩阵来计算这个概率：今天下雨并且四天后仍然下雨的概率= P(1, 1)^4但是这是错误的，因为我们不能直接取四次方。
正确的做法是，考虑所有可能的路径，即在这四天中，天气可能如何变化。
例如，它可能一直保持下雨，或者可能在中间某天下雨然后再次下雨等等。
我们需要考虑所有这些可能性。
但是，对于较大的n值，直接计算所有路径是不切实际的。
我们可以使用一种称为“稳态概率”的概念来简化计算。
稳态概率是指，当时间趋于无穷大时，马氏链处于某个特定状态的概率。
在这个例子中，我们可以计算出稳态概率，然后用它来估计四天后下雨的概率。
然而在这个特定的例子中，由于转移概率矩阵不是对称的，因此没有简单的公式可以直接计算出n步转移概率。
我们需要使用矩阵的n次幂来计算这个概率。
但是注意，我们不能简单地取P(1,1)的四次幂，因为那将假设每天都独立地下雨，而实际上每天的天气都依赖于前一天的天气。
马尔可夫分析法练习题
马尔可夫分析法练习题一、基础概念题1. 马尔可夫过程的定义是什么？2. 简述马尔可夫链的基本特征。
3. 马尔可夫分析法在哪些领域有应用？4. 请解释转移概率矩阵的概念。
5. 什么是稳态概率分布？二、计算题| | A | B | C ||||||| A | 0.5 | 0.2 | 0.3 || B | 0.4 | 0.3 | 0.3 || C | 0.1 | 0.1 | 0.8 |2. 已知一个马尔可夫链的初始状态概率分布为 [0.4, 0.3, 0.3]，求经过三个周期后的状态概率分布。
| | X | Y | Z ||||||| X | 0.3 | 0.2 | 0.5 || Y | 0.4 | 0.3 | 0.3 || Z | 0.1 | 0.5 | 0.4 |4. 一个公司有三个部门，员工可以在这三个部门之间调动。
已知转移概率矩阵如下，求各部门的稳态员工人数比例：| | 部门一 | 部门二 | 部门三 ||||||| 部门一 | 0.6 | 0.2 | 0.2 || 部门二 | 0.3 | 0.5 | 0.2 || 部门三 | 0.4 | 0.1 | 0.5 |三、应用题1. 假设某地区天气分为晴天、多云和雨天三种状态，已知转移概率矩阵如下，预测未来三天的天气状态概率分布：| | 晴天 | 多云 | 雨天 ||||||| 晴天 | 0.6 | 0.2 | 0.2 || 多云 | 0.3 | 0.5 | 0.2 || 雨天 | 0.4 | 0.1 | 0.5 |2. 某公司产品销售分为高、中、低三个市场，已知转移概率矩阵如下，预测未来两个季度的市场占有率：| | 高市场 | 中市场 | 低市场 ||||||| 高市场 | 0.7 | 0.2 | 0.1 || 中市场 | 0.3 | 0.5 | 0.2 || 低市场 | 0.4 | 0.2 | 0.4 |3. 假设一个网站的用户分为新用户、活跃用户和流失用户三种状态，已知转移概率矩阵如下，求各状态用户的稳态比例： | | 新用户 | 活跃用户 | 流失用户 ||||||| 新用户 | 0.5 | 0.3 | 0.2 || 活跃用户 | 0.2 | 0.6 | 0.2 || 流失用户 | 0.3 | 0.1 | 0.6 |四、案例分析题初始状态分布：潜在客户 60%，新客户 20%，老客户 15%，流失客户 5%转移概率信息：（请自行构建）初始状态分布：主干道 40%，次干道 30%，支路 30%转移概率信息：（请自行构建）五、综合分析题普通会员有20%的概率升级为银卡会员，5%的概率直接成为金卡会员。
随机过程第四章复习题及其解答马尔科夫链
第四章一、填空1.参数集和状态集均为离散集的马尔可夫过程称为马尔可夫链。
2.设{X n ,n єT}为马尔可夫链，称pj=p{X0=j}为{X n ,n єT}的初始概率，称pj （n ）=p{Xn=j}为{X n ,n єT}的绝对概率。
3.设{X n ,n>=0}为马尔可夫链，则一步转移概率p ij =P{X n+1=j|X n =i}4.矩阵()ij a 其元素非负且对每i 有1j=∑ija，称矩阵()ij a 为随机矩阵。
5.f (n)ij =P{T ij =n|X 0=i}=P{X n =j,X k ≠j,1<=k<=n-1|X 0=i}为首达概率。
6.若1=ii f ,称i 为常返状态；若1<ii f ，称i 为非常返状态。
7.状态相通关系为等价关系，具有自反性、对称性、传递性。
8.设马尔可夫链的状态集为E={0，±1，±2，…}或其有限子集，其初始时刻n=0的概率记为p i (0)=P{X(0)=i},i єE,称集合{p i (0)}为该马尔可夫链的初始分布。
9.设马尔可夫链的状态集为E={0，±1，±2，…}或其有限子集，其绝对时刻n 时的概率记为p i (n)=P{X(n)=i},i єE,称集合{p i (n)}为该马尔可夫链的绝对分布。
10.设C ⊂S ，如对任意i ∈C 及j ∉C,都有p ij =0,称C 为闭集。
若C 的状态相通，C 成为不可约的。
11.若平稳齐次马尔可夫链的初始分布为平稳分布，则绝对概率等于初始概率。
12.不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧∈I j ,u 1j 。
13.马氏链的绝对分布由其初始分布及相应的转移概率唯一确定。
二、1.设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨，今日有雨、明日有雨的概率为0.5；昨日有雨，今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。
连续时间马尔可夫链例题
连续时间马尔可夫链连续时间马尔可夫链（Continuous-time Markov Chain）是马尔可夫链在连续时间下的一种模型。
它受到时间的连续性限制，可以用于描述一些随机过程。
马尔可夫链基本概念马尔可夫链是指具有“无记忆性”的随机过程。
在离散时间中，马尔可夫链指的是一个随机变量序列，其中每个随机变量的取值依赖于其前一时刻的取值。
这个过程可以用一个状态转移概率矩阵来描述。
在连续时间中，马尔可夫链则是一个具有无记忆性的连续随机过程。
与离散时间不同，连续时间马尔可夫链的状态在一定时间段内可以发生任意多次的改变。
连续时间马尔可夫链的定义连续时间马尔可夫链是一个随机过程，其状态空间为有限个数。
该过程在任意时刻处于某个状态，并且满足无记忆性的马尔可夫性质。
连续时间马尔可夫链的演变是通过指数分布来描述的。
在每个状态之间的转移时间服从指数分布，转移时间的参数与当前状态有关。
连续时间马尔可夫链的转移速率矩阵与离散时间马尔可夫链中的状态转移矩阵类似，连续时间马尔可夫链使用转移速率矩阵来描述状态之间的转换关系。
设连续时间马尔可夫链的状态空间为{1, 2, …, n}，转移速率矩阵为Q。
矩阵Q的元素qij表示从状态i到状态j的速率，且满足以下条件：•qij≥0, i≠j;•对于每一个状态i，有qii = -∑qij（i≠j）。
在连续时间马尔可夫链中，从状态i到状态j的转移概率为pij(t)，t表示时间。
转移概率在给定时间段内满足以下等式：equation1其中X(t)表示在时刻t的状态，P表示概率。
连续时间马尔可夫链的性质连续时间马尔可夫链有许多属性与离散时间马尔可夫链类似。
•遍历性：如果状态空间中的每一个状态在有限时间内是可达的，则称连续时间马尔可夫链是遍历的。
•稳态概率分布：马尔可夫链可能存在稳态概率分布，对于连续时间马尔可夫链也是如此。
稳态概率分布表示在长时间内各个状态的概率分布。
•等距离转换概率：等距离转换概率描述了在任意的相同时间间隔内，从一个状态转移到另一个状态的概率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1、4.23 Trials are performed in sequence. If the last two trials were successes, then the next trial is a success with probability 0.8; otherwise the next trial is a success with probability 0.5. In the long run, what proportion of trials are successes?
2、4.32 Each of two switches is either on or off during a day. On day n, each switch will independently be on with probability [1+#of on switches during day n-1]/4. For instance, if both switches are on during day n-1, then each will independently be on during day n with probability3/4. What fraction of days are both switches on? What fractions are both off?
3、Let ri denote the long-run proportion of time a given irreducible Markov chain is in state i. Explain why ri is also the proportion of transitions that are into state i as well as being the proportion of transition that are from state i.
4、4.44 Suppose that a population consists of a fixed number, say, m, of genes in any generation. Each gene is one of two possible genetic types. If any generation has exactly i (of its m) genes being type 1, then the next generation will have j type 1 genes
with probability
j
m
j
m
i
m
m
i
j
m-
⎪
⎭
⎫
⎝
⎛-
⎪
⎭
⎫
⎝
⎛
⎪⎪
⎭
⎫
⎝
⎛
. Let Xn denote the number
of type 1 genes in the nth generation, and assume that X0 = i.
(a) Find E[Xn]
(b) What is the probability that eventually all the genes will be type 1?
5、4.47 Let {Xn, n >=0} denote an ergodic Markov chain with limiting probabilities ri. Define the process {Yn, n>=1} by Yn = {Xn-1，Xn}. That is , Yn keeps track of the last two states of the original chain. Is {Yn} a Markov chain? If so, determine its transition probabilities and find )},({lim j i Y P n n =∞>-
6、4.54 M balls are distributed between two urns, and at each time point one of the balls is chosen at random and is then removed from its urn and placed in the other one. Let Xn denote the number of molecules in urn 1 after the nth switch and let u n =E[Xn]. Find u n+1 as a function of u n .
7、4.5.1 Consider a gambler who at each play of the game has probability p of winning one unit and probability q = 1-p of losing one unit. Assuming that successive plays of the game are independent, what is the probability that, starting with i units, the gambler’s fortune will reach N before reaching 0?
8、4.57 A particle moves among n+1 vertices that are situated on
a circle in the following manner. At each step it moves one step either in the clockwise direction with probability p or in the counterclockwise direction with probability q = 1-p. Starting at a specified state, call it state 0, let T be the time of the first return to state 0. Find the probability that all states have been visited by time T.。