马尔科夫链例题整理
马尔科夫链例题整理
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5． （1）求第2次投篮的人是乙的概率； （2）求第i 次投篮的人是甲的概率； （3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ． 【解析】（1）记“第i 次投篮的人是甲”为事件i A ，“第i 次投篮的人是乙”为事件i B ，所以，()()()()()()()21212121121||P B P A B P B B P A P B A P B P B B =+=+()0.510.60.50.80.6×−+×.（2）设()i i P A p =，依题可知，()1i i P B p =−，则()()()()()()()11111||i i i i i i i i i i i P A P A A P B A P A P A A P B P A B +++++=+=+，即()()10.610.810.40.2i i i i p p p p +=+−×−=+， 构造等比数列{}i p λ+，设()125i i p p λλ++=+，解得13λ=−，则1121353i i p p + −=−，又11111,236p p =−=，所以13i p−是首项为16，公比为25的等比数列，即11112121,365653i i i i p p −−−=×=×+． （3）因为1121653i i p − =×+，1,2,,i n =⋅⋅⋅， 所以当*N n ∈时，()122115251263185315nnn n n E Y p p p − =+++=×+=−+ − ，故52()11853nnE Y=−+．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X . （1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性. 【解析】（1）X 的所有可能取值为－1，0，1.11()()P X αβ=−−=，()()()011P X αβαβ=+−−=，()1(1)P X αβ=−=， 所以X 的分布列为X －11P(1)αβ− )1((1)αβαβ+−− ()1αβ−（2）①证明 由（1）得0.4a =，0.5b =，0.1c =.因此110.40.50.1i i i i p p p p −+=++，故()()110.10.4i i i i p p p p −=−＋－，则()114i i i i p p p p −=−＋－.又因为1010p p p −≠=，所以1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为公比为4，首项为1p 的等比数列. ② 由①得()()()88877610087761001413p p p p p p p p p p p p p p p p −=−+−+…+−+=−+−+…+−+=⋅. 由于81p =，故18341p =−， 所以()()()()444332*********3257p p p p p p p p p p p −=−+−+−+−+==. 4p 表示最终认为甲药更有效的概率.由计算结果可以看出，在甲药治愈率为0.5，乙药治愈率为0.8时，认为甲药更有效的概率为410.0039257p =≈，此时得出错误结论的概率非常小，说明这种试验方案合理.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率． 【解析】记第n 次传球后球在甲手中的概率为n P ，则第1n −次传球后球在甲手中的概率为1n P −， 开始时球在甲手中，则01P =．若第n 次传球后球在甲手中，则第1n −次传球后球不在甲手中，即第1n −次传球后球在乙或丙手中， 所以第1n −次传球后球不在甲手中的概率为11n P −−，又乙或丙在第n 次把球传到甲手上的概率为12， 于是有()1112n n P P −−=，即1111323n n P P − −=−− ，1n ≥， 于是数列13n P−是首项为0213P −=，公比为12−得等比数列， 所以121332nn P −=×−，所以()*211323nn P n =×−+∈ N .1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率. (1)求23,p p ； (2)求20p . 【答案】(1)2815P =，33875P =；(2)201911652P =+⋅【分析】（1）分第一次取出黄球和绿球两种情况，再由互斥事件概率加法公式计算可得答案； （2）由题意可得()132155+=+−i i i P P P ，可得答案. 【详解】（1）从第二个箱子取出黄球的概率223128353515P =⋅+⋅=， 从第三个箱子取出黄球的概率3838238115515575P =⋅+−⋅= ； （2）由题意可知，()1321215555i i i i P P P P +=+−=+， 即1111252i i P P + −=− ，又123P = 1111111111,,,26265652i i i i P P P −− −=∴−=⋅∴=+ ⋅ 201911652P ∴=+⋅.重点题型·归类精讲【答案】(1)1942，1311776n n P −=−−(2)第二次，证明见解析【分析】（1）根据全概率公式即可求解2P ，利用抽奖规则，结合全概率公式即可由等比数列的定义求解， （2）根据1311776n n P −=−−，即可对n 分奇偶性求解.【详解】（1）记该顾客第()*N i i ∈次摸球抽中奖品为事件A ，依题意，127P =， ()()()()()22121121212119||1737242P P A P A P A A P A P A A ==+=×+−×= ． 因为()11|3n n P A A −=，()11|2n n P A A −=，()n n P P A =，所以()()()()()1111||n n n n n n n P A P A P A A P A P A A −−−−=+，所以()111111113262n n n n P P P P −−−=+−=−+， 所以1313767n n P P − −=−−， 又因为127P =，则131077P −=−≠， 所以数列37n P−是首项为17−，公比为16−的等比数列，故1311776n n P −=−−．（2）证明：当n 为奇数时，1131976742n n P −<<⋅，当n 为偶数时，131776n n P −=+⋅，则n P 随着n 的增大而减小， 所以，21942n P P ≤=，综上，该顾客第二次摸球抽中奖品的概率最大.3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出. (1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n = ，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈. 【答案】(1)分布列见解析(2)①10p =，212p =，314p =；②111,1,2,322n n p p n +=−+=；11(1)132n n − −+ 【分析】（1）由离散型随机变量的分布列可解；（2）记n A 表示事件“经过n 次传球后，球在甲手中”，由全概率公式可求111,22n n p p +=−+再由数列知识，由递推公式求得通项公式.【详解】（1）X 可能取值为1,2,3，()1232353110C C p X C ===；()213235325C C p X C ===；()3032351310C C p X C === 所以随机变量X 的分布列为（2）若刚好抽到甲乙丙三个人相互做传球训练，且n 次传球后球在甲手中的概率为,1,2,3,n p n = ， 则有10,p =2221,22p ==3321,24p == 记n A 表示事件“经过n 次传球后，球在甲手中”，111n n n n n A A A A A +++=⋅+⋅所以()()()11111n n n n n n n n n p P A A A A P A A P A A +++++=⋅+⋅=⋅+⋅ ()()()()()()111110122n n nn n n n n n P A P A A P A P A A p p p ++=⋅+⋅=−⋅+⋅=−∣∣ 即111,1,2,322n n p p n +=−+=， 所以1111323n n p p + −=−− ，且11133p −=− 所以数列13n p− 表示以13−为首项，12−为公比的等比数列，所以1111332n n p −−=−×−所以1111111132332n n n p −−=−×−+=−−即n 次传球后球在甲手中的概率是11(1)132n n −−+.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复. （1）求该同学第二天中午选择米饭套餐的概率 （2）记该同学第n 天选择米饭套餐的概率为n P（Ⅰ）证明：25n P −为等比数列；（Ⅱ）证明：当2n ≥时，512n P ≤. 【解析】（1）设1A =“第1天选择米饭套餐”，2A =“第2天选择米饭套餐”，则1A =“第1天不选择米饭套餐”，于是，()123P A =，()113P A =，()2114|P A A =，()2111122|P A A =−=， 由全概率公式()()()()()21211212111134323||P A P A P A A P A P A A =+=×+×=；（2）（Ⅰ）设n A =“第n 天选择米饭套餐”，则()n n P P A =，()1n n P A P =−，()14|1n n P A A +=，()11|1122n n P A A +=−=， ()()()()()()111111111424|2|n n n n n n n n n n n P P A P A P A A P A P A P P P A ++++==+=+−=−+， 所以1212545n n P P + −=−− ，25n P − 是以124515P −=为首项，14−为公比的等比数列。
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
11章马尔可夫链习题课
pN ,1 p,
p1,N q,
第19页，共20页。
例5 试证Wiener过程B(t)是马尔可夫过程 .
证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
B(u)(0 u s)} p{B(t s) B(s) y x} 独立增量性 p{B(t s) B(s) y | B(s) x}
为马氏链在时刻 m处于状态ai条件下,在时刻
m n转移到状态a m, m n) 1, i 1,2,.
j1
由转移概率组成的矩阵 P(m, m n)(Pij (m, n n))
称为马氏链的转移概率矩阵.
它是随机矩阵.
第7页，共20页。
马氏链的n步转移概率
马尔可夫链.
简记为: { Xn X (n),n 0,1,2,}
第5页，共20页。
齐次马尔可夫链
当转移概率Pij (m, n n)只与i, j及时间间距n
有关时, 称此链是齐次的或时齐的.
第6页，共20页。
转移概率、转移概率矩阵
称条件概率 Pij (m, n n) P{ X mn a j | X m ai }
第18页，共20页。
例4 一质点在圆周上做随机 游动,圆周上共有N格, 质点以概率 p顺时针移动一格 ,以概率 q 1 p逆时 针移动一格,试用马尔可夫链描述游 动过程,确定状 态空间和转移概率矩阵 .
解 状态空间为 S 1, 2, , N
pi,i1 p, i 1, 2, , N 1, pi,i1 q, i 2, , N .
j1
第11页，共20页。
三、典型例题
例1 艾伦非斯特(Ehrenfest)模型 设一个坛子装有 c个球,它们或是红色的,或
马尔科夫链例题整理
0 0 0 1 2 1
首页
有两个吸收壁的随机游动
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
P(Yn 0) p0
首页
所以转移矩阵为
p0 p 0 P 0 1 0 L
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q c 1 ( ) p b 当 r 1 即 p q 时， 甲先输光的概率为
用同样的方法可以求得乙先输光的概率
q a q c ( ) ( ) p p
c
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c
i j c 1
j 0 c 1
而
u j u j uc
c 1
j 0
1 rc j r d0 d0 1 r
(ui ui 1 )
c 1 i
di r d 0 j c i j i j r r j c j 1 d0 r (1 r L r )d0 1 r j c 两式相比 r r 首页 uj c 1 r
马尔科夫链例题
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直
1
0
a 1
0
... 0
一步转移矩阵是
a
a
2
a2
0
0
... 0
P1 a
a
... ... ... ... ... ...
首页
0
...
0
0
...
0
a 1 a
0
1
a
0
1
0
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
首页
q p 0 0 0 ...
P1
q 0
0 q
p 0
马尔科夫计算例题
马尔科夫计算例题
马尔科夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）是一种统计模拟方法，用于从复杂的分布中抽样。
以下是一个简单的马尔科夫链蒙特卡洛计算例题：
假设我们有一个随机变量 \(X\)，其分布是 \(P(X)\)。
我们的目标是计算
\(P(X)\) 的期望值，也就是：
\(\text{E}[X] = \int x P(x) dx\)
但是，直接计算这个积分是非常困难的。
因此，我们使用马尔科夫链蒙特卡洛方法来近似这个积分。
步骤如下：
1. 初始化一个随机数 \(x_0\) 作为当前状态。
2. 生成一个随机数 \(r\) 服从均匀分布 \(U(0,1)\)。
3. 计算接受率 \(A = \min(1, \frac{P(x_i)}{P(x_j)})\)，其中 \(j\) 是 \(r\) 落入的区间中的状态。
4. 以概率 \(A\) 接受 \(x_j\) 作为新的状态 \(x_{i+1}\)。
5. 如果接受，回到步骤 2；否则，令 \(i = i+1\) 并回到步骤 2。
6. 重复步骤 2-5，直到达到足够的样本数量。
然后，我们可以用这些样本的平均值来近似期望值。
这是一个简单的例子，实际上马尔科夫链蒙特卡洛方法可以用于更复杂的问题，如高维积分、优化问题等。
随机过程-9马尔科夫链的状态分类
1 2
P
0 1
1 0
0 1
2 0
1
2 0
1 0 1
P2
2 0
1
2 0
1 2
1
1
1 2
2
3
1 2
1
由1出发，经过一步首次回到1：无
由1出发，经过两步首次回到1：1→2→1
由1出发，经过三步首次回到1：无
由1出发，经过四步首次回到1：1→2→3→2→1
f (1) 0 11
f (2) 1
11
2
f (3) 0 11
f (4) 1
11
4
f (5) 0 11
f (6) 1
马尔科夫链状态的分类
1、周期性
• 例：从状态1出发，再回到状态1，可能的步数为 3,6,9，...，例如：1→3→6→1，或 1→4→6→2→5→6→1，等等。
• 步数的最大公约数，称为周期。周期为3.
4.2 马尔可夫链的状态分类
例4.6 设马尔可夫链的状态空间 I={1,2,,9}，转移概率如下图
• 定义4.3 状态i的周期d： d=G.C.D{n: p(n) >0}
ii
(最大公约数greatest common divisor) • 如果d>1，就称i为周期的， • 如果d=1，就称i为非周期的
4.2 马尔可夫链的状态分类
注(1)如果i有周期d，则对一切非零的n,
n0 mod d，有 p(n) 0
同理可得
4.2 马尔可夫链的状态分类
f (n) 13
( (
p1q2 p1q2
北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
= ( c − j )d 0
c− j c c−a b ua = = c c uj =
同样道理，可以得到乙先输光的概率， 当 r ≠ 1 ， ua = 当 r＝ 1 ， ub =
1 − (q / p) a ， 1 − (q / p) c
a 。 c
该例题是有两个吸收壁的特例， 建立了边界条件、递推关系、首先概率表达式， 该例题着重研究对称和非对称的赌徒输光的问题。
构造：
( p + q )u j = pu j +1 + qu j −1 p (u j − u j +1 ) = q(u j −1 − u j ) (u j − u j +1 ) =
定义
q (u j −1 − u j ) p q =r， p
(u j − u j +1 ) = d j , (0 ≤ j < c),
建模：具有两个吸收壁，五个状态的随机游动
1．一局比赛的建模 问题：一局比赛共有多少个状态 很多，例如 15:0 就是一个状态，40:15 又是一个状态。还是回到我们分析比赛规则的目 的上来，我们是为了得到两名选手最终赢球与输球的概率，那么当一局比赛打到 30:40 的时 候， 如果选手 B 再取胜一球， 则 30:60， 选手 B 获胜， 而之前这局比赛到底是怎么打到 30:40 的并不是我们关心的问题，我们只关心一局比赛会打到 30:40 的概率（初始概率）以及之后 由状态 30:40 打到状态 30:60 的概率（转移概率） 。这是典型的马尔科夫链。 那么我们实际要做的事情就是如何确定比赛中对我们的分析有用的状态以及这些状态
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
3
状态 4：B 赢 P4 = q + 4q p
4 4
其中状态 0 和状态 4 是两个吸收壁，因此初始概率分布为
p(0) = [ p 4 + 4 p 4 q, 4 p 3 q 2 , 6 p 2 q 2 , 4 p 2 q 3 , q 4 + 4q 4 p]
该随机游动的转移概率矩阵为
⎡1 ⎢p ⎢ P = ⎢0 ⎢ ⎢0 ⎢ ⎣0
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
f k ,0
马尔科夫链例题整理共62页
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
41、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿
连续时间马尔可夫链例题
连续时间马尔可夫链连续时间马尔可夫链（Continuous-time Markov Chain）是马尔可夫链在连续时间下的一种模型。
它受到时间的连续性限制，可以用于描述一些随机过程。
马尔可夫链基本概念马尔可夫链是指具有“无记忆性”的随机过程。
在离散时间中，马尔可夫链指的是一个随机变量序列，其中每个随机变量的取值依赖于其前一时刻的取值。
这个过程可以用一个状态转移概率矩阵来描述。
在连续时间中，马尔可夫链则是一个具有无记忆性的连续随机过程。
与离散时间不同，连续时间马尔可夫链的状态在一定时间段内可以发生任意多次的改变。
连续时间马尔可夫链的定义连续时间马尔可夫链是一个随机过程，其状态空间为有限个数。
该过程在任意时刻处于某个状态，并且满足无记忆性的马尔可夫性质。
连续时间马尔可夫链的演变是通过指数分布来描述的。
在每个状态之间的转移时间服从指数分布，转移时间的参数与当前状态有关。
连续时间马尔可夫链的转移速率矩阵与离散时间马尔可夫链中的状态转移矩阵类似，连续时间马尔可夫链使用转移速率矩阵来描述状态之间的转换关系。
设连续时间马尔可夫链的状态空间为{1, 2, …, n}，转移速率矩阵为Q。
矩阵Q的元素qij表示从状态i到状态j的速率，且满足以下条件：•qij≥0, i≠j;•对于每一个状态i，有qii = -∑qij（i≠j）。
在连续时间马尔可夫链中，从状态i到状态j的转移概率为pij(t)，t表示时间。
转移概率在给定时间段内满足以下等式：equation1其中X(t)表示在时刻t的状态，P表示概率。
连续时间马尔可夫链的性质连续时间马尔可夫链有许多属性与离散时间马尔可夫链类似。
•遍历性：如果状态空间中的每一个状态在有限时间内是可达的，则称连续时间马尔可夫链是遍历的。
•稳态概率分布：马尔可夫链可能存在稳态概率分布，对于连续时间马尔可夫链也是如此。
稳态概率分布表示在长时间内各个状态的概率分布。
•等距离转换概率：等距离转换概率描述了在任意的相同时间间隔内，从一个状态转移到另一个状态的概率。
马尔科夫链例题整理(课堂PPT)
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
首页
9
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
i+1，以概率r停留在i，且 r p q 1 ，试
求转移概率矩阵。
E {...,2,1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
0 p 0 0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
首页 8
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到
移概率。
首页 5
qp
马尔科夫转移概率例题
马尔科夫链是一种随机过程，具有“马尔科夫性质”，即未来状态的概率仅仅取决于当前状态，而与过去状态无关。
转移概率是指从一个状态转移到另一个状态的概率。
下面是一个简单的马尔科夫链的例子，包含一些状态和它们之间的转移概率。
假设有三个天气状态：晴天（Sunny）、多云（Cloudy）和雨天（Rainy）。
状态之间的转移概率如下：
- 如果今天是晴天，明天是晴天的概率为0.7，多云的概率为0.2，雨天的概率为0.1。
- 如果今天是多云，明天是晴天的概率为0.3，多云的概率为0.4，雨天的概率为0.3。
- 如果今天是雨天，明天是晴天的概率为0.2，多云的概率为0.3，雨天的概率为0.5。
这些转移概率可以用矩阵表示，该矩阵称为转移矩阵。
假设状态按照晴天（S）、多云（C）、雨天（R）的顺序排列，则转移矩阵如下：
```
P = | 0.7 0.2 0.1 |
| 0.3 0.4 0.3 |
| 0.2 0.3 0.5 |
```
其中，P(i, j) 表示从状态i 转移到状态j 的概率。
如果当前是晴天，我们可以使用转移矩阵来计算明天各种天气的概率。
假设今天是晴天（S），我们想知道明天是晴天（S）、多云（C）或雨天（R）的概率，可以将转移矩阵与当前状态向量相乘：
```
State vector today: | 1 |
| 0 |
| 0 |
State vector tomorrow = P * State vector today
```
计算结果将给出明天各种天气的概率。
这个过程可以一直迭代下去，得到未来时间点的状态概率。
马尔可夫链专题讲义——2024届高三数学二轮复习
马尔可夫链专题马尔可夫链:)(),,,,(11211n n n n n x x P x x x x x P +-+=等式的意义:对于一个马尔可夫链来说，第n +1次的状态的结果，只跟上一次(也即第n 次)有关，与其他次无关。
马尔可夫链性质：无记忆性破题技巧:1.找到当下状态的“前一次”的所有可能情况；2.结合对应概率写出“前一次”所有可能中蕴含的数列递推关系;3.利用数列递推技巧求答案,例1.跳格游戏:如图，人从格外只能进入第1格，在格中每次可向前跳1格或2格，那么人从格外跳到第8格的方法种数为( C )A. 8种B. 13种C. 21种D. 34种【例2】质点在x 轴上从原点O 出发向右运动，每次平移一个单位或两个单位，且移动一个单位的概率为32，移动两个单位的概率为31，设质点运动到点)0,(n 的概率为n P . (1) 求1P 和2P ；(2) 求n P .【例3】为迅速抢占市场举行促销活动，销售公司现面向意向客户推出“玩游戏，赢大奖，送汽车模型”活动，客户可根据抛掷骰子向上的点数，遥控汽车模型在方格图上行进，若汽车模型最终停在“幸运之神”方格，则可获得购车优惠券2万元;若最终停在“赠送汽车模型”方格，则可获得汽车模型一个.方格图上标有第0格、第1格、第2格、……、第 20 格。
汽车模型开始在第0格，客户每掷一次骰子，汽车模型向前移动一次.若掷出 1，2，3，4点，汽车模型向前移动一格(从第k 格到第k +1格)，若掷出5,6点，汽车模型向前移动两格(从第k 格到第k +2格)，直到移到第 19 格(幸运之神)或第 20 格(赠送汽车模型)时游戏结束.设汽车模型移到第n (1≤n ≤19)格的概率为n P .则19P =_________.【例 4】【淮北高三二模T12】已知棋盘上标有第 0，1，2,.，100 站，棋子开始时位于第0站，棋手抛掷均匀硬币走跳棋游戏，若掷出正面，棋子向前跳一站:若掷出反面，棋子向前跳两站，直到跳到第 99 站(胜利大本营)或第 100 站(欢乐大本营)时，游戏结束.设棋子跳到第n 站的概率为n P . ( )A. 211=P B. 833=P C. )981(,212111≤≤+=-+n P P P n n n D. )211(32101100+=P赌徒问题（随机游走）例5：(2023·杭州市二模/湖南师大附中三模T21)马尔科夫链是概率统计中的一个重要模型,也是机器学习和人工智能的基石，在强化学习自然语言处理、金融领域、天气预测等方面都有着极其广泛的应用．其数学定义为：假设我们的序列状态是…X t-2, X t-1,X t, X t+1…,那么X t+1时刻的状态的条体概率仅依赖前一状态X t，即P(X t+1|… X t-2, X t-1,X t)=P(X t+1 |X t)．现实生活中也存在着许多马尔科大链，例如著名的赌徒模型.假如一名赌徒进入赌场参与一个赌博游戏，每一局赌徒赌赢的概率为50%，每局赌赢可以赢得1元,每一局赌徒赌输的概率为50%，赌输就要输掉1元.赌徒会一直玩下去，直到遇到如下两种情况才会结束赌博游戏：一种是手中赌金为0元,即赌徒输光;一种是赌金达到预期的B元，赌徒停止赌博．记赌徒的本金为A(A∈N*,A<B)，赌博过程如图的数轴所示．当赌徒手中有n元(0≤n≤B,n∈N)时,最终输光的概率为P（n），请回答下列问题：(1)请直接写出P(0)与P（B）的数值;(2）证明{ P（n）}是个等差数列，并写出公差d；(3）当A=100时，分别计算B=200，B=1000时，P（A）的数值，并结合实际，解释当B→+∞时,P（A）的统计含义.例6：（2023·惠州一模T22改编）为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐（吐槽一下惠州学生命真苦啊……）.已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.(1)求该同学第二天中午选择米饭套餐的概率;(2)记该同学第n 天选择米饭套餐的概率为P n ;(i)求P n 表达式；(ii)证明：当n ≥2时,P n ≤512；并结合实际，说明当n →+∞时, P n 的实际意义.传球问题中的马尔可夫模型例7：三人互相传球，由甲开始发球，并作为第一次传球，每人得球后传球给其他人的可能性均相等.经过5次传球后，球仍回到甲手中，则不同的传球方式共有（ ）A ．6种B ．8种C ．10种D ．16种（例7升级Plus 版本）：甲乙丙丁4人传接球训练，球从甲脚下开始，等可能地随机传向其余3人中的1人，接球者接到球后，再等可能地随机传向另外3人中的1人，依此类推.假设所有传出的球都能接住.记第n 次传球之前，球在甲脚下的概率为P n (n ∈N ∗) ，易知P 1=1 ，P 2=0.(1)推导P n 的表达式；(2)设第n 次传球之前，球在乙脚下的概率为Q n ,比较Q n 与P n ( n ≥3 )的大小; 并结合实际，解释当n→+∞时, P n 与Q n 的统计含义;(3) 假设经历了6次传球后，球依旧在甲的脚下，请问共有多少种不同的传球路径？【例 8】【武汉九调 T16】甲，乙，丙三人进行传球游戏，每次投掷一枚质地均匀的正方体骰子决定传球的方式:当球在甲手中时，若骰子点数大于3，则甲将球传给乙，若点数不大于3，则甲将球保留;当球在乙手中时，若骰子点数大于4，则乙将球传给甲，若点数不大于4，则乙将球传给丙;当球在丙手中时，若骰子点数大于 3，则丙将球传给甲，若骰子点数不大于 3，则丙将球传给乙.初始时，球在甲手中，投掷n 次骰子后(*∈N n )，记球在甲手中的概率为n P ,则3P =_____________;n P =____________ .【例9】【茂名高三&郴州高三二模 T22】马尔可夫链是因俄国数学家安德烈·马尔可夫得名，其过程具备“无记忆”的性质，即第n +1次状态的概率分布只跟第n 次的状态有关，与第n -1,n -2,n -3,…次状态是“没有任何关系的”.现有甲、乙两个盒子，盒子中都有大小、形状、质地相同的2个红球和1个黑球.从两个盒子中各任取一个球交换，重复进行n (*∈N n )次操作后，记甲盒子中黑球个数为n X ，甲盒中恰有1个黑球的概率为n a ，恰有2个黑球的概率为n b 。
专题8-1 马尔科夫链(与数列结合的概率递推问题)(原卷版)
专题8-1 马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=-==+-==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+-==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11-+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+-++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5．（1）求第2次投篮的人是乙的概率；（2）求第i 次投篮的人是甲的概率；（3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==-===⋅⋅⋅，则11n ni i i i E X q ==⎛⎫= ⎪⎝⎭∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1-分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1-分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X .（1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++⋯－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c P X ==. 假设0.5α=，0.8β=.①证明：1)0{,1,2,,}7(i i p p i -=⋅⋅⋅＋为等比数列；②求4p ，并根据4p 的值解释这种试验方案的合理性.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率．1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球重点题型·归类精讲1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率.(1)求23,p p ；(2)求20p .3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出.(1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n =，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.（1）求该同学第二天中午选择米饭套餐的概率（2）记该同学第n天选择米饭套餐的概率为n P（Ⅰ）证明：25nP⎧⎫-⎨⎬⎩⎭为等比数列；（Ⅱ）证明：当2n≥时，512nP≤.2023届佛山二模·165．有n 个编号分别为1,2,3,,n ⋅⋅⋅的盒子，第1个盒子中有2个白球1个黑球，其余盒子均为1个白球1个黑球，现从第1个盒中任取一球放入第2个盒子，再从第2个盒子中任取一球放入第3个盒子，以此类推，则从第2个盒子中取到白球的概率是 ，从第n 个盒子中取到白球的概率是 .2023·唐山调研6．甲、乙、丙三人玩传球游戏，第1次由甲传出，每次传球时，传球者都等可能地将球传给另外两人中的任何一人.设第k 次传球后球在甲手中的概率为*N k p k ∈，，则下列结论正确的有（ ）A. 10p =B. 213p = C. 121k k p p ++= D. 202313p >2024届武汉高三九月调研T167．甲，乙，丙三人进行传球游戏，每次投掷一枚质地均匀的正方体骰子决定传球的方式：当球在甲手中时，若骰子点数大于3，则甲将球传给乙，若点数不大于3，则甲将球保留；当球在乙手中时，若骰子点数大于4，则乙将球传给甲，若点数不大于4，则乙将球传给丙；当球在丙手中时，若骰子点数大于3，则丙将球传给甲，若骰子点数不大于3，则丙将球传给乙．初始时，球在甲手中，投掷n 次骰子后（），记球在甲手中的概率为，则 ； ．2024届·湖北荆荆恩高三9月起点联考·218．甲、乙两个盒子中都装有大小、形状、质地相同的2个黑球和1个白球，现从甲、乙两个盒子中各任取一个球交换放入另一个盒子中，重复次这样的操作后，记甲盒子中黑球的个数为，甲盒中恰有2个黑球的概率为，恰有3个黑球的概率为.(1)求；(2)设，证明：；(3)求的数学期望的值.*n ∈N n p 3p =n p =()*n n ∈N n X n p n q 11,p q 2n n n c p q =+11233n n c c +=+n X ()n E X2023·济南开学考10．甲、乙两人进行抛掷骰子游戏，两人轮流地掷一枚质均匀的骰子.规定：先掷出点数6的获胜，游戏结束.（1）记两人抛掷骰子的总次数为X，若每人最多抛掷两次骰子，求比赛结束时，X的分布列和期望；（2）已知甲先掷，求甲恰好抛掷n 次骰子并获得胜利的概率.2023届·杭州二模11．马尔科夫链是概率统计中的一个重要模型，也是机器学习和人工智能的基石，在强化学习、自然语言处理、金融领域、天气预测等方面都有着极其广泛的应用．其数学定义为：假设我们的序列状态是…，2t X -，1t X -，t X ，1t X +，…，那么1t X +时刻的状态的条件概率仅依赖前一状态t X ，即()()t 1t 2t 1t t 1t ,,,X X X X X X P P +--+=∣∣. 现实生活中也存在着许多马尔科夫链，例如著名的赌徒模型．假如一名赌徒进入赌场参与一个赌博游戏，每一局赌徒赌赢的概率为50%，且每局赌赢可以赢得1元，每一局赌徒赌输的概率为50%，且赌输就要输掉1元．赌徒会一直玩下去，直到遇到如下两种情况才会结束赌博游戏：一种是手中赌金为0元，即赌徒输光；一种是赌金达到预期的B 元，赌徒停止赌博．记赌徒的本金为*(,)A A N A B ∈<元，赌博过程为如图所示的数轴．当赌徒手中有n 元()0,n B n N ≤≤∈时，最终输光的概率为()P n ，请回答下列问题：（1）请直接写出()0P 与()P B 的数值；（2）证明(){}P n 是一个等差数列，并写出公差d ；（3）当100A =时，分别计算200B =，1000B =时，()P A 的数值，并结合实际，解释当B →+∞时，()P A 的统计含义.12．校足球队中的甲、乙、丙、丁四名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能的将球传给另外三个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到。
马尔科夫链考试例题
I={1，2，3，4，5，6}
11
1 1 1 1 1 1
6
6
6
6
6
6
0
2 6
1 6
1 6
1 6
1 6
P
0
0
3 6
1 6
1 6
1
6
0
0
0
4
1
1
6 6 6
0
...
0
0
5
1
6 6
0 ... 0 0 1 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率
是p，乙胜的概率是q，和局的概率是 r ，
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
获胜的概率为p，乙获胜的概率为
，
求甲输光的概率。
分 析
路漫漫其修远兮, 吾将上下而求索
这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1 ，2，…，c}，c = a + b，。现在的问题是求质点从a 出发到达0状态先于到达c状态的概率。
一步转移矩阵是
首页
路漫漫其修远兮, 吾将上下而求索
练习题．
扔一颗色子，若前n次扔出的点数的最大值为j，就
说
试问
是否为马氏链？求一步转移概率矩
阵。
I={1，2，3，4，5，6}
首页
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 ，（ ）。设每局比赛后，胜者记“+1”分，负者记“— 1”分，和局不记分。当两人中有一人获得2分结 束比赛。以 表示比赛至第n局时甲获得的分 数。
i+1，以概率r停留在i，且
，试
求转移概率矩阵。
首页
路漫漫其修远兮, 吾将上下而求索
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为 I={0，1，2，…，a}
设i是常返态， 则称i为正常返态； 则称i为零常返态。
路漫漫其修远兮, 吾将上下而求索
首页
例 其一步转移矩阵如下，是对I进行分解。
I可分解为：C1={2，3, 4} C2={5，6,7} 两个闭集及 N={1} ，即I=N+ C1+ C2
路漫漫其修远兮, 吾将上下而求索
用极限判断状态类型的准则
（1）i是瞬时态
路漫漫其修远兮, 吾将上下而求索
首页
由以上计算结果可知
用同样的方法可以求得乙先输光的概率
路漫漫其修远兮, 吾将上下而求索
首页
例3 排队问题
顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
则有
路漫漫其修远兮, 吾将上下而求索
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 表示在时刻n质点的位置，
则{
， }是一个齐次马氏链，写出其一步转移概
率。
首页
路漫漫其修远兮, 吾将上下而求索
qp
012 左反射壁
q p
m-1 m 右反射壁
路漫漫其修远兮, 吾将上下而求索
首页
路漫漫其修远兮, 吾将上下而求索
定理11
1 1/2 3
15
2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。
路漫漫其修远兮, 吾将上下而求索
例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为
试讨论各状态的遍历性。
解 根据转移概率作出状态传递图
1/2 1/2 1/2
1/2
1/2
0 1/2 1 1/2 2 1/2 3 …
图4---4
路漫漫其从修远而兮, 状态0是遍历的。 故所有状态i都是遍历的。
吾将上下而求索
例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为
4
试对其状态分类。
1/3 1/3
11
1 1/2
1/2
2
3
1/3
解 按一步转移概率，画出各状态间的传递图
它是有限状态的马氏链，故必有一个常返态，又 链中四个状态都是互通的。因此，所有状态都是 常返态，这是一个有限状态不可约的马氏链。
qp 0123 反 射 壁
首页
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
逆时针游动一格。试求转移概率 矩阵。
路漫漫其修远兮, 吾将上下而求索
首页
4．一个质点在全直线的整数点上作随机游动，移
动的规则是：以概率p从i移到i-1，以概率q从i移到
( 1 ) 求马氏链{ ， }的转移概率矩阵；
( 2 ) 证明{ ， }是遍历的；
（3）求
（4）求
首页
路漫漫其修远兮, 吾将上下而求索
解 其一步转移矩阵为
甲
红球0 白球3
红球1 白球2
红球2 白球1
路漫漫其修远兮, 吾将上下而求索
乙
红球2 白球1
红球1 白球2
红球0 白球3
1/3
2/3 5/9
1/3
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 向左 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
若 表示质点在时刻n所处的位置，求 一步转移概率。
路漫漫其修远兮, 吾将上下而求索
（1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布；
路漫漫其修远兮, 吾将上下而求索
解 （1）E{1，2，3},状态1、2、3分别表示甲、乙、丙的用户
一步转移概率矩阵为 （2）以1600除8月份甲，乙，丙的户数，得初始概率 分布（即初始市场占有率）
路漫漫其修远兮, 吾将上下而求索
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
其一步转 移矩阵为
有两个吸收壁的随机游动
路漫漫其修远兮, 吾将上下而求索
首页
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返”
定理4
定理5
定理6
定理7
路漫漫其修远兮, 吾将上下而求索
如果i为常返态，且
，则j也是常返态。
所有常返态构成一个闭集
5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间
称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类：
所以9月份市场占有率分布为 （3）12月份市场占有率分布为
路漫漫其修远兮, 吾将上下而求索
例1 其一步转移矩阵为
试研究各状态间的关系，并画出状态传递图。
解 先按一步转移概率，画出各状态间的传递 图
路漫漫其修远兮, 吾将上下而求索
首页
1/2 1/2
2/3 1/3
0
1
2
1/2 1/4 1/4
由图可知 状态0可到图达3--状-1态1，经过状态1又可到达状态2 ；反之，从状态2出发经状态1也可到达状态0。
路漫漫其修远兮, 吾将上下而求索
图4---4
首页
从图可知，对任一状态
都有
，
故由定理可知，I 中的所以状态都是相通的，
因此只需考虑状态0是否正常返即可。
…
故 从而0是常返态。 1/2
1/2
1/2
1/2
1/2
又因为
0 1/2 1 1/2 2 1/2 3 …
所以状态0为正常返。 又由于 故状态0为非周期的
因此，状态空间I的各状态都是互通的。
又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任 何状态， 所以I是一个闭集
而且I 中没有其它闭集 所以此马氏链是不可约的 。
路漫漫其修远兮, 吾将上下而求索
首页
例2 其一步转移矩阵为
试讨论哪些状态是吸收态、闭集及不可约链。
解 先按一步转移概率，画出各状态间的传递 图
试证此链具有遍历性，并求平稳分布和各状态的平均返回时间 解 由于
首页
路漫漫其修远兮, 吾将上下而求索
所以 因此，该马氏链具有遍历性。
解得
X1
2
3
所以马氏链的平稳分布为
各状态的平均返回时间
路漫漫其修远兮, 吾将上下而求索
例2 设有6个球（其中2个红球，4个白球）分放于甲 、乙两个盒子中，每盒放3个，今每次从两个盒 中各任取一球并进行交换，以 表示开始时 甲盒中红球的个数， （ ）表示经n次交 换后甲盒中的红球数。
（1）写出状态空间；
（3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？
路漫漫其修远兮, 吾将上下而求索
首页
解
（1）
记甲获得“负2分”为状态1，获得“负1 分”为状态2，获得“0分”为状态3，获得“正 1分”为状态4，获得“正2分”为状态5，则状 态空间为
一步转移概率矩阵
路漫漫其修远兮, 吾将上下而求索
2/3
0
1
2
2/9
2/9
由状态传递图 1/3
0
2/3 5/9
1/3
2/3
1
2
2/9
2/9
（2）由于它是一个有限马氏链，故必有一个常返态，
又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链，从而每个状态都是正常返的 。
所以此链为非周期的。
首页
故此链是不可约非周期的正常返链，即此链是遍历的。