马尔科夫链例题整理共62页
马尔科夫链考试例题整理
解 设0 j c 考虑质点从j出发移动一步后的情况
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为 u j 1
同理 以 概 率 q 移 到 j 1 的 前 提 下 ，
到达 0 状态先于到达 c 状态的概率为u j 1
0 0 0 p 1
14
（2）二步转移概率矩阵
P
(2)
P
2
1 q rp q2 0 0
0
0
0 p2 2pr r2 pq 0
r2 pq 2pr 2rq r2 2pq q2 0 2qr 0
0 0 p2 p rp 1
1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1 6 1 6 1 6 1 6 1 6 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p q r 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n局 时甲获得的分数。 （1）写出状态空间； （3）问在甲获得1分的情况下，再赛二局可以 结束比赛的概率是多少？
p01 P( X1 1| X0 0) P(Y0 1) p1
p10 P( Xn1 0 | Xn 1) P( Xn 1 Yn 0 | Xn 1)
p20 P( Xn1 0 | Xn 2) P( Xn 1 Yn 0 | Xn 2)
a
第4章马尔可夫链1-2
定义 1 设有随机过程{ X n , n T } ，若对于任意的整数 n T 和任意的 i0 , i1 , , in1 I ，条件概率满足
转移概率矩阵为
q 0 p 0 P 0 q 0 p
设在第k步转移中向右移了x步，向左移了y步，且 经过k步转移状态从i进入j，则
x y k x y j i
从而
k ( j i) k ( n 和 i , j I ，n 步转移概率 ij 具有下列
性质
( n) ( l ) ( n l ) (1) pij pik pkj ; k I
(2) p
( n) ij
k1I
kn1I
pik1 pk1k2 pkn1 j ;
(3) P ( n ) PP ( n1) ; (4) P ( n ) P n .
第4章 马尔可夫链
定义 2.9 设 X t , t T 为随机过程，若对任意正 整数 n 及 t1 t2 , tn , P X (t1 ) x1 , , X t n1 xn1 0 ，且其 条件分布
P X (tn ) xn | X t1 x1 ,, X t n1 xn1 P X ( t n ) xn | X t n 1 x n 1
定义 2 称条件概率
pij (n) P{ X n1 j | X n i }
为马尔可夫链 { X n , n T } 在时刻 n 的一步转移概率，其 中 i , j I ，简称为转移概率。
马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5． （1）求第2次投篮的人是乙的概率； （2）求第i 次投篮的人是甲的概率； （3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ． 【解析】（1）记“第i 次投篮的人是甲”为事件i A ，“第i 次投篮的人是乙”为事件i B ，所以，()()()()()()()21212121121||P B P A B P B B P A P B A P B P B B =+=+()0.510.60.50.80.6×−+×.（2）设()i i P A p =，依题可知，()1i i P B p =−，则()()()()()()()11111||i i i i i i i i i i i P A P A A P B A P A P A A P B P A B +++++=+=+，即()()10.610.810.40.2i i i i p p p p +=+−×−=+， 构造等比数列{}i p λ+，设()125i i p p λλ++=+，解得13λ=−，则1121353i i p p + −=−，又11111,236p p =−=，所以13i p−是首项为16，公比为25的等比数列，即11112121,365653i i i i p p −−−=×=×+． （3）因为1121653i i p − =×+，1,2,,i n =⋅⋅⋅， 所以当*N n ∈时，()122115251263185315nnn n n E Y p p p − =+++=×+=−+ − ，故52()11853nnE Y=−+．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X . （1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性. 【解析】（1）X 的所有可能取值为－1，0，1.11()()P X αβ=−−=，()()()011P X αβαβ=+−−=，()1(1)P X αβ=−=， 所以X 的分布列为X －11P(1)αβ− )1((1)αβαβ+−− ()1αβ−（2）①证明 由（1）得0.4a =，0.5b =，0.1c =.因此110.40.50.1i i i i p p p p −+=++，故()()110.10.4i i i i p p p p −=−＋－，则()114i i i i p p p p −=−＋－.又因为1010p p p −≠=，所以1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为公比为4，首项为1p 的等比数列. ② 由①得()()()88877610087761001413p p p p p p p p p p p p p p p p −=−+−+…+−+=−+−+…+−+=⋅. 由于81p =，故18341p =−， 所以()()()()444332*********3257p p p p p p p p p p p −=−+−+−+−+==. 4p 表示最终认为甲药更有效的概率.由计算结果可以看出，在甲药治愈率为0.5，乙药治愈率为0.8时，认为甲药更有效的概率为410.0039257p =≈，此时得出错误结论的概率非常小，说明这种试验方案合理.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率． 【解析】记第n 次传球后球在甲手中的概率为n P ，则第1n −次传球后球在甲手中的概率为1n P −， 开始时球在甲手中，则01P =．若第n 次传球后球在甲手中，则第1n −次传球后球不在甲手中，即第1n −次传球后球在乙或丙手中， 所以第1n −次传球后球不在甲手中的概率为11n P −−，又乙或丙在第n 次把球传到甲手上的概率为12， 于是有()1112n n P P −−=，即1111323n n P P − −=−− ，1n ≥， 于是数列13n P−是首项为0213P −=，公比为12−得等比数列， 所以121332nn P −=×−，所以()*211323nn P n =×−+∈ N .1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率. (1)求23,p p ； (2)求20p . 【答案】(1)2815P =，33875P =；(2)201911652P =+⋅【分析】（1）分第一次取出黄球和绿球两种情况，再由互斥事件概率加法公式计算可得答案； （2）由题意可得()132155+=+−i i i P P P ，可得答案. 【详解】（1）从第二个箱子取出黄球的概率223128353515P =⋅+⋅=， 从第三个箱子取出黄球的概率3838238115515575P =⋅+−⋅= ； （2）由题意可知，()1321215555i i i i P P P P +=+−=+， 即1111252i i P P + −=− ，又123P = 1111111111,,,26265652i i i i P P P −− −=∴−=⋅∴=+ ⋅ 201911652P ∴=+⋅.重点题型·归类精讲【答案】(1)1942，1311776n n P −=−−(2)第二次，证明见解析【分析】（1）根据全概率公式即可求解2P ，利用抽奖规则，结合全概率公式即可由等比数列的定义求解， （2）根据1311776n n P −=−−，即可对n 分奇偶性求解.【详解】（1）记该顾客第()*N i i ∈次摸球抽中奖品为事件A ，依题意，127P =， ()()()()()22121121212119||1737242P P A P A P A A P A P A A ==+=×+−×= ． 因为()11|3n n P A A −=，()11|2n n P A A −=，()n n P P A =，所以()()()()()1111||n n n n n n n P A P A P A A P A P A A −−−−=+，所以()111111113262n n n n P P P P −−−=+−=−+， 所以1313767n n P P − −=−−， 又因为127P =，则131077P −=−≠， 所以数列37n P−是首项为17−，公比为16−的等比数列，故1311776n n P −=−−．（2）证明：当n 为奇数时，1131976742n n P −<<⋅，当n 为偶数时，131776n n P −=+⋅，则n P 随着n 的增大而减小， 所以，21942n P P ≤=，综上，该顾客第二次摸球抽中奖品的概率最大.3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出. (1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n = ，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈. 【答案】(1)分布列见解析(2)①10p =，212p =，314p =；②111,1,2,322n n p p n +=−+=；11(1)132n n − −+ 【分析】（1）由离散型随机变量的分布列可解；（2）记n A 表示事件“经过n 次传球后，球在甲手中”，由全概率公式可求111,22n n p p +=−+再由数列知识，由递推公式求得通项公式.【详解】（1）X 可能取值为1,2,3，()1232353110C C p X C ===；()213235325C C p X C ===；()3032351310C C p X C === 所以随机变量X 的分布列为（2）若刚好抽到甲乙丙三个人相互做传球训练，且n 次传球后球在甲手中的概率为,1,2,3,n p n = ， 则有10,p =2221,22p ==3321,24p == 记n A 表示事件“经过n 次传球后，球在甲手中”，111n n n n n A A A A A +++=⋅+⋅所以()()()11111n n n n n n n n n p P A A A A P A A P A A +++++=⋅+⋅=⋅+⋅ ()()()()()()111110122n n nn n n n n n P A P A A P A P A A p p p ++=⋅+⋅=−⋅+⋅=−∣∣ 即111,1,2,322n n p p n +=−+=， 所以1111323n n p p + −=−− ，且11133p −=− 所以数列13n p− 表示以13−为首项，12−为公比的等比数列，所以1111332n n p −−=−×−所以1111111132332n n n p −−=−×−+=−−即n 次传球后球在甲手中的概率是11(1)132n n −−+.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复. （1）求该同学第二天中午选择米饭套餐的概率 （2）记该同学第n 天选择米饭套餐的概率为n P（Ⅰ）证明：25n P −为等比数列；（Ⅱ）证明：当2n ≥时，512n P ≤. 【解析】（1）设1A =“第1天选择米饭套餐”，2A =“第2天选择米饭套餐”，则1A =“第1天不选择米饭套餐”，于是，()123P A =，()113P A =，()2114|P A A =，()2111122|P A A =−=， 由全概率公式()()()()()21211212111134323||P A P A P A A P A P A A =+=×+×=；（2）（Ⅰ）设n A =“第n 天选择米饭套餐”，则()n n P P A =，()1n n P A P =−，()14|1n n P A A +=，()11|1122n n P A A +=−=， ()()()()()()111111111424|2|n n n n n n n n n n n P P A P A P A A P A P A P P P A ++++==+=+−=−+， 所以1212545n n P P + −=−− ，25n P − 是以124515P −=为首项，14−为公比的等比数列。
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
第2章 马尔可夫链
Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0
（2）带吸收壁的随机游动 设（1）中的随机游动限制在 S={0,1,2, …b}，当质点移动到状态0或b后就永远停留在该位 置，即p00=1, pbb=1，其余pij(1≤i,j ≤b-1)同（1），这时 {Xn,n≥0}称为带两个吸收壁0和b的随机游动 ，它是一有限状 态马尔可夫链。
a j i , pij 0,
例2 M/G/1排队系统
j i j i
显然{Yn,n≥1}也是一马尔可夫链。
若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马 尔可夫性。
Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则
（1）无限制的随机游动 设有一质点在数轴上随机游动， 每隔一单位时间移动一次，每次只能向左或向右移动一单位， 或原地不动。设质点在0时刻的位置为a,向右移动的概率为p， 向左移动的概率为q，原地不动的概率为r(p+q+r=1),且各次 移动相互独立，以Xn表示质点经n次移动后所处的位置，则 {Xn,n≥0}是一马尔可夫链,转移概率为
k 0
P X n k X 0 i P X n m j X n k
k 0 n m pik pkj k 0
P n P P n 1 P P P n 2 P n
例（马尔可夫预测）P82
解 一阶转移矩阵为
0.95 0.30 P 0.20 0.20
初始分布为
0.02 0.60 0.10 0.20
0.02 0.06 0.70 0.10
北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
= ( c − j )d 0
c− j c c−a b ua = = c c uj =
同样道理，可以得到乙先输光的概率， 当 r ≠ 1 ， ua = 当 r＝ 1 ， ub =
1 − (q / p) a ， 1 − (q / p) c
a 。 c
该例题是有两个吸收壁的特例， 建立了边界条件、递推关系、首先概率表达式， 该例题着重研究对称和非对称的赌徒输光的问题。
构造：
( p + q )u j = pu j +1 + qu j −1 p (u j − u j +1 ) = q(u j −1 − u j ) (u j − u j +1 ) =
定义
q (u j −1 − u j ) p q =r， p
(u j − u j +1 ) = d j , (0 ≤ j < c),
建模：具有两个吸收壁，五个状态的随机游动
1．一局比赛的建模 问题：一局比赛共有多少个状态 很多，例如 15:0 就是一个状态，40:15 又是一个状态。还是回到我们分析比赛规则的目 的上来，我们是为了得到两名选手最终赢球与输球的概率，那么当一局比赛打到 30:40 的时 候， 如果选手 B 再取胜一球， 则 30:60， 选手 B 获胜， 而之前这局比赛到底是怎么打到 30:40 的并不是我们关心的问题，我们只关心一局比赛会打到 30:40 的概率（初始概率）以及之后 由状态 30:40 打到状态 30:60 的概率（转移概率） 。这是典型的马尔科夫链。 那么我们实际要做的事情就是如何确定比赛中对我们的分析有用的状态以及这些状态
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
随机过程第四章复习题及其解答马尔科夫链
第四章一、填空1.参数集和状态集均为离散集的马尔可夫过程称为马尔可夫链。
2.设{X n ,n єT}为马尔可夫链，称pj=p{X0=j}为{X n ,n єT}的初始概率，称pj （n ）=p{Xn=j}为{X n ,n єT}的绝对概率。
3.设{X n ,n>=0}为马尔可夫链，则一步转移概率p ij =P{X n+1=j|X n =i}4.矩阵()ij a 其元素非负且对每i 有1j=∑ija，称矩阵()ij a 为随机矩阵。
5.f (n)ij =P{T ij =n|X 0=i}=P{X n =j,X k ≠j,1<=k<=n-1|X 0=i}为首达概率。
6.若1=ii f ,称i 为常返状态；若1<ii f ，称i 为非常返状态。
7.状态相通关系为等价关系，具有自反性、对称性、传递性。
8.设马尔可夫链的状态集为E={0，±1，±2，…}或其有限子集，其初始时刻n=0的概率记为p i (0)=P{X(0)=i},i єE,称集合{p i (0)}为该马尔可夫链的初始分布。
9.设马尔可夫链的状态集为E={0，±1，±2，…}或其有限子集，其绝对时刻n 时的概率记为p i (n)=P{X(n)=i},i єE,称集合{p i (n)}为该马尔可夫链的绝对分布。
10.设C ⊂S ，如对任意i ∈C 及j ∉C,都有p ij =0,称C 为闭集。
若C 的状态相通，C 成为不可约的。
11.若平稳齐次马尔可夫链的初始分布为平稳分布，则绝对概率等于初始概率。
12.不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧∈I j ,u 1j 。
13.马氏链的绝对分布由其初始分布及相应的转移概率唯一确定。
二、1.设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨，今日有雨、明日有雨的概率为0.5；昨日有雨，今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。
马尔科夫链
浙江大学随机过程
8
例2. 0 − 1传输系统） （
X0 1 X1 2 X2
…
Xn-1
n
Xn
…
只传输0和1的串联系统中，设每一级的传真率为p,误码率 为q = 1 − p。以X 0 表示第一级的输入，X n 表示第n级的输出 （n ≥ 1 ）。 { X n }是一时齐Markov链，状态空间I = {0,1}， 则
0 1
1 2
2 0
1 2
3 4 0 0
1 2
5 0 0 0 0 1 2 1 2
14
乙
0 1 2 1 1 2 2 0 P= 3 0 4 0 5 0
0 0 0
1 2
0
1 2
0
1 2
0 0 0
0
1 2
0 0
0
1 2
0
浙江大学随机过程
例6：卜里耶（Polya)罐子模型。设一罐子装有r个红球， t个黑球，现随机从罐中取出一球，记录其颜色，然后将 球放回，并加入a个同色球。持续进行这一过程，Xn表示 第n次试验结束时罐中的红球数，n=0，1,2,…. {Xn,n=0，1,2,…}是一随机过程， 状态空间I={r,r+a,r+2a,…},当Xn=i 时，Xn+1=j的概率只 与i有关，与n时刻之前如何取到i值是无关的， 这是一马氏链，但不是时齐的,一步转移概率为：
1 1 2 P=3 4 5 0 1 3 0 0 0
2 1
1 3 1 3
3 4 0
7马尔可夫链
n 1
f ii( n )
f ii 1
n 1
f ii( n ) f ii 1
fij(n)
n 1
nfii( n) i
n 1
nfii( n) i
（3）可达关系与互通关系
[定义] （1）若存在 n > 0, 使得 pij(n) > 0 ，则称自状态 i 可达状态 j ，
{ p j (n)} { p j (n) , j I }
绝对概率向量：
PT (n) p1 (n), p2 (n), , (n 0)
初始概率向量：
PT (0) p1 , p2 ,
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(n n 0, 0 l < n 和 i , j I ，n 步转移概率 pij ) 具有下 列性质：
( ( ( (1) pijn ) pikl ) pkjnl ) kI
(n ) ij
C-K方程
( (2) pijn) pik1 pk1k2 pkn1 j k 1I kn1I
马尔可夫链的统计特性由以下条件概率所决定：
P{X n1 in1 X n in }
转移概率
[定义] 称条件概率
pij (n) P{X n1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概率， 其中 i , j I ，简称为转移概率。
一步转移概率矩阵：
p P q q p
数学模型_ 马尔可夫链_
二、问题分析
a1 (n a2 (n
1) 1)
T
=
a1 (n) a2 (n)
T
0.6 0.3
0.4
0.7
lim
n
a1 (n a2 (n
1) 1)
T
=
lim
n
a1 (0) a2 (0)
T
0.6 0.3
0.4 n
0.7
a1 a2
(0) (0)
T
j
天处于状态 j 的概率，称之为转移概率。
0.3
Hale Waihona Puke 天津北京0.70.4
0.6
0.6
a1 (n 1) 0.6a1 (n) 0.3a2 (n) a2 (n 1) 0.4a1 (n) 0.7a2 (n)
二、问题分析
a1 (n 1) 0.6a1 (n) 0.3a2 (n) a2 (n 1) 0.4a1 (n) 0.7a2 (n)
3 3
/ /
7 7
4 / 7
4
/
7
3
/
7
T
4
/
7
0.3
天津
北京
0.7
0.4
0.6
0.6
这一状态概率与初始状态概率无关，称为稳态概率。
对于这一转移矩阵，存在正整数 N ,使得 P N 0 说明从任意状态出发都可以经过有限次的转移达到 另外的任意状态，则称这类马氏链为正则链。
数学模型
线性回归模型
数学模型
马尔可夫链
北京科技大学
一、问题提出
在外地旅游时，为了出行方便，许多游客会选择 租车出行。某公司在北京和天津两地开展汽车租赁业务, 共投入7000辆车。消费者可以从两地租车，也可以在任 何一家公司还车。
EXANS_C4马尔可夫链
练习四：马尔可夫链 随机进程练习题1．设质点在区间[0，4]的整数点作随机游动，抵达0点或4点后以概率1停留在原处，在其它整数点别离以概率31向左、右移动一格或停留在原处。
求质点随机游动的一步和二步转移的概率矩阵。
2．独立地重复抛掷一枚硬币，每次抛掷显现正面的概率为p ，关于2≥n 求，令n X =0，1，2或3，这些值别离对应于第1-n 次和第n 次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。
求马尔可夫链},2,1,0,{ =n X n 的一步和二步转移的概率矩阵。
3．设}0,{≥n X n 为马尔可夫链，试证： （1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ }|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++（2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P}|,,,{111100++=====n n n n i X i X i X i X P ==⋅+++m n n n X i X P ,,{22 }|11+++=n n m n i X i4．设}1,{≥n X n 为有限齐次马尔可夫链，其初始散布和转移概率矩阵为==0{X P p i4,3,2,1,41}==i i ，⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P ，试证}41|4{}41,1|4{12102<<=≠<<==X X P X X X P5．设}),({T t t X ∈为随机进程，且)(11t X X =，,),(22 t X X = ),(n n t X X =为独立同散布随机变量序列，令2,,)(,011110≥=+===-n X cY Y X t Y Y Y n n n ，试证}0,{≥n Y n 是马尔可夫链。
应用数理统计与随机过程 第9章 马尔可夫链
p1(n)
pi
p(n) i1
p1
p(n 11
)
p2
p(n 21
)
;
iI
p2(n)
pi
p(n) i2
p1
p(n) 12
p2
p(n) 22
;
PT(n)=PT(0)P(n)
iI
(p1 (n)，p2 (n))
(
p1，p2 )
p(n) 11
p(n) 21
p(n) 12
p(n) 22
.
9.1 马尔可夫链及转移概率
pj P{X0 j} pj (n) P{Xn j}
{pj , j I} { pj (n) , j I} pT (0) ( p1, p2 , ) pT (n) ( p1(n), p2(n), )
9.1 马尔可夫链及转移概率
定理9.2 设{Xn, nT }为马尔可夫链, 则对任意整数 jI 和n1 , 绝对概率 pj(n)具有性质
kI
kI
(2)
在(1)中令l=1, k =k1,得
p(n) ij
p p , (1) (n1) ik1 k1 j
由此可递推出公式.
kI
(3) 矩阵乘法.
(4) 由(3), 利用归纳法可证.
9.1 马尔可夫链及转移概率 ◎ 初始概率和绝对概率
定义9.5 • 初始概率 • 绝对概率 • 初始分布 • 绝对分布 • 初始概率向量 • 绝对概率向量
(1) pj (n)
pi
p(n ij
)
;
iI
(2) pj (n) pi (n 1) pij ; iI
(3) PT (n) PT 0 P(n); (4) PT (n) PT (n 1)P
第4章 马尔可夫链
d0
两式相比
r j rc
uj 1 rc
故
ua
ra rc 1 rc
(
q )a p
(
q )c p
1
(
q p
)c
当 r 1
u0 uc 1 cd0
而
u j (c j)d0
c j
因此 故
u j c c a b
ua
c
c
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
当r
pi
p(n) ij
iI
(2) pj (n) pi (n 1) pij iI
(3)PT (n) PT (0)P(n)
(4)PT (n) PT (n 1)P
由（1）知，绝对概率由初始分布和n步转移概率完全确定
（1）
pn ( j)
pi
p(n) ij
iI
证 P{X n j} P{X n j, X 0 i} P{X n j, X 0 i} i
需讨论 r
当 r 1
c 1
1 u0 uc
(u j u j1)
c 1
j0
j0 c1
d j
c1 j 0
r jd0
1 rc 1 r
d0
而 u j u j uc (ui ui1)
i j
c 1
c 1
di
rid0
i j
i j
r j (1 r r c j1)d0
r j rc 1 r
称概率向量
PT (n) ( p1(n), p2(n),L ),(n 0)
为 n 时刻的绝对概率向量，而称
PT (0) ( p1 , p2 ,L )
专题8-1 马尔科夫链(与数列结合的概率递推问题)(原卷版)
专题8-1 马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=-==+-==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+-==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11-+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+-++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5．（1）求第2次投篮的人是乙的概率；（2）求第i 次投篮的人是甲的概率；（3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==-===⋅⋅⋅，则11n ni i i i E X q ==⎛⎫= ⎪⎝⎭∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1-分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1-分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X .（1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++⋯－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c P X ==. 假设0.5α=，0.8β=.①证明：1)0{,1,2,,}7(i i p p i -=⋅⋅⋅＋为等比数列；②求4p ，并根据4p 的值解释这种试验方案的合理性.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率．1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球重点题型·归类精讲1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率.(1)求23,p p ；(2)求20p .3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出.(1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n =，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.（1）求该同学第二天中午选择米饭套餐的概率（2）记该同学第n天选择米饭套餐的概率为n P（Ⅰ）证明：25nP⎧⎫-⎨⎬⎩⎭为等比数列；（Ⅱ）证明：当2n≥时，512nP≤.2023届佛山二模·165．有n 个编号分别为1,2,3,,n ⋅⋅⋅的盒子，第1个盒子中有2个白球1个黑球，其余盒子均为1个白球1个黑球，现从第1个盒中任取一球放入第2个盒子，再从第2个盒子中任取一球放入第3个盒子，以此类推，则从第2个盒子中取到白球的概率是 ，从第n 个盒子中取到白球的概率是 .2023·唐山调研6．甲、乙、丙三人玩传球游戏，第1次由甲传出，每次传球时，传球者都等可能地将球传给另外两人中的任何一人.设第k 次传球后球在甲手中的概率为*N k p k ∈，，则下列结论正确的有（ ）A. 10p =B. 213p = C. 121k k p p ++= D. 202313p >2024届武汉高三九月调研T167．甲，乙，丙三人进行传球游戏，每次投掷一枚质地均匀的正方体骰子决定传球的方式：当球在甲手中时，若骰子点数大于3，则甲将球传给乙，若点数不大于3，则甲将球保留；当球在乙手中时，若骰子点数大于4，则乙将球传给甲，若点数不大于4，则乙将球传给丙；当球在丙手中时，若骰子点数大于3，则丙将球传给甲，若骰子点数不大于3，则丙将球传给乙．初始时，球在甲手中，投掷n 次骰子后（），记球在甲手中的概率为，则 ； ．2024届·湖北荆荆恩高三9月起点联考·218．甲、乙两个盒子中都装有大小、形状、质地相同的2个黑球和1个白球，现从甲、乙两个盒子中各任取一个球交换放入另一个盒子中，重复次这样的操作后，记甲盒子中黑球的个数为，甲盒中恰有2个黑球的概率为，恰有3个黑球的概率为.(1)求；(2)设，证明：；(3)求的数学期望的值.*n ∈N n p 3p =n p =()*n n ∈N n X n p n q 11,p q 2n n n c p q =+11233n n c c +=+n X ()n E X2023·济南开学考10．甲、乙两人进行抛掷骰子游戏，两人轮流地掷一枚质均匀的骰子.规定：先掷出点数6的获胜，游戏结束.（1）记两人抛掷骰子的总次数为X，若每人最多抛掷两次骰子，求比赛结束时，X的分布列和期望；（2）已知甲先掷，求甲恰好抛掷n 次骰子并获得胜利的概率.2023届·杭州二模11．马尔科夫链是概率统计中的一个重要模型，也是机器学习和人工智能的基石，在强化学习、自然语言处理、金融领域、天气预测等方面都有着极其广泛的应用．其数学定义为：假设我们的序列状态是…，2t X -，1t X -，t X ，1t X +，…，那么1t X +时刻的状态的条件概率仅依赖前一状态t X ，即()()t 1t 2t 1t t 1t ,,,X X X X X X P P +--+=∣∣. 现实生活中也存在着许多马尔科夫链，例如著名的赌徒模型．假如一名赌徒进入赌场参与一个赌博游戏，每一局赌徒赌赢的概率为50%，且每局赌赢可以赢得1元，每一局赌徒赌输的概率为50%，且赌输就要输掉1元．赌徒会一直玩下去，直到遇到如下两种情况才会结束赌博游戏：一种是手中赌金为0元，即赌徒输光；一种是赌金达到预期的B 元，赌徒停止赌博．记赌徒的本金为*(,)A A N A B ∈<元，赌博过程为如图所示的数轴．当赌徒手中有n 元()0,n B n N ≤≤∈时，最终输光的概率为()P n ，请回答下列问题：（1）请直接写出()0P 与()P B 的数值；（2）证明(){}P n 是一个等差数列，并写出公差d ；（3）当100A =时，分别计算200B =，1000B =时，()P A 的数值，并结合实际，解释当B →+∞时，()P A 的统计含义.12．校足球队中的甲、乙、丙、丁四名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能的将球传给另外三个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
41、没有哪个社会可以制订一部永远 适用的 宪法， 甚至一 条永远 适用的 法律。 ——杰 斐逊 52、法律源于人的自卫本能。——英 格索尔
53、人们通常会发现，法律就是这样 一种的 网，触 犯法律 的人， 小的可 以穿网 而过， 大的可 以破网 而出， 只有中 等的才 会坠入 网中。 ——申 斯通 54、法律就是法律它是一座雄伟的大 夏，庇 护着我 们大家 ；它的 每一块 砖石都 垒在另 一块砖 石上。 ——高 尔斯华 绥 55、今天的法律未必明天仍是法律。 ——罗·伯顿