马尔科夫链例题整理
马尔科夫链例题整理
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5． （1）求第2次投篮的人是乙的概率； （2）求第i 次投篮的人是甲的概率； （3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ． 【解析】（1）记“第i 次投篮的人是甲”为事件i A ，“第i 次投篮的人是乙”为事件i B ，所以，()()()()()()()21212121121||P B P A B P B B P A P B A P B P B B =+=+()0.510.60.50.80.6×−+×.（2）设()i i P A p =，依题可知，()1i i P B p =−，则()()()()()()()11111||i i i i i i i i i i i P A P A A P B A P A P A A P B P A B +++++=+=+，即()()10.610.810.40.2i i i i p p p p +=+−×−=+， 构造等比数列{}i p λ+，设()125i i p p λλ++=+，解得13λ=−，则1121353i i p p + −=−，又11111,236p p =−=，所以13i p−是首项为16，公比为25的等比数列，即11112121,365653i i i i p p −−−=×=×+． （3）因为1121653i i p − =×+，1,2,,i n =⋅⋅⋅， 所以当*N n ∈时，()122115251263185315nnn n n E Y p p p − =+++=×+=−+ − ，故52()11853nnE Y=−+．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X . （1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性. 【解析】（1）X 的所有可能取值为－1，0，1.11()()P X αβ=−−=，()()()011P X αβαβ=+−−=，()1(1)P X αβ=−=， 所以X 的分布列为X －11P(1)αβ− )1((1)αβαβ+−− ()1αβ−（2）①证明 由（1）得0.4a =，0.5b =，0.1c =.因此110.40.50.1i i i i p p p p −+=++，故()()110.10.4i i i i p p p p −=−＋－，则()114i i i i p p p p −=−＋－.又因为1010p p p −≠=，所以1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为公比为4，首项为1p 的等比数列. ② 由①得()()()88877610087761001413p p p p p p p p p p p p p p p p −=−+−+…+−+=−+−+…+−+=⋅. 由于81p =，故18341p =−， 所以()()()()444332*********3257p p p p p p p p p p p −=−+−+−+−+==. 4p 表示最终认为甲药更有效的概率.由计算结果可以看出，在甲药治愈率为0.5，乙药治愈率为0.8时，认为甲药更有效的概率为410.0039257p =≈，此时得出错误结论的概率非常小，说明这种试验方案合理.课本原题：人教A 版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n 次传球后球在甲手中的概率． 【解析】记第n 次传球后球在甲手中的概率为n P ，则第1n −次传球后球在甲手中的概率为1n P −， 开始时球在甲手中，则01P =．若第n 次传球后球在甲手中，则第1n −次传球后球不在甲手中，即第1n −次传球后球在乙或丙手中， 所以第1n −次传球后球不在甲手中的概率为11n P −−，又乙或丙在第n 次把球传到甲手上的概率为12， 于是有()1112n n P P −−=，即1111323n n P P − −=−− ，1n ≥， 于是数列13n P−是首项为0213P −=，公比为12−得等比数列， 所以121332nn P −=×−，所以()*211323nn P n =×−+∈ N .1．（2024届·武汉高三开学考）有编号为1，2，3，...，18，19，20的20个箱子，第一个箱子有2个黄球1个绿球，其余箱子均为2个黄球2个绿球，现从第一个箱子中取出一个球放入第二个箱子，再从第二个箱子中取出一个球放入第三个箱子，以此类推，最后从第19个箱子取出一个球放入第20个箱子，记i p 为从第i 个箱子中取出黄球的概率. (1)求23,p p ； (2)求20p . 【答案】(1)2815P =，33875P =；(2)201911652P =+⋅【分析】（1）分第一次取出黄球和绿球两种情况，再由互斥事件概率加法公式计算可得答案； （2）由题意可得()132155+=+−i i i P P P ，可得答案. 【详解】（1）从第二个箱子取出黄球的概率223128353515P =⋅+⋅=， 从第三个箱子取出黄球的概率3838238115515575P =⋅+−⋅= ； （2）由题意可知，()1321215555i i i i P P P P +=+−=+， 即1111252i i P P + −=− ，又123P = 1111111111,,,26265652i i i i P P P −− −=∴−=⋅∴=+ ⋅ 201911652P ∴=+⋅.重点题型·归类精讲【答案】(1)1942，1311776n n P −=−−(2)第二次，证明见解析【分析】（1）根据全概率公式即可求解2P ，利用抽奖规则，结合全概率公式即可由等比数列的定义求解， （2）根据1311776n n P −=−−，即可对n 分奇偶性求解.【详解】（1）记该顾客第()*N i i ∈次摸球抽中奖品为事件A ，依题意，127P =， ()()()()()22121121212119||1737242P P A P A P A A P A P A A ==+=×+−×= ． 因为()11|3n n P A A −=，()11|2n n P A A −=，()n n P P A =，所以()()()()()1111||n n n n n n n P A P A P A A P A P A A −−−−=+，所以()111111113262n n n n P P P P −−−=+−=−+， 所以1313767n n P P − −=−−， 又因为127P =，则131077P −=−≠， 所以数列37n P−是首项为17−，公比为16−的等比数列，故1311776n n P −=−−．（2）证明：当n 为奇数时，1131976742n n P −<<⋅，当n 为偶数时，131776n n P −=+⋅，则n P 随着n 的增大而减小， 所以，21942n P P ≤=，综上，该顾客第二次摸球抽中奖品的概率最大.3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，每次必须将球传出. (1)记甲乙丙三人中被抽到的人数为随机变量X ，求X 的分布列；(2)若刚好抽到甲乙丙三个人相互做传球训练，且第1次由甲将球传出，记n 次传球后球在甲手中的概率为,1,2,3,n p n = ，①直接写出123p p p ，，的值；②求1n p +与n p 的关系式*()n N ∈，并求n p *()n N ∈. 【答案】(1)分布列见解析(2)①10p =，212p =，314p =；②111,1,2,322n n p p n +=−+=；11(1)132n n − −+ 【分析】（1）由离散型随机变量的分布列可解；（2）记n A 表示事件“经过n 次传球后，球在甲手中”，由全概率公式可求111,22n n p p +=−+再由数列知识，由递推公式求得通项公式.【详解】（1）X 可能取值为1,2,3，()1232353110C C p X C ===；()213235325C C p X C ===；()3032351310C C p X C === 所以随机变量X 的分布列为（2）若刚好抽到甲乙丙三个人相互做传球训练，且n 次传球后球在甲手中的概率为,1,2,3,n p n = ， 则有10,p =2221,22p ==3321,24p == 记n A 表示事件“经过n 次传球后，球在甲手中”，111n n n n n A A A A A +++=⋅+⋅所以()()()11111n n n n n n n n n p P A A A A P A A P A A +++++=⋅+⋅=⋅+⋅ ()()()()()()111110122n n nn n n n n n P A P A A P A P A A p p p ++=⋅+⋅=−⋅+⋅=−∣∣ 即111,1,2,322n n p p n +=−+=， 所以1111323n n p p + −=−− ，且11133p −=− 所以数列13n p− 表示以13−为首项，12−为公比的等比数列，所以1111332n n p −−=−×−所以1111111132332n n n p −−=−×−+=−−即n 次传球后球在甲手中的概率是11(1)132n n −−+.2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复. （1）求该同学第二天中午选择米饭套餐的概率 （2）记该同学第n 天选择米饭套餐的概率为n P（Ⅰ）证明：25n P −为等比数列；（Ⅱ）证明：当2n ≥时，512n P ≤. 【解析】（1）设1A =“第1天选择米饭套餐”，2A =“第2天选择米饭套餐”，则1A =“第1天不选择米饭套餐”，于是，()123P A =，()113P A =，()2114|P A A =，()2111122|P A A =−=， 由全概率公式()()()()()21211212111134323||P A P A P A A P A P A A =+=×+×=；（2）（Ⅰ）设n A =“第n 天选择米饭套餐”，则()n n P P A =，()1n n P A P =−，()14|1n n P A A +=，()11|1122n n P A A +=−=， ()()()()()()111111111424|2|n n n n n n n n n n n P P A P A P A A P A P A P P P A ++++==+=+−=−+， 所以1212545n n P P + −=−− ，25n P − 是以124515P −=为首项，14−为公比的等比数列。
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
11章马尔可夫链习题课
pN ,1 p,
p1,N q,
第19页，共20页。
例5 试证Wiener过程B(t)是马尔可夫过程 .
证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
B(u)(0 u s)} p{B(t s) B(s) y x} 独立增量性 p{B(t s) B(s) y | B(s) x}
为马氏链在时刻 m处于状态ai条件下,在时刻
m n转移到状态a m, m n) 1, i 1,2,.
j1
由转移概率组成的矩阵 P(m, m n)(Pij (m, n n))
称为马氏链的转移概率矩阵.
它是随机矩阵.
第7页，共20页。
马氏链的n步转移概率
马尔可夫链.
简记为: { Xn X (n),n 0,1,2,}
第5页，共20页。
齐次马尔可夫链
当转移概率Pij (m, n n)只与i, j及时间间距n
有关时, 称此链是齐次的或时齐的.
第6页，共20页。
转移概率、转移概率矩阵
称条件概率 Pij (m, n n) P{ X mn a j | X m ai }
第18页，共20页。
例4 一质点在圆周上做随机 游动,圆周上共有N格, 质点以概率 p顺时针移动一格 ,以概率 q 1 p逆时 针移动一格,试用马尔可夫链描述游 动过程,确定状 态空间和转移概率矩阵 .
解 状态空间为 S 1, 2, , N
pi,i1 p, i 1, 2, , N 1, pi,i1 q, i 2, , N .
j1
第11页，共20页。
三、典型例题
例1 艾伦非斯特(Ehrenfest)模型 设一个坛子装有 c个球,它们或是红色的,或
马尔科夫链例题整理
0 0 0 1 2 1
首页
有两个吸收壁的随机游动
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
P(Yn 0) p0
首页
所以转移矩阵为
p0 p 0 P 0 1 0 L
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
q c 1 ( ) p b 当 r 1 即 p q 时， 甲先输光的概率为
用同样的方法可以求得乙先输光的概率
q a q c ( ) ( ) p p
c
q a 当 p q 时，乙输光的概率为1 ( ) p a 当 p q 时，乙先输光的概率为 c
i j c 1
j 0 c 1
而
u j u j uc
c 1
j 0
1 rc j r d0 d0 1 r
(ui ui 1 )
c 1 i
di r d 0 j c i j i j r r j c j 1 d0 r (1 r L r )d0 1 r j c 两式相比 r r 首页 uj c 1 r
马尔科夫链例题
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直
1
0
a 1
0
... 0
一步转移矩阵是
a
a
2
a2
0
0
... 0
P1 a
a
... ... ... ... ... ...
首页
0
...
0
0
...
0
a 1 a
0
1
a
0
1
0
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
首页
q p 0 0 0 ...
P1
q 0
0 q
p 0
马尔科夫计算例题
马尔科夫计算例题
马尔科夫链蒙特卡洛（Markov Chain Monte Carlo，MCMC）是一种统计模拟方法，用于从复杂的分布中抽样。
以下是一个简单的马尔科夫链蒙特卡洛计算例题：
假设我们有一个随机变量 \(X\)，其分布是 \(P(X)\)。
我们的目标是计算
\(P(X)\) 的期望值，也就是：
\(\text{E}[X] = \int x P(x) dx\)
但是，直接计算这个积分是非常困难的。
因此，我们使用马尔科夫链蒙特卡洛方法来近似这个积分。
步骤如下：
1. 初始化一个随机数 \(x_0\) 作为当前状态。
2. 生成一个随机数 \(r\) 服从均匀分布 \(U(0,1)\)。
3. 计算接受率 \(A = \min(1, \frac{P(x_i)}{P(x_j)})\)，其中 \(j\) 是 \(r\) 落入的区间中的状态。
4. 以概率 \(A\) 接受 \(x_j\) 作为新的状态 \(x_{i+1}\)。
5. 如果接受，回到步骤 2；否则，令 \(i = i+1\) 并回到步骤 2。
6. 重复步骤 2-5，直到达到足够的样本数量。
然后，我们可以用这些样本的平均值来近似期望值。
这是一个简单的例子，实际上马尔科夫链蒙特卡洛方法可以用于更复杂的问题，如高维积分、优化问题等。
随机过程-9马尔科夫链的状态分类
1 2
P
0 1
1 0
0 1
2 0
1
2 0
1 0 1
P2
2 0
1
2 0
1 2
1
1
1 2
2
3
1 2
1
由1出发，经过一步首次回到1：无
由1出发，经过两步首次回到1：1→2→1
由1出发，经过三步首次回到1：无
由1出发，经过四步首次回到1：1→2→3→2→1
f (1) 0 11
f (2) 1
11
2
f (3) 0 11
f (4) 1
11
4
f (5) 0 11
f (6) 1
马尔科夫链状态的分类
1、周期性
• 例：从状态1出发，再回到状态1，可能的步数为 3,6,9，...，例如：1→3→6→1，或 1→4→6→2→5→6→1，等等。
• 步数的最大公约数，称为周期。周期为3.
4.2 马尔可夫链的状态分类
例4.6 设马尔可夫链的状态空间 I={1,2,,9}，转移概率如下图
• 定义4.3 状态i的周期d： d=G.C.D{n: p(n) >0}
ii
(最大公约数greatest common divisor) • 如果d>1，就称i为周期的， • 如果d=1，就称i为非周期的
4.2 马尔可夫链的状态分类
注(1)如果i有周期d，则对一切非零的n,
n0 mod d，有 p(n) 0
同理可得
4.2 马尔可夫链的状态分类
f (n) 13
( (
p1q2 p1q2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
获胜的概率为p，乙获胜的概率为
，
求甲输光的概率。
分 析
路漫漫其修远兮, 吾将上下而求索
这个问题实质上是带有两个吸收壁的随机游动。从 甲的角度看，他初始时刻处于a，每次移动一格，向 右移（即赢1元）的概率为p，向左移（即输1元）的 概率为q。如果一旦到达0（即甲输光）或a + b（即 乙输光）这个游动就停止。这时的状态空间为{0，1 ，2，…，c}，c = a + b，。现在的问题是求质点从a 出发到达0状态先于到达c状态的概率。
一步转移矩阵是
首页
路漫漫其修远兮, 吾将上下而求索
练习题．
扔一颗色子，若前n次扔出的点数的最大值为j，就
说
试问
是否为马氏链？求一步转移概率矩
阵。
I={1，2，3，4，5，6}
首页
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 ，（ ）。设每局比赛后，胜者记“+1”分，负者记“— 1”分，和局不记分。当两人中有一人获得2分结 束比赛。以 表示比赛至第n局时甲获得的分 数。
i+1，以概率r停留在i，且
，试
求转移概率矩阵。
首页
路漫漫其修远兮, 吾将上下而求索
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为 I={0，1，2，…，a}
设i是常返态， 则称i为正常返态； 则称i为零常返态。
路漫漫其修远兮, 吾将上下而求索
首页
例 其一步转移矩阵如下，是对I进行分解。
I可分解为：C1={2，3, 4} C2={5，6,7} 两个闭集及 N={1} ，即I=N+ C1+ C2
路漫漫其修远兮, 吾将上下而求索
用极限判断状态类型的准则
（1）i是瞬时态
路漫漫其修远兮, 吾将上下而求索
首页
由以上计算结果可知
用同样的方法可以求得乙先输光的概率
路漫漫其修远兮, 吾将上下而求索
首页
例3 排队问题
顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
则有
路漫漫其修远兮, 吾将上下而求索
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 表示在时刻n质点的位置，
则{
， }是一个齐次马氏链，写出其一步转移概
率。
首页
路漫漫其修远兮, 吾将上下而求索
qp
012 左反射壁
q p
m-1 m 右反射壁
路漫漫其修远兮, 吾将上下而求索
首页
路漫漫其修远兮, 吾将上下而求索
定理11
1 1/2 3
15
2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。
路漫漫其修远兮, 吾将上下而求索
例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为
试讨论各状态的遍历性。
解 根据转移概率作出状态传递图
1/2 1/2 1/2
1/2
1/2
0 1/2 1 1/2 2 1/2 3 …
图4---4
路漫漫其从修远而兮, 状态0是遍历的。 故所有状态i都是遍历的。
吾将上下而求索
例5．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为
4
试对其状态分类。
1/3 1/3
11
1 1/2
1/2
2
3
1/3
解 按一步转移概率，画出各状态间的传递图
它是有限状态的马氏链，故必有一个常返态，又 链中四个状态都是互通的。因此，所有状态都是 常返态，这是一个有限状态不可约的马氏链。
qp 0123 反 射 壁
首页
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
逆时针游动一格。试求转移概率 矩阵。
路漫漫其修远兮, 吾将上下而求索
首页
4．一个质点在全直线的整数点上作随机游动，移
动的规则是：以概率p从i移到i-1，以概率q从i移到
( 1 ) 求马氏链{ ， }的转移概率矩阵；
( 2 ) 证明{ ， }是遍历的；
（3）求
（4）求
首页
路漫漫其修远兮, 吾将上下而求索
解 其一步转移矩阵为
甲
红球0 白球3
红球1 白球2
红球2 白球1
路漫漫其修远兮, 吾将上下而求索
乙
红球2 白球1
红球1 白球2
红球0 白球3
1/3
2/3 5/9
1/3
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 向左 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
若 表示质点在时刻n所处的位置，求 一步转移概率。
路漫漫其修远兮, 吾将上下而求索
（1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布；
路漫漫其修远兮, 吾将上下而求索
解 （1）E{1，2，3},状态1、2、3分别表示甲、乙、丙的用户
一步转移概率矩阵为 （2）以1600除8月份甲，乙，丙的户数，得初始概率 分布（即初始市场占有率）
路漫漫其修远兮, 吾将上下而求索
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}，
其一步转 移矩阵为
有两个吸收壁的随机游动
路漫漫其修远兮, 吾将上下而求索
首页
例2．带有反射壁的随机游动
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返”
定理4
定理5
定理6
定理7
路漫漫其修远兮, 吾将上下而求索
如果i为常返态，且
，则j也是常返态。
所有常返态构成一个闭集
5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间
称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类：
所以9月份市场占有率分布为 （3）12月份市场占有率分布为
路漫漫其修远兮, 吾将上下而求索
例1 其一步转移矩阵为
试研究各状态间的关系，并画出状态传递图。
解 先按一步转移概率，画出各状态间的传递 图
路漫漫其修远兮, 吾将上下而求索
首页
1/2 1/2
2/3 1/3
0
1
2
1/2 1/4 1/4
由图可知 状态0可到图达3--状-1态1，经过状态1又可到达状态2 ；反之，从状态2出发经状态1也可到达状态0。
路漫漫其修远兮, 吾将上下而求索
图4---4
首页
从图可知，对任一状态
都有
，
故由定理可知，I 中的所以状态都是相通的，
因此只需考虑状态0是否正常返即可。
…
故 从而0是常返态。 1/2
1/2
1/2
1/2
1/2
又因为
0 1/2 1 1/2 2 1/2 3 …
所以状态0为正常返。 又由于 故状态0为非周期的
因此，状态空间I的各状态都是互通的。
又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任 何状态， 所以I是一个闭集
而且I 中没有其它闭集 所以此马氏链是不可约的 。
路漫漫其修远兮, 吾将上下而求索
首页
例2 其一步转移矩阵为
试讨论哪些状态是吸收态、闭集及不可约链。
解 先按一步转移概率，画出各状态间的传递 图
试证此链具有遍历性，并求平稳分布和各状态的平均返回时间 解 由于
首页
路漫漫其修远兮, 吾将上下而求索
所以 因此，该马氏链具有遍历性。
解得
X1
2
3
所以马氏链的平稳分布为
各状态的平均返回时间
路漫漫其修远兮, 吾将上下而求索
例2 设有6个球（其中2个红球，4个白球）分放于甲 、乙两个盒子中，每盒放3个，今每次从两个盒 中各任取一球并进行交换，以 表示开始时 甲盒中红球的个数， （ ）表示经n次交 换后甲盒中的红球数。
（1）写出状态空间；
（3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？
路漫漫其修远兮, 吾将上下而求索
首页
解
（1）
记甲获得“负2分”为状态1，获得“负1 分”为状态2，获得“0分”为状态3，获得“正 1分”为状态4，获得“正2分”为状态5，则状 态空间为
一步转移概率矩阵
路漫漫其修远兮, 吾将上下而求索
2/3
0
1
2
2/9
2/9
由状态传递图 1/3
0
2/3 5/9
1/3
2/3
1
2
2/9
2/9
（2）由于它是一个有限马氏链，故必有一个常返态，
又链中三个状态0、1、2都相通，所以每个状态都是常返态。 所以是一个不可约的有限马氏链，从而每个状态都是正常返的 。
所以此链为非周期的。
首页
故此链是不可约非周期的正常返链，即此链是遍历的。