马尔科夫链例题整理精编版
随机过程第四章马尔可夫链
0,
p(n) ij
1, i,
jI
jI
即P(n)也为随机矩阵.
当n
1时,
p (1) ij
pij
,
P (1)
P
当n
0时,规定pi(j0)
0 , i 1 , i
j j
13
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn, nT}为马尔可夫链, 则对任意 整数n0, 0l<n和i,jI, n步转移概率 p具i(jn) 有性
Ckx 0
pxqy ，
,
k ( j i)为偶数 k ( j i)为奇数
11
4.1 马尔可夫链与转移概率
例4.4 具有吸收壁和反射壁的随机游动状态空间 {1,2,3,4}, 1为吸收壁, 4为反射壁.
解：状态转移图
状态转移矩阵
1 3
1 0 0 0
1
1
3
1 1
3
1
1
1 1 1
1 3
1 3
2
P 3
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
6
4.1 马尔可夫链与转移概率
定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为马尔 可夫链{Xn, nT}在时刻n的一步转移概率,简 称转移概率,其中i,jI.
P{X 0 i}P{X1 i1 | X 0 i} iI
P{X 2 i2 | X1 i1} P{X n in | X n1 in1}
马尔科夫链例题整理
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
马尔科夫链考试例题整理
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
10：马尔可夫链 数学建模精编版
布：
an
a0
x(n)
bn
当n=0时
x(0)
b0
cn
表示植物基因型的
c0
初始分布（即培育
开始时的分布）
显然有 a0 b0 c0 1
（ii）第n代的分布与 第n－1代的分布之间的关系是通过表
5.2确定的。
（b）建模
根据假设(ii)，先考虑第n代中的AA型。由于第n－1代的AA
型与AA型结合。后代全部是AA型；第n－1代的Aa型与AA
p2 0.8 p1
0.3 p3
p3
0.2 p2 0.6 p3
p1 p2 p3 1
解上列方程组可得：
p1
17 , 41
p2
16 , 41
p3
8 41
由计算看出，经过长期经营后，该联营部的每架照相机 还到甲乙丙照相馆的概率为17/41，16/41，8/41。由于 还到甲的照相机的概率最大，因此维修点设在甲馆较好。
型结合，后代是AA型的可能性为 1/2，而 第n－1代的aa型与
AA型结合，后代不可能 是AA型。因此当n=1,2…时
1
an 1 an1 2 bn1 0 cn1
即
an
an1
1 2
bn1
(4.2)
类似可推出
bn
1 2 bn1
cn1
(4.3)
cn=0 (4.4)
将（4.2）、（4.3）、（4.4）式相加，得
例4.8 农场的植物园中某种植物的基因型 为AA,Aa 和aa。农场计划采用 AA型的植物与每种基因型植物 相结合的方案培育植物后代。那么经过若干年后，这 种 这植种物植的 物任 的一 任代 一的代三的种三基种因基型因分型布分情布况情如 况何 如？ 何？
2024年高考数学专项复习马尔科夫链(与数列结合的概率递推问题)(解析版)
马尔科夫链（与数列结合的概率递推问题）如果要评选出 2023 年各地模拟题中最“成功”的题目，我想非“马尔科夫链”莫属了，尽管2023 年新高考I 卷出乎了很多“命题专家”的意料，但第 21 题考察了马尔科夫链，可谓为广大“专家”“名卷”“押题卷”挽回了一些颜面。
2023年新高考I 卷第21题的投篮问题是马尔可夫链；再往前的热点模考卷中，2023年杭州二模第21题的赌徒输光问题是马尔可夫链，2023年茂名二模的摸球问题是马尔可夫链；再往更前的2019年全国I 卷药物试验也是马尔可夫链，在新人教A 版选择性必修三 P91 页 拓展探索中的第10题是传球问题，是马尔科夫链的典型模型，可以看出自从新教材引入全概率公式（新人教A 版选择性必修三 P49 页），可想而知，未来会有越来越多的递推型概率难题出现模考试题中！因此，在复习备考中全概率等系列内容需要格外关注马尔科夫链作为一种命题模型出现了，马尔科夫链在题中的体现可以简单的概括为全概率公式+数列递推，对于高中生而言，马尔科夫链其实也不难理解。
本文主要介绍了马尔科夫链和一维随机游走模型在高考中的几种具体的应用情形，希望对各位接下来的复习和备考有一些帮助。
基本原理虽然贝叶斯公式不做要求，但是全概率公式已经是新高考考查内容了，利用全概率公式，我们既可以构造某些递推关系求解概率，还可以推导经典的一维随机游走模型，即：设数轴上一个点，它的位置只能位于整点处，在时刻0=t 时，位于点)(+∈=N i i x ，下一个时刻，它将以概率α或者β（1),1,0(=+∈βαα）向左或者向右平移一个单位. 若记状态i t X =表示：在时刻t 该点位于位置)(+∈=N i i x ，那么由全概率公式可得：)|()()|()()(1111111+==++=−==+−==+⋅+⋅=i t i t i t i t i t i t i t X X P X P X X P X P X P另一方面，由于αβ==+==+−==+)|(,)|(1111i t i t i t i t X X P X X P ，代入上式可得：11−+⋅+⋅=i i i P P P βα.进一步，我们假设在0=x 与),0(+∈>=N m m m x 处各有一个吸收壁，当点到达吸收壁时被吸收，不再游走.于是，1,00==m P P .随机游走模型是一个典型的马尔科夫过程.进一步，若点在某个位置后有三种情况：向左平移一个单位，其概率为a ，原地不动，其概率为b ，向右平移一个单位，其概率为c ，那么根据全概率公式可得：2024年高考数学专项复习马尔科夫链（与数列结合的概率递推问题）（解析版）11+−++=i i i i cP bP aP P2023·新高考Ⅰ卷T211．乙两人投篮，每次由其中一人投篮，规则如下：若命中则此人继续投籃，若末命中则换为对方投篮．无论之前投篮情况如何，甲每次投篮的命中率均为0.6，乙每次投篮的命中率均为0.8．由抽签确定第1次投篮的人选，第1次投篮的人是甲、乙的概率各为0.5．（1）求第2次投篮的人是乙的概率；（2）求第i 次投篮的人是甲的概率；（3）已知：若随机变量i X 服从两点分布，且()()110,1,2,,i i i P X P X q i n ==−===⋅⋅⋅，则11n ni i i i E X q == = ∑∑．记前n 次（即从第1次到第n 次投篮）中甲投篮的次数为Y ，求()E Y ．2019·全国Ⅰ卷2．为治疗某种疾病，研制了甲、乙两种新药，希望知道哪种新药更有效，为此进行动物试验.试验方案如下：每一轮选取两只白鼠对药效进行对比试验.对于两只白鼠，随机选一只施以甲药，另一只施以乙药.一轮的治疗结果得出后，再安排下一轮试验.当其中一种药治愈的白鼠比另一种药治愈的白鼠多4只时，就停止试验，并认为治愈只数多的药更有效.为了方便描述问题，约定：对于每轮试验，若施以甲药的白鼠治愈且施以乙药的白鼠未治愈则甲药得1分，乙药得1−分；若施以乙药的白鼠治愈且施以甲药的白鼠未治愈则乙药得1分，甲药得1−分；若都治愈或都未治愈则两种药均得0分.甲、乙两种药的治愈率分别记为α和β，一轮试验中甲药的得分记为X .（1）求X 的分布列.（2）若甲药、乙药在试验开始时都赋予4分，)0,1,2,,8(i p i =⋅⋅⋅表示“甲药的累计得分为i 时，最终认为甲药比乙药更有效”的概率，则00p =，81p =，11()127i i i i p ap bp cp i ==++…－＋，，，，其中)1(a P X ==－，(0)b P X == (1)c PX ==. 假设0.5α=，0.8β=. ①证明：1)0{,1,2,,}7(i i p p i−=⋅⋅⋅＋为等比数列； ②求4p ，并根据4p 的值解释这种试验方案的合理性.课本原题：人教A版数学《选择性必修三》P913．甲、乙、丙三人相互做传球训练，第１次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人．求n次传球后球在甲手中的概率．重点题型·归类精讲3．从甲､乙､丙等5人中随机地抽取三个人去做传球训练.训练规则是确定一人第一次将球传出，每次传球时，2023届惠州一模4．为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐. 已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.（1）求该同学第二天中午选择米饭套餐的概率（2）记该同学第n天选择米饭套餐的概率为n P（Ⅰ）证明：25nP−为等比数列；（Ⅱ）证明：当2n≥时，512nP≤.2023届佛山二模·165．有n 个编号分别为1,2,3,,n ⋅⋅⋅的盒子，第1个盒子中有2个白球1个黑球，其余盒子均为1个白球1个黑球，现从第1个盒中任取一球放入第2个盒子，再从第2个盒子中任取一球放入第3个盒子，以此类推，则从第2个盒子中取到白球的概率是 ，从第n 个盒子中取到白球的概率是 .2023·唐山调研6．甲、乙、丙三人玩传球游戏，第1次由甲传出，每次传球时，传球者都等可能地将球传给另外两人中的任何一人.设第k 次传球后球在甲手中的概率为*N k p k ∈，，则下列结论正确的有（ ）A. 10p =B. 213p = C. 121k k p p ++= D. 202313p >2024届武汉高三九月调研T167．甲，乙，丙三人进行传球游戏，每次投掷一枚质地均匀的正方体骰子决定传球的方式：当球在甲手中时，若骰子点数大于3，则甲将球传给乙，若点数不大于3，则甲将球保留；当球在乙手中时，若骰子点数大于4，则乙将球传给甲，若点数不大于4，则乙将球传给丙；当球在丙手中时，若骰子点数大于3，则丙将球传给甲，若骰子点数不大于3，则丙将球传给乙．初始时，球在甲手中，投掷n 次骰子后（），记球在甲手中的概率为，则 ； ．2024届·湖北荆荆恩高三9月起点联考·218．甲、乙两个盒子中都装有大小、形状、质地相同的2个黑球和1个白球，现从甲、乙两个盒子中各任取一个球交换放入另一个盒子中，重复次这样的操作后，记甲盒子中黑球的个数为，甲盒中恰有2个黑球的概率为，恰有3个黑球的概率为.(1)求；(2)设，证明：；(3)求的数学期望的值. *n ∈N n p 3p =n p =()*n n ∈N n X n p n q 11,p q 2n n n c p q =+11233n n c c +=+n X ()n E X2023·济南开学考10．甲、乙两人进行抛掷骰子游戏，两人轮流地掷一枚质均匀的骰子.规定：先掷出点数6的获胜，游戏结束.（1）记两人抛掷骰子的总次数为X，若每人最多抛掷两次骰子，求比赛结束时，X的分布列和期望；（2）已知甲先掷，求甲恰好抛掷n 次骰子并获得胜利的概率.2023届·杭州二模11．马尔科夫链是概率统计中的一个重要模型，也是机器学习和人工智能的基石，在强化学习、自然语言处理、金融领域、天气预测等方面都有着极其广泛的应用．其数学定义为：假设我们的序列状态是…，2t X −，1t X −，t X ，1t X +，…，那么1t X +时刻的状态的条件概率仅依赖前一状态t X ，即()()t 1t 2t 1t t 1t ,,,X X X X X X P P +−−+= ∣∣. 现实生活中也存在着许多马尔科夫链，例如著名的赌徒模型．假如一名赌徒进入赌场参与一个赌博游戏，每一局赌徒赌赢的概率为50%，且每局赌赢可以赢得1元，每一局赌徒赌输的概率为50%，且赌输就要输掉1元．赌徒会一直玩下去，直到遇到如下两种情况才会结束赌博游戏：一种是手中赌金为0元，即赌徒输光；一种是赌金达到预期的B 元，赌徒停止赌博．记赌徒的本金为*(,)A A N A B ∈<元，赌博过程为如图所示的数轴．当赌徒手中有n 元()0,n B n N ≤≤∈时，最终输光的概率为()P n ，请回答下列问题：（1）请直接写出()0P 与()P B 的数值；（2）证明(){}P n 是一个等差数列，并写出公差d ；（3）当100A =时，分别计算200B =，1000B =时，()P A 的数值，并结合实际，解释当B →+∞时，()P A 的统计含义.12．校足球队中的甲、乙、丙、丁四名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能的将球传给另外三个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到。
北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例
= ( c − j )d 0
c− j c c−a b ua = = c c uj =
同样道理，可以得到乙先输光的概率， 当 r ≠ 1 ， ua = 当 r＝ 1 ， ub =
1 − (q / p) a ， 1 − (q / p) c
a 。 c
该例题是有两个吸收壁的特例， 建立了边界条件、递推关系、首先概率表达式， 该例题着重研究对称和非对称的赌徒输光的问题。
构造：
( p + q )u j = pu j +1 + qu j −1 p (u j − u j +1 ) = q(u j −1 − u j ) (u j − u j +1 ) =
定义
q (u j −1 − u j ) p q =r， p
(u j − u j +1 ) = d j , (0 ≤ j < c),
建模：具有两个吸收壁，五个状态的随机游动
1．一局比赛的建模 问题：一局比赛共有多少个状态 很多，例如 15:0 就是一个状态，40:15 又是一个状态。还是回到我们分析比赛规则的目 的上来，我们是为了得到两名选手最终赢球与输球的概率，那么当一局比赛打到 30:40 的时 候， 如果选手 B 再取胜一球， 则 30:60， 选手 B 获胜， 而之前这局比赛到底是怎么打到 30:40 的并不是我们关心的问题，我们只关心一局比赛会打到 30:40 的概率（初始概率）以及之后 由状态 30:40 打到状态 30:60 的概率（转移概率） 。这是典型的马尔科夫链。 那么我们实际要做的事情就是如何确定比赛中对我们的分析有用的状态以及这些状态
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
09第四章马尔可夫链
时间、状态都是离散的马尔可夫过程，称 为马尔可夫链。 例如：天气预报 质点的随机游动
例如：在某数字通信系统中传递0，1两种 信号，且传递需要经过若干级。因为系统中有 噪声，各级将造成错误，若某级输入0，1信号 后，其输出不产生错误的概率为p，产生错误 的概率为1-p，则该级的输入输出状态构成了 一个两个状态的马氏链。
P{X m 2 0 |X m 1 0 ,X m 0}P{X m 1 0 |X m 0 } P{X m 2 0 | X m 1 1 ,X m 0 } P{X m 1 1 |X m 0 }
P{X m 2 0 |X m 1 0}P{X m 1 0 |X m 0 } P{X m 2 0 | X m 1 1 } P{X m 1 1 |X m 0 } = P0 0 P0 0 P1 0 P0 1
P0 0 P{X m 2 0 | X m 0 }
(2 )
P{X m 2 0 , X m 0 } P{X m 0 } P{X m 2 0 , X m 1 1 ,X m 0 } P{X m 0 }
P{X m 2 0 , X m 1 0 , X m 0 } P{X m 0 }
解：设状态0代表有雨，状态1代表无雨， 则一步转移矩阵为：
P0 0 P= P1 0
P0 0 (4 ) 4 P =P = P1 0
P0 1 0 .7 P1 1 0 .4
P0 1 0 .5 7 4 9 P1 1 0 .5 6 6 8
(1) (1) (1) (1)
= P0 0 P0 0 P1 0 P0 1
P0(02 ) (2) P1 0
马尔科夫链例题整理(课堂PPT)
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
首页
9
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
i+1，以概率r停留在i，且 r p q 1 ，试
求转移概率矩阵。
E {...,2,1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
0 p 0 0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
首页 8
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到
移概率。
首页 5
qp
应用随机过程markov链经典例题
应用随机过程markov链经典例题
随机过程是指随机事件随时间的推移而发生的过程，而马尔可夫过程则是一种特殊的随机过程，其特点是未来状态的概率只取决于当前状态，而与过去状态无关。
经典的马尔可夫链例题是假设某个小球在三个盒子之间随机跳跃，每次跳跃只能移动到相邻的盒子，且概率相等。
问当小球在盒子1时，经过n次跳跃后恰好回到盒子1的概率是多少
首先，我们可以用矩阵表示小球在不同盒子之间跳跃的概率。
假设矩阵P表示小球从一个盒子跳到另一个盒子的概率，即：
P = [0 1/2 1/2; 1/2 0 1/2; 1/2 1/2 0]
其中，第i行第j列的元素表示小球从盒子i跳到盒子j的概率。
例如，P(1,2)表示小球从盒子1跳到盒子2的概率为1/2。
接下来，我们需要用这个矩阵来计算小球从盒子1跳跃n次后回到盒子1的概率。
假设矩阵P的n次方为P^n，则小球从盒子1跳跃n次后回到盒子1的概率为P^n(1,1)。
例如，当n=2时，P^2为：
P^2 = [1/2 1/4 1/4; 1/4 1/2 1/4; 1/4 1/4 1/2]
则小球从盒子1跳跃2次后回到盒子1的概率为P^2(1,1)=1/2。
因此，当小球在盒子1时，经过n次跳跃后恰好回到盒子1的概率为P^n(1,1)。
我们可以通过不断计算矩阵P的幂来得到不同次数下的概率。
马尔可夫链专题讲义——2024届高三数学二轮复习
马尔可夫链专题马尔可夫链:)(),,,,(11211n n n n n x x P x x x x x P +-+=等式的意义:对于一个马尔可夫链来说，第n +1次的状态的结果，只跟上一次(也即第n 次)有关，与其他次无关。
马尔可夫链性质：无记忆性破题技巧:1.找到当下状态的“前一次”的所有可能情况；2.结合对应概率写出“前一次”所有可能中蕴含的数列递推关系;3.利用数列递推技巧求答案,例1.跳格游戏:如图，人从格外只能进入第1格，在格中每次可向前跳1格或2格，那么人从格外跳到第8格的方法种数为( C )A. 8种B. 13种C. 21种D. 34种【例2】质点在x 轴上从原点O 出发向右运动，每次平移一个单位或两个单位，且移动一个单位的概率为32，移动两个单位的概率为31，设质点运动到点)0,(n 的概率为n P . (1) 求1P 和2P ；(2) 求n P .【例3】为迅速抢占市场举行促销活动，销售公司现面向意向客户推出“玩游戏，赢大奖，送汽车模型”活动，客户可根据抛掷骰子向上的点数，遥控汽车模型在方格图上行进，若汽车模型最终停在“幸运之神”方格，则可获得购车优惠券2万元;若最终停在“赠送汽车模型”方格，则可获得汽车模型一个.方格图上标有第0格、第1格、第2格、……、第 20 格。
汽车模型开始在第0格，客户每掷一次骰子，汽车模型向前移动一次.若掷出 1，2，3，4点，汽车模型向前移动一格(从第k 格到第k +1格)，若掷出5,6点，汽车模型向前移动两格(从第k 格到第k +2格)，直到移到第 19 格(幸运之神)或第 20 格(赠送汽车模型)时游戏结束.设汽车模型移到第n (1≤n ≤19)格的概率为n P .则19P =_________.【例 4】【淮北高三二模T12】已知棋盘上标有第 0，1，2,.，100 站，棋子开始时位于第0站，棋手抛掷均匀硬币走跳棋游戏，若掷出正面，棋子向前跳一站:若掷出反面，棋子向前跳两站，直到跳到第 99 站(胜利大本营)或第 100 站(欢乐大本营)时，游戏结束.设棋子跳到第n 站的概率为n P . ( )A. 211=P B. 833=P C. )981(,212111≤≤+=-+n P P P n n n D. )211(32101100+=P赌徒问题（随机游走）例5：(2023·杭州市二模/湖南师大附中三模T21)马尔科夫链是概率统计中的一个重要模型,也是机器学习和人工智能的基石，在强化学习自然语言处理、金融领域、天气预测等方面都有着极其广泛的应用．其数学定义为：假设我们的序列状态是…X t-2, X t-1,X t, X t+1…,那么X t+1时刻的状态的条体概率仅依赖前一状态X t，即P(X t+1|… X t-2, X t-1,X t)=P(X t+1 |X t)．现实生活中也存在着许多马尔科大链，例如著名的赌徒模型.假如一名赌徒进入赌场参与一个赌博游戏，每一局赌徒赌赢的概率为50%，每局赌赢可以赢得1元,每一局赌徒赌输的概率为50%，赌输就要输掉1元.赌徒会一直玩下去，直到遇到如下两种情况才会结束赌博游戏：一种是手中赌金为0元,即赌徒输光;一种是赌金达到预期的B元，赌徒停止赌博．记赌徒的本金为A(A∈N*,A<B)，赌博过程如图的数轴所示．当赌徒手中有n元(0≤n≤B,n∈N)时,最终输光的概率为P（n），请回答下列问题：(1)请直接写出P(0)与P（B）的数值;(2）证明{ P（n）}是个等差数列，并写出公差d；(3）当A=100时，分别计算B=200，B=1000时，P（A）的数值，并结合实际，解释当B→+∞时,P（A）的统计含义.例6：（2023·惠州一模T22改编）为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐（吐槽一下惠州学生命真苦啊……）.已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.(1)求该同学第二天中午选择米饭套餐的概率;(2)记该同学第n 天选择米饭套餐的概率为P n ;(i)求P n 表达式；(ii)证明：当n ≥2时,P n ≤512；并结合实际，说明当n →+∞时, P n 的实际意义.传球问题中的马尔可夫模型例7：三人互相传球，由甲开始发球，并作为第一次传球，每人得球后传球给其他人的可能性均相等.经过5次传球后，球仍回到甲手中，则不同的传球方式共有（ ）A ．6种B ．8种C ．10种D ．16种（例7升级Plus 版本）：甲乙丙丁4人传接球训练，球从甲脚下开始，等可能地随机传向其余3人中的1人，接球者接到球后，再等可能地随机传向另外3人中的1人，依此类推.假设所有传出的球都能接住.记第n 次传球之前，球在甲脚下的概率为P n (n ∈N ∗) ，易知P 1=1 ，P 2=0.(1)推导P n 的表达式；(2)设第n 次传球之前，球在乙脚下的概率为Q n ,比较Q n 与P n ( n ≥3 )的大小; 并结合实际，解释当n→+∞时, P n 与Q n 的统计含义;(3) 假设经历了6次传球后，球依旧在甲的脚下，请问共有多少种不同的传球路径？【例 8】【武汉九调 T16】甲，乙，丙三人进行传球游戏，每次投掷一枚质地均匀的正方体骰子决定传球的方式:当球在甲手中时，若骰子点数大于3，则甲将球传给乙，若点数不大于3，则甲将球保留;当球在乙手中时，若骰子点数大于4，则乙将球传给甲，若点数不大于4，则乙将球传给丙;当球在丙手中时，若骰子点数大于 3，则丙将球传给甲，若骰子点数不大于 3，则丙将球传给乙.初始时，球在甲手中，投掷n 次骰子后(*∈N n )，记球在甲手中的概率为n P ,则3P =_____________;n P =____________ .【例9】【茂名高三&郴州高三二模 T22】马尔可夫链是因俄国数学家安德烈·马尔可夫得名，其过程具备“无记忆”的性质，即第n +1次状态的概率分布只跟第n 次的状态有关，与第n -1,n -2,n -3,…次状态是“没有任何关系的”.现有甲、乙两个盒子，盒子中都有大小、形状、质地相同的2个红球和1个黑球.从两个盒子中各任取一个球交换，重复进行n (*∈N n )次操作后，记甲盒子中黑球个数为n X ，甲盒中恰有1个黑球的概率为n a ，恰有2个黑球的概率为n b 。
高三数学二模马尔可夫链
高三数学二模马尔可夫链高三的学生们，纷纷开始备战第二次月考。
在各科的迎考复习中，数学是一门让很多考生感到头疼的学科。
此刻笔者作为一名AI，为大家介绍一下在考试中常见的数学知识点——马尔科夫链。
一、什么是马尔可夫链？马尔可夫链是一种数学模型，它是基于时间序列上有限状态和满足马尔可夫性质的随机过程。
马尔可夫链的特点是：随机性的下一步状态只与当前状态有关，而与之前状态无关。
因此，在实际的应用中，马尔可夫链常被用于描述一些具有状态转移属性的系统。
比如，天气预测、股票走势分析等。
二、马尔可夫链的分类马尔可夫链分为时间齐次马尔可夫链和非时间齐次马尔可夫链。
时间齐次马尔可夫链指的是在相邻两个时刻的状态转移概率矩阵是相同的，它主要用于建立稳态概率分布。
非时间齐次马尔可夫链指的是状态转移概率矩阵在时间上不稳定。
它常用于描述实际应用中状态变化不稳定的情况。
三、马尔可夫链的数学描述1.状态有限若状态S有限，则状态集合为：S={S1，S2，S3，…，Sn}。
2.状态转移概率矩阵设Pij为从状态Si到Sj的概率。
那么，状态转移概率矩阵为：P={Pij}（n×n）i,j=1,2,3,…,n3.状态转移图因为Pij是从Si到Sj的概率，所以我们可将其用有向线性图表示。
四、马尔可夫链的性质1.状态转移概率矩阵的性质- 0≤pij≤1- 满足条件：∑j=1npij=1，i=1,2,3,...,n。
2.状态稳态概率假设在马尔可夫链状态转移的过程中，状态最终将稳定在某个状态时，称这个状态为马尔可夫链的稳态。
n→∞时Pi即为平稳分布，若该分布存在，则称该马尔可夫链有平稳分布。
3.可约性与非可约性如果状态集合中有两个状态，从一个状态不能到达另一个状态，那么称这个链是可约的；如果状态集合中任意两个状态都可达，则称这个链是不可约的。
五、例题解析现在我们通过一道题目来了解下马尔可夫链的应用。
题目：一辆汽车停在自己汽车库的随机位置上。
[工学]马尔科夫链例题整理
![[工学]马尔科夫链例题整理](https://img.taocdn.com/s3/m/c7af34139e314332386893c6.png)
解
先求出转移概率
p00 P(X1 0 | X0 0) P(Y0 0) p0
p01 P(X1 1| X0 0) P(Y0 1) p1
p10 P(Xn1 0 | Xn 1) P(Xn 1Yn 0 | Xn 1)
P(Yn 0) p0
p11 P(Xn1 1| Xn 1) P(Xn 1Yn 1| Xn 1) P(Yn 1) p1
首页
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，
其一步转 移矩阵为
1
1
2
P1
0
0 0 1 2
0 1
2
0
0 0 1 2
0
0
0
0
0
1 2
0
1 2
0 0 0 0 1
有两个吸收壁的随机游动
首页
例2．带有反射壁的随机游动
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 1 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
概率与数列(含马尔可夫链问题)
概率与数列(含马尔可夫链问题)·华师大附中压轴卷)长江十年禁渔计划全面施行，渔民老张积极配合政府工作，如期收到政府的补偿款.他决定拿出其中10万元进行投资，并看中了两种为期60天(视作2个月)的稳健型(不会亏损)理财方案.方案一：年化率2.4%，且有10%的可能只收回本金；方案二：年化率3.0%，且有20%的可能只收回本金；已知老张对每期的投资本金固定(都为10万元)，且第一次投资时选择了方案一，在每期结束后，老张不间断地进行下一期投资，并且他有40%的可能选择另一种理财方案进行投资.(1)设第i次投资(i=1，2，3，⋯，n)选择方案一的概率为P i，求P4；(2)求一年后老张可获得总利润的期望(精确到1元).注：若拿1千元进行5个月年化率为2.4%的投资，则该次投资获利ω=2.4%×512×1000=10元.【答案】解：(1)由题意知P i+1=(1-40%)P i+40%(1-P i)=25+15P i，整理得P i+1-12=15P i-12，其中P1=1，故数列P n-1 2是以P1-12为首项，15为公比的等比数列，则P n-12=12×15 n-1，即P n=12+12×15n-1，那么P4=63125.(2)当某期选择方案一时，获利期望值为W1=(1-10%)×2.4%×212×100000 =360元；当某期选择方案二时，获利期望值为W2=(1-20%)×3.0%×212×10000=400元；那么，在一年间，老张共投资了6次，获得的总利润的期望为W=[P1W1+(1-P1)W2]+[P2W1+(1-P2)W2]+⋯+[P6W1+(1-P6)W2]=(P1+P2+⋯+P6)W1+[(1 -P1)+(1-P2)+⋯+(1-P6)]W2≈2400-40×3+58=2255元.即一年后老张可获得的利润的期望约为2255元.·杭州一模)中国男篮历史上曾12次参加亚运会，其中8次夺得金牌，是亚运会夺冠次数最多的球队.第19届亚运会将于2023年9月23日至10月8日在杭州举办.(1)为了解喜爱篮球运动是否与性别有关，某学校随机抽取了男生和女生各1002列联表如下：喜爱篮球不喜爱篮球合计男生6535100女生2575100合计90110200依据小概率值α=0.001的独立性检验，能否认为喜爱篮球运动与性别有关？(2)校篮球队中的甲、乙、丙三名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到，记开始传球的人为第1次触球者，第n次触球者是甲的概率记为P n，即P1=1.①求P3，P4，并证明：P n-1 3为等比数列；②比较第15次触球者是甲与第15次触球者是乙的概率的大小.参考公式：χ2=n(ad-bc)2(a+b)(c+d)(a+c)(b+d)，其中n=a+b+c+d为样本容量.参考数据：α=P(χ2≥k)0.100.050.010.0050.001k 2.706 3.841 6.6357.87910.828【答案】解：(1)假设H0：喜爱足球运动与性别独立，即喜爱足球运动与性别无关，计算χ2=200×(65×75-25×35)2100×100×90×110≈32.323>10.828，根据小概率值α=0.001的独立性检验，我们推断H0不成立，即认为喜爱足球运动与性别有关，此推断犯错误的概率不超过0.001.(2)①由题意知，P1=1，P2=0，P3=12，P4=12×0+1-12×12=14.证明：第n次触球者是甲的概率记为P n，则当n≥2时，第n-1次触球者是甲的概率为P n-1，第n-1次触球者不是甲的概率为1-P n-1，则P n=P n-1×0+(1-P n-1)×12=12(1-P n-1)，从而P n-13=-12P n-1-13，又P1-13=23，所以P n-1 3是以23为首项，公比为-12的等比数列.②第n 次触球者是甲的概率为P n =23×-12n -1+13，所以P 15=23×-1214+13=13×1213+13>13，第15次触球者是乙的概率为Q 15=12(1-P 15)=121-13×1213-13=13-13×1214<13，所以第15次触球者是甲的概率比第15次触球者是乙的概率大.·惠州一模)为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐.已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.(1)求该同学第二天中午选择米饭套餐的概率；(2)记该同学第n 天选择米饭套餐的概率为P n .证明：①P n -25为等比数列；②当n ≥2时，P n ≤512.【答案】(1)解 设A 1=“第1天选择米饭套餐”，A 2=“第2天选择米饭套餐”，则A 1 =“第1天不选择米饭套餐”.根据题意P (A 1)=23，P (A 1)=13，P (A 2|A 1 )=14，P (A 2|A 1 )=1-12=12.由全概率公式，得P (A 2)=P (A 1)P (A 2|A 1)+P (A 1 )P (A 2|A 1 )=23×14+13×12=13.(2)证明 ①设A n =“第n 天选择米饭套餐”，则P n =P (A n )，P (A n)=1-P n ，根据题意P A n +1|A n )=14， P (A n +1|A n )=1-12=12.由全概率公式，得P n +1=P (A n +1)=P (A n )P (A n +1|A n )+P (A n )·P A n +1|A n )=14P n +12(1-P n )=-14P n +12.因此P n +1-25=-14P n -25.因为P 1-25=415≠0，所以P n -25 是以415为首项，-14为公比的等比数列.②由①可得P n =25+415-14n -1.当n 为大于1的奇数时，P n =25+41514 n -1≤25+415142=512.当n 为正偶数时，P n =25-41514n -1<25<512.因此当n ≥2时，P n ≤512.·荆州统测)为倡导公益环保理念，培养学生社会实践能力，某中学开展了旧物义卖活动，所得善款将用于捐赠“圆梦困境学生”计划.活动共计50多个班级参与，1000余件物品待出售.摄影社从中选取了20件物品，用于拍照宣传，这些物品中，最引人注目的当属优秀毕业生们的笔记本，已知高三1，2，3班分别有12，13，14的同学有购买意向.假设三个班的人数比例为6∶7∶8.(1)现从三个班中随机抽取一位同学：①求该同学有购买意向的概率；②如果该同学有购买意向，求此人来自2班的概率；(2)对于优秀毕业生的笔记本，设计了一种有趣的“掷骰子叫价确定购买资格”的竞买方式：统一以0元为初始叫价，通过掷骰子确定新叫价，若点数大于2，则在已叫价格基础上增加1元更新叫价，若点数小于3，则在已叫价格基础上增加2元更新叫价；重复上述过程，能叫到10元，即获得以10元为价格的购买资格，未出现叫价为10元的情况则失去购买资格，并结束叫价.若甲同学已抢先选中了其中一本笔记本，试估计其获得该笔记本购买资格的概率(精确到0.01).【答案】解：(1)①设事件A =“该同学有购买意向”，事件B i =“该同学来自i 班”(i =1，2，3).由题意可知P (B 1)=621，P (B 2)=721，P (B 3)=821，P (A |B 1)=12，P A |B 2)=13， P A |B 3)=14， 所以由全概率公式可得，P(A)=P(B1)·P(A|B1)+P(B2)·P(A|B2)+P(B3)·P(A|B3)=621×12+721×13+821×14=2263.②由条件概率可得P(B2|A)=P(B2A)P(A)=P(B2)·P(A|B2)P(A)=721×132263=722.(2)由题意可得每次叫价增加1元的概率为23，每次叫价增加2元的概率为1 3.设叫价为n(3≤n≤10)元的概率为P n，叫价出现n元的情况只有下列两种：①叫价为n-1元，且骰子点数大于2，其概率为23P n-1；②叫价为n-2元，且骰子点数小于3，其概率为13P n-2.于是得到P n=23P n-1+13P n-2(n≥3)，易得P1=23，P2=23×23+13=79，由于P n-P n-1=-13P n-1+13P n-2=-13(P n-1-P n-2)(n≥3)，于是当n≥2时，数列{P n-P n-1}是以首项为19，公比为-13的等比数列，故P n-P n-1=19×-13n-2(n≥2).于是P10=P1+(P2-P1)+(P3-P2)+⋯+(P9-P8)+(P10-P9)=23+19×1--1391--13=34+14×1310≈0.75，于是，甲同学能够获得笔记本购买资格的概率约为0.75.。
马尔可夫链的模型解概率题
马尔可夫链的模型解概率题马尔可夫链是一种随机过程，它描述了一系列可能的状态，以及在每个状态之间转移的概率。
这种模型特别适用于那些下一个状态只依赖于当前状态的情况。
假设我们有一个天气模型，其中只有两种状态：晴天（S）和雨天（R）。
我们观察到，如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
如果今天是雨天，那么明天还是雨天的概率是0.8，变成晴天的概率是0.2。
我们可以使用马尔可夫链来描述这个模型。
首先，我们需要一个状态转移矩阵，它描述了从一个状态转移到另一个状态的概率。
在这个例子中，状态转移矩阵可以写成：= [0.9 0.10.2 0.8]，第一行表示如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
第二行表示如果今天是雨天，那么明天变成晴天的概率是0.2，还是雨天的概率是0.8。
现在，假设我们想知道，如果今天是晴天，那么接下来三天都是晴天的概率是多少。
我们可以使用马尔可夫链的模型来解决这个问题。
首先，我们知道今天是晴天的概率是1，雨天的概率是0。
我们可以把这个概率分布表示为一个向量：接下来，我们可以使用这个向量和状态转移矩阵来计算明天是晴天的概率。
根据马尔可夫链的性质，我们可以通过乘以状态转移矩阵来得到下一个状态的概率分布：1 = π_0 * P = [1 0] * [0.9 0.10.2 0.8] = [0.9 0.1]，是雨天的概率是0.1。
接下来，我们可以使用同样的方法来计算接下来两天的天气概率分布：0.1] * [0.9 0.10.2 0.8] = [0.83 0.17]今天是晴天，那么接下来两天都是晴天的概率是0.83，有一天是雨天的概率是0.17。
最后，我们可以计算接下来三天都是晴天的概率：_3 = π_2 * [1 0] = [0.83 0.17] * [1 0] = 0.83错误，我们不能直接这样计算。
实际上，我们应该再次使用状态转移矩阵：= π_2 * P = [0.83 0.17] * [0.9 0.10.2 0.8] = [0.767 0.233]，即0.767。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
移概率。
首页
qp
q p
012 左反射壁
m-1 m 右反射壁
q p 0 0 0 ... 0 0 0
q
0
p
0
0
...
0
0
0
0 q 0 p 0 ... 0 0 0 P1 ... ... ... ... ... ... ... ... ...
0 0 0 0 0 ... q 0 p
0 0 0 0 0 ... 0 q p
阵。
I={1，2，3，4，5，6}
首页
1 1 1 1 1 1
6
6
6
6
6
6
0
2 6
1 6
1 6
1 6
1 6
0
0
3
1
1
1
P
6 6 6 6
0
0Hale Waihona Puke 0411
6 6 6
0
...
0
0
5 6
1
6
0 ... 0 0 1 0
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率
是p，乙胜的概率是q，和局的概率是 r ，
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为u j1
同理 以概率 q 移到 j 1 的前提下，
到达 0 状态先于到达 c 状态的概率为u j1 根据全概率公式有 u j u j1 p u j1q
这一方程实质上是一差分方程，它的边界条件是
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动
无 未来处于某状态的概率特性只与现在状态 记 有关，而与以前的状态无关，这种特性叫 忆 无记忆性（无后效性）。 性
Yn
0
1|
X
n
2)
P(Yn 0) p0
首页
p22 P(X n1 2 | X n 2) P(Yn 1) p1
所以转移矩阵为
p0 p1 p2 p3 p4 L
P1
p0 0
p1 p0
p2 p1
p3 p2
p4 p3
L L
0
0
p0
p1
p2
L
L L L L L L
首页
证 P{X n j} P{Xn j, U X0 i} i P{X n j, X 0 i}
iI
P{X 0 i}P{X n j | X 0 i}
iI
pi
p(n) ij
iI
例2 设马氏链的状态空间I={1,2},初始分布为
P1
3 5
,
P2
2 , 试对n=1,2,3,计算 5
P(n) 1
,
P(n) 2
解：n 1,
P(1) 1
P{X1 =1}=
pi
p (1) i1
p1
p (1) 11
首页
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
设在第 n 个服务周期中到达的顾客数为一随机变量Yn
且诸Yn 独立同分布：
P（Yn k) pk ， k 0,1, 2,L ， pk 1
k
记 X n 为服务周期 n 开始时服务台前顾客数
则有
Xn1 YXn,n 1Yn,
若Xn 1
在第n周期已有一个 顾客在服务，到第n+1
若 Xn 0 周期已服务完毕
首页
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
它又转移概率矩阵P 0.9 0.1
0
0.1 0.8 0.1
初始分布为p0 0.3，p1 0.4，p2 0.3，试求 概率（1）p{X0 0, X1 1, X2 2}
（2）p{X2 0, X3 2, X4 1}
• 练习：马氏链的状态空间I={1，2，3}，初始概 率为
1
4
3 4
P(Yn 0) p0
p11 P(X n1 1| X n 1) P( X n 1 Yn 1| X n 1) P(Yn 1) p1
p20 P(X n1 0 | X n 2) P( X n 1 Yn 0 | X n 2)
p21
P( X n1
1|
Xn
2)
P(Yn 1)
P(Xn 1
当r
1
(
q )a p
(
即p q
qp时)c ， 甲先1输(光qp)的c 概率为b
c
用同样的方法可以求得乙先输光的概率
当
p
q
时，乙输光的概率为1
(
q) p
a
当 p q 时，乙先输光的概率为a
c
1
(
q p
)
c
首页
例3 排队问题
顾客到服务台排队等候服务，在每一个服务周期中只 要服务台前有顾客在等待，就要对排在前面的一位提 供服务，若服务台前无顾客时就不能实施服务。
p2
p (1) 21
iE
定理4.3 马尔科夫链的有限维分布：
P{X1 i1, X2 i2 ,L , Xm im}
p p p L p i ii1 i1i2
im-1im
iI
由全概率公式得到证明，它是公式（1)的推广。
例3：考虑状态0，1，2上的一个马氏链Xn , n 0,
0.1 0.2 0.7
0
p1
1 4
,
p2
1 2
,
p3
1,P 4
1 3
1 3
1 3
0
1
3
4 4
(1)计算P{X(0)=1,X(1)=2,X(2)=2},p12 (2)
(2)证明：P{X(1)=2,X(2)=2 X(0)=1}=p12 p22
(3)求P{X(1)=1,X(2)=2,X(3)=3}
例4 市场占有率预测
设某地有1600户居民，某产品只有甲、乙、丙3厂 家在该地销售。经调查，8月份买甲、乙、丙三厂 的户数分别为480，320，800。9月份里，原买甲的 有48户转买乙产品，有96户转买丙产品；原买乙的 有32户转买甲产品，有64户转买丙产品；原买丙的 有64户转买甲产品，有32户转买乙产品。用状态1、 2、3分别表示甲、乙、丙三厂，试求
首页
q p 0 0 0 ...
P1
q 0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
首页
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2,..., N}
1
0
a 1
0
... 0
一步转移矩阵是
a
a
2
a2
0
0
... 0
P1 a
a
... ... ... ... ... ...
首页
0
...
0
0
...
0
a 1 a
0
1
a
0
1
0
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直
赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
0 p 0 0 ... 0 q
q
0
p
0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，