马尔科夫链考试例题整理
马尔科夫链例题整理
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 无 记 忆 性 布朗运动 未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
首页
一步转移概率矩阵的计算
引 例
首页
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1 ，2，3，4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
0 q 0 P 1 ... 0 p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q 0 0 q q 0 0 ... p 0
... ... ... ... ... 0 ... 0 0 ... 0
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r p q 1 ，试 求转移概率矩阵。
例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
q
p
q
11章马尔可夫链习题课
切普曼-柯莫哥洛夫方程(简称C -K方程)
设{ X (n), n T1}是一齐次马氏链, 则对任意的
u,v T1,有
Pij(u v) Pik (u) pkj (v), i, j 1,2,
k 1
由C-K方程知:
马氏链的n步转移概率是一步转移概率的 n次 方,链的有限维分布可由初始分布和一步移概率完 全确定.
pN ,1 p,
p1,N q,
例5 试证Wiener过程B(t)是马尔可夫过程. 证明
p{B(t s) y | B(s) x, B(u)(0 u s)} p{B(t s) B(s) y x | B(s) x,
B(u)(0 u s)} p{B(t s) B(s) y x}
条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
马尔可夫链
时间和状态都是离散的马尔可夫过程称为 马尔可夫链. 简记为: { Xn X (n), n 0,1,2,}
齐次马尔可夫链
当转移概率Pij(m,n n)只与i, j及时间间距n 有关时, 称此链是齐次的或时齐的.
转移概率、转移概率矩阵
称条件概率 Pij(m,n n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻
m n转移到状态a j的转移概率.
转移概率的特点 Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m,n n))
步转移概率矩阵为
3 4
1 4
0
初始分布pi (0)
P{ X 0
i}
1, 3
P
1
1
马尔科夫链考试例题整理
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
于是
d j rd j 1
d j rd j 1 r d j 2 r d 0
2 jΒιβλιοθήκη 需讨论 r19当
r 1 c 1 1 u 0 u c ( u j u j 1 )
c 1 j0
d j
c1 i j c 1
j 0 c 1
i
而
u j u j uc
p01 P( X1 1| X0 0) P(Y0 1) p1
p10 P( Xn1 0 | Xn 1) P( Xn 1 Yn 0 | Xn 1)
p20 P( Xn1 0 | Xn 2) P( Xn 1 Yn 0 | Xn 2)
13
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
I {1， 2，3， 4，5}
一步转移概率矩阵
1 q P 0 0 0
0 r q 0 0
0 p r q 0
0 0 p r 0
(u u
di
j0
r d0
i1
j
1 rc d0 1 r
)
i r d0 i j i j j c r r j c j 1 d0 r (1 r r )d 0 1 r j c 两式相比 r r uj c 1 r
马尔可夫分析法练习题
马尔可夫分析法练习题一、基础概念题1. 马尔可夫过程的定义是什么？2. 简述马尔可夫链的基本特征。
3. 马尔可夫分析法在哪些领域有应用？4. 请解释转移概率矩阵的概念。
5. 什么是稳态概率分布？二、计算题| | A | B | C ||||||| A | 0.5 | 0.2 | 0.3 || B | 0.4 | 0.3 | 0.3 || C | 0.1 | 0.1 | 0.8 |2. 已知一个马尔可夫链的初始状态概率分布为 [0.4, 0.3, 0.3]，求经过三个周期后的状态概率分布。
| | X | Y | Z ||||||| X | 0.3 | 0.2 | 0.5 || Y | 0.4 | 0.3 | 0.3 || Z | 0.1 | 0.5 | 0.4 |4. 一个公司有三个部门，员工可以在这三个部门之间调动。
已知转移概率矩阵如下，求各部门的稳态员工人数比例：| | 部门一 | 部门二 | 部门三 ||||||| 部门一 | 0.6 | 0.2 | 0.2 || 部门二 | 0.3 | 0.5 | 0.2 || 部门三 | 0.4 | 0.1 | 0.5 |三、应用题1. 假设某地区天气分为晴天、多云和雨天三种状态，已知转移概率矩阵如下，预测未来三天的天气状态概率分布：| | 晴天 | 多云 | 雨天 ||||||| 晴天 | 0.6 | 0.2 | 0.2 || 多云 | 0.3 | 0.5 | 0.2 || 雨天 | 0.4 | 0.1 | 0.5 |2. 某公司产品销售分为高、中、低三个市场，已知转移概率矩阵如下，预测未来两个季度的市场占有率：| | 高市场 | 中市场 | 低市场 ||||||| 高市场 | 0.7 | 0.2 | 0.1 || 中市场 | 0.3 | 0.5 | 0.2 || 低市场 | 0.4 | 0.2 | 0.4 |3. 假设一个网站的用户分为新用户、活跃用户和流失用户三种状态，已知转移概率矩阵如下，求各状态用户的稳态比例： | | 新用户 | 活跃用户 | 流失用户 ||||||| 新用户 | 0.5 | 0.3 | 0.2 || 活跃用户 | 0.2 | 0.6 | 0.2 || 流失用户 | 0.3 | 0.1 | 0.6 |四、案例分析题初始状态分布：潜在客户 60%，新客户 20%，老客户 15%，流失客户 5%转移概率信息：（请自行构建）初始状态分布：主干道 40%，次干道 30%，支路 30%转移概率信息：（请自行构建）五、综合分析题普通会员有20%的概率升级为银卡会员，5%的概率直接成为金卡会员。
马尔可夫链的模型解概率题
马尔可夫链的模型解概率题马尔可夫链是一种随机过程，它描述了一系列可能的状态，以及在每个状态之间转移的概率。
这种模型特别适用于那些下一个状态只依赖于当前状态的情况。
假设我们有一个天气模型，其中只有两种状态：晴天（S）和雨天（R）。
我们观察到，如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
如果今天是雨天，那么明天还是雨天的概率是0.8，变成晴天的概率是0.2。
我们可以使用马尔可夫链来描述这个模型。
首先，我们需要一个状态转移矩阵，它描述了从一个状态转移到另一个状态的概率。
在这个例子中，状态转移矩阵可以写成：= [0.9 0.10.2 0.8]，第一行表示如果今天是晴天，那么明天还是晴天的概率是0.9，变成雨天的概率是0.1。
第二行表示如果今天是雨天，那么明天变成晴天的概率是0.2，还是雨天的概率是0.8。
现在，假设我们想知道，如果今天是晴天，那么接下来三天都是晴天的概率是多少。
我们可以使用马尔可夫链的模型来解决这个问题。
首先，我们知道今天是晴天的概率是1，雨天的概率是0。
我们可以把这个概率分布表示为一个向量：接下来，我们可以使用这个向量和状态转移矩阵来计算明天是晴天的概率。
根据马尔可夫链的性质，我们可以通过乘以状态转移矩阵来得到下一个状态的概率分布：1 = π_0 * P = [1 0] * [0.9 0.10.2 0.8] = [0.9 0.1]，是雨天的概率是0.1。
接下来，我们可以使用同样的方法来计算接下来两天的天气概率分布：0.1] * [0.9 0.10.2 0.8] = [0.83 0.17]今天是晴天，那么接下来两天都是晴天的概率是0.83，有一天是雨天的概率是0.17。
最后，我们可以计算接下来三天都是晴天的概率：_3 = π_2 * [1 0] = [0.83 0.17] * [1 0] = 0.83错误，我们不能直接这样计算。
实际上，我们应该再次使用状态转移矩阵：= π_2 * P = [0.83 0.17] * [0.9 0.10.2 0.8] = [0.767 0.233]，即0.767。
概率与数列(含马尔可夫链问题)
概率与数列(含马尔可夫链问题)·华师大附中压轴卷)长江十年禁渔计划全面施行，渔民老张积极配合政府工作，如期收到政府的补偿款.他决定拿出其中10万元进行投资，并看中了两种为期60天(视作2个月)的稳健型(不会亏损)理财方案.方案一：年化率2.4%，且有10%的可能只收回本金；方案二：年化率3.0%，且有20%的可能只收回本金；已知老张对每期的投资本金固定(都为10万元)，且第一次投资时选择了方案一，在每期结束后，老张不间断地进行下一期投资，并且他有40%的可能选择另一种理财方案进行投资.(1)设第i次投资(i=1，2，3，⋯，n)选择方案一的概率为P i，求P4；(2)求一年后老张可获得总利润的期望(精确到1元).注：若拿1千元进行5个月年化率为2.4%的投资，则该次投资获利ω=2.4%×512×1000=10元.【答案】解：(1)由题意知P i+1=(1-40%)P i+40%(1-P i)=25+15P i，整理得P i+1-12=15P i-12，其中P1=1，故数列P n-1 2是以P1-12为首项，15为公比的等比数列，则P n-12=12×15 n-1，即P n=12+12×15n-1，那么P4=63125.(2)当某期选择方案一时，获利期望值为W1=(1-10%)×2.4%×212×100000 =360元；当某期选择方案二时，获利期望值为W2=(1-20%)×3.0%×212×10000=400元；那么，在一年间，老张共投资了6次，获得的总利润的期望为W=[P1W1+(1-P1)W2]+[P2W1+(1-P2)W2]+⋯+[P6W1+(1-P6)W2]=(P1+P2+⋯+P6)W1+[(1 -P1)+(1-P2)+⋯+(1-P6)]W2≈2400-40×3+58=2255元.即一年后老张可获得的利润的期望约为2255元.·杭州一模)中国男篮历史上曾12次参加亚运会，其中8次夺得金牌，是亚运会夺冠次数最多的球队.第19届亚运会将于2023年9月23日至10月8日在杭州举办.(1)为了解喜爱篮球运动是否与性别有关，某学校随机抽取了男生和女生各1002列联表如下：喜爱篮球不喜爱篮球合计男生6535100女生2575100合计90110200依据小概率值α=0.001的独立性检验，能否认为喜爱篮球运动与性别有关？(2)校篮球队中的甲、乙、丙三名球员将进行传球训练，第1次由甲将球传出，每次传球时，传球者都等可能地将球传给另外两个人中的任何一人，如此不停地传下去，且假定每次传球都能被接到，记开始传球的人为第1次触球者，第n次触球者是甲的概率记为P n，即P1=1.①求P3，P4，并证明：P n-1 3为等比数列；②比较第15次触球者是甲与第15次触球者是乙的概率的大小.参考公式：χ2=n(ad-bc)2(a+b)(c+d)(a+c)(b+d)，其中n=a+b+c+d为样本容量.参考数据：α=P(χ2≥k)0.100.050.010.0050.001k 2.706 3.841 6.6357.87910.828【答案】解：(1)假设H0：喜爱足球运动与性别独立，即喜爱足球运动与性别无关，计算χ2=200×(65×75-25×35)2100×100×90×110≈32.323>10.828，根据小概率值α=0.001的独立性检验，我们推断H0不成立，即认为喜爱足球运动与性别有关，此推断犯错误的概率不超过0.001.(2)①由题意知，P1=1，P2=0，P3=12，P4=12×0+1-12×12=14.证明：第n次触球者是甲的概率记为P n，则当n≥2时，第n-1次触球者是甲的概率为P n-1，第n-1次触球者不是甲的概率为1-P n-1，则P n=P n-1×0+(1-P n-1)×12=12(1-P n-1)，从而P n-13=-12P n-1-13，又P1-13=23，所以P n-1 3是以23为首项，公比为-12的等比数列.②第n 次触球者是甲的概率为P n =23×-12n -1+13，所以P 15=23×-1214+13=13×1213+13>13，第15次触球者是乙的概率为Q 15=12(1-P 15)=121-13×1213-13=13-13×1214<13，所以第15次触球者是甲的概率比第15次触球者是乙的概率大.·惠州一模)为了避免就餐聚集和减少排队时间，某校开学后，食堂从开学第一天起，每餐只推出即点即取的米饭套餐和面食套餐.已知某同学每天中午会在食堂提供的两种套餐中选择，已知他第一天选择米饭套餐的概率为23，而前一天选择了米饭套餐后一天继续选择米饭套餐的概率为14，前一天选择面食套餐后一天继续选择面食套餐的概率为12，如此往复.(1)求该同学第二天中午选择米饭套餐的概率；(2)记该同学第n 天选择米饭套餐的概率为P n .证明：①P n -25为等比数列；②当n ≥2时，P n ≤512.【答案】(1)解 设A 1=“第1天选择米饭套餐”，A 2=“第2天选择米饭套餐”，则A 1 =“第1天不选择米饭套餐”.根据题意P (A 1)=23，P (A 1)=13，P (A 2|A 1 )=14，P (A 2|A 1 )=1-12=12.由全概率公式，得P (A 2)=P (A 1)P (A 2|A 1)+P (A 1 )P (A 2|A 1 )=23×14+13×12=13.(2)证明 ①设A n =“第n 天选择米饭套餐”，则P n =P (A n )，P (A n)=1-P n ，根据题意P A n +1|A n )=14， P (A n +1|A n )=1-12=12.由全概率公式，得P n +1=P (A n +1)=P (A n )P (A n +1|A n )+P (A n )·P A n +1|A n )=14P n +12(1-P n )=-14P n +12.因此P n +1-25=-14P n -25.因为P 1-25=415≠0，所以P n -25 是以415为首项，-14为公比的等比数列.②由①可得P n =25+415-14n -1.当n 为大于1的奇数时，P n =25+41514 n -1≤25+415142=512.当n 为正偶数时，P n =25-41514n -1<25<512.因此当n ≥2时，P n ≤512.·荆州统测)为倡导公益环保理念，培养学生社会实践能力，某中学开展了旧物义卖活动，所得善款将用于捐赠“圆梦困境学生”计划.活动共计50多个班级参与，1000余件物品待出售.摄影社从中选取了20件物品，用于拍照宣传，这些物品中，最引人注目的当属优秀毕业生们的笔记本，已知高三1，2，3班分别有12，13，14的同学有购买意向.假设三个班的人数比例为6∶7∶8.(1)现从三个班中随机抽取一位同学：①求该同学有购买意向的概率；②如果该同学有购买意向，求此人来自2班的概率；(2)对于优秀毕业生的笔记本，设计了一种有趣的“掷骰子叫价确定购买资格”的竞买方式：统一以0元为初始叫价，通过掷骰子确定新叫价，若点数大于2，则在已叫价格基础上增加1元更新叫价，若点数小于3，则在已叫价格基础上增加2元更新叫价；重复上述过程，能叫到10元，即获得以10元为价格的购买资格，未出现叫价为10元的情况则失去购买资格，并结束叫价.若甲同学已抢先选中了其中一本笔记本，试估计其获得该笔记本购买资格的概率(精确到0.01).【答案】解：(1)①设事件A =“该同学有购买意向”，事件B i =“该同学来自i 班”(i =1，2，3).由题意可知P (B 1)=621，P (B 2)=721，P (B 3)=821，P (A |B 1)=12，P A |B 2)=13， P A |B 3)=14， 所以由全概率公式可得，P(A)=P(B1)·P(A|B1)+P(B2)·P(A|B2)+P(B3)·P(A|B3)=621×12+721×13+821×14=2263.②由条件概率可得P(B2|A)=P(B2A)P(A)=P(B2)·P(A|B2)P(A)=721×132263=722.(2)由题意可得每次叫价增加1元的概率为23，每次叫价增加2元的概率为1 3.设叫价为n(3≤n≤10)元的概率为P n，叫价出现n元的情况只有下列两种：①叫价为n-1元，且骰子点数大于2，其概率为23P n-1；②叫价为n-2元，且骰子点数小于3，其概率为13P n-2.于是得到P n=23P n-1+13P n-2(n≥3)，易得P1=23，P2=23×23+13=79，由于P n-P n-1=-13P n-1+13P n-2=-13(P n-1-P n-2)(n≥3)，于是当n≥2时，数列{P n-P n-1}是以首项为19，公比为-13的等比数列，故P n-P n-1=19×-13n-2(n≥2).于是P10=P1+(P2-P1)+(P3-P2)+⋯+(P9-P8)+(P10-P9)=23+19×1--1391--13=34+14×1310≈0.75，于是，甲同学能够获得笔记本购买资格的概率约为0.75.。
马尔科夫链例题整理(课堂PPT)
一步转移概率矩阵的计算
引 例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是：
（1）若移动前在2，3，4处，则均以概率 或向右 移动一单位；
1 2
向左
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
首页
9
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
i+1，以概率r停留在i，且 r p q 1 ，试
求转移概率矩阵。
E {...,2,1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
0 p 0 0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
首页 8
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到
移概率。
首页 5
qp
高三数学二模马尔可夫链
高三数学二模马尔可夫链高三的学生们，纷纷开始备战第二次月考。
在各科的迎考复习中，数学是一门让很多考生感到头疼的学科。
此刻笔者作为一名AI，为大家介绍一下在考试中常见的数学知识点——马尔科夫链。
一、什么是马尔可夫链？马尔可夫链是一种数学模型，它是基于时间序列上有限状态和满足马尔可夫性质的随机过程。
马尔可夫链的特点是：随机性的下一步状态只与当前状态有关，而与之前状态无关。
因此，在实际的应用中，马尔可夫链常被用于描述一些具有状态转移属性的系统。
比如，天气预测、股票走势分析等。
二、马尔可夫链的分类马尔可夫链分为时间齐次马尔可夫链和非时间齐次马尔可夫链。
时间齐次马尔可夫链指的是在相邻两个时刻的状态转移概率矩阵是相同的，它主要用于建立稳态概率分布。
非时间齐次马尔可夫链指的是状态转移概率矩阵在时间上不稳定。
它常用于描述实际应用中状态变化不稳定的情况。
三、马尔可夫链的数学描述1.状态有限若状态S有限，则状态集合为：S={S1，S2，S3，…，Sn}。
2.状态转移概率矩阵设Pij为从状态Si到Sj的概率。
那么，状态转移概率矩阵为：P={Pij}（n×n）i,j=1,2,3,…,n3.状态转移图因为Pij是从Si到Sj的概率，所以我们可将其用有向线性图表示。
四、马尔可夫链的性质1.状态转移概率矩阵的性质- 0≤pij≤1- 满足条件：∑j=1npij=1，i=1,2,3,...,n。
2.状态稳态概率假设在马尔可夫链状态转移的过程中，状态最终将稳定在某个状态时，称这个状态为马尔可夫链的稳态。
n→∞时Pi即为平稳分布，若该分布存在，则称该马尔可夫链有平稳分布。
3.可约性与非可约性如果状态集合中有两个状态，从一个状态不能到达另一个状态，那么称这个链是可约的；如果状态集合中任意两个状态都可达，则称这个链是不可约的。
五、例题解析现在我们通过一道题目来了解下马尔可夫链的应用。
题目：一辆汽车停在自己汽车库的随机位置上。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
9
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
阵。
I={1，2，3，4，5，6}
11
1 1 1 1 1 1
6
6
6
6
6
6
0
2 6
1 6
1 6
1 6
1 6
P
0
0
3 6
1 6
1 6
1
6
0
0
0
4
1
1
6 6 6
0
...
0
0
5
1
6 6
0 ... 0 0 1 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率
是p，乙胜的概率是q，和局的概率是 r ，
0 p 0 0 ... 0 q
q
0
p
0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
8
4．一个质点在全直线的整数点上作随机游动，移
动的规则是：以概率p从i移到i-1，以概率q从i移到
移概率。
5
qp
q p
012 左反射壁
m-1 m 右反射壁
q p 0 0 0 ... 0 0 0
q 0 p 0 0 ... 0 0 0
0 q 0 p 0 ... 0 0 0 P1 ... ... ... ... ... ... ... ... ...
0 0 0 0 0 ... q 0 p
0 0 0 0 0 ... 0 q p
若 X (n) 表示质点在时刻n所处的位置，求
一步转移概率。
3
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，
1 0 0 0 0
其一步转 移矩阵为
1
2
P1
0
0 1 2
1 2 0
0 1 2
0
0
0
0
1 2
0
1 2
0
0
0
0
1
有两个吸收壁的随机游动
4
例2．带有反射壁的随机游动（ p q r 1 ）源自设每局比赛后，胜者记“+1”
分，负者记“—1”分，和局不记分。当两人中有
一人获得2分结束比赛。以 X n 表示比赛至第n局
时甲获得的分数。
（1）写出状态空间；
（3）问在甲获得1分的情况下，再赛二局可以 结束比赛的概率是多少？
13
解
（1）
记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
i+1，以概率r停留在i，且 r p q 1 ，试
求转移概率矩阵。
E {..., 2, 1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
1
0
a 1
0
... 0
一步转移矩阵是
a
a
P1
0
2 a
0
a2
...
0
a
... ... ... ... ... ...
0
...
0
a 1 a
0
1 a
0
...
0
0
1
0
10
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
I {1，2，3，4，5}
一步转移概率矩阵
1 0 0 0 0
q
r
p
0
0
P 0 q r p 0
0
0
q
r
p
0 0 0 0 1
14
（2）二步转移概率矩阵
P(2) P2
1
qrp
q2
0
0
0 r2 pq
2rq q2 0
0 2pr r2 2pq 2qr 0
0 p2 2pr r2 pq 0
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”