马尔科夫链考试例题整理

移概率。
5
qp
q p
012 左反射壁
m-1 m 右反射壁
q p 0 0 0 ... 0 0 0
q 0 p 0 0 ... 0 0 0
0 q 0 p 0 ... 0 0 0 P1 ... ... ... ... ... ... ... ... ...
0 0 0 0 0 ... q 0 p
0 0 0 0 0 ... 0 q p
0 p 0 0 ... 0 q
q
0
p
0 ... 0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
8
4．一个质点在全直线的整数点上作随机游动，移
动的规则是：以概率p从i移到i-1，以概率q从i移到
阵。
I={1，2，3，4，5，6}
11
1 1 1 1 1 1
6
6
6
6
6
6
0
2 6
1 6
1 6
1 6
1 6
P
0
0
3 6
1 6
1 6
1
6
0
0
0
4
1
1
6 6 6
0
...
0
0
5
1
6 6
0 ... 0 0 1 0
12
例1
甲、乙两人进行比赛，设每局比赛中甲胜的概率
是p，乙胜的概率是q，和局的概率是 r ，
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
若 X (n) 表示质点在时刻n所处的位置，求
一步转移概率。
3
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，
1 0 0 0 0
其一步转 移矩阵为
1
2
P1
0
0 1 2
1 2 0
0 1 2
0
0
0
0
1 2
0
1 2
0
0
0
0
1
有两个吸收壁的随机游动
4
例2．带有反射壁的随机游动
（ p q r 1 ）。设每局比赛后，胜者记“+1”
分，负者记“—1”分，和局不记分。当两人中有
一人获得2分结束比赛。以 X n 表示比赛至第n局
时甲获得的分数。
（1）写出状Leabharlann Baidu空间；
（3）问在甲获得1分的情况下，再赛二局可以 结束比赛的概率是多少？
13
解
（1）
记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
0
0
p2
prp
1
15
（3）
从而结束比赛的概率； 从而结束比赛的概率。 所以题中所求概率为
( p rp) 0 p(1 r)
16
例2 赌徒输光问题
赌徒甲有资本a元，赌徒乙有资本b元，两人进行 赌博，每赌一局输者给赢者1元，没有和局，直 赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
6
q p 0 0 0 ...
P1 q0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
7
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2, ..., N }
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”
若 X (n) 表示质点在时刻n所处的位置，分析它的
概率特性。
1
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动 无记忆性
未来处于某状态的概率特性只与现在状态 有关，而与以前的状态无关，这种特性叫 无记忆性（无后效性）。
I {1，2，3，4，5}
一步转移概率矩阵
1 0 0 0 0
q
r
p
0
0
P 0 q r p 0
0
0
q
r
p
0 0 0 0 1
14
（2）二步转移概率矩阵
P(2) P2
1
qrp
q2
0
0
0 r2 pq
2rq q2 0
0 2pr r2 2pq 2qr 0
0 p2 2pr r2 pq 0
1
0
a 1
0
... 0
一步转移矩阵是
a
a
P1
0
2 a
0
a2
...
0
a
... ... ... ... ... ...
0
...
0
a 1 a
0
1 a
0
...
0
0
1
0
10
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
i+1，以概率r停留在i，且 r p q 1 ，试
求转移概率矩阵。
E {..., 2, 1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
设随机游动的状态空间I = {0，1，2，…}，移动的 规则是：
（1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）；
（2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
则
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
9
5．设袋中有a个球，球为黑色的或白色的，今随 机地从袋中取一个球，然后放回一个不同颜色的 球。若在袋里有k个白球，则称系统处于状态k， 试用马尔可夫链描述这个模型（称为爱伦菲斯特 模型），并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
2
一步转移概率矩阵的计算
引例 例1 直线上带吸收壁的随机游动（醉汉游动）
设一质点在线段[1，5 ]上随机游动，每秒钟发生
一次随机游动，移动的规则是：
1
（1）若移动前在2，3，4处，则均以概率 向左
或向右 移动一单位；
2
（2）若移动前在1，5处，则以概率1停留在原处。
12
3
4
5
质点在1，5两点被“吸收”