马尔科夫链例题

首页
q p 0 0 0 ...
P1
q 0
0 q
p 0
0 p
0 0
... ...
... ... ... ... ... ...
qp
0123 反 射 壁
首页
例3．一个圆周上共有N格〔按顺时针排列〕，一 个质点在该圆周上作随机游动，移动的规那么是： 质点总是以概率p顺时针游动一格， 以概率
q 1 p 逆时针游动一格。试求转移概率 矩阵。 I {1, 2,..., N}
假设X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
状态空间I={1，2，3，4，5}，
参数集T={1，2，3，………}，
其一步转 移矩阵为
1
1
2
P1
0
0 0 1 2
0 1
2
0
0 0 1 2
0
0
0
0
0
1 2
0
1 2
0 0 0 0 1
有两个吸收壁的随机游动
首页
例2．带有反射壁的随机游动
(
即
q) p
p
a
(
q p
)c
1
(
q p
)cq 时，甲先输光 Nhomakorabea概率为b
c
用同样的方法可以求得乙先输光的概率
当
p
q
时，乙输光的概率为 1
(
q p
)a
当 p q 时，乙先输光的概率为 a c
1
(
q p
)
c
首页
例3 排队问题
顾客到效劳台排队等候效劳，在每一个效劳周期中只 要效劳台前有顾客在等待，就要对排在前面的一位提 供效劳，假设效劳台前无顾客时就不能实施效劳。
首页
一步转移概率矩阵的计算
引
例
例1 直线上带吸收壁的随机游动〔醉汉游动〕
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规那么是：
〔向左1〕或假向设右移移动动前一在单2，位3；，4处，那么均以概12率
〔2〕假设移动前在1，5处，那么以概率1停留在原
处。
12
3
4
5
质点在1，5两点被“吸收〞
右移〔即赢1元〕的概率为p，向左移〔即输1元〕的 概率为q。如果一旦到达0〔即甲输光〕或a + b〔即 乙输光〕这个游动就停顿。这时的状态空间为{0，1， 2，…，c}，c = a + b，。现在的问题是求质点从a出 发到达0状态先于到达c状态的概率。
解 设0 j c
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
1
0
a 1
0
... 0
一步转移矩阵是
a
a
2
a2
0
0
... 0
P1 a
a
... ... ... ... ... ...
首页
0
...
0
0
...
0
a 1 a
0
1
a
0
1
0
练习题． 扔一颗色子，假设前n次扔出的点数的最大值为j，
就说 Xn j, 试问 Xn j, 是否为马氏链？求一步转移概率矩
pi
p (1) i1
p1
p (1) 11
p2
p (1) 21
iE
定理4.3 马尔科夫链的有限维分布：
P{X1 i1, X2 i2 , , Xm im}
p p p i ii1 i1i2
iI
pim-1im
由全概率公式得到证明，它是公式（1)的推广。
例3：考虑状态0，1，2上的一个马氏链Xn , n 0,
首页
5．设袋中有a个球，球为黑色的或白色的，今随
机地从袋中取一个球，然后放回一个不同颜色的 球。假设在袋里有k个白球，那么称系统处于状态 k，试用马尔可夫链描述这个模型〔称为爱伦菲斯 特模型〕，并求转移概率矩阵。
解 这是一个齐次马氏链，其状态空间为
I={0，1，2，…，a} 0 1 0 0 ... 0
需讨论 r
首页
当 r 1
c 1
1 u0 uc
(u j u j1)
c 1
j 0
j0 c1
dj
c1 j 0
r jd0
1 rc 1 r
d0
而 u j u j uc (ui ui1)
i j
c 1
c 1
di
rid0
i j
i j
r j (1 r rc j1)d0
r j rc 1 r
此时{ X n ， n 1 }为一马氏链， 求其转移矩阵
解
先求出转移概率
p00 P(X1 0 | X 0 0) P(Y0 0) p0
p01 P(X1 1| X 0 0) P(Y0 1) p1
p10 P(X n1 0 | X n 1) P( X n 1 Yn 0 | X n 1)
设某地有1600户居民，某产品只有甲、乙、丙3厂 家在该地销售。经调查，8月份买甲、乙、丙三厂 的户数分别为480，320，800。9月份里，原买甲的 有48户转买乙产品，有96户转买丙产品；原买乙的 有32户转买甲产品，有64户转买丙产品；原买丙的 有64户转买甲产品，有32户转买乙产品。用状态1、 2、3分别表示甲、乙、丙三厂，试求
〔 p q r 1 〕。设每局比赛后，胜者记“+1
〞分，负者记“—1〞分，和局不记分。当两人
中有一人获得2分完毕比赛。X以n
第n局时甲获得的分数。
表示比赛至
〔1〕写出状态空间； （2）求 P(2) ；
〔3〕问在甲获得1分的情况下，再赛二局可 以完毕比赛的概率是多少？
首页
解
〔1〕
记甲获得“负2分〞为状态1，获得“负1 分〞为状态2，获得“0分〞为状态3，获得 “正1分〞为状态4，获得“正2分〞为状态5， 那么状态空间为
0.1 0.2 0.7
它又转移概率矩阵P 0.9 0.1
0
0.1 0.8 0.1
初始分布为p0 0.3，p1 0.4，p2 0.3，试求 概率（1）p{X0 0, X1 1, X2 2}
（2）p{X2 0, X3 2, X4 1}
• 练习：马氏链的状态空间I={1，2，3}，初始概 率为
u0 1, uc 0
首页
欲求 ua 先求 u j
于是 （p + q） u j pu j1 qu j1
u
j
u
j 1
(
q )(u p
j 1
uj
)
设
r q p
d j u j u j1
那么可得到两个相邻差分间的递推关系
d j rd j1
于是
d j rd j1 r 2d j2
r jd0
设在第 n 个服务周期中到达的顾客数为一随机变量Yn
且诸Yn 独立同分布：
P（Yn k) pk ， k 0,1, 2, ， pk 1
k
记 X n 为服务周期 n 开始时服务台前顾客数
那么有
X n1 YXn,n 1 Yn,
若Xn 1
在第n周期已有一个 顾客在效劳，到第n+1
若 X n 0 周期已效劳完毕
1
4
3 4
0
p1
1 4
,
p2
1 2
,
p3
1,P 4
1 3
1 3
1 3
0
1
3
4 4
(1)计算P{X(0)=1,X(1)=2,X(2)=2},p12 (2)
(2)证明：P{X(1)=2,X(2)=2 X(0)=1}=p12 p22
(3)求P{X(1)=1,X(2)=2,X(3)=3}
例4 市场占有率预测
P(Yn 0) p0
p11 P(X n1 1| X n 1) P( X n 1 Yn 1| X n 1) P(Yn 1) p1
p20 P(X n1 0 | X n 2) P( X n 1 Yn 0 | X n 2)
p21
P(X
n1
1|
Xn
2)
P(Yn
P(X
1)
阵。
I={1，2，3，4，5，6}
首页
1 1 1 1 1 1
6
6
6
6
6
6
0
2 6
1 6
1 6
1 6
1 6
0
0
3
1
1
1
P
6 6 6 6
0
0
0
4
1
1
6 6 6
0
...
0
0
5 6
1
6
0 ... 0 0 1 0
例1
甲、乙两人进展比赛，设每局比赛中甲胜的概率
是p，乙胜的概率是q，和局的概率是r ，
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动〔醉汉游动〕
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规那么是：
〔向左1〕或假向设右移移动动前一在单2，位3；，4处，那么均以概12率
〔2〕假设移动前在1，5处，那么以概率1停留在原
处。
12
3
4
5
质点在1，5两点被“吸收〞
n 1 Yn
0
1|
X
n
2)
P(Yn 0) p0
首页
p22 P(X n1 2 | X n 2) P(Yn 1) p1
所以转移矩阵为
p0 p1 p2 p3 p4
P1
p0 0
p1 p0
p2 p1
p3 p2
p4 p3
0
0
p0 p1 p2
首页
证
P{X n j}
P{X n j, X 0 i} i
设随机游动的状态空间I = {0，1，2，…}，移动的 规那么是：
〔1〕假设移动前在0处，那么下一步以概率p向 右移动一个单位，以概率q停留在原处〔p+q=1〕；
〔2〕假设移动前在其它点处，那么均以概率p向 右移动一个单位，以概率q向左移动一个单位。
设 X n 表示在时刻n质点的位置，
那么
{ X n ， n 0 }是一个齐次马氏链，写出其一步转
0
0
p2
p rp
1
首页
〔3〕
在
P(2)
中
p(2) 45
是在甲得
1
分的情况下经二步转移至得
2
分
从而完毕比赛的概率；
p(2)41 是在甲得 1 分的情况下经二步转移至—2 分（即乙得 2 分）
从而完毕比赛的概率。
所以题中所求概率为
p p (
2) 45
+
(2) 41
( p rp) 0 p(1 r)
I {1，2，3，4，5}
一步转移概率矩阵
1 0 0 0 0
q
r
p
0
0
P 0 q r p 0
0 0 q
r
p
0 0 0 0 1
首页
〔2〕二步转移概率矩阵
P(2) P2
1
q rp
q2
0
0
0 r2 pq
2rq q2 0
0 2 pr r2 2 pq 2qr 0
0 p2 2 pr r2 pq 0
移概率。
首页
qp
q p
012 左反射壁
m-1 m 右反射壁
q p 0 0 0 ... 0 0 0
q
0
p
0
0 ... 0
0
0
0 q 0 p 0 ... 0 0 0 P1 ... ... ... ... ... ... ... ... ...
0 0 0 0 0 ... q 0 p
0 0 0 0 0 ... 0 q p
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j 1 的假设下，
到达 0 状态先于到达 c 状态的概率为u j1
同理 以概率 q 移到 j 1 的前提下，
到达 0 状态先于到达 c 状态的概率为u j1 根据全概率公式有 u j u j1 p u j1q
这一方程实质上是一差分方程，它的边界条件是
假设X (n) 表示质点在时刻n所处的位置，分析它的 概率特性。
例2 直线上的随机游动时的位置X(t),是 无后效性的随机过程.
例3 电话交换台在t时刻前来到的呼叫数X(t), 是无后效性的随机过程.
例4 布朗运动
无 未来处于某状态的概率特性只与现在状态 记 有关，而与以前的状态无关，这种特性叫 忆 无记忆性〔无后效性〕。 性
首页
例2 赌徒输光问题
首页
赌徒甲有资本a元，赌徒乙有资本b元，两人进展 赌博，每赌一局输者给赢者1元，没有和局，直
赌至两人中有一人输光为止。设在每一局中，甲
获胜的概率为p，乙获胜的概率为 q 1 p ，
求甲输光的概率。
分 这个问题实质上是带有两个吸收壁的随机游动。从 析 甲的角度看，他初始时刻处于a，每次移动一格，向
d0
两式相比
uj
r j rc 1 rc
首页
故
ua
ra rc 1 rc
(
q p
)a
(
q p
)c
1
(
q p
)c
当 r 1
u0 uc 1 cd0
而
u j (c j)d0
因此 故
uj
ua
c j
c c a c
b c
首页
由以上计算结果可知
当 r 1 即 p q 时，甲先输光的概率为
当r
1
0 p 0 0 ... 0 q
q
0
p
0
...
0
0
0 q 0 p ... 0 0 P1 ... ... ... ... ... ... ...
0 0 ... 0 q 0 p
p 0 ... 0 0 q 0
首页
4．一个质点在全直线的整数点上作随机游动，移
动的规那么是：以概率p从i移到i-1，以概率q从i移
到i+1，以概率r停留在i，且r p q 1
，
试求转移概率矩阵。
E {..., 2, 1,0,1, 2,...}
... ... ... ... ... ... ... ...
P1
... ...
0 0
p 0
r p
q r
0 q
0 0
... ...
... ... ... ... ... ... ... ...
P{X n j, X 0 i}
iI
P{X 0 i}P{X n j | X 0 i}
iI
pi
p(n ij
)
iI
例2 设马氏链的状态空间I={1,2},初始分布为
P1
3 5
, P2
2 , 试对n=1,2,3,计算 5
P (n) 1
,
P (n) 2
解：n 1,
P(1) 1
P{X1 =1}=