马尔科夫链例题整理 [考试易考题型]

... 0 ⎤ ⎥ ... 0 ⎥ ⎥ ⎥ ... 0 ⎥ ⎥ ... ...⎥ ⎥ 1⎥ 0 a⎥ 1 0⎥ ⎦
练习题． 扔一颗色子，若前n次扔出的点数的最大值为j， 就说 Xn = j, 试问 Xn = j, 是否为马氏链？求一步转移概率矩 阵。
I={1，2，3，4，5，6}
首页
⎡1 1 1 ⎢6 6 6 ⎢ ⎢0 2 1 ⎢ 6 6 ⎢ ⎢0 0 3 P=⎢ 6 ⎢ 0 ⎣
设 u j 为质点从 j 出发到达 0 状态先于到达 c 状态的概率。
考虑质点从j出发移动一步后的情况
在以概率 p 移到 j + 1 的假设下，
到达 0 状态先于到达 c 状态的概率为 u j +1
同理 以 概 率 q 移 到 j − 1 的 前 提 下 ，
到达0 状态先于到达c 状态的概率为u j−1
q
p
q p
0 左反射壁
1
2
m-1
m 右反射壁
⎡q ⎢q ⎢ ⎢0 P =⎢ 1 ⎢... ⎢0 ⎢ ⎣0
p 0 0 0 p 0 q 0 p ... ... ... 0 0 0 0 0 0
0 0 0 ... 0 0
... ... ... ... ... ...
0 0 0 ... q
0 0 0 ... 0 0 q
I = {1， 2，3， 4，5}
一步转移概率矩阵
⎡1 ⎢q ⎢ P = ⎢0 ⎢ ⎢0 ⎢0 ⎣
0 r q 0 0
0 p r q 0
0 0 p r 0
0⎤ 0⎥ ⎥ 0⎥ ⎥ p⎥ 1⎥ ⎦
首页
（2）二步转移概率矩阵
（3）
P (2) = P 2
⎡ 1 ⎢q + rp ⎢ = ⎢ q2 ⎢ ⎢ 0 ⎢ 0 ⎣ 0 r2 + pq 2rq q2 0
一步转移概率矩阵的计算 引 例 例1 直线上带吸收壁的随机游动（醉汉游动） 设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
1 2 3 4 5 质点在1，5两点被“吸收”
⎡0 ⎢q ⎢ ⎢0 P =⎢ 1 ⎢... ⎢0 ⎢ ⎣p p 0 q 0 p 0 0 ... 0 0 ... 0 p ... 0 q⎤ 0⎥ ⎥ 0⎥ ⎥ ...⎥ p⎥ ⎥ 0⎦
首页
... ... ... ... ... 0 ... 0 q 0 0 ... 0 0 q
首页
4．一个质点在全直线的整数点上作随机游动，移 动的规则是：以概率p从i移到i-1，以概率q从i移到 i+1，以概率r停留在i，且 r + p + q = 1 ，试 求转移概率矩阵。
根据全概率公式有
u j = u j +1 p + u j −1q
这一方程实质上是一差分方程，它的边界条件是
u0 = 1, uc = 0
首页
3
2012-8-24
欲求
于是
ua
uj （p + q） u j = pu j +1 + qu j −1
先求
当
q u j − u j +1 = ( )(u j −1 − u j ) p
设
r ≠1 c −1 1 = u 0 − u c = ∑ ( u j − u j +1 )
=
q r = p
d j = u j − u j +1
而
∑
c −1 j=0
d j=
c−1 i= j c −1
j = 0 c −1
∑
i
则可得到两个相邻差分间的递推关系
u j = u j − uc =
∑ (u −u
di =
j=0
r jd0 =
i+1
1− rc d0 1− r
)
于是
d j = rd j −1
d j = rd j −1 = r 2 d j − 2 = L = r j d 0
需讨论 r
首页
r id0 i= j i= j r j − rc d0 = r j (1 + r + L + r c − j −1 )d 0 = 1− r j c 两式相比 r −r 首页 uj = 1− rc
0⎤ 0⎥ ⎥ 0⎥ ⎥ ...⎥ p⎥ ⎥ p⎦
首页
1
2012-8-24
⎡q ⎢q P=⎢ 1 ⎢0 ⎢ ⎣...
p 0 0 0 ...⎤ 0 p 0 0 ...⎥ ⎥ q 0 p 0 ...⎥ ⎥ ... ... ... ... ...⎦
q 0 反 射 壁
p 1 2 3
例3．一个圆周上共有N格（按顺时针排列），一 个质点在该圆周上作随机游动，移动的规则是： 质点总是以概率p顺时针游动一格， 以概率 q = 1 − p 逆时针游动一格。试求转移概率 矩阵。 I = {1, 2, ..., N }
有两个吸收壁的随机游动
例2．带有反射壁的随机游动 设随机游动的状态空间I = {0，1，2，…}，移动的 规则是： （1）若移动前在0处，则下一步以概率p向右移 动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移 动一个单位，以概率q向左移动一个单位。 设 X n 表示在时刻n质点的位置， 则 { X n ， n ≥ 0 }是一个齐次马氏链，写出其一步转 移概率。 首页
状态空间I={1，2，3，4，5}， 参数集T={1，2，3，………}， 其一步转 移矩阵为
⎡1 ⎢1 ⎢2 ⎢ P1 = ⎢ 0 ⎢ ⎢0 ⎢ ⎢0 ⎣
0 0 1 2 0 0
0 1 2 0 1 2 0
0 0 1 2 0 0
0⎤ ⎥ 0⎥ ⎥ 0⎥ ⎥ 1⎥ 2⎥ 1⎥ ⎦
首页
若 X (n) 表示质点在时刻n所处的位置，求 一步转移概率。
1 6 1 6 1 6 4 6 0 0
1 6 1 6 1 6 1 6 5 6 1
1⎤ 6⎥ ⎥ 1⎥ 6⎥ ⎥ 1⎥ 6⎥ 1⎥ ⎥ 6⎥ 1⎥ ⎥ 6⎥ 0⎦ ⎥
2
2012-8-24
例1
解
（1） 记甲获得“负2分”为状态1，获得 “负1分”为状态2，获得“0分”为状态3， 获得“正1分”为状态4，获得“正2分”为 状态5，则状态空间为
E = {..., −2, −1, 0,1, 2,...}
⎡... ⎢... P =⎢ 1 ⎢... ⎢ ⎣...
首页
... ... ... ... ... ... ...⎤ 0 p r q 0 0 ...⎥ ⎥ 0 0 p r q 0 ...⎥ ⎥ ... ... ... ... ... ... ...⎦
P Yn = k ) = pk ， k = 0,1, 2, L ， （
∑
k
pk = 1
⎧ X −1+Yn, 若Xn ≥1 顾客在服务，到第n+1 Xn+1 = ⎨ n 若Xn = 0 周期已服务完毕 ⎩Yn, 此时{ X n ， n ≥ 1 }为一马氏链， 求其转移矩阵
记 X n 为服务周期 n 开始时服务台前顾客数 则有 在第n周期已有一个
=
∑
∑
c −1
故
ua =
ra − rc 1− rc
⎛ q ⎞ ⎜1 − ( ) c ⎟ ⎜ p ⎟ ⎠ ⎝
由以上计算结果可知
⎛ q q ⎞ = ⎜ ( )a − ( )c ⎟ ⎜ p p ⎟ ⎠ ⎝
当
当 r ≠ 1 即 p ≠ q 时，甲先输光的概率为
⎛ q a q c⎞ ⎜( ) − ( ) ⎟ ⎜ p p ⎟ ⎝ ⎠ ⎛ q ⎞ ⎜1 − ( ) c ⎟ ⎜ p ⎟ ⎝ ⎠
甲、乙两人进行比赛，设每局比赛中甲胜的概率 是p，乙胜的概率是q，和局的概率是 r ， （ p + q + r = 1 ）。设每局比赛后，胜者记“+1” 分，负者记“—1”分，和局不记分。当两人中有 一人获得2分结束比赛。以 X n 表示比赛至第n 局时甲获得的分数。 （1）写出状态空间； （2）求 P (2) ； （3）问在甲获得1分的情况下，再赛二局可 以结束比赛的概率是多少？ 首页
2012-8-24
前言：马尔可夫过程的描述分类
例1 直线上带吸收壁的随机游动（醉汉游动）
例 2 直 线 上 的 随 机 游 动 时 的 位 置 X (t), 是 无后效性的随机过程.
设一质点在线段[1，5 ]上随机游动，每秒钟发生 一次随机游动，移动的规则是： 1 （1）若移动前在2，3，4处，则均以概率 向左 2 或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。
p20 = P( Xn+1 = 0 | Xn = 2) = P( Xn −1+ Yn = 0 | Xn = 2) p21 = P( Xn+1 =1| Xn = 2) = P( Xn −1+ Yn = 1| Xn = 2) p22 = P( Xn+1 = 2 | Xn = 2) = P(Yn =1)
p11 = P(Xn+1 =1| Xn =1) = P( X n −1+ Yn = 1| X n = 1) = P(Yn =1) = p1
2
在P
(2)
中p
(2)
45 是在甲得
1 分的情况下经二步转移至得 2 分
从而结束比赛的概率；
0 2pr
0 p2
2pr r + 2pq 2 2qr r + pq 0 0
0 ⎤ 0 ⎥ ⎥ p2 ⎥ ⎥ p + rp⎥ 1 ⎥ ⎦
p ( 2 ) 41 是在甲得 1 分的情况下经二步转移至—2 分（即乙得 2 分）