北大随机过程课件：第 2 章 第 5 讲 马尔可夫链应用分析举例

2
3
状态 4：B 赢 P4 = q + 4q p
4 4
其中状态 0 和状态 4 是两个吸收壁，因此初始概率分布为
p(0) = [ p 4 + 4 p 4 q, 4 p 3 q 2 , 6 p 2 q 2 , 4 p 2 q 3 , q 4 + 4q 4 p]
该随机游动的转移概率矩阵为
⎡1 ⎢p ⎢ P = ⎢0 ⎢ ⎢0 ⎢ ⎣0
例 2：网球比赛
网球比赛在选手 A 和 B 之间进行。网球的计分制是 15，30，40 和 60 分，如果选手 A 赢了 第一球，比分是 15:0，否则比分是 0:15。如果选手 A 接着赢了第二球，比分为 30:0，如果 A 接着赢了第三球，比分为 40:0，如果 A 再接着赢了第四球，则比分为 60:0，选手 A 赢得 该局比赛。当选手 A 赢了第一球而输了第二球，对手 B 得 15 分，从而比分为 15:15。平分 是指第六球后双方分数相同(例如 30:30，40:40，…)。在平分后，接下来的一球如果选手 A 得分/失分，则称此时的状态为 A 占先/B 占先。如果 A 在占先后再得分，则选手 A 赢得该 局。如果选手 B 在占先后再得分，则选手 B 赢得该局。 一旦第一局比赛结束，选手进入第二局比赛，直到一方赢得至少 6 局且至少领先对手两局， 这样该方获得一盘比赛的胜利。因而，一盘结束时的比分为下列情形之一：6:0，6:1，6:2， 6:3，6:4，7:5，8:6，…或是它们的逆序等等(实际规则中采用了决胜局的办法避免一盘比赛 的时间过长，此处不详细讨论)。一盘结束后，进行另一盘，直到一方赢得三盘中的两盘（或 五盘中的三盘） ，从而赢得整场比赛。 试对网球比赛中一局比赛的规则进行分析讨论。
f k ,0
p p ( )k − ( )4 1 − (q / p)4− k q q = = p 1 − (q / p )4 1 − ( )4 q
II) 选手 A 赢得一局比赛的概率
4
pg = P{选手A赢一局} = ∑ pk f k ,0 =
k =0
∑ pk [1 − (q / p)4−k ]
k =0
1， 设 r＝
u0 = u0 − uc = ∑ (ui − ui +1 )
i =0 c −1
= ∑ di
i =0
c −1
= ∑ rid0
i =0
c −1
= cd 0
u j = u j − uc = ∑ (ui − ui +1 )
i= j c −1 c −1 c −1
= ∑ di
i= j
= ∑ rid0
4
1 − (q / p)
4
=
1 − ∑ pk ( q / p ) 4 − k
k =0
4
1 − (q / p)4
选手实力之比与赢下一局比赛的概率的关系的具体数值分析， ： 选手技术 p 0.75 0.66 0.6 0.55 0.52 0.51 q 0.25 0.34 0.4 0.45 0.48 0.49 赢一局的概率 Pg 0.949 0.856 0.736 0.623 0.55 0.525 1-Pg 0.051 0.144 0.264 0.377 0.45 0.475
a ≥ 1, b ≥ 1 。
这个问题实际是带有两个吸收壁的随机游动问题 问题是从 a 点出发，到达 0 状态的概率，即被 0 状态吸收的概率。 设 0 < j < c ， u j 为质点从 j 点出发到 0 状态的概率。由全概率公式有
u j = pu j +1 + qu j −1
边界条件为：
u0 = 1 uc = 0
题意分析：
整个题目都是在分析网球比赛规则， 而分析规则的目的在于得出不同实力的选手在这种规则 下赢球的概率。换句话说，假如有两个选手，选手 A 赢一球的概率为 p，选手 B 赢一球的 概率为 q=1-p，那么若 p>q，但是两者接近，例如 p=0.52，q=0.48，网球比赛的赛制能否保 证选手 A 在经过长时间的较量后最终有很大的概率战胜对手？相反，若两者实力悬殊，例 如 p=0.8，q=0.2，赛制能否保证选手 A 很快就能将 B 淘汰出局。这些都是我们分析比赛规 则时要关注的问题，并应该最后得出一个结论。 分出胜负的最小的单位是分，再上是局，局之上是盘（一方赢得至少 6 局且至少领先对手 2 局，这样取得一盘比赛的胜利） ，然后再上是一场比赛（可能是五盘三胜，也可能是三盘二 胜） 。我们这里暂时只分析一局比赛的规则。
图 1 一局比赛的状态转移图 在完成了上述的分析后， 我们需要做的就只是确定图 1 中的五状态随机游动中， 各状态 的初始概率了。记： 状态 0：A 赢 P0 = p + 4 p q
4 4
状态 1：A 占先 P 1 = 4p q
3
2
状态 2：平分 P2 = 6 p q
2
2
状态 3：B 占先 P 3 = 4p q
相应的差分方程是：
d j = rd j −1 = r 2 d j − 2 = L = r j d 0 ,
设 r ≠ 1，
(0 < j < c )
u0 = u0 − uc = ∑ (ui − ui +1 )
i =0 c −1
= ∑ di
i =0
c −1
= ∑ rid0
i =0
c −1
=
1− r d0 1− r
c
u j = u j − uc = ∑ (ui − ui +1 )
i= j j c −1
= ∑ di
i= j
c −1
= ∑ rid0
i= j
c −1
=
r −r d0 1− r
c
r j − rc uj = 1 − rc ua = ra − rc 1 − rc
( q / p) j − ( q / p)c = 1 − ( q / p)c = ( q / p)a − ( q / p)c 1 − ( q / p)c
系统的一步转移概率矩阵是：
⎡ pon P=⎢ ⎣1 − poff
1 − pon ⎤ poff ⎥ ⎦
(1) 求稳态分布
i= j
= ( c − j )d 0
c− j c c−a b ua = = c c uj =
同样道理，可以得到乙先输光的概率， 当 r ≠ 1 ， ua = 当 r＝ 1 ， ub =
1 − (q / p) a ， 1 − (q / p) c
a 。 c
该例题是有两个吸收壁的特例， 建立了边界条件、递推关系、首先概率表达式， 该例题着重研究对称和非对称的赌徒输光的问题。
的概率，状态之间相互转移的概率。 首先我们对一局比赛中的所有状态分类，可以分为 6 大类： (1) “过渡”的状态，例如 15:0 这样的状态。 (2) A 赢的状态，例如 60:15, 60:30, 60+2:60, 60+4:60+2，… 这种状态是吸收态 (3) B 赢的状态，例如 15:60, 30:60, 40:60+1, 60+1:60+3, … 这种状态是吸收态 (4) A 占先的状态，也即 A 再赢一球就取胜，而即使 A 再输一球也只是平分的状态， 例如 40:30, 60:40 (5) B 占先的状态，也即 B 再赢一球就取胜，而即使 B 再输一球也只是平分的状态，例 如 30:40, 40:60 (6) 平分的状态，例如 30:30, 40:40, 60:60, 60+1:60+1, … 值得注意的是，15:15 不是平分状态，因为平分状态后再打一球，状态应该转移到 A 占 先或者 B 占先的状态，而 15:15 不符合这个概念。 总结上面的分析， 我们应该关心的是后面五种状态的初始概率以及这五种状态之间的转 移概率，而在得到后面五种状态的初始概率时会需要考虑“过渡”的状态，得到初始概 率后就不用考虑“过渡”的状态了。 下面一幅图是一局的状态转移示意图：
马尔可夫链 应用分析举例 例 1：赌徒输光问题：
两个赌徒进行一系列赌博，在每一局赌博中甲获胜的概率是 p，乙获胜的概率是 1-p， 每一局后，负者要付一元给胜者。如果起始时甲有资本 a 元，乙有资本 b 元，a+b=c，两人 赌博直到甲输光或乙输光为止。 求甲输光的概率。 解： 第 n 时刻甲的资本为ξ，状态空间是 I： {0,1,2, L c} ， c = a &#随机游动
1．一局比赛的建模 问题：一局比赛共有多少个状态 很多，例如 15:0 就是一个状态，40:15 又是一个状态。还是回到我们分析比赛规则的目 的上来，我们是为了得到两名选手最终赢球与输球的概率，那么当一局比赛打到 30:40 的时 候， 如果选手 B 再取胜一球， 则 30:60， 选手 B 获胜， 而之前这局比赛到底是怎么打到 30:40 的并不是我们关心的问题，我们只关心一局比赛会打到 30:40 的概率（初始概率）以及之后 由状态 30:40 打到状态 30:60 的概率（转移概率） 。这是典型的马尔科夫链。 那么我们实际要做的事情就是如何确定比赛中对我们的分析有用的状态以及这些状态
根据边界条件，并迭代上式，可得：
f 0,0 − f 4,0
p 1 − ( )4 q ( f 0,0 − f1,0 ) =1= p 1− q p p ( )k − ( )4 q q ( f 0,0 − f1,0 ) = p 1− q
f k ,0 − f 4,0 = f k ,0
结合上述两式，可解得：
构造：
( p + q )u j = pu j +1 + qu j −1 p (u j − u j +1 ) = q(u j −1 − u j ) (u j − u j +1 ) =
定义
q (u j −1 − u j ) p q =r， p