随机过程-13吸收概率和吸收的期望时间

1 ... i1 1 ... m1

1 i 1 m

,


1
i m
,


1
aim

1 i 1 m
,



i m
,


1

1
• 如果一个人带了8元，目标是10元，p=1/2, • 则ρ=1，最终赢的概率是8/10. • 如果p=1/3,则ρ=(1-p)/p=2, • 某人带了9元，最终赢的概率为
a9

1 9 1 10
1 29 1 210
1
2
• 这个结果揭示了，如果ρ>1,也就是p<1/2,对
于赌徒每次赢得概率相对小，那么最终赢 得概率，不管初始资金是多少，随着m→∞ 趋近于0，这就表明，在不理想的概率下(每 次赢的概率小于输的概率),想赢取更大资金， 最终完全破产几乎是一定的。
• 平均吸收时间方程组：
• 平均吸收时间1, ...,m是下列方程组的唯一解
i 0, 对于所有的常返状态i,
m
i 1 pij j , 对于所有的非常返状态i,
j 1
• 关于i的方程组我们利用全期望定理得到。 从一个非常返状态i出发直到进入吸收状态所 需要的时间的期望值等于1加上从下一个状 态j出发直到进入吸收状态所需时间的加权平 均，权值恰好就是转移概率pij 。
a0m 0 aim (1 p)ai1,m pai1,m , i 1,...,m 1 amm 1
• 这些方程组可以通过多种方法求解，下面 利用一种比较简单的方法求解。
• 对于每一个aim，我们有
(1 p)(aim ai1,m ) p(ai1,m aim ), i 1,..., m 1
• 这个概率称为吸收概率，该吸收概率可以 通过解以下线性方程组得到：
吸收概率方程组
• 考虑一个马尔科夫链，它的每一个状态或 者是非常返的，或者是吸收的，并固定一 个吸收状态s。那么从状态i开始，最终达到 s的概率ais是下列方程组的唯一解：
ass 1, ais 0, 对于所有吸收状态i s
j 1
m
P( A | X1 j) pij，(马尔科夫性质）
j 1
m
a js pij j1
固定状态1，则
1 0 0 0
P

0.3

0 0
0.4 0.3 0
0.3 0.4 0
0
0.3 1

a11 1, a41 0 a21 0.3 a11 0.4 a210.3 a31 0 a41 a31 0 a11 0.3 a210.4 a31 0.3 a41
吸收概率和吸收的期望时间
• 1.如果如果一个马尔科夫链只有一个常返类， 加上一些可能存在的非常返状态，对每一 个状态j，处于状态j的概率rij(n)趋近于一个 独立于初始状态i的极限值.
• 2.如果有两个或多个常返类，则rij(n)的极限 值一定依赖于初始状态
• 3.如果马尔科夫链是有周期的，则rij(n)没有 极限值。
• 例如,下面的马尔科夫链可以进行如下分解： • 非常返集合D={1} • 两个常返类： • C1={2,3,4}；C2={5,6,7} • 合并之后变为：
• 如果只有一个吸收态k，那么稳态概率为1。 (因为其他所有状态为非常返的，稳态概率 都是0）。从任何一个初始的非常返状态出 发，将以概率1达到这个吸收态。
令
i (ai1,m aim ), i 0,..., m 1
以及 1 p
p
从而方程组变为 i i1 , i 1,..., m 1
由此可得
i i 0 , i 1,..., m 1
结合等式 0 1 ... m1 amm a0m 1
解得：
1 10 / 9
平均首访时间及回访时间
• 用于计算平均吸收时间的想法也可以用于 计算开始于任何其他状态，到达某特定常 返状态的平均时间。
• 为了简化，我们只考虑只有单个常返类的 马尔科夫链。
• 对于一个特定的常返状态s，令tis表示从状 态i到状态s的平均首访时间，定义为
tis=E[从状态i开始,首次达到状态s的转移步数]
a88 1
a98 0 a18 0.1a18 0.5a88 0.4a98
0.1a18 0.5
•
解得
a18

5 9
5
即从状态1出发，最终到达{2,3,4}的概率是 9
同理,从状态1出发最终到达{5,6,7}的概率是 4
9
8 9 0 1 1 0.110.5 80.4 9
• 利用事实
a16 0, a66 1
• 我们得到： a26 21/ 31, a36 29 / 31
• 因为只有两个吸收状态，所以：
a21 10 / 31, a31 2 / 31
• 例11 (赌徒破产问题)一个赌徒每局以概率p 赢一元，同时以概率1-p输掉一元。假设不 同的赌局之间是相互独立的。赌徒会一直 赌博直到资金到达某个目标总数m时，或 者输掉全部的钱。请问最终资金到达目标 m或者输掉他全部资金的概率是多少？
5
6
7ቤተ መጻሕፍቲ ባይዱ
0.5 0.5
0.5
C1上的平稳分布为 {0, 0.4, 0.2, 0.4, 0, 0, 0}
同理可求得C2上的平稳分布为 {0, 0, 0, 0, 1/3, 1/3, 1/3}
吸收概率： 把{2,3,4}看做状 态8，{5,6,7}看 做状态9，得到 方程组：
• 则到达{2,3,4}的概率为 下列方程组的解：
• 为了解决这个问题，考虑常返类{4,5}内的
可能转移不是实质性的，所以我们将它们 堪称单个吸收状态（称之为状态6）。现在 只需计算在新链中，最终进入状态6的概率
• 从非常返状态2和3，,最终达到6的概率满足 一下方程组：
a26 0.2a16 0.3a26 0.4a36 0.1a66 a36 0.2a26 0.8a66
?其中?当d1时则对一切ij有?????????否则0limsjndijngjidp?????10dssgcjnijnp??1lim????例例3?状态转移矩阵为212112311??????????????????????????01021021010p??????????????????????????????21021010210212ppp????????????????????????????010210210103????????????是偶数是奇数nnpn2101121211?np

0
0
0
0
0 0.5 0.5
求每一个不可约闭集的平稳分布及吸收概率、 平均吸收时间。
• 解 从状态转移图看出，状态空间可分解为两 个不可约常返闭集C1={2,3,4}和C2={5,6,7}，一 个非常返集N={1}。在常返集上求平稳分布。
在C1上，对应的转移概率矩阵为
0 0.5 0.5 P 0 0 1
平均吸收时间
• 从一个特定的非常返状态出发，直到到达 一个常返状态（我们称之为吸收）的平均 步数，称为平均吸收时间。
• 对于任何一个i，定义：
i E[从状态i开始，直到到达吸收状态所需的步数]
E[min{ n 0 | X n常返态} | X0 i]
• 注意如果i本身为常返态，根据定义， i 0
m
ais pija js , 对于所有非常返状态i j 1
• 由吸收概率的定义，很明显得到方程ass=1 以及对于所有吸收状态i≠s， ais=0
• 下面证明剩下的方程组。考虑一个非常返 状态i，令A表示状态s最终被达到的事件。 我们有：
ais P( A | X 0 i)
m
P( A | X0 i, X1 j)P( X1 j | X0 i)，(全概率公式）
• 我们有：
m
tis 1 pijtjs ,对所有的i s j 1
tss 0
• 该线性方程组能用于解未知的ti,并且只有 唯一解。
• 上述方程组给出了从任何其他状态开始， 达到状态s的平均时间。
• 我们也可以计算到达特殊状态s的平均回访 时间，定义为
• ts*=E[从状态s开始,首次回到状态s的转移步数] • =E[min{n≥1|Xn=s}|X0=s] • 只要我们具有首次访问时间ti，就可以通过以
解得
2
1
a21 3 , a31 3
同理，固定状态4，得
a 24
1 3
, a34

2 3
注意：a21a24 1,a31a34 1
1 0 0 0


pij
()


2/3 1/ 3
0
0 0 0
0 0 0
1/ 3
2/ 1
3
• 例10下图(a)有两个常返类{1}和{4,5}，我们 计算开始于一个非常返状态，最终进入常 返类{4,5}的概率。
• 可得 • 也就是
(1 ... m1 ) 0 1
0

1


1 ...

m1
• 因为 a0m 0 以及 ai1,m aim i
从一个状态i出发，最终赢的概率aim是
aim 0 1 ... i1 (1 ... i1 ) 0
• 例12(苍蝇和蜘蛛)我们计算苍蝇被捕捉的平 均步数。我们有：
1 m 0 i 1 0.3 i10.4 i0.3 i1,当i 2,..., m 1
• 当m=4的时候，方程组可以简化为
2 1 0.4 20.3 3, 3 1 0.3 20.4 3
• 本节介绍第二种情况，当存在两个或多个 常返类时，马尔科夫链的状态转移规律。
• 如果一个马尔科夫链有两个或多个常返类， 则pij(n)的极限值依赖于初始状态。
• 但当j是非常返状态时，pij(n)的极限值等于0
1 0 0 0


pij
()


2/3 1/ 3
0
0 0 0
0 0 0
• 解得
2 3
10 3
例4.18 设马尔可夫链转移概率矩阵为
0.1 0.1 0.2 0.2 0.4 0 0
0 0 0.5 0.5 0 0 0

0
0
0
1
0
0
0

P 0 1 0 0 0 0 0

0
0
0
0
0.5 0.5
0

0 0 0 0 0.5 0 0.5
平均吸收时间
• 对于一个马尔科夫链，我们不仅希望知道 从一个非常返状态出发，被某一个常返类 吸收的概率，还希望知道被吸收之前的转 移步数，被称为平均吸收时间。
• 例如，在苍蝇和蜘蛛的问题中，我们希望 知道一个苍蝇被吃掉之前，转移的步数，
• 赌博问题中，我们希望知道赌徒停止赌博 之前可以赌多长时间。
=E[min{n≥0| Xn=s}|X0=i] • 到达状态s之后的转移和计算平均首访时间
是没有关系的，所以，我们将特殊状态s看 成一个吸收状态(设定Pss=1,Psj=0对于所有 的j≠s),新的马尔科夫链本质上是和原来一 致的。通过这个转化，除了s外所有状态都 是非常返的。于是利用前面的公式，计算ti 相当于计算从状态i出发被吸收的平均步数。
• 解 我们建立马尔科夫链模型，状态i表示每 次赌局开始时，赌徒的资金。状态i=0和 i=m分别表示最终输和赢。
• 除了最终输和赢的状态是吸收的，其余状 态都是非常返的。所以问题变成对应计算 每个吸收态的吸收概率。这些吸收概率会 依赖于初始状态i的选取。
• 我们令s=m,且吸收概率asm表示从状态i出发， 最终赢得概率。那么概率满足
0.2 0.1 1 0.1 2 0.5 3
1 0
2 4 3 0.5 2 4 0.5 2 3 2 3 4 1
0


2 3

0.4 0.2
4 0.4
1 0.5
0.2
1
0.4
4
0.5
0.5 0.5
• 如果有多个吸收状态，那么经过若干步转 移，这个状态最后终将到达某个吸收态。 但具体到达哪一个吸收态，是随机的，并 且到达各吸收态的概率分布依赖于初始状 态。
吸收概率
• 现在固定一个吸收态，设为s，令ais表示链 从状态i开始，最终到达s的概率： ais =P(Xn最终等于吸收状态s|X0=i)
1/ 3
2/ 1
3

• 本节学习马尔科夫链的短期行为，考虑开 始于非常返状态的情形。
• 我们感兴趣的是 • 1.首次访问常返态的分布(吸收概率), • 2.对应的到达时间分布。
• 我们称一个状态为吸收状态，如果 pkk=1, pkj =0,对所有的j≠k
• 当我们我们讨论吸收概率和吸收的期望时 间的问题时，马尔科夫链到达常返态之后 的后续行为是不重要的.因此，我们可以把 一个常返类看作是一个吸收状态。