a第12讲第四章马尔可夫链4
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
则此链具有遍历性 , 且有极限分布 π = ( π1 , π 2 ,L, π N ) , 它是方程组 π = πP 满足条件 π j > 0, ∑ π j = 1 的唯一解 .
j =1
9
N
江西理工大学理学院
说明
1. 求证遍历性即找一正整 数 m , 使 m 步转移概率
矩阵 P 无零元 .
m
2. 极限分布转化为了求解方程组. 3. 在定理的条件下马氏链的极限分布是平稳分布.
15
江西理工大学理学院
⎡× ⎢× ⎢ 4 P (4) = P = ⎢× ⎢0 ⎢ ⎢ ⎣0 ⎡× ⎢× ⎢ = ⎢× ⎢× ⎢ ⎢ ⎣×
× × 0 0⎤ × × × 0⎥ ⎥ × × × ×⎥ × × × ×⎥ ⎥ 0 × × ×⎥ ⎦
⎡× ⎢× ⎢ ⎢× ⎢0 ⎢ ⎢0 ⎣
× × 0 0⎤ × × × 0⎥ ⎥ × × × ×⎥ × × × ×⎥ ⎥ 0 × × ×⎥ ⎦
⎧0, 如j非常返或零常返 , ⎪ = ⎨ f ij ⎪ µ , 如正常返 ⎩ j
推论 如{Xn}不可约、常返,则对任意 i, j有
1 n (k ) 1 lim ∑ pij = n→∞ n µj k =1
6
江西理工大学理学院
二、平稳分布
定义 4.11 称概率分布{π i , i ∈ I }为马尔可夫链{ X n , n ≥ 0} 的平稳分布,若它满足
π =π ⋅P
1 0 0 0 ⎤ ⎡ 0 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = ⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ ⎢ ⎥ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎢ 0 0 0 1 0 ⎥ ⎣ ⎦
由前四个方程解得 : 3π 1 = π 2 = π 3 = π 4 = 3π 5 .
p 2⎡ p p 2⎤ π 3 = ( ) ⎢1 + + ( ) ⎥ q ⎣ q q ⎦
−1
22
江西理工大学理学院
例5 在直线上带有完全反射壁的随机游动, 如果质 点只能取1, 2, 3三个点, 一步转移概率矩阵为
⎡0 1 P = ⎢q 0 ⎢ ⎢ ⎣0 1 0⎤ p⎥ , ⎥ 0⎥ ⎦
讨论它是否为遍历链. 解 二步转移 概率矩阵
4
江西理工大学理学院
定 理 4.14 如 j 正常返,周期为 d ,则对任意 i 及 0 ≤ r ≤ d − 1有 d ( nd + r ) lim pij = f ij ( r )
n→ ∞
µj
5
江西理工大学理学院
定理 4.15
对任意状态 i , j , 有
1 n (k ) lim ∑ pij n → ∞ n k =1
即 lim pij
n→ ∞
i∈I (n)
是否存在 ? 若存在,其极限是否与 i 有关 ?
对于( 2)实际上是一个平稳分布 是否存在的问题。 这两个问题有密切联系 。
1
江西理工大学理学院
在马氏链理论中,有关 这类问题的定理,统称 为 遍历定理。 一. pij ( n)的渐近性质
1. j是非常返或零常返的情 况
p⎤ 0 ⎥, ⎥ p⎥ ⎦不存在,因此此链不是来自历链.2411
江西理工大学理学院
5 1 2 3 4 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
19
江西理工大学理学院
当 n 为奇数时 , 当 n 为偶数时 ,
P ( n) = P (1) = P , P ( n) = P ( 2).
表明
对任意固定的 j ( = 1, 2, 3, 4), 极限 lim pij ( n) 都不存在 .
n→ ∞
此链不具遍历性.
20
江西理工大学理学院
例4 在直线上带有反射壁的随机游动, 如果质点只 能取1, 2, 3三个点, 一步转移概率矩阵为
§4.4 p ( n)的渐近性质与平稳分布 ij
江西理工大学理学院
在实际应用中,人们常关心的问题有两个:
(1)当n → ∞时,p{X n = j} = p j (n )的极限是否存在?
( 2)在什么条件下,一个马 尔可夫链是一个平稳序 列?
由于p j ( n) = ∑ pi (0) pij ( n ) , 故可转化为研究 pij ( n )的渐近性质
18
江西理工大学理学院
例3 设一马氏链的一步转移概率阵为
⎡ 0 1 / 2 0 1 / 2⎤ ⎢1 / 2 0 1 / 2 0 ⎥ ⎥, P=⎢ ⎢ 0 1 / 2 0 1 / 2⎥ ⎢1 / 2 0 1 / 2 0 ⎥ ⎦ ⎣
试讨论它的遍历性. ⎡1 / 2 0 1 / 2 0 ⎤ ⎢ 0 1 / 2 0 1 / 2⎥ ⎥, 解 P ( 2) = P 2 = ⎢ ⎢1 / 2 0 1 / 2 0 ⎥ ⎢ 0 1 / 2 0 1 / 2⎥ ⎦ ⎣
7
江西理工大学理学院
定理4.16 不可约非周期马尔可夫链是正常返的充要条件 是存在平稳分布,且此分布就是极限分布{
1
µj
, j ∈ I}
推论1 有限状态的不可约非周期马尔可夫链必存在平 稳分布。
推论2 若不可约马尔可夫链的所有状态是非常返或零常 返的,则不存在平稳分布。
推论3 {π j , j ∈ I } 是不可约非周期马尔可夫链的平稳分 布,则 lim p j ( n) =
⎡q P = ⎢q ⎢ ⎢0 ⎣ p 0 q 0⎤ p⎥ , ⎥ p⎥ ⎦
讨论它是否为遍历链. 解
⎡q 2 + pq pq p2 ⎤ ⎥ ⎢ 2 2 2 P =⎢ q p ⎥, 2 pq ⎢ q2 pq q 2 + pq ⎥ ⎣ ⎦
21
江西理工大学理学院
由于
pij
( 2)
> 0,
n→ ∞
lim pij ( n ) = π j , ( j = 1, 2, 3) 所以此链是遍历链. 由 π =π P 得
代入最后一个方程 (归一条件), 得唯一解
17
江西理工大学理学院
π1 = π 5 = 1 / 11, π 2 = π 3 = π 4 = 3 / 11.
所以极限分布为
π = (1 / 11, 3 / 11, 3 / 11, 3 / 11, 1 / 11) .
这个分布表明 经过长时间游动之后, 醉汉 Q 位于点 2 (或 3 或 4 ) 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11.
10
江西理工大学理学院
应用举例
例 1 一维随机游动 一随机游动的质点 在如图所示直线的点集
I = {1,2,3,4,5}上作随机游动 , 并且仅仅在1秒、秒 2 等时刻发生游动 . 1 2 游动的概率规则
3
4
5
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
n→ ∞
1
µj
=πj
8
江西理工大学理学院
(有限链)遍历性的充分条件
设齐次马氏链的状态空 间为 I = { a1 , a2 ,L, a N } , P 是它的一步转移概率矩 阵 , 如果存在正整数 m ,
使对任意的 ai , a j ∈ I , 都有
Pij ( m ) > 0, i , j = 1, 2,L, N ,
江西理工大学理学院
推论 1 有限状态的马氏链,不可能全是非常返状态, 也不可能含有零常返状态,从而不可约的有限马氏链 必为正常返的
I = {0,1,2, , N },
∀n,= 1
pij ( n ) → 0 (n → ∞ ) 矛盾 ∑
j =0
N
推论 2 如马氏链有一个零常返状态,则必有无穷多 个零常返状态.
⎧qπ1 + qπ2 = π1 ⎪ pπ + qπ = π ⎪ 1 3 2 ⎨ ⎪ pπ2 + pπ3 = π3 ⎪π1 + π2 + π3 = 1 ⎩
p p 2⎤ ⎡ π1 = ⎢1 + + ( ) ⎥ q q ⎦ ⎣
−1
p⎡ p p 2⎤ π 2 = ⎢1 + + ( ) ⎥ q⎣ q q ⎦
−1
∴ 右边第一项 → 0;再令 N → ∞,由于 ∑ f ij ⇒
k = N +1 n= 0 n→ ∞ ∞ (k )
≤ 1,
∑
∞
f ij ( k ) → 0,N → ∞,故 lim
n→ ∞
k =1 pij ( n )
= 0。
3
定理 4.13
如 j 非常返或零常返,则
n→ ∞ ( lim pijn ) = 0, ∀i ∈ I
13
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 )
⎡0 ⎢× ⎢ P ( 2) = P 2 = ⎢0 ⎢0 ⎢ ⎢0 ⎣
× 0 0 0⎤ ⎡0 × × 0 0⎥ ⎢× ⎥⎢ × × × 0⎥ ⎢0 0 × × ×⎥ ⎢0 ⎥⎢ 0 0 × 0⎥ ⎢0 ⎦⎣
⎡q 0 P 2 = ⎢0 1 ⎢ ⎢ ⎣q 0 p⎤ 0 ⎥, ⎥ p⎥ ⎦
23
江西理工大学理学院
三步转移概率矩阵
⎡0 1 P 3 = P 2 P = ⎢q 0 ⎢ ⎢ ⎣0 1 0⎤ p⎥ = P , ⎥ 0⎥ ⎦
可推出 P 2n−1 = P,
( 显然 lim pijn ) n→ ∞
P 2n
⎡q 0 = ⎢0 1 ⎢ ⎢q 0 ⎣
× × × ×⎤ × × × ×⎥ 无零元,链是遍历的 ⎥ × × × ×⎥ . × × × ×⎥ ⎥ × × × ×⎥ ⎦
16
江西理工大学理学院
极限分布 π = ( π1 , π 2 ,L, π 5 )满足方程组 :
⎧ π1 = 1 / 3π 2 , ⎪ π = π + 1 / 3π + 3 / π , 1 2 3 ⎪ 2 ⎪ π 3 = 1 / 3π 2 + 1 / 3π 3 + 1 / 3π 4 ⎨ ⎪ π 4 = 1 / 3π 3 + 1 / 3π 4 + π 5 ⎪ π 5 = 1 / 3π 4 , ⎪ ⎩ π 1 + π 2 + π 3 + π 4 + π 5 = 1.
2
3
4
5
12
江西理工大学理学院
1 2 3 一步转移概率矩阵
4
5
1 2 3 4 5 1⎡ 0 1 0 0 0 ⎤ 2 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = 3⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ 4⎢ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎥ 5⎢ 0 0 0 1 0 ⎥ ⎦ ⎣
⎧π j = ∑ π i pij ⎪ i∈I ⎨ ⎪ ∑ π j = 1, π j ≥ 0 ⎩ j∈I
π = πP
∑π j = 1
j∈I
⎡ p11 ⎢p 21 L π n ) = (π 1 π 2 L π n )⎢ (π 1 π 2 ⎢L ⎢p ⎣ n1
p12 p22 L pn 2
L L L L
p1n ⎤ p2 n ⎥ ⎥ L⎥ pnn ⎥ ⎦
× × × 0 0
0 × × × 0
0 0 × × ×
0⎤ 0⎥ ⎥ 0⎥ ×⎥ ⎥ 0⎥ ⎦
14
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 ) ⎡× × × 0 0⎤ ⎢× × × × 0⎥ ⎢ ⎥ 2 P ( 2) = P = ⎢× × × × ×⎥ , ⎢ 0 × × × ×⎥ ⎢ ⎥ ⎢ ⎣ 0 0 × × ×⎥ ⎦
定理4.13:设j为非常返或零常返,则 对一切 i,有
n→ ∞
lim pij ( n ) = 0
∀i ∈ I
证:由前面定理,对 1 ≤ N < n有
pij ( n ) = ≤
k =1 f ij ( k ) p jj ( n− k )
∑
n
f ij ( k ) p jj ( n− k ) +
k =1
∑
N
k = N +1
∑
n
f ij ( k )
2
pij ( n ) = ≤
k =1
∑
n
江西理工大学理学院
f ij ( k ) p jj ( n− k )
k =1
∑
N
f ij ( k ) p jj ( n− k ) +
k = N +1
∑
n
f ij ( k )
P 62, TH 4.7 推论
固定N,先令 n → ∞,若j为零常返,则 lim p jj ( n ) = 0 n→ ∞ TH 4.5 ∞ 若j为非常返,由 ∑ p jj ( n ) < ∞ ⇒ lim p jj ( n ) = 0
j =1
9
N
江西理工大学理学院
说明
1. 求证遍历性即找一正整 数 m , 使 m 步转移概率
矩阵 P 无零元 .
m
2. 极限分布转化为了求解方程组. 3. 在定理的条件下马氏链的极限分布是平稳分布.
15
江西理工大学理学院
⎡× ⎢× ⎢ 4 P (4) = P = ⎢× ⎢0 ⎢ ⎢ ⎣0 ⎡× ⎢× ⎢ = ⎢× ⎢× ⎢ ⎢ ⎣×
× × 0 0⎤ × × × 0⎥ ⎥ × × × ×⎥ × × × ×⎥ ⎥ 0 × × ×⎥ ⎦
⎡× ⎢× ⎢ ⎢× ⎢0 ⎢ ⎢0 ⎣
× × 0 0⎤ × × × 0⎥ ⎥ × × × ×⎥ × × × ×⎥ ⎥ 0 × × ×⎥ ⎦
⎧0, 如j非常返或零常返 , ⎪ = ⎨ f ij ⎪ µ , 如正常返 ⎩ j
推论 如{Xn}不可约、常返,则对任意 i, j有
1 n (k ) 1 lim ∑ pij = n→∞ n µj k =1
6
江西理工大学理学院
二、平稳分布
定义 4.11 称概率分布{π i , i ∈ I }为马尔可夫链{ X n , n ≥ 0} 的平稳分布,若它满足
π =π ⋅P
1 0 0 0 ⎤ ⎡ 0 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = ⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ ⎢ ⎥ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎢ 0 0 0 1 0 ⎥ ⎣ ⎦
由前四个方程解得 : 3π 1 = π 2 = π 3 = π 4 = 3π 5 .
p 2⎡ p p 2⎤ π 3 = ( ) ⎢1 + + ( ) ⎥ q ⎣ q q ⎦
−1
22
江西理工大学理学院
例5 在直线上带有完全反射壁的随机游动, 如果质 点只能取1, 2, 3三个点, 一步转移概率矩阵为
⎡0 1 P = ⎢q 0 ⎢ ⎢ ⎣0 1 0⎤ p⎥ , ⎥ 0⎥ ⎦
讨论它是否为遍历链. 解 二步转移 概率矩阵
4
江西理工大学理学院
定 理 4.14 如 j 正常返,周期为 d ,则对任意 i 及 0 ≤ r ≤ d − 1有 d ( nd + r ) lim pij = f ij ( r )
n→ ∞
µj
5
江西理工大学理学院
定理 4.15
对任意状态 i , j , 有
1 n (k ) lim ∑ pij n → ∞ n k =1
即 lim pij
n→ ∞
i∈I (n)
是否存在 ? 若存在,其极限是否与 i 有关 ?
对于( 2)实际上是一个平稳分布 是否存在的问题。 这两个问题有密切联系 。
1
江西理工大学理学院
在马氏链理论中,有关 这类问题的定理,统称 为 遍历定理。 一. pij ( n)的渐近性质
1. j是非常返或零常返的情 况
p⎤ 0 ⎥, ⎥ p⎥ ⎦不存在,因此此链不是来自历链.2411
江西理工大学理学院
5 1 2 3 4 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
19
江西理工大学理学院
当 n 为奇数时 , 当 n 为偶数时 ,
P ( n) = P (1) = P , P ( n) = P ( 2).
表明
对任意固定的 j ( = 1, 2, 3, 4), 极限 lim pij ( n) 都不存在 .
n→ ∞
此链不具遍历性.
20
江西理工大学理学院
例4 在直线上带有反射壁的随机游动, 如果质点只 能取1, 2, 3三个点, 一步转移概率矩阵为
§4.4 p ( n)的渐近性质与平稳分布 ij
江西理工大学理学院
在实际应用中,人们常关心的问题有两个:
(1)当n → ∞时,p{X n = j} = p j (n )的极限是否存在?
( 2)在什么条件下,一个马 尔可夫链是一个平稳序 列?
由于p j ( n) = ∑ pi (0) pij ( n ) , 故可转化为研究 pij ( n )的渐近性质
18
江西理工大学理学院
例3 设一马氏链的一步转移概率阵为
⎡ 0 1 / 2 0 1 / 2⎤ ⎢1 / 2 0 1 / 2 0 ⎥ ⎥, P=⎢ ⎢ 0 1 / 2 0 1 / 2⎥ ⎢1 / 2 0 1 / 2 0 ⎥ ⎦ ⎣
试讨论它的遍历性. ⎡1 / 2 0 1 / 2 0 ⎤ ⎢ 0 1 / 2 0 1 / 2⎥ ⎥, 解 P ( 2) = P 2 = ⎢ ⎢1 / 2 0 1 / 2 0 ⎥ ⎢ 0 1 / 2 0 1 / 2⎥ ⎦ ⎣
7
江西理工大学理学院
定理4.16 不可约非周期马尔可夫链是正常返的充要条件 是存在平稳分布,且此分布就是极限分布{
1
µj
, j ∈ I}
推论1 有限状态的不可约非周期马尔可夫链必存在平 稳分布。
推论2 若不可约马尔可夫链的所有状态是非常返或零常 返的,则不存在平稳分布。
推论3 {π j , j ∈ I } 是不可约非周期马尔可夫链的平稳分 布,则 lim p j ( n) =
⎡q P = ⎢q ⎢ ⎢0 ⎣ p 0 q 0⎤ p⎥ , ⎥ p⎥ ⎦
讨论它是否为遍历链. 解
⎡q 2 + pq pq p2 ⎤ ⎥ ⎢ 2 2 2 P =⎢ q p ⎥, 2 pq ⎢ q2 pq q 2 + pq ⎥ ⎣ ⎦
21
江西理工大学理学院
由于
pij
( 2)
> 0,
n→ ∞
lim pij ( n ) = π j , ( j = 1, 2, 3) 所以此链是遍历链. 由 π =π P 得
代入最后一个方程 (归一条件), 得唯一解
17
江西理工大学理学院
π1 = π 5 = 1 / 11, π 2 = π 3 = π 4 = 3 / 11.
所以极限分布为
π = (1 / 11, 3 / 11, 3 / 11, 3 / 11, 1 / 11) .
这个分布表明 经过长时间游动之后, 醉汉 Q 位于点 2 (或 3 或 4 ) 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11.
10
江西理工大学理学院
应用举例
例 1 一维随机游动 一随机游动的质点 在如图所示直线的点集
I = {1,2,3,4,5}上作随机游动 , 并且仅仅在1秒、秒 2 等时刻发生游动 . 1 2 游动的概率规则
3
4
5
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
n→ ∞
1
µj
=πj
8
江西理工大学理学院
(有限链)遍历性的充分条件
设齐次马氏链的状态空 间为 I = { a1 , a2 ,L, a N } , P 是它的一步转移概率矩 阵 , 如果存在正整数 m ,
使对任意的 ai , a j ∈ I , 都有
Pij ( m ) > 0, i , j = 1, 2,L, N ,
江西理工大学理学院
推论 1 有限状态的马氏链,不可能全是非常返状态, 也不可能含有零常返状态,从而不可约的有限马氏链 必为正常返的
I = {0,1,2, , N },
∀n,= 1
pij ( n ) → 0 (n → ∞ ) 矛盾 ∑
j =0
N
推论 2 如马氏链有一个零常返状态,则必有无穷多 个零常返状态.
⎧qπ1 + qπ2 = π1 ⎪ pπ + qπ = π ⎪ 1 3 2 ⎨ ⎪ pπ2 + pπ3 = π3 ⎪π1 + π2 + π3 = 1 ⎩
p p 2⎤ ⎡ π1 = ⎢1 + + ( ) ⎥ q q ⎦ ⎣
−1
p⎡ p p 2⎤ π 2 = ⎢1 + + ( ) ⎥ q⎣ q q ⎦
−1
∴ 右边第一项 → 0;再令 N → ∞,由于 ∑ f ij ⇒
k = N +1 n= 0 n→ ∞ ∞ (k )
≤ 1,
∑
∞
f ij ( k ) → 0,N → ∞,故 lim
n→ ∞
k =1 pij ( n )
= 0。
3
定理 4.13
如 j 非常返或零常返,则
n→ ∞ ( lim pijn ) = 0, ∀i ∈ I
13
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 )
⎡0 ⎢× ⎢ P ( 2) = P 2 = ⎢0 ⎢0 ⎢ ⎢0 ⎣
× 0 0 0⎤ ⎡0 × × 0 0⎥ ⎢× ⎥⎢ × × × 0⎥ ⎢0 0 × × ×⎥ ⎢0 ⎥⎢ 0 0 × 0⎥ ⎢0 ⎦⎣
⎡q 0 P 2 = ⎢0 1 ⎢ ⎢ ⎣q 0 p⎤ 0 ⎥, ⎥ p⎥ ⎦
23
江西理工大学理学院
三步转移概率矩阵
⎡0 1 P 3 = P 2 P = ⎢q 0 ⎢ ⎢ ⎣0 1 0⎤ p⎥ = P , ⎥ 0⎥ ⎦
可推出 P 2n−1 = P,
( 显然 lim pijn ) n→ ∞
P 2n
⎡q 0 = ⎢0 1 ⎢ ⎢q 0 ⎣
× × × ×⎤ × × × ×⎥ 无零元,链是遍历的 ⎥ × × × ×⎥ . × × × ×⎥ ⎥ × × × ×⎥ ⎦
16
江西理工大学理学院
极限分布 π = ( π1 , π 2 ,L, π 5 )满足方程组 :
⎧ π1 = 1 / 3π 2 , ⎪ π = π + 1 / 3π + 3 / π , 1 2 3 ⎪ 2 ⎪ π 3 = 1 / 3π 2 + 1 / 3π 3 + 1 / 3π 4 ⎨ ⎪ π 4 = 1 / 3π 3 + 1 / 3π 4 + π 5 ⎪ π 5 = 1 / 3π 4 , ⎪ ⎩ π 1 + π 2 + π 3 + π 4 + π 5 = 1.
2
3
4
5
12
江西理工大学理学院
1 2 3 一步转移概率矩阵
4
5
1 2 3 4 5 1⎡ 0 1 0 0 0 ⎤ 2 ⎢1 / 3 1 / 3 1 / 3 0 0 ⎥ ⎢ ⎥ P = 3⎢ 0 1/ 3 1/ 3 1/ 3 0 ⎥ 4⎢ 0 0 1 / 3 1 / 3 1 / 3⎥ ⎢ ⎥ 5⎢ 0 0 0 1 0 ⎥ ⎦ ⎣
⎧π j = ∑ π i pij ⎪ i∈I ⎨ ⎪ ∑ π j = 1, π j ≥ 0 ⎩ j∈I
π = πP
∑π j = 1
j∈I
⎡ p11 ⎢p 21 L π n ) = (π 1 π 2 L π n )⎢ (π 1 π 2 ⎢L ⎢p ⎣ n1
p12 p22 L pn 2
L L L L
p1n ⎤ p2 n ⎥ ⎥ L⎥ pnn ⎥ ⎦
× × × 0 0
0 × × × 0
0 0 × × ×
0⎤ 0⎥ ⎥ 0⎥ ×⎥ ⎥ 0⎥ ⎦
14
江西理工大学理学院
例2 试说明带有两个反射壁的随机游动是遍历的, 并求其极限分布(平稳分布). 解
(以 × 代表转移概率矩阵的正 的元 ) ⎡× × × 0 0⎤ ⎢× × × × 0⎥ ⎢ ⎥ 2 P ( 2) = P = ⎢× × × × ×⎥ , ⎢ 0 × × × ×⎥ ⎢ ⎥ ⎢ ⎣ 0 0 × × ×⎥ ⎦
定理4.13:设j为非常返或零常返,则 对一切 i,有
n→ ∞
lim pij ( n ) = 0
∀i ∈ I
证:由前面定理,对 1 ≤ N < n有
pij ( n ) = ≤
k =1 f ij ( k ) p jj ( n− k )
∑
n
f ij ( k ) p jj ( n− k ) +
k =1
∑
N
k = N +1
∑
n
f ij ( k )
2
pij ( n ) = ≤
k =1
∑
n
江西理工大学理学院
f ij ( k ) p jj ( n− k )
k =1
∑
N
f ij ( k ) p jj ( n− k ) +
k = N +1
∑
n
f ij ( k )
P 62, TH 4.7 推论
固定N,先令 n → ∞,若j为零常返,则 lim p jj ( n ) = 0 n→ ∞ TH 4.5 ∞ 若j为非常返,由 ∑ p jj ( n ) < ∞ ⇒ lim p jj ( n ) = 0