11-3

对任意固定的 j ( = 1, 2, 3, 4), 极限 lim pij ( n) 都不存在 .
n→ ∞
此链不具遍历性. 此链不具遍历性
在直线上带有反射壁的随机游动, 例4 在直线上带有反射壁的随机游动 如果质点只 能取1, 三个点, 能取 2, 3三个点 一步转移概率矩阵为 三个点
q P = q 0
使对任意的 ai , a j ∈ I , 都有
Pij ( m ) > 0, i , j = 1, 2,, N ,
则此链具有遍历性 , 且有极限分布 π = ( π1 , π 2 ,, π N ), 它是方程组 π = πP满足条件 π j > 0, ∑ π j = 1 的唯一解 .
j =1 N
�
可计算得 P ( 3) = P 3无零元 . 链是遍历的 链是遍历的.
极限分布 π = ( π 0 , π1 , π 2 , π 3 )满足方程组 :
π0 = (1 q)π0 + p(1 q)π1, π = qπ + [ pq + (1 p)(1 q)]π (1 q)π , 0 1 2 1 π2 = q(1 p)π1 + [ pq + (1 p)(1 q)]π2 + p(1 q)π3 , π = q(1 p)π + [ pq + 1 p)]π , 2 3 3 π0 + π1 + π2 + π3 = 1.
1. 求证遍历性即找一正整 数 m , 使 m 步转移概率
矩阵 P 无零元 .
m
2. 极限分布转化为了求解方程组 极限分布转化为了求解方程组. 3. 在定理的条件下马氏链的极限分布是平稳分布 在定理的条件下马氏链的极限分布是平稳分布.
三,应用举例
试说明带有两个反射壁的随机游动是遍历的, 例1 试说明带有两个反射壁的随机游动是遍历的 并求其极限分布(平稳分布). 并求其极限分布(平稳分布) 解
× × 4 P (4) = P = × 0 0
× × = × × ×
× × × × 0
× × × × ×
0 × × × ×
0 × 0 × × × × 0 × 0
× × × × 0
× × × × ×
0 × × × ×
0 0 × × ×
× × × × 无零元,链是遍历的 × × × × 无零元 链是遍历的 × × × × . × × × × × × × ×
结论 经过相当长的时间以后, 经过相当长的时间以后 系统中无人的情形 的时间, 而系统中有一人, 二人, 约占 14% 的时间 而系统中有一人, 二人, 三 的时间. 人的情形约各占 29% 的时间
例3 设一马氏链的一步转移概率阵为
0 1 / 2 0 1 / 2 1 / 2 0 1 / 2 0 , P= 0 1 / 2 0 1 / 2 1 / 2 0 1 / 2 0
出发, 态 i出发 通过长时间的转移到达状态 j 的概率都趋 出发
近于 π .
定义 设齐次马氏链的状态空 间为 I , 若对于所有
的ai , a j ∈ I , 转移概率 Pij ( n)存在极限
(不依赖于 i ) n→ ∞ π1 π 2 π π 2 1 或 P ( n) = P n → ( n→ ∞ ) π1 π 2 则称此链具有遍历性 遍历性. 则称此链具有遍历性
(以 × 代表转移概率矩阵的正 的元 )
0 × = 0 0 0 × 0 0 0 0 × × 0 0 × × × × 0 0 0 × × × 0 0 0 × 0 0 × 0 0 0 × × 0 0 × × × 0 0 × × × 0 0 × 0
P ( 2) = P 2
三,应用举例
ai , a j ∈ I , 转移概率 Pij ( n)存在极限
lim Pij ( n) = π j
n→ ∞
(不依赖于 i ),
则称此链具有遍历性. 则称此链具有遍历性
(有限链 遍历性的充分条件 有限链) 有限链
设齐次马氏链的状态空 间为 I = {a1 , a2 ,, a N },
P 是它的一步转移概率矩 阵 , 如果存在正整数 m ,
由前四个方程解得 : 3π1 = π 2 = π 3 = π 4 = 3π 5 .
归一条件), 代入最后一个方程 (归一条件 得唯一解 归一条件
π1 = π 5 = 1 / 11, π 2 = π 3 = π 4 = 3 / 11.
所以极限分布为
π = (1 / 11, 3 / 11, 3 / 11, 3 / 11, 1 / 11) .
+ pq 2 (1 q )(1 p ) + q 3 (1 p )2 .
若取 p = q = 1 / 2, 可得
π 0 = 1 / 7 ≈ 0.14, π1 = π 2 = π 3 = 2 / 7 ≈ 0.29 ,
极限分布为 π = (1 / 7, 2 / 7, 2 / 7, 2 / 7 ) .
试讨论它的遍历性. 试讨论它的遍历性 1 / 2 0 1 / 2 0 0 1 / 2 0 1 / 2 , 解 P ( 2) = P 2 = 1 / 2 0 1 / 2 0 0 1 / 2 0 1 / 2
当 n 为奇数时 , 当 n 为偶数时 ,
表明
P ( n) = P (1) = P , P ( n) = P ( 2).
j
lim Pij ( n) = π j
π j π j π j
若∑ π j = 1, 则称π = ( π1 , π 2 ,)为链的极限分布 .
二,(有限链)遍历性的充分条件 有限链)
设齐次马氏链的状态空 间为 I = { a1 , a2 ,, a N } ,
P 是它的一步转移概率矩 阵 , 如果存在正整数 m ,
三步转移概率矩阵
0 1 3 2 P = P P = 0 1 q 0
可推出 P 2 n1 = P ,
( 显然 lim pijn ) n→ ∞
p 0 = P, p
q 0 = 0 1 q 0 p 0 , p
P 2n
不存在,
因此此链不是遍历链. 因此此链不是遍历链
四,小结
遍历性的概念
设齐次马氏链的状态空 间为 I , 若对于所有的
极限分布 π = ( π1 , π 2 ,, π 5 )满足方程组 :
π1 = 1 / 3π 2 , π = π + 1 / 3π + 3 / π , 1 2 3 2 π 3 = 1 / 3π 2 + 1 / 3π 3 + 1 / 3π 4 π 4 = 1 / 3π 3 + 1 / 3π 4 + π 5 π 5 = 1 / 3π 4 , π 1 + π 2 + π 3 + π 4 + π 5 = 1.
试说明带有两个反射壁的随机游动是遍历的, 例1 试说明带有两个反射壁的随机游动是遍历的 并求其极限分布(平稳分布). 并求其极限分布(平稳分布) 解
(以 × 代表转移概率矩阵的正 的元 ) × × × 0 0 × × × × 0 2 P ( 2) = P = × × × × × , 0 × × × × 0 0 × × ×
使对任意的 ai , a j ∈ I , 都有
Pij ( m ) > 0, i , j = 1, 2,, N ,
则此链具有遍历性 , 且有极限分布 π = ( π1 , π 2 ,, π N ) , 它是方程组 π = πP 满足条件 π j > 0, ∑ π j = 1 的唯一解 .
j =1 N
说明
第三节
遍历性
一,遍历性的概念 二,(有限链)遍历性的充分条件 有限链) 三,应用举例 四,小结
一,遍历性的概念
对于一般的两个状态的马氏链, 由上节内容可知, 对于一般的两个状态的马氏链 由上节内容可知
当 0 < a , b < 1时, Pij ( n)有极限
b lim P00 ( n) = lim P10 ( n) = = π0 . n→ ∞ n→ ∞ a+b a lim P01 ( n) = lim P11 ( n) = = π1 . n→ ∞ n→ ∞ a+b 意义 对固定的状态 不管链在某一时刻的什么状 对固定的状态j,不管链在某一时刻的什么 不管链在某一时刻的什么状
解之, 解之 得唯一解
π 0 = p 3 (1 q )3 / C , π1 = p 2q(1 q )2 / C , π 2 = pq 2 (1 q((1 p ) / C , π 3 = q 3 (1 p )2 / C ,
其中 C = p 3 (1 q )3 + p 2q(1 q )2
1
在直线上带有完全反射壁的随机游动, 例5 在直线上带有完全反射壁的随机游动 如果质 点只能取1, 三个点, 点只能取 2, 3三个点 一步转移概率矩阵为 三个点
0 1 P = q 0 0 1
讨论它是否为遍历链. 讨论它是否为遍历链 解
p p , 0
q 2 + pq pq p2 二步转移 2 概率矩阵 P 2 = q 2 2 pq p , q2 pq q 2 + pq
这个分布表明 这个分布表明 经过长时间游动之后, 经过长时间游动之后 醉汉 Q 位于点 2 (或 3 或 4 ) 或 的概率约为 3/11, 位于点 1 (或 5) 的概率约为 1/11. 或
试说明排队模型中的链是遍历的, 例2 试说明排队模型中的链是遍历的 并求其极限 分布. 分布 解 由此问题的一步转移概率矩阵P 由此问题的一步转移概率矩阵 ,
讨论它是否为遍历链. 讨论它是否为遍历链 解
p 0 q
Hale Waihona Puke 0 p , p q 2 + pq pq p2 2 2 2 P = q 2 pq p , q2 pq q 2 + pq