随机过程讲义3

n= 1
∑ P { Tij = n
∞
∑
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
三、马氏链的分类
4.分类：（状态） 4.分类：（状态） 分类：（状态 1).状态 i 为常返的, 若 f ii = 1 状态 为常返的 2).状态 i 为非常返的 若 f ii < 1 状态 为非常返的, a . i为正常返的， 若 µ i < ∞ 3).常返状态的细分类： 为正常返的， 常返状态的细分类： 常返状态的细分类 为零常返的， b . i为零常返的， 若 µ i = ∞
随机过程
§2.3. 状态空间的分解
二、状态空间的一些性质
6.状态同一性定理： 状态同一性定理： 状态同一性定理 不可约马氏链的全部状态是同一类的， 不可约马氏链的全部状态是同一类的，是正常 零常返或非常返之一。 返、零常返或非常返之一。 7.最终到达定理： 最终到达定理： 最终到达定理 ∀ 当不可约马氏链是常返的时， i , j ∈ I ， 当不可约马氏链是常返的时， 有 f ij = 1 。 即从 ∀i 最终一定能到达 ∀j 。
n= 1
2).状态 j 非常返 状态
⇔
n= 1
∑
∞
(n) p jj
<∞
为常返态的情况下： 在 j 为常返态的情况下： lim p (jjn ) > 0 3).状态 j 为正常返 ⇔ 状态 n→ ∞ 4).状态 j 为零常返 ⇔ lim p (jjn ) = 0 状态
n→ ∞
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
三、马氏链的分类
2.辅助概念： 2.辅助概念： 辅助概念 f ij( n ) = P { Tij = n X0 = i } ， b. 出发， 的概率。 即系统从 i 出发，经过 n 步首次到达 j 的概率。 X0 = i } ， c. f ij = P { Tij < ∞ 出发， 一次（ 即系统从 i 出发，至少到达 j 一次（最终能到 j ）的概率。 的概率。 注：j = i 时，为返回 i 的概率
随机过程
Leabharlann Baidu
§2.3. 状态空间的分解
二、状态空间的一些性质
4.分解定理： 分解定理： 分解定理 任一马氏链的状态空间可分解为如下不相交子集 之和。 之和。 I = N + C1 + C2 + … N 为全部非常返态构成的子集，Ci ( i = 1 , 2 , … ) 为全部非常返态构成的子集， 是互不相交的常返态构成的闭集。 是互不相交的常返态构成的闭集。 5.子链定理： 子链定理： 子链定理 将马氏链限定在任一状态闭子集上时， 将马氏链限定在任一状态闭子集上时，还是马氏 链。
随机过程
§2.3. 状态空间的分解
一、概念 { X n } X n ∈ I 为马氏链
2.不可约马氏链 -—— 全部状态互通的马氏链。 不可约马氏链 全部状态互通的马氏链。 1).原始定义： 原始定义： 原始定义 以外， 的子集是闭集， 除 I 以外，没有 I 的子集是闭集，则 { X n }称为 不可约马氏链。 不可约马氏链。 2).等价定义： 等价定义： 等价定义 ( ∀i , j ∈ I ，有 n > 0 ，使 pijn ) > 0 不可约马氏链在分类上是同一类， 即：不可约马氏链在分类上是同一类，在分解 时又不可分。 时又不可分。 3).最小闭集：一个吸收状态 最小闭集： 最小闭集 4).最大闭集：I 最大闭集： 最大闭集
随机过程
§2.4 非常返状态运动分析
二、基本概念： 基本概念：
1.吸收概率： 吸收概率： 吸收概率 为常返态， 若 j 为常返态，则从状态 i 出发首次到达 j 的概率 fij 称为 i 到达 j 的吸收概率。 的吸收概率。 显然 1). f ij = P { Tij < ∞ X0 = i } 1 2).若 i ∈ C 则 f ij = 若 0 3).若 i ∉ C 则 f ij = ? 若 i ∈Cj i ∉Cj
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
四、状态常返性的判定
1.有限步状态转移概率与首次到达概率之间的关系 1.有限步状态转移概率与首次到达概率之间的关系
∀i , j ∈ I ， ∀ 1 ≤ n < ∞ ，有
( pijn ) = ∑ f ij( l ) p (jjn − l ) = f ij( n ) + l =1 n n−1 l =1
五、关于状态常返与非常返的解释
1.状态 常返： 出发， 1.状态 j 常返：系统从 j 出发，可能无穷次返 回 j ,而且必然早晚返回 j 。 2.状态 非常返： 出发， 2.状态 j 非常返：系统从 j 出发，返回 j 只能 有限次， 有限次，最终不一定返回 j 。
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
一、状态之间的关系
假定马氏链： 假定马氏链： { X n , n ≥ 0 } I = { 1 ,2 ,..., n ,...} 已知： P = ( p ij ) P0 = { p i } 已知：
(n) ( 1.状态 i 可到状态 j ：i → j ) 有 n ≥ 1 ，使 p ij > 0 状态
随机过程
§2.3. 状态空间的分解
二、状态空间的一些性质
1.闭集运算的封闭性。 闭集运算的封闭性。 闭集运算的封闭性 闭集 + 闭集 + … = 闭集 2.有限状态不可约马氏链是常返链 —— 即所有状态 有限状态不可约马氏链是常返链 为常返态。 为常返态。 3.闭集定理： 闭集定理： 闭集定理 所有常返态构成一个闭集。 所有常返态构成一个闭集。即从常返态出发只能 到达常返态。 到达常返态。
p (jjn − l ) f ij( l ) ∑
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
四、状态常返性的判定
) 的递推求法： 2. f ij( n 的递推求法：
f ij( n )
=
( pijn )
−
n−1 l =1
∑
f ij( l ) p (jjn − l )
递推过程： 递推过程： (1) ( f ij = pij ， f ij( 2 ) = pij 2 ) − f ij( 1 ) p jj ，
( 1.到达传递性：若 ( i → k ) ， k → j ) ，则 ( i → j ) 到达传递性： 到达传递性 ( ( ( 进一步： 进一步： i → k 1 ) ，k 1 → k 2 )，…，k n → j ) ，则 ( i → j ) ， 2.互通对称性：若 ( i ↔ j ) ，则 ( j ↔ i ) 互通对称性： 互通对称性 ( 3.互通传递性：若 ( i ↔ k ) ， k ↔ j )，则 ( i ↔ j ) 互通传递性： 互通传递性 ( ( ( 进一步： 进一步： i ↔ k 1 )，k 1 ↔ k 2 )，…，k n ↔ j ) ，则 ( i ↔ j ) ，
2.状态 i 不可到状态 j ：( i a j ) ∀n ≥ 0 状态 4.例： 例 P44. 例1 、例2
(n) p ij
= 0，
( 3.i 与 j 互通 ： i ↔ j ) 若 ( i → j ) ，且 ( j → i )
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
二、状态关联的性质
µ i = ∑ nf ii( n )
n= 1
∞
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
三、马氏链的分类
的分解： 3. f ij 的分解：
∞
f ij = P { Tij < ∞
=
X0 = i } = P{
X0 = i } =
n= 1
∞
UTij = n
(n) f ij ， n= 1
X0 = i }
随机过程
§2.3. 状态空间的分解
例子。 三、例子。 P57. 例2 ； P59. 例5
随机过程
§2.4 非常返状态运动分析
一、背景 I=N+C
1.从常返状态出发时，只能在常返闭集内运动。 从常返状态出发时，只能在常返闭集内运动。 从常返状态出发时 2.从非常返态出发时 从非常返态出发时 1).若 N 有限，则必会最终进入常返态闭集而不 若 有限， 返回 N 。 2).若 N 无限 若 a. 可能总在 N 中运动。 中运动。 b. 一旦进入 C ，不再返回。 不再返回。 那么从非常返态转移到常返态（ 那么从非常返态转移到常返态（或进入到 C ） 的概率统计性质是什么？ 的概率统计性质是什么？
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
三、马氏链的分类
1.同类： 1.同类： 同类 马氏链的所有状态构成一个集合， 马氏链的所有状态构成一个集合，其中互通状态 元素）的全体为同一类（ （元素）的全体为同一类（它们有某种相同的概 率属性）。 率属性）。 2.辅助概念 辅助概念： 2.辅助概念： a.首次到达时间： 首次到达时间： 首次到达时间 T X 0 = i , X n = j,n ≥ 1 } i , j ∈ I ， ij = min{ n 出发， 的时间。 即系统从 X 0 = i 出发，首次到达 j 的时间。
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
马氏链中有可数无穷（或有限）个状态， 马氏链中有可数无穷（或有限）个状态，可按 某种规律分类，同类的状态有相同的概率属性，可 某种规律分类，同类的状态有相同的概率属性， 以在概率意义上研究马氏链的运动规律。 以在概率意义上研究马氏链的运动规律。
随机过程
§2.3. 状态空间的分解
一、概念
{ X n } X n ∈ I 为马氏链
1.闭集 可进不可出的子集。 1.闭集 —— 可进不可出的子集。 1).原始定义： 原始定义： 原始定义 C ⊂ I ，若对 ∀j ∉ C 及 ∀i ∈ C 都有 i a j ， ( 为闭集。 即 ∀n ，pijn ) = 0 ，则称 C 为闭集。 2).等价定义： 等价定义： 等价定义 出发，无论转移多少步， 从 C 内任意状态 i 出发，无论转移多少步，都 无法达到 C 以外的任何状态 j 。
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
三、马氏链的分类
2.辅助概念： 2.辅助概念： 辅助概念 d.平均首次到达时间： 平均首次到达时间： 平均首次到达时间
µ ij = E { Tij } = ∑ nf ij( n )
n= 1
∞
e.平均首次返回时间： 平均首次返回时间： 平均首次返回时间
( f ij( 3 ) = pij 3 ) − f ij( 1 ) p (jj2 ) − f ij( 2 ) p jj ，…
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
四、状态常返性的判定
3.判定定理： 判定定理： 判定定理 ∞ 1).状态 j 常返的充要条件：∑ p(jjn ) = ∞ 状态 常返的充要条件：
随机过程
§2.2马氏链的状态分类 2.2马氏链的状态分类
六、互通的状态有相同常返性，即使同一类。 互通的状态有相同常返性，即使同一类。
例： P53，例5 ，
注：有相同常返性的状态，i ，j ，不一定有 i ↔ j 。 有相同常返性的状态， 问题： 为常返态， 问题：设 j 为常返态，即从 j 出发最终要返回 j ， 那么马氏链的常返态只能是唯一的吗？ 那么马氏链的常返态只能是唯一的吗？
随机过程
§2.3. 状态空间的分解
引言： 引言：上节对状态空间中的状态进行了分 类：常返的、非常返的；这是以状态返回 常返的、非常返的； 出发点的频繁程度划分的， 出发点的频繁程度划分的，但并没有指出 出发后转移（运动）的活动范围。 出发后转移（运动）的活动范围。而这种 活动范围”的划定，即是空间的分界。 “活动范围”的划定，即是空间的分界。如 果知道某些运动只在小范围进行， 果知道某些运动只在小范围进行，会使问 题简化。 题简化。
六、互通的状态有相同常返性，即是同一类。 互通的状态有相同常返性，即是同一类。
这意味着：若 i ↔ j ，则 这意味着： 1. i 与 j 同为常返或非常返的。 同为常返或非常返的。 2. i 与 j 同为正常返或零常返的。 同为正常返或零常返的。 3. 有限状态的马氏链中至少有一个常返态。 有限状态的马氏链中至少有一个常返态。