六.马尔可夫链3

例6.3.2 设状态空间S={1,2,3,4,5}的齐次马氏链,一步转 移概率矩阵为
⎛ ⎜ ⎜ ⎜ = ⎜ ⎜ ⎜ ⎜ ⎝ 0 0 1 0 1 1 3 0 0 0 0 0 1 0 0 0 2 3 0 0 0 0 ⎞ 0 ⎟ ⎟ 0 ⎟ 0 ⎟ ⎟ 1 ⎟ 0 ⎟ ⎠
P
试分析马氏链的状态的常返与否
随机过程——西安电子科技大学数学系 冯海林
(1) 若fii = 1, 则称状态i是常返的(返回的) 若fii < 1, 则称状态i是非常返的(滑过状态) (2) 若i是常返状态,且µii < +∞, 则称状态i为正常返状态.
若i是常返状态,且µii = +∞, 则称状态i为零常返状态. （消极常返状态） (3) 若di > 1, 则称状态i为周期状态,且周期为di . 若di = 1, 则称状态i为非周期状态. 若状态i是正常返的非周期状态.则称之为遍历状态.
随机过程——西安电子科技大学数学系 冯海林
µii = +∞ ⎧非常返 ⎪ di > 1 状态 ⎨ f = 1 ⎧零常返 ii ⎪ 常返 ⎪ ⎧ 周期 ⎨ µ < +∞ ii ⎩ ⎪正常返 ⎪ ⎨ di = 1 ⎩ ⎪非周期 ⎩
fii < 1
遍历态
随机过程——西安电子科技大学数学系 冯海林
状态类型的判断
⋅P ( X n = j X n −1 = in −1 )
= ∑ ∑ L ∑ pii1 ⋅ pi1i2 ⋅L ⋅ pin−1 j
i1 ≠ j i2 ≠ j in−1 ≠ j
随机过程——西安电子科技大学数学系 冯海林
(n) (3) pij = P{ X n = j X 0 = i}
= P{U ( X l = j, X k ≠ j, k = 1, 2,L , l − 1), X n = j X 0 = i}
随机过程——西安电子科技大学数学系 冯海林
定理6.3.1 设状态i的周期为d , 则∃正整数N 0 , 使N ≥ N 0时,有
p
( Nd ) ii
>0
( nm ) (n) 证明 将{n n ≥ 1, pii > 0}记为 {nm m = 1, 2, L, pii > 0}
令d m = GCD{nt t = 1, 2,L , m}. m ≥ 1
马尔可夫链状态的分类 本节内容 ¾状态类型定义 ¾状态类型判断 ¾状态之间的关系 ¾状态空间的分解
随机过程——西安电子科技大学数学系 冯海林
¾状态类型定义 定义6.3.1 设任意的i, j ∈ S , n ≥ 1,
称 fij( n ) = P{ X n = j , X k ≠ j , k = 1, 2,L , n − 1 X 0 = i}
l =1
n
= P{U ( X l = j, X n = j, X k ≠ j, k = 1, 2,L , l − 1) X 0 = i}
n
≤ P{U ( X l = j, X k ≠ j, k = 1, 2,L , l − 1) X 0 = i}
= ∑ P( X l = j，X k ≠ j, k = 1, 2,L , l − 1) X 0 = i）
证明
(1) 0 ≤ fij( n )
= P{ X n = j , X k ≠ j , k = 1, 2,L , n − 1 X 0 = i}
≤ P{ X n = j X 0 = i}
=p
(n) ij
随机过程——西安电子科技大学数学系 冯海林
= P{U ( X l = j, X k ≠ j, k = 1, 2,L , l − 1), X n = j X 0 = i}
( N m nm ) = ∏ pii m =1 l
=∏p
m =1
l
l
m 644 744 8 ( nm + nm +L+ nm ) ii
N 个
( nm ) ( nm ) ( nm ) =∏ （∑∑L ∑ pii p L p i1i2 iN −1i ) 1 m =1 i1 i2 iN m −1
m
随机过程——西安电子科技大学数学系 冯海林
n =1
∞
∞
= P{U (X n = j , X k ≠ j , k = 1, 2,L , n − 1) X 0 = i}
n =1
称fij为马氏链在0时从状态i出发,经有限步转移后终究 到达状态j的概率（也称迟早概率）.
特别的，当i = j时，fii 表示马氏链在0时从状态i出发, 经有限步转移后终究返回状态i的概率.
( nm ) ( nm ) ( nm ) ≥ ∏ pii pii L pii m =1 l
l
= ∏( p
m =1
( nm ) N m ii
)
>0
( nm ) ii
(Q{nm m = 1, 2,L, p
> 0} ∴ p
（nm） ii
> 0)
随机过程——西安电子科技大学数学系 冯海林
由此可以得到，设状态i ∈ S
l =1 ∞
l =1 ∞
l =1
=∑ f
l =1
∞
(l ) ij
= f ij ≤ 1
随机过程——西安电子科技大学数学系 冯海林
(2) f
(n) ij
= P{ X n = j, X k ≠ j, k = 1, 2,L , n − 1 X 0 = i}
ik ≠ j
= P{ X n = j, U ( X k = ik ), k = 1, 2,L , n − 1 X 0 = i}
∞
(n) 11
3 = <∞ 2
⇒ 状态1正常返.
随机过程——西安电子科技大学数学系 冯海林
1
2
2
1
1 2
3
1
2
1 3
1 2
3
1 2
4
2 (n) Q f = ，f 33 =0(n ≥ 2) 3 2 ⇒ f33 = < 1 ⇒ 状态3非常返. 3
(1) 33
类似可以讨论状态2和4.
随机过程——西安电子科技大学数学系 冯海林
(d1 = GCD{n1}, d 2 = GCD{n1 , n2 }, d3 = GCD{n1 , n2 , n3},L ,
L , d m = GCD{n1 , n2 ,L , nm }, d = GCD{n1 , n2 , n3 L})
随机过程——西安电子科技大学数学系 冯海林
则有 d1 ≥ d 2 ≥ L ≥ d ≥ 1
= P{U ( X n = j, X k = ik ), k = 1, 2,L , n − 1 X 0 = i}
ik ≠ j
= P{U U L U ( X 1 = i1 , X 2 = i2 , L , X n −1 = in −1 , X n = j X 0 = i )}
i1 ≠ j i2 ≠ j in−1 ≠ j
随机过程——西安电子科技大学数学系 冯海林
利用量概率fii可以定义状态类型
定义6.3.2 设状态i ∈ S
若fii = 1, 则称状态i是常返的(返回的)
若fii < 1, 则称状态i是非常返的(滑过状态)
随机过程——西安电子科技大学数学系 冯海林
当i为常返态时，也就有 fii = ∑ fii( n ) = 1，
思考从状态i返回状态i的转移步数？
随机过程——西安电子科技大学数学系 冯海林
定义6.3.4
设i ∈ S ,若自然数集 {n n ≥ 1, p
(n) ii
> 0} ≠ Φ
则称其最大公约数为状态i的周期，记di .即
(n) di = GCD{n n ≥ 1, pii > 0}
若di > 1, 则称状态i为周期状态,且周期为di . 若di = 1, 则称状态i为非周期状态.
∴ 必存在正整数l，使dl = dl +1 = L = d
∴ d = dl = GCD{nt t = 1, 2,L , l} = GCD{n1 ,n2 , L ,nl }
由初等数论知识 ∃正整数N 0，使得对∀N ≥ N 0，有
Nd = N1n1 + N 2 n2 + L + N l nl
( N1 , N 2 ,L , N l为正整数)
若µii < +∞, 则称状态i为正常返状态.
若µii = +∞, 则称状态i为零常返状态. （消极常返状态）
随机过程——西安电子科技大学数学系 冯海林
例6.3.1 设状态空间S={1,2,3,4}的马尔可夫链,它的一步 转移概率矩阵为
⎛ ⎜ ⎜ ⎜ = ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 1 2 1 0 1 2 1 2 0 1 3 0 0 0 2 3 1 2 ⎞ 0 ⎟ ⎟ 0 ⎟ ⎟ 0 ⎟ ⎟ ⎟ 0 ⎟ ⎠
n =1 ∞
即fii( n )构成概率分布.则相应的数学期望为
µii = ∑ n ⋅ fii( n )
n =1
∞
则µii 表示马氏链从状态i出发首次再返回状态i的 平均时间（或转移步数）.
随机过程——西安电子科技大学数学系 冯海林
利用量 µii 可以进一步定义状态类型
定义6.3.3 设状态i ∈ S 是常返的,
为马氏链在0时从状态i出发,经n步转移后,首次到达 状态j的概率.简称首达概率.
记 fij( +∞ ) = P{ X n ≠ j , n = 1, 2, L X 0 = i}
称f
( +∞) ij
为马氏链在0时从状态i出发,永远不能转移到
状态j的概率.
随机过程——西安电子科技大学数学系 冯海林
又记 fij = ∑ fij( n )