有限状态下随机环境马氏链的性质_宁小青

第 33 卷 第 4 期 2011 年 8 月
三峡 大学学报( 自然科学版) J of China T hree Go rg es U niv . ( N atural Sciences)
V ol .33 N o . 4 A ug. 2011
有限状态下随机环境马氏链的性质
宁小青 郭光耀
( 武汉工程大学 理学院 , 武汉 430073) 摘要 : 假设 X 是随机环境的马氏链 , 首先介绍了 H o pf 马氏链及绕积马氏链 , 利用绕积马氏链 , 定义 了随机环境马氏链的几个特征数及随机环境马氏链的几种不同的基本状态 , 由此比较随机环境的 马氏链与经典的时齐马氏链状态性质的异同 , 得到了随机环境马氏链中强常返与弱常返的关系 , 并进一步讨论了 X 为有限集时 , 随机环境的马氏链的一些性质 , 得到有限状态一定存在本质与弱 常返状态 , 不一定存在强常返状态 , 及在可达关系下本质状态 、强常返状态的关系 . 关键词 : 随机环境马氏链 ; 强常返状态 ; 弱常返状态 ; 本质 ; 可达的 中图分类号 : O211 . 62 文献标识码 : A 文章编号 : 1672-948X( 2011) 04 -0104-04
Properties of Finite State Markov Chain in Random Environments
Ning Xiaoqing Guo Guangyao
( College of Science , Wuhan Insti tut e of T echno logy , Wuhan 430073 , China) Abstract Let{ X }be M arko v chains in random environment s w it h f ini te or countable st ate space . F irstly , w e i nt roduce H opf Ma rkov chains and skew product Markov chains , and def ine some charact er number and some basic st ates on Markov chains i n random envi ronm ent s . T hen , we discuss the dif fe rence st ate pro perties betw een M arkov chai ns in random environments and ho mogeneous M arko v chains , and obt ain t he relatio nship of st rong ly recur rent stat e and w eak recurrent st ate . Finally , w hen { X }be f init e , w e prove existence o f essential st ates and w eak recur rent st ates ; and if x is essential state o r st rong ly recurrent sta te and x can lead to y , then y also is essent ial stat e o r stro ng ly recurrent st ate . Keywords M arkov chains in random environments ; st rong ly recur rent st ate ; w eak recur rent st ate ; essent ial stat e ; reachable
1 2 而当 τ 0( θ ) > 0 , n >τ 0( θ ) +1 时 ,
( n)
p ( θ )= p( 0) …p ( 0) p( 1) p( θ τ( θ ) + 1) …p( θ n-1)= 0 1 2 1 2 故
∞ ∞
( x ,θ ) ; F) ∑P (
n
1 2 1 2 1 =∞ 2
2 经典的时齐马氏链与随机环境的马 氏链性质的比较
一般而言 , 从经典的时齐马氏链到随机环境的马 氏链 , 其性质发生了相当大的改变 , 如 : X 并不具有马 氏性等 . 定义 1 称 F ∈ ε 是本质的 , 若 ∏( ( y,θ ) : Q( ( y, θ ) ; F) > 0)>0 , 称状态 x 是本质的 , 若 [ E ] x 是本质 的 , 记[ E]
1 , 使得 π是( Θ , B) 上的概率测度 , 满足 π T -1 =π, 2 则 a 是弱常返 , 有 a 不是强常返 , 实际上有 记τ 0( θ ) = i nf{ n ≥0 , θ n = 1} ,B= { θ : τ 0( θ ) <∞ } , 则
∞ ∞ n =0
3 有限状态下随机环境马氏链的性质
对θ ∈ B 1 , 当 n <τ 0( θ ) + 1 时有 P( a,θ ) ( Xk =b , 1 ≤k <n . X n = a)= p( 1; a , b) p( 1; b , b) …p( 1; b , b) p( 1; b , a)= 类似可计算当 n = τ 0( θ ) + 1 时有 , P( a,θ ) ( X k =b , 1 ≤k <n . X n = a)= 1 2 n-1 当 n >τ 0( θ ) +1 时有 , P( a,θ ) ( Xk =b , 1 ≤k <n . X n = a)= 0 所以 ,
l Z
θ ′ Байду номын сангаас = θ n +1 , 且满足 π T
n ∈Z . 令 π为可测空间上任一概率测度 ,
-1
=π. 于是{ Θ n , n ∈ Z} 是概率空间( Ψ ,B ,
π ) 上的取值于 Θ 的严平稳序列 . Cogburn 等分别在文献[ 1-3] 中定义了随机环境 的马氏链及 H opf 马氏链 , 并和其他学者对随机环境 马氏链作了讨论 . 参见文献[ 1-6] , 本文所有的符号和 定义参见[ 1-3] , 下面定义本文中用到的几个常见的 特征数 :
x ∈X x
p( 1) p( 0)= p( 1) p( 1)= p( 0) p( 1)= 所以对 θ ∈ B 且当 τ 0( θ ) =0 时 ,
1 2 1 2
)
106 故
三 峡 大 学 学 报( 自 然 科 学 版) 2011 年 8 月
即 G( ( y,θ ) ; [ E] y ) ≥ G( ( y ,T θ ) ; [ E ] y )=∞, 即 y 为 ( y ,θ ) : Q( y ,θ ; E)> 0)= 0 ∏( 弱常返 . 定义 2 称集合 A ∈ E 可达集合 D ∈ E , 若 L( x, θ ; D) > 0 , ∏a . e. ( x,θ ) ∈ A , 称集合 A ∈ E 一致可达 集合 D ∈ E , 若存在 ε >0 , L( x ,θ ; D) > ε , ∏a . e. ( x,θ ) ∈A . 称状态 x 可达状态 y , 若[ E ] x 可达[ E ] y , 称状态 x 一致可达状态 y , 若存在 ε >0 , π ( θ : ( x ,θ ; [ E] y ) > ε ) = 1 , 称状态[ E] x 一致可达状态[ E ] y [ 1-2] . 定理 3 当 X 为有限集 , 若状态 x 可达状态 y , 若 x 是本质的 , 则 y 是本质的 , 若 x 是强常返的 , 则 y 是强常返的 . 证明 : 若状态 x 可达状态 y , π. a. eθ ∈Ψ , L( ( x, θ ) ; [ E] y > 0) , 则存在最小的 l >0 , 使 P(x , θ ) { ( X l , T lξ ) ∈[ E] y } , 令 p(l)( θ ) =p ( θ 0) p( θ 1) … p( θ l -1 ) ,取ε =1 2 min { p( θ 0 , …,θ l -1 ; x , z) >0} , 则由 X 为有限集 , 满足 z∈ X 上述条件的 ε 是存在的 , 故状态 x 一致可达状态 y . 由文献[ 7] 定理 可得 , ∏a . e. ( z,θ ) 有 Q( z ,θ ; [ E ] y) ≥Q( z ,θ ; [ E] x ) . 若 x 是本质的 , 则存在 z , s . t. π { θ : Q( z,θ ; [ E] x ) > 0} > 0 , 又 Q( z ,θ ; [ E] y ) ≥ Q( z ,θ ; [ E ] x) , 故 Q( z ,θ ; [ E ] y) >0 , 即 y 是本质的 . 下面证明 x 是强常返的 , 则 y 是强常返的 , 事实 上: 由状态 x 可达状态 y , 又有 X 为有限集 , 则状态 x 一致可达状态 y . 由 x 是强常返的 , π ( θ : Q( x ,θ ; [ E] x ) =1)= 1 ,又 ∏a . e. ( z ,θ ) 有 Q( z,θ ; [ E] y ) ≥Q( z,θ ; [ E] x ) , 取( z, θ ) 为( x,θ ) ,则 Q( x ,θ ; [ E] y )≥ Q( x,θ ; [ E] x )= 1
通讯作者 : 宁小青( 1977 ) , 男 , 研究方向为计算数学 . E -m ail : 16470828 @qq . com
第 33 卷 第 4 期 宁小青 , 等 有限状态下随机环境马氏链的性质
∞ ∞ n) p( ( θ )=
105 1 2 1 2 1 2
Q( ( x,θ ) ; F )= P (x , θ ) ∪ ∪ ( X n , T nξ )∈ F n =1n =k
∞
G( ( x,θ ) ; F )=
n =1 y ∈ X
∑ ∑P
∞
n
( θ ; x , y) 1( F) Tξ ) y(
n
F(n)( ( x ,θ ) ; F)= P (x , θ ) ( τ F =n ) 其中 , τ F 表示首次到达集合 F 的时刻 . U( ( x ,θ ) ; F)=
n =0
∞
σ ( Θ n , k1<
n <l +1) ( -∞≤k ≤l ≤∞ ) , B =B -∞ . 令 T: Ψ ※Ψ为 推移算子 , 即对任何 θ = ( θ n , n ∈ N) ∈Ψ , T( θ ) = ( θ ′ ) ,
收稿日期 : 2010-12 - 30
+∞
L( ( x,θ ) ; F )= P(x , θ ) ∪ ( X n , T nξ )∈ F n =1
1 引言及符号
设 X 为任一可数无穷集或有限集 , A 为 X 的一 切子集 , 于是有可测空间( ( X , A) . 再设( Θ , B0 ) 是任 一可测空间 . 令Z= { 0 , ±1 , …} 为整数集 , N = Z+ = { 0 , 1 , 2 , …} 为非负整数集 . Ψ =Θ . Θ n : Ψ ※Θ 为坐标函数( n ∈Z ) . Bk
1 2n
L( a, θ ; [ E ] a)=
n =0
∑P
( a,θ )
0
( X k =b , 1 <1 n
τ( θ )
1 ≤k <n . X n = a)>
n =1
∑2
p( 1) =
Z , 取 π= η , 其中 η ( { 0} ) =η { { 1} }=
L( ( a,θ ) ; [ E ] a)≥ Q( ( a,θ ) ; [ E] a) 故 Q( a,θ ; [ E] a ) < 1 , 即状态 a 不是强常返 , 得证 . 从本定理可知 , 即使 X , Θ 为有限集 , 有状态 x 是 弱常返不一定有状态 x 是强常返 .
x
G( ( a, θ ) ; [ E] a )=
n =1
( n) θ : a , a)> ∑p (
n =τ θ ) +1 0(
∑
故状态 a 是弱常返 . 再令 B 1 = { θ : τ 0( θ ) >0} ,则
∞ ∞ n =1
π B1 =
n =1
( τ 0( θ )= n)= ∑π
∑2
n+1
1
=1 2
∞
={ x }×Θ , 称 x 是 强常返 的 , 若 π( θ : Q
( ( x,θ ) ; [ E] x )=1) =1 , 称 x 是弱常返的 , 若 π ( θ : G ( ( x,θ ) ; [ E] x ) =∞ ) = 1. 在 X 是一个经典的时齐可数的马氏链 , 是没有 本文所谓的本质 、 强常返 、 弱常返的区别的 , 对经典的 时齐可数的马氏链有 , 状态 x 是本质的 状态 x 是强 常返 状态 x 是弱常返 . 但对于随机环境的马氏链而 言 , 却没有这种等价性 , 实际上有 定理 1 对随机环境的马氏链 , 有状态 x 是弱常 返 , 不一定有状态 x 是强常返 . 证明 : 取 X ={ a , b} , Θ= { 0 , 1} , p( 0)= 1 2 1 2 1 2 1 2 0 1 1 0 ,
下面讨论 X 为有限集时 , 随机环境的马氏链的
π B = 又有
n =0
0( ( τ θ )= n)= ∑π
∑2
n+ 1
1
=1
一些性质 . 定理 2 当 X 为有限集 , 一定存在状态 x 是本质 1 2 1 2 的且是弱常返 . 证明 假设任意状态 x 是非本质 的 , 则 ∏( ( y, θ ) : Q( ( y,θ ) ; [ E] x ) > 0) = 0 , 由概率的可列可加性得 ( y,θ ) : Q( y ,θ ; E) )= ∑ ∏ ( ( y ,θ ) : [ E] ∏(