随机过程第四章

1.定义：
设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。

2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。

3.一步转移概率
称条件概率()()
1p x
j
x i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转
移概率。

,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。

();0;1;,ij ij ij ij j I
p n p p p j i I ∈=>==∈∑
4.n 步转移概率
称()
()n p x j x i m m n ij
p ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n
步转移概率。

()
()
0;1;,n n ij
ij
j I
p p j i I ∈>==∈∑
5.n 步转移矩阵。

()
()
()
n n ij
P p =；()
()()10
11;0;;;ij ij
ij i p p P P j p i j
=⎧=⎨≠==⎩
6.()
n p ij
具有如下性质：
设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1=<l<n ；,i j I ∈
()
()()11112........n n i k I
k I
l n l n p p p p p p ij
ik
kj
ik k k I k k j
--∈∈-=∑∈=
∑∑
； ()
()1n n n P
P PP
-==
7初始概率：()0i p p X i == 8.初始概率向量：()()120,....T
P
p p =
9.初始分布：{},i p i I ∈
10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....T
P
n p n p n =
12绝对分布：(){}
,j p n j I ∈
13性质如下：()()()()10;
n T
T T P
n P n P P P =-=()()
()1;n
j i ij i ij i I
i I
p n p p p n p ∈∈==-∑∑
14马氏链的有限维分布：
设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有
{}11....11,....,n n i I
p p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。

15状态i 的周期d 【决定状态是否为周期的】
()()
{}
..:0,0n
ii d d i G C D n n p ==≤>；
如果d>1,则称状态为周期的； 如果d=1则其为非周期的。

16首达概率： ()
(
),11,/,1n i j m v
j m n m f p X v n X j X i n +
≠+=≤≤-
==≤为质点有i 出发，经过n 步首次到达j 的概率，称为首达概率。

记()1
n
ij ij n f f =∞
=∑；规定()0
0ij
f =为质点有i 出发，经过有限步到达j 的概率。

【决定是否为常返的】
若ii f =1，则称状态i 为常反的；常返的充要条件()0
n
ii
n p =∞
=∞∑；当i 为常反时，返回i
的次数是无限多次。

若ii f <1,则称状态i 为非常反的（瞬时状态）。

()0
1
1n
ii ii
n p f ∞
==
-∑；当i 为非常反时，返回i 的次数只能是有限多次。

若状态i 为非常反的，则以概率1ii f -不再返回到i.; 17平均首次返回时间：【决定是为正还是零】
对于常返态i,()
{
}
,1n ii f n ≤构成一概率分布，此分布的期望值()
1
n nf i ii n μ=∞=∑表示为由i
出发再返回到i 的平均返回时间。

若i μ<∞,则称常返态i 为正常返的。

若i μ=∞则称常返态i 为零常返的。

非周期的正常返态称为遍历状态。

18()()
,n n p f ij ij 关系
对于任意状态i,j 及1n ≤<∞有()
()()()()
10
n n k n k n k k n p f p f p ij ij jj
ij j k j k -=-=∑∑==； ()()()()11
n k n
k n n f p f p ij ij ij jj
k --=-∑=
()()()()()()()()()122
1;;33122f p f p f p ij ij ij ij ij jj f p f p f p ij ij ij jj ij jj
==-=--
()
(
)
1n n P
P P -=；()
{}(){}
..:0,0..:0,0n n ii
ii G C D n n p G C D n n f ≤>=≤> 19平均次数：
()1
n n
jj
p =∞
∑表示有j 出发再返回j 的平均次数。

当j 是常返态时，返回的次数是无限多次。

当j 为非常反时，返回j 的次数只能是有限多次。

20超限概率
()()()01/n i n i n m n m g p ij n X j X i p n X j p X j ∞∞===⎧⎫
======⎨⎬
⎩⎭
有无限多个使有无限多个使 对任意状态i 有,0f j ij g ij j ⎧⎪=⎨⎪⎩如是常返
如非常返
，
状态i 常返当且仅当1ii g =状态i 非常返当且仅当0ii g = 21.
设i 常返且有周期d,则()lim nd d
p ii n i
μ=
→∞
，其中i μ为i 的平均返回时间。

当i μ=∞时，
0i
d
μ= 设i 常返则若i 零常返()lim 0nd p ii
n ⇔=→∞
；若i 遍历()1lim 0nd p ii n i
μ⇔
=>→∞
22状态的可达与互通：
状态i 可达状态j,i j →：存在0n >使()
0n ij p >； 状态i 与状态j 互通，i j ↔：i jandi j →←
可达与互通都具有传递性：即：,,i j j k i k i j j k i k →→→↔↔↔则；则 如果i j ↔则：ij 同为常返或非常返，如为常返，则同时为正常返或零常返；两者具有相同的周期。

互通关系的状态为同一类型。

23状态空间的分解：
状态空间I 的子集C 称为闭集{闭集是不可约的【不可约的充要条件对,i k C ∈都有
()0n p ik >，n>0】，闭集的充要条件：;i C k C ∈∉都有()0n p ik
=，n>0。

}
如果：1ii p =则称状态i 为吸收的，等价于单点集{}i 为闭集。

一个吸收状态构成的闭集是最小的；整个状态空间构成的闭集是最大的闭集；状态空间I 中所有常返态组成一闭集C.
不可约的马尔科夫链()
,m ,P
n m n ⇔∃≤中无零元⇔任何两个状态都互通⇔没有常返
状态或没有非常返状态
任一马尔科夫链的状态空间I ，可唯一的分解成有限个或可列个互不相交的子集
12,,...D C C 之和，使得：每一个n C 是常返态组成的不可约闭集；n C 中的状态同类型，或全
是正常返或全是零常返，它们有相同的周期，1ik f =，,n i k C ∈；D 是全体非常返态组成，自n C 中的状态不能达到D 中的状态。

12....n I D C C C =
24分解定理说明：
状态分为非常返态D 与常返态C ，C 又可按互通关系分为有限个互不相交的基本常返闭集12,...C C
从D 出发，或一直停留在D 中，或在某一时刻进入i C ，一旦进入。

永不离开。

从某一i C 出发：停留在这一常返闭集中。

25不可约马尔科夫链的分解：
周期为d 的不可约马尔科夫链，其状态空间C 可唯一的分解为d 个互不相交的子集之和即1
;,d r
r
s r C G G
G r s φ-==
=≠ 且使得从r G 中任意状态出发经一步转移必进入1r G +中，
0d G G =，任意取定一状态i ，对每一0,1,...,1r d =-，定义集
(
)
{
}
:,0nd r r ij
G j n p +=≤>对某个0。

马氏链如果其状态空间不可约，则称其不可约的。

如果只在0，d,2d...上考虑{}n X ，记得一新马氏链{}nd X ，其转移矩阵()
(
)
(
)d d ij P p =。

对于新链，每一r G 是不可约闭集且r G 中的状态是非周期的。

如果原链常返，则新链宜常返；
26有限马氏链的性质
不可能全是非常返态 没有零常返态 必有正常返态
不可约的有限马氏链只有正常返态 27渐进性质
如j 非常返或零常返则()
lim 0n p ij n =→∞
i I ∀∈
有限状态的马氏链不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必是正常返。

如果马氏链有一个零常返态，则必有无限多个零常返态。

如果j 正常返，周期为d 对任意的i 及01r d ≤≤-有
()()
()(
)
lim ,ij md r ij ij m j
nd r p
ij
n d
f r f r f μ∞
+=+→∞==∑
设不可约、正常返、周期d 的马氏链，其状态空间为C ，则对一切
i,j C ∈()s lim ;i.0;j j nd p ij n d
fouze μ→∞
⎧⎪=⎨⎪⎩
同属于子集G
如果j 为遍历的，d=1:
()
()()()
lim 1
0,0ij md ij ij m j
n p ij n f f f μ∞
=→∞==∑
;()
(
)
1
lim 1
m ij m j
n p ij
n f μ∞
=→∞
=
∑
对任意状态i,j
()0,j 1lim ,1n k f
p
ij ij n j n k j
μ
=∑→∞=⎧⎪⎨⎪⎩非常返或零常返
正常返 如{}n X 不可约、常返，则对任意状态i,j ()1lim 11
=
j
n k p ij n n k μ∑→∞= 28平稳分布
设{},0n X n ≤为齐次马尔科夫链，状态空间为I ，转移概率为ij p 。

概率分布{}
,j j I π∈为马尔科夫链平稳分布,他满足：
,1;0j i i j
i I j j
j I
p ππππ∈∈⎧=⎪⎨=≤⎪⎩∑∑注：若初始概率分布为平稳分布，则()()1...j j j p p p n ===；平稳
分布的矩阵形式()
()
()
()().n n n
j ij
P P
p ππππ===
不可约非周期马氏链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布
1,j j I μ⎛⎫∈ ⎪ ⎪⎝⎭
有限状态的不可约非周期马氏链必存在平稳分布；
不可约马氏链的所有状态是非常返或零常返，则不存在平稳分布。

{},j
j I π
∈为不可约非周期马尔科夫链平稳分布,则()lim 1
=j j
p j n n πμ
→∞=
对于马氏链：
⇔=
平稳分布不存在Cφ
平稳分布唯一存在⇔只有一个基本正常返闭集C
C 平稳分布有多个⇔多个不可约的常返闭集
i。