第五章 马尔可夫过程-2

定理:
(1)如果状态i是常返的,且i可达j,则状态j也是常返的, 并且fji=1; (2)如果i和j相通,则i和j状态的常返性、非常返性、 正常返性、零常返性、周期性是相同的。
相通是一种等价关系,用之对状态进行分解.
5.2.4 马尔可夫链的状态分类
七、状态空间的分解
闭集定义 设C是状态空间E的一个子集，如果从C内任何一个状态i 不能到达C外的任何状态，则称C是一个闭集。即，对任意 的i∈C，j∈C，n≥1, 都有pij(n)=0. 显然，如果C是闭集，对于任意 i∈C，恒有 整个状态空间E是最大的闭集。 如果单个状态i构成的集{i}是闭集，则称状态i是吸收态。 任何一个吸收状态构成最小的单点闭集。
n
5.2.4 马尔可夫链的状态分类_状态属性的判定
五、状态判别准则
定理: 若i, j ∈E , (1）如有正整数n，使得pii(n)>0, pii(n+1)>0, 则状态i是
非周期的。
（2）如果n步转移概率矩阵中相应某状态i的那一列元素 全不为零，则状态i是非周期的。
5.2.4 马尔可夫链的状态分类_状态属性的判定 六、状态之间的等价关系
nf
n 1

ij
( n)
为从状态i出发，首次到达状态j的平均转移时间或平均转移 步数。
当i =j 时，i ii nfii (n) 称为从状态i出发，首次

返回状态i的平均返回时间或平均返回步数。
n 1
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
5 马尔可夫过程
马尔可夫过程的概念
离散参数马尔可夫链
连续参数马尔可夫链
生灭过程及应用
5
马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布 平稳分布 √ 状态空间的性质
5.2.4 马尔可夫链的状态分类
一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布
5.2.4 马尔可夫链的状态分类_状态的基本属性
称为首达概率。显然，
f ij (1) pij P X (m 1) j X ( m) i

f ij () P X (m n) j , n 1 X (m) i
fii(n)表示从状态i出发经过n步首次回到状态i的概率。
5.2.4 马尔可夫链的状态分类_状态的基本属性
表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。
fii表示从状态i出发迟早回到状态i的概率:
fii
1 n

fii (n) P{Tii }
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
平均转移时间定义： 定义条件数学期望 ij E Tij X (0) i
pij (m n) pik (m) pkj (n) 0
kE
状态可达的传递性 → 状态相通的传递性
5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率
状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达 状态j的步长。
首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的时间，
P X ( m n) j
n 1
N
X (m) i pij (n) 0
n 1
N
两个吸收壁1,5
概率q
概率p
i=1
2
3
4
5
5.2.4 马尔可夫链的状态分类_状态的基本属性
一、可达与相通
相通的定义：给定的两个状态i和j，如果从状态i可到达状态j， 即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与 状态j 相通，记为i←→j。 定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。 [证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程，
5.2.4 马尔可夫链的状态分类
七、状态空间的分解
性质
（1）C是闭集
对于i∈C, j∈C,
p (n) 1
jC ij
pij(n)=0, n≥1,
（2）所有常返态构成一个闭集 。
（3）齐次马氏链不可约 任何两个状态均相通。 （4）在不可约马氏链中，所有状态具有相同的状态类型。 （5）不可约马氏链或没有非常返态或没有常返态。
立: (1) (2) (3) fii=1
P{Tii } 1
p
n 1

ii
(n)
5.2.4 马尔可夫链的状态分类_状态属性的判定
五、状态判别准则
定理:状态i是非常返态的充要条件是下列三个条件之一 成立:
(1) fii<1
(2) P{Tii } 1
(3)
p
n 1
二、到达时间和到达概率
迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发， 迟早到达状态j的概率定义为
fij
1n

fij (n)
1n
PT
ij
n | X (m) i P Tij
显然，
f ij () P Tij } 1 P{Tij 1 f ij
m 1 n
n
P{Tij m X (0) i}P{ X (n) j X (0) i, Tij m}
m Hale Waihona Puke Baidu n
P{Tij m X (0) i}P{ X (n) j X (0) i, X (k ) j ,1 k m 1, X (m) j}
[证]
pij (n) P{ X (n) j X (0) i} P{Tij n, X (n) j X (0) i} P{ Tij m, X (n) j X (0) i }
m 1 n
P{Tij m, X (n) j X (0) i }
5.2.4 马尔可夫链的状态分类_状态属性的判定 五、状态判别准则
平均返回次数与转移概率的关系：
量 若X(0)=j,经过n步返回状态j，定义随机变 。
1, X (n) j Y (n) 0, X (n) j

那么， Y (n) 就表示返回j的次数。平均返回次数为 N
E[ N | X (0) j ] E[ Y (n) | X (0) j ] E[Y (n) |X (0) j ]
p (n) 1 。
jC ij
5.2.4 马尔可夫链的状态分类 七、状态空间的分解
不可约定义
如果闭集C中不再含有任何非空的子闭集，则称C是不 可约的(不可分的)。 如果闭集C的状态是相通的，则C是不可约的。 当整个状态空间E这个闭集不可约时，称此马氏链为不 可约马氏链，否则称为可约马氏链。
5.2.4 马尔可夫链的状态分类_状态的基本属性
非常返态 fii<1 零常返态 状态 i=+∞ 常返态 正常返态 有周期 fii=1 i<+∞ 非周期（遍历态）
5.2.4 马尔可夫链的状态分类_状态属性的判定
五、状态判别准则
平均返回次数：当状态i是常返态时，则平均返回i的次数 为无穷；若状态i是非常返态时，则平均返回i的次数应为 有限次。
Ti j min n : X (m) i , X (m n) j , n 1
称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机 变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j Tii表示从状态i出发首次回到状态i的时间。
fij 0 且 f ji 0 i j
5.2.4 马尔可夫链的状态分类_状态的基本属性
三、常返态与非常返态
定义： 对于状态i ∈E，若迟早返回的概率fii=1，则称状态i是 常返态（返回态）；若fii<1，则称状态i是非常返态（滑过 态、瞬时态）。
对于常返态i ∈E，若平均返回时间i<+∞，则称状态i 是正常返态；若i=+∞，则称状态i是零常返态。
5.2.4 马尔可夫链的状态分类
七、状态空间的分解
状态空间分解 齐次马氏链的状态E可唯一地分解为有限多个或可列 多个互不相交的状态子集：
一、可达与相通
可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得 pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状 态i不可到达状态j，记为i→j。 若从状态i不可到达状态j时，一个齐次马尔可夫链对于一 切n (≥1), 总有pij(n)=0。
P
到达状态
j
X (m) i
n
fij
1 m

fij (m) 0
则至少存在一个正整数n≥1,使得fij(n)﹥0。由上定理，
pij (n) fij (m) p jj (n m) f ij (n) p jj (0) f ij (n) 0
m 1
因此， i→j。
（4）定理：对于任意的i, j∈E，
pij (n) fij (m) p jj (n m) 0
m 1 n
从而fij(1), fij(2), …, fij(n) 中至少有一个大于0，所以
fij
1 m

fij (m) 0
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
基本性质： （3）定理：对于任意的i, j∈E， fij 0 i j [证] 必要性：若fij>0，因

ii
(n)
5.2.4 马尔可夫链的状态分类_状态属性的判定 五、状态判别准则
定理: 若状态i是常返态,则: (1) i是正常返态的充要条件是 lim pii (n) 0 n (2) i是零常返态的充要条件是 lim pii (n) 0 n 1 (3) i是遍历的充要条件是 lim pii (n) n i (4) i是正常返态周期的充要条件是 lim pii (n) 不存在.
5.2.4 马尔可夫链的状态分类_状态的基本属性 四、周期状态和非周期状态
定义
如果存在正整数d(＞1)，仅当n=d, 2d, 3d,…时， pii(n)>0, 而当n不能被d整除时， pii(n)=0, 则称状态i是 周期的，且周期为d；如果不存在上述的d时，则称状 态i是非周期的。（d=1）
若状态i为正常返态且为非周期的，则称状态i是遍 历状态。（d=1）
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的概率，
fij (n) P Tij n | X (m) i P X (m n) j , X (m k ) j ,1 k n | X (m) i
基本性质： （1）对于任意的i, j∈E， 0 fij (n) pij (n) fij 1 （2）定理：对于任意的i, j∈E及n，
pij (n) fij (m) p jj (n m)
m 1 n
该式表明，从状态i出发经过时间n后到达状态j的概率, 等于所有从 状态i出发经过一段时间m(<n)首次到达状态j后，再经过一段时间n-m又 返回到状态j的概率之和。
n 1 n 1
n 1


Y (n) P[Y (n) |X (0) j ] P[ X (n) j |X (0) j ] p jj (n)
n 1 n 1 n 1



5.2.4 马尔可夫链的状态分类_状态属性的判定
五、状态判别准则
定理:状态i是常返态的充要条件是下列三个条件之一成
m 1 n
fij (m) P{ X (n) j X (m) j}
m 1 n
fij (m) p jj (n m)
m 1
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
基本性质： （3）定理：对于任意的i, j∈E， fij 0 i j [证] 充分性：若i→j ，根据定义则存在正整数n≥1,使得 pij(n)﹥0。由上定理，