随机过程_马尔可夫过程-2分析
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5 马尔可夫过程
马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用
5 马尔可夫过程
有限维概率分布(簇)
转移概率
绝对概率
极限分布
平稳分布
√ 状态空间的ห้องสมุดไป่ตู้质
5.2.4 马尔可夫链的状态分类
一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布
5.2.4 马尔可夫链的状态分类_状态的基本属性
一、可达与相通
可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得
pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状
态i不可到达状态j，记为i→j。
若从状态i不可到达状态j时，一个齐次马尔可夫链对于一
切n (≥1), 总有pij(n)=0。
P 到达状态 j X (m) i
1n
1n
显然，
fij () P Tij } 1 P{Tij 1 fij
表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。
fii表示从状态i出发迟早回到状态i的概率:
fii
fii (n) P{Tii }
1 n
5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率
二、到达时间和到达概率
基本性质：
（1）对于任意的i, j∈E，0 fij (n) pij (n) fij 1
（2）定理：对于任意的i, j∈E及n，
n
pij (n) fij (m) p jj (n m) m1
该式表明，从状态i出发经过时间n后到达状态j的概率, 等于所有从 状态i出发经过一段时间m(<n)首次到达状态j后，再经过一段时间n-m又 返回到状态j的概率之和。
fij (n) P Tij n | X (m) i
PX (m n) j, X (m k) j,1 k n | X (m) i
称为首达概率。显然，
fij (1) pij P X (m 1) j X (m) i
fij () P X (m n) j, n 1 X (m) i
fii(n)表示从状态i出发经过n步首次回到状态i的概率。
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发， 迟早到达状态j的概率定义为
fij fij (n) P Tij n | X (m) i P Tij
状态可达的传递性 → 状态相通的传递性
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达 状态j的步长。
首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的时间，
Ti j min n : X (m) i , X (m n) j , n 1
n
P{Tij m X (0) i}P{X (n) j X (0) i, X (k) j,1 k m 1, X (m) j} m 1
n
fij (m)P{X (n) j X (m) j} m 1
n
fij (m) p jj (n m) m 1
5.2.4 马尔可夫链的状态分类_状态的基本属性
称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机 变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j
Tii表示从状态i出发首次回到状态i的时间。
5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率
首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的概率，
平均转移时间定义： 定义条件数学期望 ij E Tij X (0) i nfij (n) n1
为从状态i出发，首次到达状态j的平均转移时间或平均转移 步数。
当i =j 时，i ii nfii (n) 称为从状态i出发，首次 n 1
返回状态i的平均返回时间或平均返回步数。
5.2.4 马尔可夫链的状态分类_状态的基本属性
fij
fij (m) 0
1m
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
基本性质：
（3）定理：对于任意的i, j∈E，fij 0 i j
[证] 必要性：若fij>0，因 fij
fij (m) 0
1m
则至少存在一个正整数n≥1,使得fij(n)﹥0。由上定理，
两个吸收壁1,5
N
N
PX (m n) j X (m) i pij (n) 0
n1
n1
概率q 概率p
i=1
2
3
4
5
5.2.4 马尔可夫链的状态分类_状态的基本属性
一、可达与相通
相通的定义：给定的两个状态i和j，如果从状态i可到达状态j， 即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与
[证]
pij (n) P{X (n) j X (0) i}
P{Tij n, X (n) j X (0) i}
n
P{ Tij m, X (n) j X (0) i} m1
n
P{Tij m, X (n) j X (0) i} m1
n
P{Tij m X (0) i}P{X (n) j X (0) i,Tij m} m 1
二、到达时间和到达概率
基本性质：
（3）定理：对于任意的i, j∈E，fij 0 i j
[证] 充分性：若i→j ，根据定义则存在正整数n≥1,使得 pij(n)﹥0。由上定理，
n
pij (n) fij (m) p jj (n m) 0 m1
从而fij(1), fij(2), …, fij(n) 中至少有一个大于0，所以
状态j 相通，记为i←→j。
定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。
[证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程，
pij (m n) pik (m) pkj (n) 0 kE
马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用
5 马尔可夫过程
有限维概率分布(簇)
转移概率
绝对概率
极限分布
平稳分布
√ 状态空间的ห้องสมุดไป่ตู้质
5.2.4 马尔可夫链的状态分类
一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布
5.2.4 马尔可夫链的状态分类_状态的基本属性
一、可达与相通
可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得
pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状
态i不可到达状态j，记为i→j。
若从状态i不可到达状态j时，一个齐次马尔可夫链对于一
切n (≥1), 总有pij(n)=0。
P 到达状态 j X (m) i
1n
1n
显然，
fij () P Tij } 1 P{Tij 1 fij
表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。
fii表示从状态i出发迟早回到状态i的概率:
fii
fii (n) P{Tii }
1 n
5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率
二、到达时间和到达概率
基本性质：
（1）对于任意的i, j∈E，0 fij (n) pij (n) fij 1
（2）定理：对于任意的i, j∈E及n，
n
pij (n) fij (m) p jj (n m) m1
该式表明，从状态i出发经过时间n后到达状态j的概率, 等于所有从 状态i出发经过一段时间m(<n)首次到达状态j后，再经过一段时间n-m又 返回到状态j的概率之和。
fij (n) P Tij n | X (m) i
PX (m n) j, X (m k) j,1 k n | X (m) i
称为首达概率。显然，
fij (1) pij P X (m 1) j X (m) i
fij () P X (m n) j, n 1 X (m) i
fii(n)表示从状态i出发经过n步首次回到状态i的概率。
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发， 迟早到达状态j的概率定义为
fij fij (n) P Tij n | X (m) i P Tij
状态可达的传递性 → 状态相通的传递性
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达 状态j的步长。
首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的时间，
Ti j min n : X (m) i , X (m n) j , n 1
n
P{Tij m X (0) i}P{X (n) j X (0) i, X (k) j,1 k m 1, X (m) j} m 1
n
fij (m)P{X (n) j X (m) j} m 1
n
fij (m) p jj (n m) m 1
5.2.4 马尔可夫链的状态分类_状态的基本属性
称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机 变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j
Tii表示从状态i出发首次回到状态i的时间。
5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率
首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经 过n步首次到达状态j的概率，
平均转移时间定义： 定义条件数学期望 ij E Tij X (0) i nfij (n) n1
为从状态i出发，首次到达状态j的平均转移时间或平均转移 步数。
当i =j 时，i ii nfii (n) 称为从状态i出发，首次 n 1
返回状态i的平均返回时间或平均返回步数。
5.2.4 马尔可夫链的状态分类_状态的基本属性
fij
fij (m) 0
1m
5.2.4 马尔可夫链的状态分类_状态的基本属性
二、到达时间和到达概率
基本性质：
（3）定理：对于任意的i, j∈E，fij 0 i j
[证] 必要性：若fij>0，因 fij
fij (m) 0
1m
则至少存在一个正整数n≥1,使得fij(n)﹥0。由上定理，
两个吸收壁1,5
N
N
PX (m n) j X (m) i pij (n) 0
n1
n1
概率q 概率p
i=1
2
3
4
5
5.2.4 马尔可夫链的状态分类_状态的基本属性
一、可达与相通
相通的定义：给定的两个状态i和j，如果从状态i可到达状态j， 即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与
[证]
pij (n) P{X (n) j X (0) i}
P{Tij n, X (n) j X (0) i}
n
P{ Tij m, X (n) j X (0) i} m1
n
P{Tij m, X (n) j X (0) i} m1
n
P{Tij m X (0) i}P{X (n) j X (0) i,Tij m} m 1
二、到达时间和到达概率
基本性质：
（3）定理：对于任意的i, j∈E，fij 0 i j
[证] 充分性：若i→j ，根据定义则存在正整数n≥1,使得 pij(n)﹥0。由上定理，
n
pij (n) fij (m) p jj (n m) 0 m1
从而fij(1), fij(2), …, fij(n) 中至少有一个大于0，所以
状态j 相通，记为i←→j。
定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。
[证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程，
pij (m n) pik (m) pkj (n) 0 kE