应用随机过程 马尔科夫链上

› 进而，对于暂态 j 有：
i,
பைடு நூலகம் n1
p(n) ij
fij 1 f jj


lim
n
p(n) ij

0
› 证明：可以母函数证明，思路比较清晰。详见《应用随机过程 -模型和方法》，龚光鲁 钱敏平，P29.
› 也可以利用n步转移概率的首达分解定理证明。
5.2 状态的分类及其性质
› 常返态与暂态的充要条件
Zd 上的对称随机徘徊。类似地，可得：
p(2n) 00

c
1 nd /2
所以，当 d <= 2 时，所有状态都是常返态；而当 d >= 3 时，所
有状态则均为暂态。
第5章 作业
› 教材 P111 习题5 1-4 › 补充作业
第5章 马尔科夫链（上）
2016-2017学年第2学期 统计与信息学院 张建新
2017/4/17
第5章 马尔科夫（Markov）链
› 5.1 基本概念 › 5.2 状态的分类及其性质 › 5.3 极限定理即平稳分布 › 5.4 马尔可夫链的应用 › 5.5 连续时间马尔可夫链
5.1 基本概念
› 马尔可夫链及其转移概率矩阵 › 马尔可夫链举例 › n步转移概率矩阵、C-K方程与主
› 设行向量
(n) (i (n)), i (n) P{Xn i},i S
› 则有主方程：
(nm) (m) Pn
› 证明：
(n) (0)P(n) (0)Pn
j (m n) P{X mn j} P{X m i}P{X mn j | X m i} i i (m) pij (n) ( (m)P(n) ) j , j S i
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
已知初始分布为 (0) 0.25 0.30 0.35 0.1
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.2 状态的分类及其性质
可以利 用C-K 方程证 明（3）
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
可见，各态互通，即状态空间不可约。
5.2 状态的分类及其性质
5.2 状态的分类及其性质
由于各状态是互通的，故而所有的状态具有相同的常返性和周期性。
注：将直线上的随机徘徊推广到d 维空间，假设质点处在某一个格
点时，以等概率在下一时刻移动到与之相邻的任意格点上，便得到
› 马尔可夫链举例
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
› 以下定理显示，马氏链在时刻n的分布是如何依赖于 它的初始分布的。
P{X 0 i}
n
n
P{X n j | X 0 i,Tj l}P{Tj l | X 0 i} P{X n j | X l j} fij(l)
l 1
l 1
n

f p (l ) (nl ) ij jj
l 1
5.2 状态的分类及其性质
› 常返态与暂态的充要条件
方程
5.1 基本概念
› 马尔可夫链及其转移概率矩阵
5.1 基本概念
› 马尔可夫链及其转移概率矩阵
5.1 基本概念
› 马尔可夫链及其转移概率矩阵
5.1 基本概念
› 马尔可夫链及其转移概率矩阵
5.1 基本概念
› 马尔可夫链及其转移概率矩阵
5.1 基本概念
› 马尔可夫链举例
5.1 基本概念
› 马尔可夫链举例
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
5.2 状态的分类及其性质
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
该马尔科夫链的状态分为三类：{1,2}，{3}，{4}。
5.2 状态的分类及其性质
n步转移概率的首达分解定理
证明：利用全概率公式
注：Tj表示过程
首次到达状态 j 的时间，称为 首达时间。
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
5.2 状态的分类及其性质
首达概率、常返状态、非常返状态（暂态）
5.2 状态的分类及其性质
5.2 状态的分类及其性质
1/2 1/2
1 1
1/2
1/2 4
2
1/3 2/3
3
5.2 状态的分类及其性质
p (n) ij

P{X n

j|
X0
i}
P{X n j, X 0 i} P{X 0 i}
n
n
P{X n j, X 0 i,Tj l}
P{X n j | X 0 i,Tj l}P{Tj l, X 0 i}
l1
l1
P{X 0 i}
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
5.1 基本概念
› n步转移概率矩阵、C-K方程与主方程
P00(3)=7/27