第六章 马尔可夫链

则称{X n , n 0}为齐次(时间其次或时齐)马尔可夫链.
否则，称为非齐次马尔可夫链. 显然 对齐次马尔可夫链，k步转移概率也与起始 (k ) 时刻n无关．记为 pij
第一节 基本概念
4.齐次马尔可夫链 为方便，一般假定时间起点为零．即 (k ) pij P ( X k j X 0 i) i, j S , k 0
P{(
l l
X nk l ), X nk m j X n i )
P{ ( X nk l , X nk m j ) X n i ) P( X nk l , X nk m j ) X n i )
l
第一节 基本概念
２. Chapman-kolmogorov方程

P(n) P(n 1)
P(n k 1) P(n k )
(n, k 0)
分量形式
( k 1) pij (n) j1 j2
p
jk
ij1
(n) p j1 j2 (n 1)
p jk j (n k )
(n, k 0, i, j S )
第一节 基本概念
P( X (tn ) in X (tn 1 ) in 1 ), xn R
Markov过程
时间离散状态离散的马尔科夫链 时间离散状态连续的马尔科夫序列 时间连续状态连续的马尔科夫过程 时间连续状态离散的马尔科夫过程
2014-12-15
7
第六章
Markov链
第一节 基本概念
(k ) ( m) pil (n) plj (n k )
l
第一节 基本概念
２. Chapman-kolmogorov方程
C-K方程的直观意义： 系统在n 时从状态i的出发,经过k+m步转移,于 n+k+m时到达状态j,可以先在n时从状态i出发，经 过k步转移于n+k时到达某种中间状态l,再在n+k时 从中间状态l出发经过m步转移于n+k+m时到达最 终状态j,而中间状态l要取遍整个状态空间S.
记为 pij (n)
(1) P (1) ( n ) ( pij ( n ))为系统的一步转移概率矩阵
记为 P(n) pij (n)
第一节 基本概念
1. 转移概率 定义 称可数维的矩阵 P ( pij ) 为随机矩阵，如果
pij 0,(i, j )
p
j
ij
1,(i)
(k ) P (n) 显然， 在 n 时的 k 步转移概率矩阵 { X n , n 0}
( 0) ( 0) q ( q 初始分布向量. 即 i )
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 2）有限维分布
定理 马尔可夫链{X n , n 0}的有限维分布由其
初始分布和一步转移概率所完全确定. 证明
对n 1, 0 t1 t2
P{X t1 i1, X t2 i2 ,
经过k步转移,于n+k时到达状态j的条件概率).
(k ) 称以 pij ( n )为第 i行底 j列元素的矩阵
(k ) P ( k ) ( n ) ( p ij ( n ))
为系统{X n , n 0}在 n时的k步转移概率矩阵.
第一节 基本概念
1. 转移概率
特别 当k=1时，
(1) pij ( n )为系统在 n时的一步转移概率,
在条件 X (tn1 ) xn1下的条件分布函数,即
P( X (tn ) xn X (t1 ) x1 , X (t2 ) x2 , , X (tn 1 ) xn 1 ) P( X (tn ) xn X (tn 1 ) xn 1 ), xn R
则称{X (t ), t T }为马尔可夫过程.
(k) 相应的k步与一步转移概率矩阵分别记为 P 与P
(k ) k (1) P P , k 0; 定理 (2) q ( k ) q (0) P k , k 0;
(3) { X n , n 0}的有限维分布由其初始分布和一
步转移概率所完全确定
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则
i
P(
P( X 0 i , X n j )
i
P( X 0 i ) P ( X n j X 0 i )
q p (0)
(0) i ( n) ij i
i
n 0, i, j S
第一节 基本概念
4.齐次马尔可夫链 定义 设{X n , n 0} 是一马尔可夫链,如果其一步转移 概率 pij (n) 恒与起始时刻n无关，记为 pij
( n) q(jn) qi(0) pij (0) i
n 0, i, j S
( n)
或矩阵形式 q
( n)
q P (0)
( 0)
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 3）绝对分布
q(jn) P( X n j)
P(
i
( X 0 i), X n j ) ( X 0 i, X n j )
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
( k m) (k ) ( m) pij (n) pil (n) plj (n k ), n, m, k 0, i, j S
( k m) (k ) ( m) P ( n ) P ( n ) P (n k ) 或矩阵形式
( k m) (k ) ( m) pij (n) pil (n) plj (n k ), n, m, k 0, i, j S
( k m) (k ) ( m) P ( n ) P ( n ) P (n k ) 或矩阵形式
l
证明
( k m) pij (n) P{X nk m j X n i)
t t0 过去 t t0 现在 t t0 将来
2. 马尔可夫过程
定义 设 { X (t ), t T } 的状态空间为S,
如果对n 2, t1 t2
tn T , , n 1下
在条件 X (ti ) xi , xi S , i 1, 2,
X (t n ) 的条件分布函数恰好等于
第一节 基本概念
２. Chapman-kolmogorov方程
若取m=1,则由C-K方程的矩阵形式:
P( k m) (n) P( k ) (n)P( m) (n k )
得 P( k 1) (n) P( k ) (n)P(1) (n k )
P( k 1) (n) P(n k 1) P(n k )
称 q
( n) j
P( X n j), n 0, j S
为马尔可夫链 {X n , n 0}的绝对分布
(n) (0) q q 称 第j个分量为 j 的(行)向量 为马尔可夫链
( n) ( n) q ( q {X n , n 0}的绝对分布向量. 即 j )
绝对分布、初始分布和n步转移概率有如下关系：
P( X tn in X tn1 in 1 )
(0) t1 ii1 t2 t1 i1i2
, X tn1 in1 )
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X t1 i1 )
i
qi p (0) p
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程 称为马尔可夫链。 注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2, t1 t2
tn T , i1 , i2 ,
, in S ,
, X (tn 1 ) in 1 )
有 P( X (tn ) in X (t1 ) i1 , X (t2 ) i2 ,
是一随机矩阵.
特别
k＝０时，约定
p
(0) ij
1 i j ij , i, j S , n 0 0 i j
此时 P(0) (n) I为单位矩阵.
第一节 基本概念
２. Chapman-kolmogorov方程
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
Markov 过程
Markov过程
安德雷.安德耶维奇.马尔可夫
(A.A.Markov):
俄数学家，1856~1922
概率和统计领域专家。
当年Markov研究普希金诗歌里元音字母和
辅音字母交替出现的规律时提出了Markov过程的
数学模型
Markov过程80年代兴起，在现代工程、自然
2014-12-15 科学、社会科学中应用广泛。
1. 转移概率 定义 设 {X n , n 0}是马尔可夫链,称条件概率 (k ) pij (n) P( X nk j X n i), i, j S, n 0, k 1
为 {X n , n 0}在n时的k步转移概率.
( 它 表 示 系 统 { X n , n 0}在 n时 处 于 状 态 i的 条 件 下
i
(t1 )
p
tn tn1 in1in
(tn1 ).
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 2）有限维分布
又因为马尔可夫链的k步转移概率由一步转移概率所 完全确定.
所以马尔可夫链的有限维分布由其初始分布和 一步转移概率所完全确定.
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 3）绝对分布
1．马尔可夫性 定义 设 { X (t ), t T } 是一个随机过程，如果
{ X (t ), t T } 在t0时刻所处的状态为已知，它在 时刻 t t0 所处状态的条件分布与其在 t0 之前
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称 { X (t ), t T } 具有马尔可夫（Markov)性。
２. Chapman-kolmogorov方程
定理 马尔可夫链的k 步转移概率由 其一步 转移概率所完全确定.
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 1）初始分布
称 qi(0) P( X 0 i), i S 为马尔可夫链的初始分布
(0) q 称 第i个分量为 i 的(行)向量 q ( 0 )为马尔可夫链的
第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布 第四节 Markov链的应用
8/32
第六章
第一节 基本概念
Markov链
1. 转移概率
２. Chapman-kolmogorov方程
3. Markov链的分布 4.齐次Markov链 ５.Markov 链举例
9/32
第一节 基本概念
, X tn in )} , X tn in )
第一节 基本概念
3.马尔可夫链 { X n , n 0} 的分布 2）有限维分布
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X 0 i, X t1 i1 )
i


P( Biblioteka Baidu tn in X 0 i , X t1 i1,
P{
tn , i1, i2 ,
, in , i S
, X tn in }
, X tn in }
P{
i
i
( X 0 i), X t1 i1 , X t2 i2 ,
P( X 0 i, X t1 i1 , X t2 i2 ,
i
( X 0 i, X t1 i1 , X t2 i2 ,
l
证明 P( X nk l , X nk m j ) X n i )
l
l
P( X nk l X n i) P( X nk m j X n i, X nk l )
P( X nk l X n i) P( X nk m j X nk l )