演示文稿第六章马尔可夫链

(n)
p(m) lj
(n
k
),
n, m, k 0,i, j S
l
或矩阵形式 P(km) (n) P(k) (n)P(m) (n k)
证明
p(km) ij
(n)
P{X
nk m
j
Xn
i)
第十三页，共123页。
P{( X nk l), X nkm j X n i)
l
P{ ( X nk l, X nkm j) X n i)
l
或矩阵形式 P(km) (n) P(k) (n)P(m) (n k)
证明 P( X nk l, X nkm j) X n i)
l
P( X nk l X n i) P( X nkm j X n i, X nk l) l
第十四页，共123页。
P( X nk l X n i) P( X nkm j X nk l)
第二十七页，共123页。
qa
a-1
a
ra
第一节 基本概念
５.马尔可夫链举例 例2(有限制随机游动问题)
阵
P
(k
)
(n)
(
p(k ij
)
(n))
为系统{X n , n 0}在 n时的k步转移概率矩阵.
第十页，共123页。
第一节 基本概念
1. 转移概率
特别 当k=1时，
p (1) ij
(n
)为
系
统
在
n时
的
一步
转
移
概
率
,
记为 pij (n)
P
(1)
(n)
(
p (1) ij
(n))为系统的一步转移概率矩阵
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 2）有限维分布 又因为马尔可夫链的k步转移概率由一步转移概率所
完全确定.
所以马尔可夫链的有限维分布由其初始分布和 一步转移概率所完全确定.
第二十一页，共123页。
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
3）绝对分布
p(k ij
)
(n)
P( X nk j X n i), i, j S, n 0, k 1
为{X n , n 0}在n时的k步转移概率.
(它表示系统{X n , n 0}在n时处于状态i的条件下
经过k步转移,于n+k时到达状态j的条件概率).
称
以
p(k ij
)
(
n)为
第
i行
底
j列
元
素
的
矩
在条件 X (tn1) xn1下的条件分布函数,即
P( X (tn ) xn X (t1) x1 , X (t2 ) x2 , , X (tn1) xn1) P( X (tn ) xn X (tn1) xn1), xn R
第五页，共123页。
则称{X (t),t T}为马尔可夫过程.
l
p(k il
)
(n)
p(m lj
)
(n
k
)
第一节 基本概念
２. Chapman-kolmogorov方程
C-K方程的直观意义：
系统在n 时从状态i的出发,经过k+m步转移,于n+k+m 时到达状态j,可以先在n时从状态i出发，经过k步转 移于n+k时到达某种中间状态l,再在n+k时从中间状 态l出发经过m步转移于n+k+m时到达最终状态j,而中 间状态l要取遍整个状态空间S.
P(n) P(n 1) P(n k 1) P(n k)
分量形式
(n, k 0)
p(k ij
1)
(n)
j1 j2
第十六页，共123页。
pij1 (n) p j1 j2 (n 1) p jk j (n k ) jk (n, k 0,i, j S)
第一节 基本概念
２. Chapman-kolmogorov方程
称
q(n) j
P( X n j), n 0, j S
为马尔可夫链 {X n , n 0}的绝对分布
称 第j个分量为
q(n) j
的(行)向量 q(0) 为马尔可夫链
{X n , n 0}的绝对分布向量. 即
q(n)
(q
(n) j
)
绝对分布、初始分布和n步转移概率有如下关系：
q(n) j
q(0) i
p(0) ij
ij
1 0 ,
i j i j
i, j S, n 0
第十二页，共123页。
此时 P(0) (n) I为单位矩阵.
第一节 基本概念
２. Chapman-kolmogorov方程
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
p(k ij
m)
(n)
p(k il
)
定理 马尔可夫链的k 步转移概率由 其一步 转移概率所完全确定.
第十七页，共123页。
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
1）初始分布
称
q(0) i
P( X 0 i), i S 为马尔可夫链的初始分布
称 第i个分量为 qi(0)的(行)向量 q(0)为马尔可夫链的
初始分布向量. 即 q(0) (qi(0) )
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X t1 i1) i P( X tn in X tn1 in1)
q(0) i
pt1 ii1
(0)
pt2 t1 i1i2
(t1 )
i
p (t ). tn tn1
in1in
n1
第二十页，共123页。
第十五页，共123页。
第一节 基本概念
２. Chapman-kolmogorov方程
若取m=1,则由C-K方程的矩阵形式:
P(km) (n) P(k) (n)P(m) (n k)
得 P(k1) (n) P(k) (n)P(1) (n k )
P(k1) (n) P(n k 1) P(n k)
今天无雨而明天有雨的概率为b，又假设
有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则
{X n , n 0}是以 S {0,1}为状态空间的齐次马尔可夫链.
其一步转移概率矩阵为
a 1 a P b 1 b
第二十六页，共123页。
第一节 基本概念
５.马尔可夫链举例
例2(有限制随机游动问题)
学、社会科学中应用广泛。
2022/1/7
第三页，共123页。
1．马尔可夫性
定义 设 {X (t),t T}是一个随机过程，如果
{X (t),t T} 在t0时刻所处的状态为已知，它在
时刻 t t0 所处状态的条件分布与其在 t0 之前
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称{X (t),t T} 具有马尔可夫（Markov)性。
l
P( X nk l, X nkm j) X n i)
l
第一节 基本概念
２. Chapman-kolmogorov方程
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
p(k ij
m)
(n)
p(k il
)
(n)
p(m) lj
(n
k
),
n, m, k 0,i, j S
记为 P(n) pij (n)
第十一页，共123页。
第一节 基本概念
1. 转移概率
定义 称可数维的矩阵 P ( pij ) 为随机矩阵，如果
pij 0, (i, j)
pij 1, (i) j
显然，{X n , n 0}在n时的k步转移概率矩阵 P(k) (n)
是一随机矩阵.
特别 k＝０时，约定
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布
P( X 0 i) P( X t1 i1 X 0 i) P( X t2 i2 X 0 i, X t1 i1) i P( X tn in X 0 i , X t1 i1, , X tn1 in1)
i
P( X 0 i, X n j) i
P( X 0 i) P( X n j X 0 i)
i
q(0) i
p(n) ij
(0)
n 0,i, j S
i
第一节 基本概念
4.齐次马尔可夫链
定义 设{X n , n 0}是一马尔可夫链,如果其一步转移 概率 pij (n)恒与起始时刻n无关，记为 pij
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程
称为马尔可夫链。 注 只讨论马尔可夫链的状态空间为有限或可列无限.
则马尔可夫性可表示为
对n 2,t1 t2 tn T ,i1,i2 , , in S,
有 P( X (tn ) in X (t1) i1 , X (t2 ) i2 , , X (tn1) in1) P( X (tn ) in X (tn1) in1), xn R
（优选）第六章马尔可夫链
第一页，共123页。
Markov 过程
第二页，共123页。
Markov过程
安德雷.安德耶维奇.马尔可夫
(A.A.Markov):
俄数学家，1856~1922
概率和统计领域专家。 当年Markov研究普希金诗歌里元音字母和辅音字
母交替出现的规律时提出了Markov过程的数学模型 Markov过程80年代兴起，在现代工程、自然科
则称{X n , n 0}为齐次(时间其次或时齐)马尔可夫链. 否则，称为非齐次马尔可夫链.
显然 对齐次马尔可夫链，k步转移概率也与起始
时刻n无关．记为
p(k) ij
第二十四页，共123页。
第一节 基本概念
4.齐次马尔可夫链
为方便，一般假定时间起点为零．即
p(k) ij
P( X k
j
X0
i)
i, j S,k 0
第十九页，共123页。
P{ ( X 0 i), X t1 i1, X t2 i2 ,
i
P{ ( X 0 i, X t1 i1, X t2 i2 ,
i
P( X 0 i, X t1 i1, X t2 in in )}
, X tn in )
第十八页，共123页。
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布
定理 马尔可夫链 {X n , n 0}的有限维分布由其 初始分布和一步转移概率所完全确定.
证明 对n 1,0 t1 t2 tn ,i1,i2 , , in , i S
P{X t1 i1, X t2 i2 , , X tn in}
第三节 极限定理及平稳分布 第四节 Markov链的应用
8/32
第六章 Markov链
第一节 基本概念
1. 转移概率 ２. Chapman-kolmogorov方程
3. Markov链的分布
4.齐次Markov链
第九页，共123页。
５.Markov 链举例
9/32
第一节 基本概念
1. 转移概率
定义 设 {X n , n 0}是马尔可夫链,称条件概率
第四页，共123页。
t t0 过去
t t0 现在
t t0 将来
2. 马尔可夫过程
定义 设 {X (t),t T} 的状态空间为S,
如果对n 2, t1 t2 tn T , 在条件 X (ti ) xi , xi S, i 1, 2, , n 1下
X (tn ) 的条件分布函数恰好等于
第六页，共123页。
Markov过程
➢ 时间离散状态离散的马尔科夫链
➢ 时间离散状态连续的马尔科夫序列
➢ 时间连续状态连续的马尔科夫过程
➢ 时间连续状态离散的马尔科夫过程
2022/1/7
7
第七页，共123页。
第六章 Markov链
第八页，共123页。
第一节 基本概念
第二节 Markov链的状态分类及性质
相应的k步与一步转移概率矩阵分别记为 P(k)与P
定理 (1) P(k) Pk , k 0;
(2) q(k) q(0)Pk , k 0;
(3) {X n, n 0}的有限维分布由其初始分布和一
步转移概率所完全确定
第二十五页，共123页。
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的天气(是 否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a，
p(n ij
)
(0)
n 0,i, j S
i
或矩阵形式 q(n) q(0)P(n) (0)
第二十二页，共123页。
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 3）绝对分布
第二十三页，共123页。
q(n) j
P( X n
j)
P( ( X 0 i), X n j)
i
P( (X0 i, Xn j)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
q
p
（1）移动前i {1, 2, , a 1}处 i-1
i
i+1
p, q, r 0, p q r 1;
r
（2）移动前i 0处
p0 , r0 0, p0 r0 1
0 p0 1
r0
（3）移动前i a处
qa , ra 0, qa ra 1