第六章 马尔可夫链.

l
P( X nk l X n i) P( X nkm j X n i, X nk l)
l
P( X nk l X n i) P( X nkm j X nk l)
l
p(k il
)
(n)
pl(jm
)
(n
k
)
l
第一节 基本概念
２. Chapman-kolmogorov方程
C-K方程的直观意义：
)
p(n ij
)
(0)
n 0,i, j S
i
第一节 基本概念
4.齐次马尔可夫链
定义 设{X n , n 0}是一马尔可夫链,如果其一步转移 概率 pij (n) 恒与起始时刻n无关，记为 pij
则称{X n , n 0}为齐次(时间其次或时齐)马尔可夫链. 否则，称为非齐次马尔可夫链.
显然 对齐次马尔可夫链，k步转移概率也与起始
Markov过程
➢ 时间离散状态离散的马尔科夫链
➢ 时间离散状态连续的马尔科夫序列 ➢ 时间连续状态连续的马尔科夫过程 ➢ 时间连续状态离散的马尔科夫过程
2020/6/12
7
第六章 Markov链
第一节 基本概念 第二节 Markov链的状态分类及性质 第三节 极限定理及平稳分布 第四节 Markov链的应用
3.马尔可夫链 {X n , n 0}的分布
1）初始分布
称
q(0) i
@P( X 0
i),
iS
为马尔可夫链的初始分布
称 第i个分量为 qi(0) 的(行)向量 q(0)为马尔可夫链的
初始分布向量. 即 q(0) (qi(0) )
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
2）有限维分布 定理 马尔可夫链{X n , n 0}的有限维分布由其
证明
p(k ij
m)
(n)
P{X nk m
j
Xn
i)
U P{( X nk l), X nkm j X n i)
l
U P{ ( X nk l, X nkm j) X n i)
l
P( X nk l, X nkm j) X n i)
l
第一节 基本概念
２. Chapman-kolmogorov方程
P( X (tn ) xn X (t1) x1 , X (t2 ) x2,L , X (tn1) xn1) P( X (tn ) xn X (tn1) xn1), xn R
则称{X (t),t T}为马尔可夫过程.
3.马尔可夫链 定义 参数集和状态空间都是离散的马尔可夫过程
称为马尔可夫链。
t t0 过去
t t0 现在
t t0 将来
2. 马尔可夫过程 定义 设 {X (t),t T} 的状态空间为S,
如果对n 2, t1 t2 L tn T , 在条件 X (ti ) xi , xi S, i 1, 2,L , n 1下
X (tn ) 的条件分布函数恰好等于
在条件 X (tn1) xn1下的条件分布函数,即
Markov 过程
Markov过程
安德雷.安德耶维奇.马尔可夫 (A.A.Markov): 俄数学家，1856~1922 概率和统计领域专家。
当年Markov研究普希金诗歌里元音字母和 辅音字母交替出现的规律时提出了Markov过程的 数学模型
Markov过程80年代兴起，在现代工程、自然 科2学020/、6/12社会科学中应用广泛。
注 只讨论马尔可夫链的状态空间为有限或可列无限. 则马尔可夫性可表示为
对n 2,t1 t2 L tn T ,i1,i2,L ,in S,
有 P( X (tn ) in X (t1) i1 , X (t2 ) i2 ,L , X (tn1) in1) P( X (tn ) in X (tn1) in1), xn R
此时 P(0) (n) I为单位矩阵.
第一节 基本概念
２. Chapman-kolmogorov方程
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
p(k ij
m)
(n)
p(k il
)
(n)
p(m lj
)
(n
k
),
n, m, k 0,i, j S
l
或矩阵形式 P(km) (n) P(k) (n)P(m) (n k)
X
nk
j
Xn
i),
i, j S, n 0, k 1
为{X n , n 0}在n时的k步转移概率.
(它 表 示 系 统{ X n , n 0}在 n时 处 于 状 态 i的 条 件 下
经过k步转移,于n+k时到达状态j的条件概率).
称
以
p(k ij
)
(
n
)为
第
i行
底
j列
元
素
的
矩
阵
P
(k)
(n)
其一步转移概率矩阵为
a 1 a P b 1 b
第一节 基本概念
５.马尔可夫链举例
例2(有限制随机游动问题)
设质点只能在{0，1，2，···，a}中的各点上作随机
游动，移动规则如下：
q
p
（1）移动前i {1, 2,L , a 1}处 i-1
i
i+1
p, q, r 0, p q r 1;
r
（2）移动前i 0处
(
p(k) ij
(n))
为系统{X n , n 0}在 n时的k步转移概率矩阵.
第一节 基本概念
1. 转移概率
特别 当k=1时，
p (1) ij
(n
)为
系
统
在
n时
的
一
步
转
移
概
率
,
记为 pij (n)
P
(1)
(n)
(
p (1) ij
(n))为
系
统
的
一
步
转
移
概
率
矩
阵
记为 P(n) pij (n)
第一节 基本概念
若取m=1,则由C-K方程的矩阵形式:
P(km) (n) P(k) (n)P(m) (n k)
得 P(k1) (n) P(k) (n)P(1) (n k )
P(k1) (n) P(n k 1) P(n k)
L
P(n) P(n 1)L P(n k 1) P(n k)
分量形式
8/32
第六章 Markov链
第一节 基本概念
1. 转移概率
２. Chapman-kolmogorov方程
3. Markov链的分布
4.齐次Markov链
５.Markov 链举例
9/32
第一节 基本概念
1. 转移概率
定义 设 {X n , n 0}是马尔可夫链,称条件概率
p(k ij
)
(n)
@P(
i
P( X 0 i, X t1 i1, X t2 i2 ,L , X tn in )
i
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 2）有限维分布
P(X0 i) P(Xt1 i1 X0 i) P(Xt2 i2 X0 i, Xt1 i1)
i
L P(Xtn in X0 i , Xt1 i1,L , Xtn1 in1)
P(X0 i) P(Xt1 i1 X0 i) P(Xt2 i2 Xt1 i1)
i
L P( Xtn in Xtn1 in1)
q(0) i
pt1 ii1
(0)
pt2 t1 i1i2
(t1 ) L
p (t ). tn tn1
in1in
n 1
i
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 2）有限维分布
系统在n 时从状态i的出发,经过k+m步转移,于 n+k+m时到达状态j,可以先在n时从状态i出发，经 过k步转移于n+k时到达某种中间状态l,再在n+k时 从中间状态l出发经过m步转移于n+k+m时到达最 终状态j,而中间状态l要取遍整个状态空间S.
第一节 基本概念
２. Chapman-kolmogorov方程
(n, k 0)
p(k ij
1)
Biblioteka Baidu
(n)
L pij1 (n) p j1 j2 (n 1)L pjk j (n k)
j1 j2
jk
(n, k 0,i, j S)
第一节 基本概念
２. Chapman-kolmogorov方程
定理 马尔可夫链的k 步转移概率由 其一步 转移概率所完全确定.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布 3）绝对分布
Q
q(n) j
P(Xn
j)
U P( ( X 0 i), X n j)
i
U P( ( X 0 i, X n j)
i
P( X 0 i, X n j)
i
P( X 0 i) P( X n j X 0 i)
i
qi(0
又因为马尔可夫链的k步转移概率由一步转移概率所 完全确定. 所以马尔可夫链的有限维分布由其初始分布和 一步转移概率所完全确定.
第一节 基本概念
3.马尔可夫链 {X n , n 0}的分布
3）绝对分布
称
q(n) j
@P( X n
j),
n 0, j S
为马尔可夫链 {X n , n 0}的绝对分布
初始分布和一步转移概率所完全确定.
证明Q 对n 1,0 t1 t2 L tn ,i1,i2 ,L ,in ,i S
P{X t1 i1, X t2 i2 ,L , X tn in}
U P{ ( X 0 i), X t1 i1, X t2 i2 ,L , X tn in}
i
U P{ ( X 0 i, X t1 i1, X t2 i2 ,L , X tn in )}
1. 转移概率
定义 称可数维的矩阵 P ( pij ) 为随机矩阵，如果
pij 0, (i, j)
pij 1,(i)
j
显然，{X n , n 0}在n时的k步转移概率矩阵 P(k) (n)
是一随机矩阵.
特别 k＝０时，约定
p(0) ij
ij
1 0 ,
i j i j
i, j S, n 0
称
第j个分量为
q
(n) j
的(行)向量
q(0) 为马尔可夫链
{X n , n 0}的绝对分布向量. 即 q(n) (q(jn) )
绝对分布、初始分布和n步转移概率有如下关系：
q(n) j
qi(0
)
p(n ij
)
(0)
n 0,i, j S
i
或矩阵形式 q(n) q(0)P(n) (0)
第一节 基本概念
p0 , r0 0, p0 r0 1
0
p0
1
r0
（3）移动前i a处
qa , ra 0, qa ra 1
qa
a-1
a
ra
第一节 基本概念
５.马尔可夫链举例 例2(有限制随机游动问题)
设Xn表示质点在n时刻所处的位置，则
{X n , n 0}是以S {0,1,L , a}为状态空间的齐次 马尔可夫链. 其一步转移概率矩阵为
定理 (C-K方程) （解决了k步转移概率与一步转移概率间的关系）
p(k ij
m)
(n)
p(k il
)
(n)
p(m lj
)
(n
k
),
n, m, k 0,i, j S
l
或矩阵形式 P(km) (n) P(k) (n)P(m) (n k)
证明 P( X nk l, X nkm j) X n i)
时刻n无关．记为
p(k) ij
第一节 基本概念
4.齐次马尔可夫链
为方便，一般假定时间起点为零．即
p(k) ij
P(Xk
j
X0
i)
i, j S,k 0
相应的k步与一步转移概率矩阵分别记为 P(k)与P
定理 (1) P(k) Pk , k 0;
(2) q(k ) q(0)Pk , k 0;
r0 p0 0 0
q
r
p 0
0 q r p
P
0 0 0 0
0 0 0 0
0 0 0
0
0
0
0 0 0
q r p
0 qa ra
第一节 基本概念
５.马尔可夫链举例 例3(坛子放回摸球问题)
设一个坛子中装有m个球，它们或是红色的，或是黑 色的，从坛子中随机的摸出一球，并换入一个相反 颜色的球. 设经过n次摸换,坛中黑球数为Xn,则{X n , n 0}是以 S {0,1, , m} 为状态空间的齐次马尔可夫链.
1．马尔可夫性 定义 设 {X (t),t T} 是一个随机过程，如果
{X (t),t T} 在t0时刻所处的状态为已知，它在
时刻 t t0 所处状态的条件分布与其在 t0 之前
所处的状态无关。
通俗地说，就是在知道过程现在的条件下，其 将来的条件分布不依赖于过去，则称{X (t),t T} 具有马尔可夫（Markov)性。
(3) {X n , n 0}的有限维分布由其初始分布和一
步转移概率所完全确定
第一节 基本概念
５.马尔可夫链举例
例１(天气预报问题) 如果明天是否有雨仅与今天的 天气(是否有雨)有关，而与过去的天气无关. 并设 今天下雨、明天有雨的概率为a， 今天无雨而明天有雨的概率为b，又假设 有雨称为0状态天气，无雨称为1状态天气. Xn表示时刻n时的天气状态，则 {X n , n 0}是以 S {0,1}为状态空间的齐次马尔可夫链.