第五章 随机过程中的马尔可夫过程

2) 有限维分布 定理 5.2.3
马尔可夫链的有限维分布由其初始分布与一步转移概 率完全确定.
证明: n 1, 0 t1 t2 L tn , i1, i2 ,L , in S
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P{X t1 i1, X t2 i2 ,L , X tn1 in1, X tn in}
P{U( X nk l, X nkm j) | X n i} l
P{( X nk l, X nkm j) | X n i}
l
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
P{X nk l | X n i}P{X nkm j | X nk l, X n i}
Markov 链最初由 Markov 于 1906 年引入， 至今它在自然科学、工程技术、生命科学及管理 科学等诸多领域中都有广泛的应用。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
5.1 马尔可夫过程的定义
设随机过程{X (t); t T}的状态空间 S 可列或有限，考 察其有限维分布函数。如果对 n 2 、 t1,t2,L ,tn T ，及 状态 i1, i2 ,L , in S ，由乘法公式得
称此特性为Markov性或无后效性，简称为马氏性。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
5.1 马尔可夫过程的定义 1.马尔可夫性 定义 5.1.1
设{X (t)，t T}是一个随机过程，如果{X (t)，t T} 在t0时刻所处的状态已知时，它在时刻t t0所处状态的 条件分布与其在t0之前的状态无关。则称{X (t)，t T}具 有马尔可夫（Markov）性.
P{U(X0 i
i), Xt1
i1, Xt2
i2,L
, X tn1
in1, Xtn
in}
P{U(X0 i
i, Xt1
i1, Xt2
i2,L
, X tn1
in1, Xtn
in )}

P{X 0 i, X t1 i1, X t2 i2 ,L , X tn1 in1, X tn in}
p(0) ij
(n)
i j

1 0
i j i j
i, j S, n 0
则:
P(0) (n) I 为单位矩阵。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
2. 切普曼－柯尔莫哥洛夫（Chapman－Kolmogorov）方程
定理 5.2.1 (C － K方程)
P{X (t1) i1, X (t2 ) i2 ,L , X (tn1) in1, X (tn ) in} P{X (t1) i1}P{X (t2 ) i2 X (t1) i1} P{X (t3) i3 X (t2 ) i2, X (t1) i1}L P{X (tn ) in X (tn1) in1,L , X (t2 ) i2, X (t1) i1}
p(k m) ij
(n)

p(k il
Байду номын сангаас
)
(n)
p(m lj
)
(n

k
),
i, j S,
n, k, m 0
l
或
P(km) (n) P(k) (n)P(m) (n k)
证明
2006年9月
p(k ij
m)
(n)

P{X
nk
m

j|
Xn
i}
P{U( X nk l), X nkm j | X n i} l
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
一种最简单的形式:
P{X (t1) i1, X (t2 ) i2,L , X (tn1) in1, X (tn ) in} P{X (t1) i1}P{X (t2) i2}L P{X (tn ) in}
由于 pikj (n) 0, i, j S
因此
pikj (n) P{X nk j | X n i}
j
j
P{U X nk j | X n i} P{ | X n i} 1 j
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
我们约定:
定义 5.2.2
（1）称可数维的向量 p ( p1, p2, p3 L ) 为概率（行）向量，
如果其各元均非负且 j p j 1。列概率向量可类似定义。
（2）称可数维的矩阵P= ( pij )为随机矩阵，如果它的每一行
均是概率向量，即 pij 0，i, j;
j pij 1, i。
P{X (tn ) xn X (t1) x1, X (t2 ) x2 ,L , X (tn1) xn1} P{X (tn ) xn X (tn1) xn1}, xn R
则称{X (t); t T}为 Markov 过程。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
2.马尔可夫过程 定义 5.1.2
设 {X (t); t T} 的 状 态 空 间 为 S ， 如 果 对 n 2 ， 及 t1,t2 ,L ,tn T ，在条件 X (ti ) xi , xi S,i 1, 2,L , n 1下，X (tn ) 的条件分布函数恰好等于在条件 X (tn1) xn1 下的条件分 布函数，即
i
P( X 0 i)P( Xt1 i1 | X 0 i)P( X t2 i2 | X 0 i, X t1 i1)L i
• P( X tn in | X 0 i, X t1 i1, X t2 i2 ,L , X tn1 in1)
P( X 0 i)P( X t1 i1 | X 0 i)P( X t2 i2 | X 0 i)P( X tn in | X tn1 in1)
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
第五章 马尔可夫(Markov)过程
本章我们先讨论一类特殊的参数离散、状态空 间离散的随机过程，参数为T {0,1,2, } N0 ，状态 空 间 为 可 列 S {1,2, } 或 有 限 S {1,2, ,n} 的 情 况，即讨论的过程为 Markov 链。
i

qi0
pt1 ii1

(0)
pt2 i1i2
t1

(t1
)L
p (t ) tn tn1
in1in
n1
i
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
3) 绝对分布
称q(jn) P(Xn j), n 0, j S为马尔可夫链{Xn，n 0}的绝对分布。
1. 转移概率 定义 5.2.1
设{Xn，n 0}是马尔可夫链，称{Xn，n 0}在n时处于状态 i的条件下经过k步转移，于n k时到达状态j的条件概率
pikj (n) @P{Xnk j | Xn i}, i, j S, n 0, k 1
为{X n，n 0}在n时的k步转移概率
n 1 ，， i1, i2 ,L , in S
P{X (n) in X (0) i0, X (1) i1,L , X (n 1) in1} P{X (n) in X (n 1) in1}
或 P{X n in X 0 i0 , X1 i1,L , X n1 in1} P{X n in X n1 in1}
3.马尔可夫链
我们称马尔可夫过程{X(t), t∈ T}取值的全体所组成的集合 S为过程的状态空间，它可以是任意的一个集合，但为了数学 上的处理，往往要加上某种可测性的结构。本章只讨论S为可 列或有限（称为可数）的情形。
马氏过程的参数集T常用的有两种情形：连续的区间和可 列集。
我们常称X(t)=i，为“系统在t时刻处于状态i”。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
证明:
q(n) j
P(Xn

j)
P(U( X 0
i), X n

j)
i
P(U(X0 i, Xn j)) i
P( X 0 i, X n j)
i
P( X 0 i)P( X n j | X 0 i)
i

q(0) i
p(n ij
)(0)
定理 5.2.2 马尔可夫链的k步转移概率由一步转移概率完全确定.
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
3. 马尔可夫链的分布
1) 初始分布
称qi(0) P( X 0 i)为马尔可夫链{X n，n 0}的初始分布。 称第i个分量为qi(0)的（行）向量q(0)为马尔可夫链{Xn，n 0} 的初始分布向量，即 q(0) {qi(0)}。
定义 5.1.3
参数集和状态空间都是离散的马尔可夫过程称为 马尔可夫链,简称马氏链
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
特 别 地 ， 当 T {0,1, 2,L } 的 马 尔 可 夫 链 常 记 为 {X (n), n 0}或{X n , n 0} , 此 时 ， 马 尔 可 夫 性 为 ， 对 于
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
5.2 马尔可夫链的转移概率与概率分布
为了方便，记 S {1, 2,3,L } ，它可以是有限的也可以是 可 列 无 限 的 ， T {0,1, 2,L } ， 相 应 的 马 尔 可 夫 链 为
{X n , n 0} 。有时称{X n , n 0} 为系统。
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
称以pikj (n)为第i行第j列的矩阵P(k ) (n) @ pikj (n)
为{X n，n 0}在n时的k步转移概率矩阵。
特别地，当k 1时，{X n，n 0}在n时的一步转移概率和 一步转移概率矩阵分别简记为pij (n)和P(n)。
称第j个分量为q(jn)的(行)向量q(n)为马尔可夫链{X n，n 0}
的绝对分布向量，即
q(n)

{q
(n j
)
}。
绝对分布与初始分布及n步转移概率有如下关系:
q(n) j

qi(0
)
p(n ij
)(0)，
n 0,
i, j S。
i
写成矩阵形式即为:
q(n) q(0)p(n)(0)
l
P{X nk l | X n i}P{X nkm j | X nk l}
l

p(k il
)
(n)
p(m) lj
(n

k
)
l
取m=1,则
P(k1) (n) P(k) (n)P(n k ), n, k 0
进而可得:
P(k1) (n) P(n)P(n 1)L P(n k), n, k 0
2006年9月
陕西师范大学物理学与信息技术学院 ——— 《随机过程》
性质 5.2.1
（1）随机矩阵P的任意幂次P(m) (m 0)均是随机矩阵。
（2）如果随机矩阵P的各行皆对应相等，即 pij p j，i, j,则
P P2 L Pm L
显然，{X n，n 0}的k步转移矩阵P(k) (n)是一随机阵。
稍微复杂一点的形式: P{X (t1) i1, X (t2 ) i2 ,L , X (tn1) in1, X (tn ) in} P{X (t1) i1} P{X (t2 ) i2 X (t1) i1} P{X (t3 ) i3 X (t2 ) i2}L P{X (tn ) in X (tn1) in1}