随机过程 第4章 马尔可夫链

C-K方程

k n 1 I
p ik 1 p k1 k 2 p k n 1 j
( 3 ) P ( n ) P P ( n 1 ) (4) P (n) P n
初始概率和绝对概率
初始概率：
p j P{ X 0 j}, ( j I )
绝对概率：
p j ( n ) P{ X n j}, ( j I )
f ij


f
n 1
(n) ij
0 f ij( n ) f ij 1
常返性的定义
1) 若 fii = 1，则称状态 i 是常返的；若 fii < 1，则称
状态 i 是非常返的（或滑过的）。
2) 称期望值 i
(n) n f ii 为状态 i 的平均返回时间。 n 1
(3) P T ( n ) P T ( 0 ) P ( n ) ( 3 ) P T ( n ) P T ( n 1) P
有限维概率分布
[定理] 设 { Xn , n T } 是马尔可夫链，则对任意 n 1和 i1 , … , in I ，有
P X 1 i1 , , X n i n

i I
p i p ii1 p i n 1i n
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
马尔可夫链的几个简单例子
[例1] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离 散无记忆信道模型。假设某级信道输 入 0, 1 数字信号后，其输出正确的概 1 率为p，产生错误的概率为q，则该级 信道输入状态和输出状态构成一个两 状态的齐次马尔可夫链。 一步转移概率矩阵： p q P q p 0
描述马氏链的三种方式
（1）状态转移图
1 1/3 1/3 1/3 1/3 1/3
①
吸收壁
②
③
1
④
1/3 反射壁
（2）转移概率矩阵
0 0 0 1 1 / 3 1 / 3 1 / 3 0 P 0 1 / 3 1 / 3 1 / 3 0 1 0 0
pij = f ( i , j )

n
k 0
f ij( n k ) p (jjk )
上式可用来求从状态 i 经 n 步首次到达状态 j 的概率：
(n) f ij( n ) p ij f ij( k ) p (jjn k ) k 1 n 1
周期的等价定义
G .C .D {n : n 1, p
(n) ii
（3）函数表达式
[例3] 设{ Xn , nT }是一个马尔可夫链，其状态空 间 I = {a, b, c}，转移矩阵为
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
求： (1) P{ X 1 b , X 2 c , X 3 a , X 4 c X 0 c};
(n) p ij P{ X m n j X m i},
(i , j I , m 0, n 1)
为马尔可夫链 { Xn , n T } 的 n 步转移概率，并称
(n) P ( n ) p ij


为马尔可夫链 的 n 步转移矩阵。 规定：
p
(0) ij
0, i j 1, i j
一步转移概率矩阵
p11 P p 21 p12 p 22 p1n p2n
性质： (1) p ij 0 , i , j I
(2)

j I
p ij 1 , i I
（随机矩阵）
n 步转移概率
[定义] 称条件概率
3) 若 i < ，则称常返态 i 是正常返的；
若 i = ，则称常返态 i 是零常返的。
4) 非周期的正常返态称为遍历状态。
p
(n) ij
与 f
(n) ij
的关系
[定理] 对任意状态 i , j I 及 1 n < ，有
(n) p ij

n
k 1
f ij( k ) p (jjn k )
f
(n) 12
( q1 p 3 ) m 1 q1 q 3 , m ( q1 p 3 ) p1 ,
n 2m, m 1 n 2 m 1, m 0
(n) f13
( p1 q 2 ) m 1 p1 p 2 , n 2 m , m 1 m n 2 m 1, m 0 ( p1 q 2 ) q1 ,
第4章 马尔可夫链
内容提要
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布
马尔可夫过程的四种类型

马尔可夫链

时间、状态都离散 时间离散、状态连续 时间连续、状态离散 时间、状态都连续

马尔可夫序列


纯不连续马尔可夫过程


连续马尔可夫过程（或扩散过程）
n 步转移概率 p 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数
(n) n 0, 0 l < n 和 i , j I ，n 步转移概率 pij 具有下
(n) ij
列性质：
(n) (1) p ij
(n) ( 2 ) p ij

kI
k 1 I
(l ) ( n l ) p ik p kj
8 1 9 2 1 1 6 1 5 2/3 1/3 1 4 1
1 7
1
1 3
（1）状态的周期性
[定义] 如集合 { n : n 1, pii(n) > 0 } 非空，则称该集合 的最大公约数 d = d(i) = G.C.D{ n : pii(n) > 0 }为状态 i 的周期。 如 d > 1 就称 i 为周期的；如 d = 1 就称 i 为非周期的。 [定理] 如果状态 i 的周期为d ，则存在正整数 M，对一 切 n M ，有 pii(nd) > 0 。
p q q p
0 1
p, i j pij q, i j (i , j 0,1)
二步转移概率矩阵：
P
( 2)
2 2 p q P2 2 pq
2 pq 2 2 p q
[例2] （例4.4）具有吸收壁和反射壁的随机游动
设质点在线段 [1,4] 上作随机游动。假设它只能在时刻 nT 发生移动，且只能停留在1,2,3,4点上。当质点转移 到2,3点时，它以1/3的概率向左或向右移动一格，或停 留在原处。当质点移动到点 1 时，它以概率 1 停留在原 处。当质点移动到点4时，它以概率1移动到点3。若以 Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是一 个齐次马尔可夫链。
( 2 ) P{ X n 2 c X n b}
解：
(1)
1 / 2 1 / 4 1 / 4 P 2 / 3 0 1 / 3 3 / 5 2 / 5 0
P{ X 1 b, X 2 c , X 3 a , X 4 c X 0 c} P{ X 0 c , X 1 b, X 2 c , X 3 a , X 4 c} / P{ X 0 c} P{ X 4 c X 3 a} P{ X 3 a X 2 c} P{ X 2 c X 1 b} P{ X 1 b X 0 c} P{ X 0 c} / P{ X 0 c} Pac Pca Pbc Pcb 1 3 1 2 1 4 5 3 5 50 二步转移概率矩阵：
( 2 ) P{ X n 2 c X n b} 1 (2) Pbc 6
P ( 2)
17 30 2 8 P 15 17 30
9 40 3 10 3 20
5 24 1 6 17 90

4.2 马尔可夫链的状态分类
设 { Xn , n >0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j I ，初始分布 为 { Pj , j I } 。
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
(1) p j ( n ) (2) p j (Байду номын сангаас)

i I
(n) p i p ij

i I
p i ( n 1) p ij
初始分布：
{ p j} { p j , j I}
绝对分布：
{ p j ( n )} { p j ( n ) , j I }
初始概率向量：
P (0) p1 , p 2 ,
T
绝对概率向量：
P T ( n ) p1 ( n ), p 2 ( n ), , ( n 0)
则称 { Xn , n T } 为马尔可夫链，简称马氏链。
马氏性 （无后效性）
P{ X n 1 in 1 X 0 i0 , X 1 i1 , , X n in } P{ X n 1 in 1 X n in }
P{ X 0 i0 , X 1 i1 , , X n in } P{ X n in X 0 i0 , X 1 i1 , , X n 1 in 1} P{ X 0 i0 , X 1 i1 , , X n 1 in 1} P{ X n in X n 1 in 1} P{ X 0 i0 , X 1 i1 , , X n 1 in 1} P{ X n in X n 1 in 1} P{ X n 1 in 1 X n 2 in 2 } P{ X 1 i1 X 0 i0 } P{ X 0 i0 }
（2）状态的常返性
首中概率——状态 i 经 n 步首次到达状态 j 的概率：
f ij( n ) P{ X m n j , X m v j , 1 v n 1 X m i}, n 1
f ij( 0 ) 0
系统从状态 i 出发，经有限步迟早会（首次）到达 状态 j 的概率：
马尔可夫链的统计特性完全由以下条件概率所决定：
P{ X n 1 in 1 X n in }
转移概率
[定义] 称条件概率
pij ( n ) P{ X n 1 j X n i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概 率，其中 i , j I ，简称为转移概率。

pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。
当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳 转移概率。
齐次马尔可夫链
[定义] 若对任意的 i , j I ，马尔可夫链 { Xn , n T } 的转移概率 pij(n) 与时刻 n 无关，则称马尔可夫链是 齐次的，并记为 pij (n) 为 pij 。

7.1 马尔可夫链的概念及转移概率
[定义] 设有随机过程 { Xn , n T }， 若对于任意的整 数n T 和任意的 i0, i1, …, in+1 I ，条件概率满足
P{ X n 1 in 1 X 0 i0 , X 1 i1 , , X n in } P{ X n 1 in 1 X n in }
0}
G .C .D {n : n 1, f ii( n ) 0}
[例4] （例4.8）设马尔可夫链的状态空间 I = {1, 2, 3}，其 转移概率矩阵为
0 P q2 p3
p1 0 q3
q1 p2 0
①
p3
③
q1 q2 q3 p2
p1
②
求从状态1出发经n步转移首次到达各状态的概率。 解：