《随机过程及其应用(第三版)》课件

kI
C-K方程
(2)
p( n) ij
p p p ik1 k1k2
kn1 j
k1I kn1I
(3) P(n) P P(n1)
(4) P(n) Pn
10
初始概率和绝对概率
初始概率： p j P{X 0 j}, ( j I )
绝对概率： p j (n) P{X n j}, ( j I )
初始分布： {pj} {pj , j I}
绝对分布： { p j (n)} { p j (n) , j I}
初始概率向量：
PT (0) p1, p2 ,
绝对概率向量：
PT (n) p1(n), p2 (n), , (n 0)
11
绝对概率 pj(n) 的性质
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数 n 1 和 j I ，绝对概率 pj (n) 具有下列性质：
n 1
f (n) ij
p(n) ij
f p (k ) (nk )
ij
jj
k 1
23
周期的等价定义
G.C.D {n : n
1,
p(n) ii
0}
G.C.D {n :
n
1,
f (n) ii
0}
24
[例] （例4.8）设马尔可夫链的状态空间 I = {1, 2, 3}，其
转移概率矩阵为
0 p1 q1
(1) P{X1 b, X2 c, X3 a, X4 c X0 c} P{X 0 c, X1 b, X 2 c, X 3 a, X 4 c}/ P{X 0 c}
P{X 4 c X 3 a} P{X 3 a X 2 c} P{X 2 c X1 b}
P{X1 b X 0 c} P{X 0 c}/ P{X 0 c}
4) 非周期的正常返态称为遍历状态。
22
p(n) ij
与
f (n) ij
的关系
[定理] 对任意状态 i , j I 及 1 n < ，有
n
n
p(n) ij
f p (k ) (nk )
ij
jj
f p (nk ) (k )
ij
jj
k 1
k 0
上式可用来求从状态 i 经 n 步首次到达状态 j 的概率：
n 2m, m 1 n 2m 1, m 0
0,
n 1
f (n) 11
p1
(
p2
q3
)
m1
q2
q1(q3 p2 )m1
p3 ,
n 2m, m 1
p1( p2q3 )m1 p2 p3 q1(q3 p2 )m1 q2q3 , n 2m 1, m 0 25
常返性的判别及其性质
[定理] （1）状态 i 常返的充要条件为
❖ 时间、状态都连续
3
7.1 马尔可夫链的概念及转移概率
[定义] 设有随机过程 { Xn , n T }， 若对于任意的整 数n T 和任意的 i0, i1, …, in+1 I ，条件概率满足
P{X n1 in1 X 0 i0 , X1 i1,, X n in} P{X n1 in1 X n in}
1 8191
21
7
1 1/3
3
1 6
15
2/3
1
1
4
19
（1）状态的周期性
[定义] 如集合 { n : n 1, pii(n) > 0 } 非空，则称该集合 的最大公约数 d = d(i) = G.C.D{ n : pii(n) > 0 }为状态 i
的周期。 如 d > 1 就称 i 为周期的；如 d = 1 就称 i 为非周期的。
[定理] 如果状态 i 的周期为d ，则存在正整数 M，对一
切 n M ，有 pii(nd) > 0 。
20
（2）状态的常返性
首中概率——状态 i 经 n 步首次到达状态 j 的概率：
f (n) ij
P{X mn
j,
Xmv j,1 v n 1 Xm i},
n 1
f (0) ij
0
系统从状态 i 出发，经有限步迟早会（首次）到达 状态 j 的概率：
P{X 0 i0 , X1 i1,, X n1 in1} P{X n in X n1 in1} P{X 0 i0 , X1 i1,, X n1 in1}
P{X n in X n1 in1} P{X n1 in1 X n2 in2}
P{X1 i1 X 0 i0} P{X 0 i0}
转移概率。
6
齐次马尔可夫链
[定义] 若对任意的 i , j I ，马尔可夫链 { Xn , n T } 的转移概率 pij(n) 与时刻 n 无关，则称马尔可夫链是 齐次的，并记为 pij (n) 为 pij 。
7
一步转移概率矩阵
p11 p12 p1n
P p21 p22 p2n
设质点在线段 [1,4]上作随机游动 。假设它只能在时刻
nT 发生移动，且只能停留在1,2,3,4点上。当质点转
移到2,3点时，它以1/3的概率向左或向右移动一格，或 停留在原处。当质点移动到点1时，它以概率1停留在 原处。当质点移动到点4时，它以概率1移动到点3。若 以Xn 表示质点在时刻 n 所处的位置，则{ Xn , n T }是 一个齐次马尔可夫链。
(1) p j (n)
pi
p(n) ij
iI
(2) p j (n) pi (n 1) pij iI
(3) PT (n) PT (0) P(n)
(3) PT (n) PT (n 1) P
12
有限维概率分布
[定理] 设 { Xn , n T } 是马尔可夫链，则对任意 n 1和 i1 , … , in I ，有
lim
n
p(n) ii
0
。
26
（3）可达关系与互通关系
[定义] （1）若存在 n > 0, 使得 pij(n) > 0 ，则称自状态 i 可达状态 j ，
并记为 i j 。 （2）若 i j , 且 j i , 则称状态 i 与状态 j 互通，并记为 i j 。
[定理1] 若 i j , 且 j k , 则 i k 。 若 ij, 且 jk, 则i k。
7 马尔可夫链
1
内容提要
马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布
2
马尔可夫过程的四种类型
马尔可夫链
❖ 时间、状态都离散
马尔可夫序列
❖ 时间离散、状态连续
纯不连续马尔可夫过程
❖ 时间连续、状态离散
连续马尔可夫过程（或扩散过程）
P
q2
0
p2
p3 q3 0
①
p3 q1 q2 p1
③
q3 ②
p2
求从状态1出发经n步转移首次到达各状态的概率。
解：
f (n) 12
(q1 (q1
p3 )m1 q1q3 p3 )m p1,
,
n 2m, m 1 n 2m 1, m 0
f (n) 13
((pp11qq22))mm1qp1,1 p2 ,
1/ 2 1/ 4 1/ 4 P 2 / 3 0 1/ 3
3 / 5 2 / 5 0 求： (1) P{X1 b, X 2 c, X 3 a, X 4 c X 0 c};
(2) P{X n2 c X n b}
17
解：
1/ 2 1/ 4 1/ 4 P 2 / 3 0 1/ 3
3 / 5 2 / 5 0
传递性
[定理2] 若 i j , 则 （1）i 与 j 同为常返或非常返； （2）i 与 j 同为正常返或零常返； （3）i 与 j 有相同的周期。
互通关系的状态是 同一类型
27
[例] （例4.9）设马氏链的状态空间 I = {0, 1, 2, …}，其
转移概率为
p00
1 2
,
pi,i1
1 2
,
为马尔可夫链 的 n 步转移矩阵。
规定：
p(0) ij
0,
i j
1, i j
9
n
步转移概率
p(n) ij
的性质
ห้องสมุดไป่ตู้
[定理] 设 { Xn , n T } 为马尔可夫链，则对于任意整数
n 0,
0 l < n 和 i , j I ，n 步转移概率
p(n) ij
具有下
列性质：
(1)
p(n) ij
p p (l ) (nl ) ik kj
p(n) ii
,
n0
状态 i 非常返的充要条件为
n0
p(n) ii
1
1 fii
.
（2）若状态 i 是常返态，则 i 是零常返
lim
n
p(n) ii
0
，
i 是遍历状态
lim
n
p(n) ii
1
i
0
。
（3）若 i 是周期为 d 的常返态，则
lim
n
p(nd ) ii
d
i
;
若 i 是非常返态，则
pi0
1, 2
iI
分析各状态的类型。
解： 先考查状态0，
f (1) 00
1, 2
f (2) 00
1 2
1 2
1, 4
f (n) 00
1 2n
,
f 00
1 2n
n 1
1,
可见状态0为正常返，且是非周期，因而是遍历的。 因为 i 0 ，故 i 也是遍历的。
28
7.3 状态空间的分解
[定义] 状态空间 I 的子集 C，若对于任意 i C 及 k C 都有 pik = 0 ，则称子集 C 为（随机）闭集。
率为p，产生错误的概率为q，则该级
信道输入状态和输出状态构成一个两
状态的齐次马尔可夫链。
p
0
q
q
p
1
p, i j pij q, i j
(i, j 0,1)
一步转移概率矩阵：
p q
P
q
p
二步转移概率矩阵：
P(2)
P2
p2 q2
2 pq
2 pq
p2
q2
14
[例] （例4.4）具有吸收壁和反射壁的随机游动
性质：
(1) pij 0 , i, j I
(2) pij 1, i I jI
（随机矩阵）
8
n 步转移概率
[定义] 称条件概率
p(n) ij
P{Xmn
j
Xm
i},
(i, j I, m 0, n 1)
为马尔可夫链 { Xn , n T } 的 n 步转移概率，并称
P(n)
p(n) ij
马尔可夫链的统计特性完全由以下条件概率所决定：
P{X n1 in1 X n in}
5
转移概率
[定义] 称条件概率
pij (n) P{Xn1 j Xn i}
为马尔可夫链 { Xn , n T } 在时刻 n 的一步转移概率， 其中 i , j I ，简称为转移概率。
pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。 当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳
15
描述马氏链的三种方式
（1）状态转移图
1/3
1/3
1
1/3
1/3
1
①
②
③
④
吸收壁
1/3
1/3
反射壁
（2）转移概率矩阵
1 0 0 0
P
1/ 3
0
1/ 3 1/ 3
1/ 3 1/ 3
0 1/ 3
0 0 1 0
（3）函数表达式 pij = f ( i , j )
16
[例] 设{ Xn , nT }是一个马尔可夫链，其状态空 间 I = {a, b, c}，转移矩阵为
则称 { Xn , n T } 为马尔可夫链，简称马氏链。
4
马氏性
P{X n1 in1 X 0 i0 , X1 i1,, X n in}
（无后效性） P{X n1 in1 X n in}
P{X 0 i0 , X1 i1,, X n in} P{X n in X 0 i0 , X1 i1,, X n1 in1}
Pac Pca Pbc Pcb
1312 1 4 5 3 5 50
二步转移概率矩阵：
(2) P{Xn2 c Xn b}
P(2) bc
1 6
17 9 5 30 40 24
P(2)
P2
8
15 17 30
3 10 3 20
1
6 17 90
18
7.2 马尔可夫链的状态分类
设 { Xn , n >0 } 是齐次马尔可夫链，其状态空间 I = { 0, 1, 2, … }，转移概率是 pij ， i , j I ，初始分布 为{ Pj , j I } 。
P X1 i1, , X n in
p p p i ii1
in1in
iI
马尔可夫链的有限维分布完全由它的初始概率和 一步转移概率所决定。
13
马尔可夫链的几个简单例子
[例] 二进制对称信道模型——是常用 于表征通信系统的错误产生机制的离
0
散无记忆信道模型。假设某级信道输
入0, 1数字信号后，其输出正确的概 1
若闭集 C 的状态互通，则称 C 为不可约的。 若马氏链{ Xn }的状态空间是不可约的，则称该马氏链为
fij
f (n) ij
n 1
0
f (n) ij
fij
1
21
常返性的定义
1) 若 fii = 1，则称状态 i 是常返的；若 fii < 1，则称 状态 i 是非常返的（或滑过的）。
2) 称期望值 i
n
f (n) i
为状态 i 的平均返回时间。
n1
3) 若 i < ，则称常返态 i 是正常返的； 若 i = ，则称常返态 i 是零常返的。