第七讲马尔可夫链 ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
T ij 是一随机变量。
如果 X n 可能永不取值j，规定 Tij 。
2020/4/12
《随机信号分析》教学组
16
设 {X (n ),n0 ,1 ,2 ,} 为一马氏链，对任一状态i与j，
称
fij(n)P [T ijn|X 0i]
为{X (n ),n0 ,1 ,2 ,}自状态i出发经过n步首次进入状
设 { X (n ),n 0 ,1 ,2 ,} 为一马氏链，其状态空间
E{0,1,2,}或为有限子集。
令 p i(0 ) P [X (0 ) i], i E ，且对任意的 i E
均有
pi (0) 0
pi (0) 1
iE
则称 {pi(0),iE}为该马氏链的初始分布，也称初始 概率。初始概率是马氏链在初始时间 n0时处于状
称为一步转移概率。
由所有一步转移概率 p ij 构成的矩阵
p11 p12 p1N
P
p2 1
p2 2
p2N
pN1
pN 2
pNN
0 pij 1
N
p ij 1
j 1
称为一步转移概率矩阵，简称转移概率矩阵。
2020/4/12
《随机信号分析》教学组
5
(2) n步转移概率
在齐次条件下，令 p i j( m ,m k ) P [ X m k a j|X m a i]
pN1(n) pN2(n) pNN(n)
0pij(n)1
N
pij (n) 1
j 1
为了数学处理便利，通常规定
1i j
p i( jm ,m ) P { X m a j|X m a i} ij 0i j
2020/4/12
《随机信号分析》教学组
6
(3) 切普曼-柯尔莫哥洛夫方程（C-K方程）
态i的概率。
2020/4/12
《随机信号分析》教学组
9
当 n 1时，马氏链处于状态i的概率称为绝对概率或绝对分布。
设 { X (n ),n 0 ,1 ,2 ,} 为一马氏链，其状态空间
E{0,1,2,}或为有限子集。
令 p i(n ) P [X (n ) i], i E ，且对任意的 i E
均有
2020/4/12
《随机信号分析》教学组
பைடு நூலகம்
11
转移图（状态转移图与概率转移图）
状态转移图就是在一张图中，首先将马氏链所具有的 各个状态一一标出，然后用标有箭头的连线将各个状态连 接起来，箭头所指的状态，就是箭尾所连接的状态一步能 够达到的状态，若在连线上再标出一步转移概率，就构成 了概率转移图。
有了概率转移图，为状态的连通性、可达性、常返性 以及马氏链的可约性提供方便。
若与m无关，则称该马氏链为齐次马氏链，此时
pij(m,mk) 表示为 p ij ( k ) 。
2020/4/12
《随机信号分析》教学组
4
(1) 一步转移概率
在齐次条件下，令 p i j( m ,m k ) P [ X m k a j|X m a i]
中 k 1 则
p ij(1 )p ij(m ,m 1 )p ij
设i是常返态，如果 ui ，则称状态i是正常返态；
如果 ui ，则称状态i是零常返态。
2020/4/12
《随机信号分析》教学组i
21
对于状态i，若正整数集合 {n:n1 ,pi(in)0}非 空，则称该集合的最大公约数L为状态i的周期。
若 L1，则称状态i是周期的。 若 L1，则称状态i是非周期的。
《随机信号分析》教学组
18
定理 对任何状态 i,jE,n1，有
n
pij(n) fij(l)pjj(nl) l1
说明：马氏链从状态i出发经过n步转移到状态j的概率： 从i出发经过l步首次到达状态j，在从状态j出发经过n-l
步转移又到了状态j（l 1,2,...,n），这些事件的概率
之和。
如果 f jj，则1 称状态j是常返的。 如果 f j，j 则1称状态j是非常返的(或称为瞬时的)
2020/4/12
表示n-1时刻 t n 1 的状态是ai(n1)
《随机信号分析》教学组
3
2 马尔可夫链的转移概率及性质
p i j( m ,m k ) P [ X m k a j|X m a i]
表明在
t
时刻出现
m
X m 的 a条i 件下，
时t m刻 k出
现 Xmk 的 a条j 件概率。
pij(m,mk) 不仅与 i , j , k 有关，而且与m有关。
Ppp1000
pp1011qp
q p
于是，两级传输时的概率转移矩阵等效于两步转移概 率矩阵为
P (2 ) P 2 q pq p q pq p p 2 2 p q 2qp 2 2 p q 2 q
2020/4/12
《随机信号分析》教学组
8
(4) 初始分布与绝对分布
为了完整的描述一个随机过程，需要给出任意 有限维概率函数。 对于马氏链的任意有限维概率函 数完全由初始分布和转移概率矩阵来描述。
15
2．状态的分类
为了对马氏链进行分类，需要明白马氏链存在哪些状态， 哪些是暂时出现（最多有限次到达），哪些永恒出现（无限 次到达）。
设 {X (n ),n0 ,1 ,2 ,}为一马氏链，对任一状态i 与j，称
T i j m n ,X i0 n i,X { n j,n 0 }
为 {X (n ),n0 ,1 ,2 ,}自状态i出发首次进入状态j的时 刻，或称为自i到j的首达时。
pi (n) 0 pi (n) 1 iE
则称 {pi(n),iE}为该马氏链的绝对分布，也称
绝对概率。
2020/4/12
《随机信号分析》教学组
10
定理 马氏链的绝对概率由初始分布和相应的转移概 率唯一确定。
利用C-K方程，则n步转移矩阵可由一步转移 矩阵唯一确定。
推论 马氏链的绝对概率由初始分布和一步转移概率 唯一确定。
2020/4/12
《随机信号分析》教学组
7
例 在某数字通信系统中多级传输0、1两种数字信号。由 于系统中存在干扰，在任一级输入0、1数字信号后， 其输出不产生错误的概率为p，产生错误的概率为q=1p，求两级传输时的概率转移矩阵。
解 系统每一级的输入状态和输出状态构成一个两状态的 马氏链，其一步转移概率矩阵为
设 {Xn,n1,2,}为一随机序列，其状态空间为 E{a1,a2,,aN}，若对于任意的 n，满足
P { X n a i(n )|X n 1 a i(n 1 ),X n 2 a i(n 2 ),,X 1 a i( 1 )} P { X n a i(n )|X n 1 a i(n 1 )}(i1,2,,N) 则称 {X n }为马尔可夫链（简称马氏链）。
若用概率矩阵表示，有 P (n)P (l)P (k) 当 n2 时，有 P (2 ) P ( 1 )P ( 1 ) [P ( 1 )2] (P )2
同理可推出，当 nk 时，有
P ( k ) P ( 1 ) P ( k 1 ) [ P ( 1 )k ]( P ) k
即任意k步转移概率矩阵可由一步转移概率矩阵自乘k 次来得到。
2020/4/12
《随机信号分析》教学组
12
马氏链中状态分类
1. 到达与相通
到达：如果对于状态 a 与i （a 可j 简写为 和i ) j
总存在某个 n，(使1)得
，pij则(n称) 0
自 状i态经过n步可以到达 状态j ，并记为
i j
反之，若对所有的 n (有1) pij，(n)0
则自 i 状态不可以到达 状j 态，并记为
1.6 马尔可夫（Markov）过程
马尔可夫过程是一类重要的随机过程。在实际 应用中，它是许多工程问题和物理现象的数学模型。 因此广泛应用在物理学、生物学、通信、信息和信 号处理、语音处理以及自动控制等领域。
马尔可夫
当已知随机过程在时刻 所t i处的状态的条件下，过 程在时刻 t (所处ti )的状态与过程在时刻 以前的t i 状态 无关，而仅与过程在 所处的t i状态有关，则称该过程 为马尔可夫过程。这种特性称为随机过程的“无后效
态j的概率。
显然有
fij(n)P [X nj;X mj,m 1 ,2,,n 1|X 0i]
pii1pi1 i2pin 1j,n1 i1j in 1j
从而
fij(1)pij P [X1j|X0i] fij( )P [Xmj,对 一 切 m |X0i]
2020/4/12
《随机信号分析》教学组
17
设 {X (n ),n0 ,1 ,2 ,}为一马氏链，对任一状态i与j， 称
（ 2 ） i是 零 常 返 n 1p ii(n ) 且 l n i m p ii(n ) 0
（ 3 ） i是 正 常 返 n 1p ii(n ) 且 l n i m p ii(n ) 0
f i jf i j( n ) P [ T i j n |X 0 i ] P [ T i j ] 1 n 1 n
为{X (n ),n0 ,1 ,2 ,} 自状态i出发迟早进入状态j的概率。
显然有
fi( j ) P { T ij } 1 fij
0fij(n)fij1
2020/4/12
P n p p 1 0( (0 0 n n ) ) p p 1 0( (1 1 n n ) ) (1 2 0 )n 1 1 (1 2)n 对于所有的n, p10(n)，故0状态“1”不能到达
状态“0”；
而存在n使得 p01(n)，故0 状态“0”可以到达状态
“1”。
2020/4/12
《随机信号分析》教学组
性”或马尔可夫性。
《随机信号分析》教学组
马尔可夫过程的分类：
T表示时间空间 E表示状态空间
1 T连续，E连续——连续马尔可夫过程 2 T连续，E离散——离散马尔可夫过程 3 T离散，E连续——马尔可夫序列 4 T离散，E离散——马尔可夫链
2020/4/12
《随机信号分析》教学组
2
马尔可夫链
1 马尔可夫链的定义
如果状态i是非周期且正常返的，则称状态i是 遍历的。
2020/4/12
《随机信号分析》教学组
22
定理
设i为常返状态，有周期 L (L 1) ,则
L
lim
n
pjj
(n)
u
j
马氏状态分类图
状态空间
2020/4/12
周期
非周期
常返
非常返
正常返
零常返
遍历
《随机信号分析》教学组
23
状态分类判别法：
（ 1） i是 非 常 返 pii(n) n1
如果马尔可夫链的所有状态都是相通的，则这样 的马尔可夫链为不可约的。
2020/4/12
《随机信号分析》教学组
14
例 设一两状态 E{马0,1氏}链具有以下转移
概率矩阵
Ppp1000
p01 p11
1 2 0
1 2 1
讨论其状态的到达特性。
解 要讨论这一马氏链两个状态的到达性，可先求出它 的n步转移概率矩阵。由于
《随机信号分析》教学组
20
设i是一常返态，则从i出发可经过n (n1,2,)步
首次返回i，
T ii 在 X0 i 的条件下的分布列为
T ii
1
2
…
N
…
P
fii (1)
fii (2)
…
fii (n)
…
由数学期望的定义，可得
ui E[Tii] nifi(n) n1
称 u 为i 状态i的平均返回时间。
i j
到达具有传递性，即若 ir, rj , 则 i j
2020/4/12
《随机信号分析》教学组
13
相通：若自状态i可达状态j，同时自状态j也可达状态
i，则称状态和状态相通，记为 i 。j
相通具有以下等价关系：
（1）若 i ，j则 ii 自返性 （2）若 i ，j则 j i 对称性
（3）若i，r r，则j i传递性j
如果马尔可夫链的任一状态都是常返的，则称此链 为常返马尔可夫链。
2020/4/12
《随机信号分析》教学组
19
定理 fij 0 的充要条件是 i j 。
定理 状态j是常返（ f jj）的1 充要条件为
pjj(n)
n0
推论 如果状态j是非常返的，则必有
ln i mpjj(n)0
2020/4/12
中k n 则 p i j ( n ) p i j ( m , m n ) P [ X m n a j|X m a i ]
表示马氏链由状态 a i 经过n步转移到 a j 的概率。
由所有n步转移概率 p ij ( n ) 构成n步转移概率矩阵
p11(n) p12(n) p1N(n)
P(n)p21(n) p22(n) p2N(n)
对于 n步k转l移概率，有如下的切普曼-柯尔
莫哥洛夫方程的离散形式
N
pij(n)pij(kl) pir(l)pr(jk) r 1
表示从状态 a 经i 过n步转移到 的a j 概率等效为: 先由状态 a 经i 过l步到达中间状态 ar(r1,2,...,N)
再由状态 a 经r 过k步到达状态 a的j 概率和。
如果 X n 可能永不取值j，规定 Tij 。
2020/4/12
《随机信号分析》教学组
16
设 {X (n ),n0 ,1 ,2 ,} 为一马氏链，对任一状态i与j，
称
fij(n)P [T ijn|X 0i]
为{X (n ),n0 ,1 ,2 ,}自状态i出发经过n步首次进入状
设 { X (n ),n 0 ,1 ,2 ,} 为一马氏链，其状态空间
E{0,1,2,}或为有限子集。
令 p i(0 ) P [X (0 ) i], i E ，且对任意的 i E
均有
pi (0) 0
pi (0) 1
iE
则称 {pi(0),iE}为该马氏链的初始分布，也称初始 概率。初始概率是马氏链在初始时间 n0时处于状
称为一步转移概率。
由所有一步转移概率 p ij 构成的矩阵
p11 p12 p1N
P
p2 1
p2 2
p2N
pN1
pN 2
pNN
0 pij 1
N
p ij 1
j 1
称为一步转移概率矩阵，简称转移概率矩阵。
2020/4/12
《随机信号分析》教学组
5
(2) n步转移概率
在齐次条件下，令 p i j( m ,m k ) P [ X m k a j|X m a i]
pN1(n) pN2(n) pNN(n)
0pij(n)1
N
pij (n) 1
j 1
为了数学处理便利，通常规定
1i j
p i( jm ,m ) P { X m a j|X m a i} ij 0i j
2020/4/12
《随机信号分析》教学组
6
(3) 切普曼-柯尔莫哥洛夫方程（C-K方程）
态i的概率。
2020/4/12
《随机信号分析》教学组
9
当 n 1时，马氏链处于状态i的概率称为绝对概率或绝对分布。
设 { X (n ),n 0 ,1 ,2 ,} 为一马氏链，其状态空间
E{0,1,2,}或为有限子集。
令 p i(n ) P [X (n ) i], i E ，且对任意的 i E
均有
2020/4/12
《随机信号分析》教学组
பைடு நூலகம்
11
转移图（状态转移图与概率转移图）
状态转移图就是在一张图中，首先将马氏链所具有的 各个状态一一标出，然后用标有箭头的连线将各个状态连 接起来，箭头所指的状态，就是箭尾所连接的状态一步能 够达到的状态，若在连线上再标出一步转移概率，就构成 了概率转移图。
有了概率转移图，为状态的连通性、可达性、常返性 以及马氏链的可约性提供方便。
若与m无关，则称该马氏链为齐次马氏链，此时
pij(m,mk) 表示为 p ij ( k ) 。
2020/4/12
《随机信号分析》教学组
4
(1) 一步转移概率
在齐次条件下，令 p i j( m ,m k ) P [ X m k a j|X m a i]
中 k 1 则
p ij(1 )p ij(m ,m 1 )p ij
设i是常返态，如果 ui ，则称状态i是正常返态；
如果 ui ，则称状态i是零常返态。
2020/4/12
《随机信号分析》教学组i
21
对于状态i，若正整数集合 {n:n1 ,pi(in)0}非 空，则称该集合的最大公约数L为状态i的周期。
若 L1，则称状态i是周期的。 若 L1，则称状态i是非周期的。
《随机信号分析》教学组
18
定理 对任何状态 i,jE,n1，有
n
pij(n) fij(l)pjj(nl) l1
说明：马氏链从状态i出发经过n步转移到状态j的概率： 从i出发经过l步首次到达状态j，在从状态j出发经过n-l
步转移又到了状态j（l 1,2,...,n），这些事件的概率
之和。
如果 f jj，则1 称状态j是常返的。 如果 f j，j 则1称状态j是非常返的(或称为瞬时的)
2020/4/12
表示n-1时刻 t n 1 的状态是ai(n1)
《随机信号分析》教学组
3
2 马尔可夫链的转移概率及性质
p i j( m ,m k ) P [ X m k a j|X m a i]
表明在
t
时刻出现
m
X m 的 a条i 件下，
时t m刻 k出
现 Xmk 的 a条j 件概率。
pij(m,mk) 不仅与 i , j , k 有关，而且与m有关。
Ppp1000
pp1011qp
q p
于是，两级传输时的概率转移矩阵等效于两步转移概 率矩阵为
P (2 ) P 2 q pq p q pq p p 2 2 p q 2qp 2 2 p q 2 q
2020/4/12
《随机信号分析》教学组
8
(4) 初始分布与绝对分布
为了完整的描述一个随机过程，需要给出任意 有限维概率函数。 对于马氏链的任意有限维概率函 数完全由初始分布和转移概率矩阵来描述。
15
2．状态的分类
为了对马氏链进行分类，需要明白马氏链存在哪些状态， 哪些是暂时出现（最多有限次到达），哪些永恒出现（无限 次到达）。
设 {X (n ),n0 ,1 ,2 ,}为一马氏链，对任一状态i 与j，称
T i j m n ,X i0 n i,X { n j,n 0 }
为 {X (n ),n0 ,1 ,2 ,}自状态i出发首次进入状态j的时 刻，或称为自i到j的首达时。
pi (n) 0 pi (n) 1 iE
则称 {pi(n),iE}为该马氏链的绝对分布，也称
绝对概率。
2020/4/12
《随机信号分析》教学组
10
定理 马氏链的绝对概率由初始分布和相应的转移概 率唯一确定。
利用C-K方程，则n步转移矩阵可由一步转移 矩阵唯一确定。
推论 马氏链的绝对概率由初始分布和一步转移概率 唯一确定。
2020/4/12
《随机信号分析》教学组
7
例 在某数字通信系统中多级传输0、1两种数字信号。由 于系统中存在干扰，在任一级输入0、1数字信号后， 其输出不产生错误的概率为p，产生错误的概率为q=1p，求两级传输时的概率转移矩阵。
解 系统每一级的输入状态和输出状态构成一个两状态的 马氏链，其一步转移概率矩阵为
设 {Xn,n1,2,}为一随机序列，其状态空间为 E{a1,a2,,aN}，若对于任意的 n，满足
P { X n a i(n )|X n 1 a i(n 1 ),X n 2 a i(n 2 ),,X 1 a i( 1 )} P { X n a i(n )|X n 1 a i(n 1 )}(i1,2,,N) 则称 {X n }为马尔可夫链（简称马氏链）。
若用概率矩阵表示，有 P (n)P (l)P (k) 当 n2 时，有 P (2 ) P ( 1 )P ( 1 ) [P ( 1 )2] (P )2
同理可推出，当 nk 时，有
P ( k ) P ( 1 ) P ( k 1 ) [ P ( 1 )k ]( P ) k
即任意k步转移概率矩阵可由一步转移概率矩阵自乘k 次来得到。
2020/4/12
《随机信号分析》教学组
12
马氏链中状态分类
1. 到达与相通
到达：如果对于状态 a 与i （a 可j 简写为 和i ) j
总存在某个 n，(使1)得
，pij则(n称) 0
自 状i态经过n步可以到达 状态j ，并记为
i j
反之，若对所有的 n (有1) pij，(n)0
则自 i 状态不可以到达 状j 态，并记为
1.6 马尔可夫（Markov）过程
马尔可夫过程是一类重要的随机过程。在实际 应用中，它是许多工程问题和物理现象的数学模型。 因此广泛应用在物理学、生物学、通信、信息和信 号处理、语音处理以及自动控制等领域。
马尔可夫
当已知随机过程在时刻 所t i处的状态的条件下，过 程在时刻 t (所处ti )的状态与过程在时刻 以前的t i 状态 无关，而仅与过程在 所处的t i状态有关，则称该过程 为马尔可夫过程。这种特性称为随机过程的“无后效
态j的概率。
显然有
fij(n)P [X nj;X mj,m 1 ,2,,n 1|X 0i]
pii1pi1 i2pin 1j,n1 i1j in 1j
从而
fij(1)pij P [X1j|X0i] fij( )P [Xmj,对 一 切 m |X0i]
2020/4/12
《随机信号分析》教学组
17
设 {X (n ),n0 ,1 ,2 ,}为一马氏链，对任一状态i与j， 称
（ 2 ） i是 零 常 返 n 1p ii(n ) 且 l n i m p ii(n ) 0
（ 3 ） i是 正 常 返 n 1p ii(n ) 且 l n i m p ii(n ) 0
f i jf i j( n ) P [ T i j n |X 0 i ] P [ T i j ] 1 n 1 n
为{X (n ),n0 ,1 ,2 ,} 自状态i出发迟早进入状态j的概率。
显然有
fi( j ) P { T ij } 1 fij
0fij(n)fij1
2020/4/12
P n p p 1 0( (0 0 n n ) ) p p 1 0( (1 1 n n ) ) (1 2 0 )n 1 1 (1 2)n 对于所有的n, p10(n)，故0状态“1”不能到达
状态“0”；
而存在n使得 p01(n)，故0 状态“0”可以到达状态
“1”。
2020/4/12
《随机信号分析》教学组
性”或马尔可夫性。
《随机信号分析》教学组
马尔可夫过程的分类：
T表示时间空间 E表示状态空间
1 T连续，E连续——连续马尔可夫过程 2 T连续，E离散——离散马尔可夫过程 3 T离散，E连续——马尔可夫序列 4 T离散，E离散——马尔可夫链
2020/4/12
《随机信号分析》教学组
2
马尔可夫链
1 马尔可夫链的定义
如果状态i是非周期且正常返的，则称状态i是 遍历的。
2020/4/12
《随机信号分析》教学组
22
定理
设i为常返状态，有周期 L (L 1) ,则
L
lim
n
pjj
(n)
u
j
马氏状态分类图
状态空间
2020/4/12
周期
非周期
常返
非常返
正常返
零常返
遍历
《随机信号分析》教学组
23
状态分类判别法：
（ 1） i是 非 常 返 pii(n) n1
如果马尔可夫链的所有状态都是相通的，则这样 的马尔可夫链为不可约的。
2020/4/12
《随机信号分析》教学组
14
例 设一两状态 E{马0,1氏}链具有以下转移
概率矩阵
Ppp1000
p01 p11
1 2 0
1 2 1
讨论其状态的到达特性。
解 要讨论这一马氏链两个状态的到达性，可先求出它 的n步转移概率矩阵。由于
《随机信号分析》教学组
20
设i是一常返态，则从i出发可经过n (n1,2,)步
首次返回i，
T ii 在 X0 i 的条件下的分布列为
T ii
1
2
…
N
…
P
fii (1)
fii (2)
…
fii (n)
…
由数学期望的定义，可得
ui E[Tii] nifi(n) n1
称 u 为i 状态i的平均返回时间。
i j
到达具有传递性，即若 ir, rj , 则 i j
2020/4/12
《随机信号分析》教学组
13
相通：若自状态i可达状态j，同时自状态j也可达状态
i，则称状态和状态相通，记为 i 。j
相通具有以下等价关系：
（1）若 i ，j则 ii 自返性 （2）若 i ，j则 j i 对称性
（3）若i，r r，则j i传递性j
如果马尔可夫链的任一状态都是常返的，则称此链 为常返马尔可夫链。
2020/4/12
《随机信号分析》教学组
19
定理 fij 0 的充要条件是 i j 。
定理 状态j是常返（ f jj）的1 充要条件为
pjj(n)
n0
推论 如果状态j是非常返的，则必有
ln i mpjj(n)0
2020/4/12
中k n 则 p i j ( n ) p i j ( m , m n ) P [ X m n a j|X m a i ]
表示马氏链由状态 a i 经过n步转移到 a j 的概率。
由所有n步转移概率 p ij ( n ) 构成n步转移概率矩阵
p11(n) p12(n) p1N(n)
P(n)p21(n) p22(n) p2N(n)
对于 n步k转l移概率，有如下的切普曼-柯尔
莫哥洛夫方程的离散形式
N
pij(n)pij(kl) pir(l)pr(jk) r 1
表示从状态 a 经i 过n步转移到 的a j 概率等效为: 先由状态 a 经i 过l步到达中间状态 ar(r1,2,...,N)
再由状态 a 经r 过k步到达状态 a的j 概率和。