第4章马尔可夫链12PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
称概率向量
P T (n) ( p1 (n), p2 (n), ), (n 0)
p j P{ X 0 j}和 Pj (n) P{ X n j}, ( j I )
为{Xn,nT}的初始概率和绝对概率，并分别称{pj, j I} 和 { p j (n), j I } 为 { X n , n T } 的 初 始 分 布 和 绝 对 分 布 ， 简 记 为 { pj } 和 { p j (n)} 。
第4章 马尔可夫链
• 马尔可夫过程按其状态和时间参数是连 续的或离散的，可分为三类：
• （1）时间、状态都是离散的马尔可夫 过程，称为马尔可夫链。
• （2）时间连续、状态离散的马尔可夫 过程，称为连续时间的马尔可夫链。
• （3）时间、状态都连续的马尔可夫过 程。
1
整体概述
概况一
点击此处输入相关文本内容 点击此处输入相关文本内容
p(nl kj
)(m
l)
p(l ) ik
(m)
p p (nl) (l)
kj
ik
kI
kI
10
(2)在(1)中令l 1,kk1得
p(n) ij
p p(n1) ik1 k1j
k1I
这是一个递推公式，故可递推得到
p(n) ij
p p ik1 k1k2
k1I kn1I
pkn1j
(3)在(1)中令l=1，利用矩阵乘法可证。
定义2 称条件概率
pij P{Xn1j|Xni}
为马尔可夫链{Xn,nT}在时刻n的一步转移概率，其
中i, jI，简称为转移概率。
5
一 般 地 ， 转 移 概 率 pij(n)不 仅 与 状 态 i,j有 关 ， 而 且 与 时 刻 n有 关 。 当 pij(n)不 依 赖 于 时 刻 n时 ， 表 示 马 尔 可 夫 链 具 有 平 稳 转 移 概 率 。 定 义3 若 对 任 意 的 i,jI， 马 尔 可 夫 链 {Xn,nT}的 转 移 概 率 pij(n)与 n无 关 ， 则 称 马 尔 可 夫 链 是 齐 次 的 ， 并 记 pij(n)为 pij 。
定义1 设有随机过程{Xn,nT}，若对于任意的整数
nT和任意的i0,i1, ,in1I，条件概率满足
P{Xn1in1 X0i0,X1i1, ,Xnin} P{Xn1in1 Xnin}
则称{Xn,nT}为马尔可夫链，简称马氏链。
3
上式是马尔可夫链的马氏性（或无后效性）的数学 表达式。由定义知 P{X0 i0, X1 i1, , Xn in}
8
定 理1 设 {Xn,nT}为 马 尔 可 夫 链 ， 则 对 任 意 整 数
n0,0ln和 i,jI， n步 转 移 概 率 pi(jn) 具 有 下 列
性 质
(1)
p(n) ij
p p ; (l ) (nl ) ik kj
kI
(
2)
p(n ij
)
k1I
p p ik1 k1k2
kn1I
(3)P (n) PP (n1);
为马尔可夫链{Xn , n T } 的 n 步转移概率，并称
P(n)
(
p(n) ij
)
为马尔可夫链的
n
步转移矩阵，其中
p(n) ij
0,
jI
p(n) ij
1，
即 P(n) 也是随机矩阵。
当n=1时，pi(j1) pij ， 此时一步转移矩阵P(1) P。 此 外，我们规定
p(0) ij
0, 1,
ij ij
下面我们只讨论齐次马尔可夫链，通常将“齐次” 两字省略。
6
设 P 表 示 一 步 转 移 概 率 p ij(n )所 组 成 的 矩 阵 ， 且 状 态 空 间 I {1 ,2 , }， 则
p11 p12 P p21 p22
p1n
p2n
称为系统状态的一步转移概率矩阵。它具有性质：
( 1 )p ij 0 ,i,j I;
P{X1 i1 | X0 i0} 可见，马尔可夫链的统计特性完全由条件概率
P {X n 1in 1|X nin}
所决定。
4
二、转移概率
条件概率P{Xn1j|Xni}的直观含义为系统在时 刻n处于状态i的条件下，在时刻n+1系统处于状态j 的概率。它相当于随机游动的质点在时刻n处于状态i 的条件下， 下一步转移到状态j的概率， 记此条件概率 为pij(n)，其严格定义如下：
概况二
点击此处输入相关文本内容 点击此处输入相关文本内容
概况三
点击此处输入相关文本内容 点击此处输入相关文本内容
2
§4.1 马尔可夫链的概念及转移概率
一、马尔可夫键的定义
假设马尔可夫过程{Xn,nT}的参数集T是离散的 时间集I合，即T{0,1,2, }，其相应Xn 可能取值的
全体组成的状态空间是离散的状态集I{i1,i2,Байду номын сангаас}。
P{Xn in | X0 i0, X1 i1, , Xn1 in1}
P{X0 i0, X1 i1, , Xn1 in1}
P{Xn in | Xn1 in1} P{X0 i0, X1 i1, , Xn1 in1}
P{Xn in | Xn1 in1} P{Xn1 in1 | Xn2 in2}
(4)由(3)，利用归纳法可证。
定理1中(1)式称为切普曼---柯尔莫哥洛夫方程，简 称C--K方程。它在马尔可夫链的转移概率的计算中起 着重要的作用。(2)式说明n步转移概率完全由一步转移 概率决定。(4)式说明齐次马尔可夫链的n步转移概率矩 阵是一步转移概率矩阵的n次乘方。
11
定义 5 设{Xn,nT} 为马尔可夫链，称
(4)P(n) P n .
p ; kn1 j
9
证 (1)利用全概率公式及马尔可夫性，有
p(n) ij
P{Xmn
j
Xm
i}
P{Xm i, Xmn P{Xm i}
j}
P{Xm
i, Xml
k, Xmn
j}
P{Xm
i, Xml
k}
kI
P{Xm i, Xml k}
P{Xm i}
P{Xmn j | Xml k}P{Xml k, Xm i} kI
( 2 )j Ip ij 1 ,i I。
(2)式中对j求和是对状态空间I的所有可能状态进行 的，此性质说明一步转移概率矩阵中任一行元素之和为 1。通常称满足上述(1)，(2)性质的矩阵为随机矩阵。
7
定义 4 称条件概率
p( n ) ij
P{ Xmn
j|
Xm
i}(i,
j I , m 0, n 1)
P T (n) ( p1 (n), p2 (n), ), (n 0)
p j P{ X 0 j}和 Pj (n) P{ X n j}, ( j I )
为{Xn,nT}的初始概率和绝对概率，并分别称{pj, j I} 和 { p j (n), j I } 为 { X n , n T } 的 初 始 分 布 和 绝 对 分 布 ， 简 记 为 { pj } 和 { p j (n)} 。
第4章 马尔可夫链
• 马尔可夫过程按其状态和时间参数是连 续的或离散的，可分为三类：
• （1）时间、状态都是离散的马尔可夫 过程，称为马尔可夫链。
• （2）时间连续、状态离散的马尔可夫 过程，称为连续时间的马尔可夫链。
• （3）时间、状态都连续的马尔可夫过 程。
1
整体概述
概况一
点击此处输入相关文本内容 点击此处输入相关文本内容
p(nl kj
)(m
l)
p(l ) ik
(m)
p p (nl) (l)
kj
ik
kI
kI
10
(2)在(1)中令l 1,kk1得
p(n) ij
p p(n1) ik1 k1j
k1I
这是一个递推公式，故可递推得到
p(n) ij
p p ik1 k1k2
k1I kn1I
pkn1j
(3)在(1)中令l=1，利用矩阵乘法可证。
定义2 称条件概率
pij P{Xn1j|Xni}
为马尔可夫链{Xn,nT}在时刻n的一步转移概率，其
中i, jI，简称为转移概率。
5
一 般 地 ， 转 移 概 率 pij(n)不 仅 与 状 态 i,j有 关 ， 而 且 与 时 刻 n有 关 。 当 pij(n)不 依 赖 于 时 刻 n时 ， 表 示 马 尔 可 夫 链 具 有 平 稳 转 移 概 率 。 定 义3 若 对 任 意 的 i,jI， 马 尔 可 夫 链 {Xn,nT}的 转 移 概 率 pij(n)与 n无 关 ， 则 称 马 尔 可 夫 链 是 齐 次 的 ， 并 记 pij(n)为 pij 。
定义1 设有随机过程{Xn,nT}，若对于任意的整数
nT和任意的i0,i1, ,in1I，条件概率满足
P{Xn1in1 X0i0,X1i1, ,Xnin} P{Xn1in1 Xnin}
则称{Xn,nT}为马尔可夫链，简称马氏链。
3
上式是马尔可夫链的马氏性（或无后效性）的数学 表达式。由定义知 P{X0 i0, X1 i1, , Xn in}
8
定 理1 设 {Xn,nT}为 马 尔 可 夫 链 ， 则 对 任 意 整 数
n0,0ln和 i,jI， n步 转 移 概 率 pi(jn) 具 有 下 列
性 质
(1)
p(n) ij
p p ; (l ) (nl ) ik kj
kI
(
2)
p(n ij
)
k1I
p p ik1 k1k2
kn1I
(3)P (n) PP (n1);
为马尔可夫链{Xn , n T } 的 n 步转移概率，并称
P(n)
(
p(n) ij
)
为马尔可夫链的
n
步转移矩阵，其中
p(n) ij
0,
jI
p(n) ij
1，
即 P(n) 也是随机矩阵。
当n=1时，pi(j1) pij ， 此时一步转移矩阵P(1) P。 此 外，我们规定
p(0) ij
0, 1,
ij ij
下面我们只讨论齐次马尔可夫链，通常将“齐次” 两字省略。
6
设 P 表 示 一 步 转 移 概 率 p ij(n )所 组 成 的 矩 阵 ， 且 状 态 空 间 I {1 ,2 , }， 则
p11 p12 P p21 p22
p1n
p2n
称为系统状态的一步转移概率矩阵。它具有性质：
( 1 )p ij 0 ,i,j I;
P{X1 i1 | X0 i0} 可见，马尔可夫链的统计特性完全由条件概率
P {X n 1in 1|X nin}
所决定。
4
二、转移概率
条件概率P{Xn1j|Xni}的直观含义为系统在时 刻n处于状态i的条件下，在时刻n+1系统处于状态j 的概率。它相当于随机游动的质点在时刻n处于状态i 的条件下， 下一步转移到状态j的概率， 记此条件概率 为pij(n)，其严格定义如下：
概况二
点击此处输入相关文本内容 点击此处输入相关文本内容
概况三
点击此处输入相关文本内容 点击此处输入相关文本内容
2
§4.1 马尔可夫链的概念及转移概率
一、马尔可夫键的定义
假设马尔可夫过程{Xn,nT}的参数集T是离散的 时间集I合，即T{0,1,2, }，其相应Xn 可能取值的
全体组成的状态空间是离散的状态集I{i1,i2,Байду номын сангаас}。
P{Xn in | X0 i0, X1 i1, , Xn1 in1}
P{X0 i0, X1 i1, , Xn1 in1}
P{Xn in | Xn1 in1} P{X0 i0, X1 i1, , Xn1 in1}
P{Xn in | Xn1 in1} P{Xn1 in1 | Xn2 in2}
(4)由(3)，利用归纳法可证。
定理1中(1)式称为切普曼---柯尔莫哥洛夫方程，简 称C--K方程。它在马尔可夫链的转移概率的计算中起 着重要的作用。(2)式说明n步转移概率完全由一步转移 概率决定。(4)式说明齐次马尔可夫链的n步转移概率矩 阵是一步转移概率矩阵的n次乘方。
11
定义 5 设{Xn,nT} 为马尔可夫链，称
(4)P(n) P n .
p ; kn1 j
9
证 (1)利用全概率公式及马尔可夫性，有
p(n) ij
P{Xmn
j
Xm
i}
P{Xm i, Xmn P{Xm i}
j}
P{Xm
i, Xml
k, Xmn
j}
P{Xm
i, Xml
k}
kI
P{Xm i, Xml k}
P{Xm i}
P{Xmn j | Xml k}P{Xml k, Xm i} kI
( 2 )j Ip ij 1 ,i I。
(2)式中对j求和是对状态空间I的所有可能状态进行 的，此性质说明一步转移概率矩阵中任一行元素之和为 1。通常称满足上述(1)，(2)性质的矩阵为随机矩阵。
7
定义 4 称条件概率
p( n ) ij
P{ Xmn
j|
Xm
i}(i,
j I , m 0, n 1)