关键词无后效性马尔可夫性齐次马尔可夫链n步转移-PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第十一章 马尔可夫链
关键词： 无后效性(马尔可夫性) 齐次马尔可夫链 n步转移概率 n步转移概率矩阵 C-K方程 马氏链的有限维分布律 遍历性 极限分布(平稳分布)
§1 马尔可夫过程及其概率分布
对 任 意 nt 3 , t tx ,, . . . , x 1 2 n 1 n
P X () t x |X t x t x n n 1 1 X n 1 n 1 P X () t x |X t x n n n 1 n 1
则 称 过 程 X ( t ) , tT 为 马 尔 可 夫 过 程 。
设 Xt 0 是 独 立 增 量 过 程 ， ,t 且 X 0 0 ,则 它 是 M a r k o v 过 程 。
泊 松 过 程 和 维 纳 过 程 都 是 M a r k o v 过 程 。
2 例 4 ： 设 { W ( tt ) , 0 } 是 一 个 维 纳 过 程 ， 1 .
求 P (( W 1 . 5 4 )0 . 8 W ( 0 . 5 5 )0 . 1 , W ( 0 . 9 8 )1 . 3 , W ( 1 . 5 0 )1 ) 。
解 ： P ( W ( 1 . 5 4 ) 0 . 8 W ( 0 . 5 5 ) 0 . 1 , W ( 0 . 9 8 ) 1 . 3 , W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) 0 . 8 W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) W ( 1 . 5 0 ) 0 . 2 W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) W ( 1 . 5 0 ) 0 . 2 )
0 . 20 ) ( (1 ) 0 . 1 5 8 7 . 0 . 0 4
4
M a r k o v 性 的 直 观 含 义 :
B { X ( t ) x } . . . . . .. . . . . . . 现 在 n 1 n 1
C { X ( t ) x } . . . . . . . .. . . . 将 来 n n
令 A { X ( t ), x . . . , X ( t ) x } . .. . . . . . 过 去 1 1 n 2 n 2
Markov性: P(C | AB) P(C | B)
已 知 到 现 在 为 止 的 所 有 信 息 来 预 测 将 来 , 则 只 与 现 在 状 态 有 关 , 与 过 去 状 态 无 关 .
5
M a r k o v 性 的 直 观 含 义 :
P ( A C | B ) P (| A B ) P (| C B )
在 已 知 现 在 状 态 的 条 件 下 , 过 去 与 将 来 相 互 独 立 .
6
如 果 { Xn 0 , 1 , 2 , . . . } 是 状 态 离 散 n ; 的 M a r k o v 过 程 , 则 称 它 为 M a r k o v 链 .
即 对 t t . . . t m n , i ,. . . ,i i , j I( 状 态 空 间 ) 1 2 k 1 k, PX { n j| X i ,. . . ,X i i } PX { n j| X i } t 1 t k,X m m 1 k ＝ ＝ p m ,n ) i j(
记 为
在时 m处 于 状 态 i 的 条 件 下 , 到 n 时 转 移 到 状 态 j 的 转 移 概 率
7
性 质 : ( 1 ) p (,)0 m n , p (,)1 m n i j i j
jI
( 2 )( p ,)1 m , p ( m ,)0 m 若 j i i im i j
8
对 所 有 i, j,mn , , 若 p mn , )只 与 i, j,nm 有 关 时 , ij ( 称 为 齐 次 M a rk o v 链
9
记 p ( k ) : p ( m , m k ) . . . . . . . . . . . . . . . . . k 步 转 移 概 率 i j i j
记 P ( kp ) : ( k ) ) . . . . . . . . . . . . . . . . . k 步 转 移 概 率 矩 阵 i j I I
令 pp : ( 1 ) . . . . . . . . . . . . . . . . . 1 步 转 移 概 率 i j i j
P P ( 1 ) . . . . . . . . . . . . . . . . . 1 步 转 移 概 率 矩 阵
10
例1：(0-1传输系统)
X0
1
X1
2
X2
…
Xn-1
n
Xn
…
设各级的传真率为p，误码率为q=1-p。X0是初始输入，Xn 是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过 程，状态空间I={0,1}. 当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有 关，而与时刻n以前所处的状态无关，所以它是一个马氏 链，而且还是齐次的.
p j i PP X jX | i ij , 0 , 1 n i j 1 n q j i
p P q q p
11
1
2
3
4
5
例2：一维随机游动。设一醉汉在I={1,2,3,4,5}作随机游 动：如果现在位于点i(1<i<5)，则下一时刻各以1/3 的概率向左或向右移动一格，或以 1/3的概率留在原处 ；如果现在处于1(或5)这一点上，则下一时刻就以概率1 移动到2(或4)这点上，1和5这 两点称为反射壁，这种游动称为带有两个反射壁的 随机游动。 以Xn表示时刻n时的位置， 说明{Xn,n= 0,1,2 …}是一齐次马氏链， 并写出它的一步转移概率矩阵。
关键词： 无后效性(马尔可夫性) 齐次马尔可夫链 n步转移概率 n步转移概率矩阵 C-K方程 马氏链的有限维分布律 遍历性 极限分布(平稳分布)
§1 马尔可夫过程及其概率分布
对 任 意 nt 3 , t tx ,, . . . , x 1 2 n 1 n
P X () t x |X t x t x n n 1 1 X n 1 n 1 P X () t x |X t x n n n 1 n 1
则 称 过 程 X ( t ) , tT 为 马 尔 可 夫 过 程 。
设 Xt 0 是 独 立 增 量 过 程 ， ,t 且 X 0 0 ,则 它 是 M a r k o v 过 程 。
泊 松 过 程 和 维 纳 过 程 都 是 M a r k o v 过 程 。
2 例 4 ： 设 { W ( tt ) , 0 } 是 一 个 维 纳 过 程 ， 1 .
求 P (( W 1 . 5 4 )0 . 8 W ( 0 . 5 5 )0 . 1 , W ( 0 . 9 8 )1 . 3 , W ( 1 . 5 0 )1 ) 。
解 ： P ( W ( 1 . 5 4 ) 0 . 8 W ( 0 . 5 5 ) 0 . 1 , W ( 0 . 9 8 ) 1 . 3 , W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) 0 . 8 W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) W ( 1 . 5 0 ) 0 . 2 W ( 1 . 5 0 ) 1 )
P ( W ( 1 . 5 4 ) W ( 1 . 5 0 ) 0 . 2 )
0 . 20 ) ( (1 ) 0 . 1 5 8 7 . 0 . 0 4
4
M a r k o v 性 的 直 观 含 义 :
B { X ( t ) x } . . . . . .. . . . . . . 现 在 n 1 n 1
C { X ( t ) x } . . . . . . . .. . . . 将 来 n n
令 A { X ( t ), x . . . , X ( t ) x } . .. . . . . . 过 去 1 1 n 2 n 2
Markov性: P(C | AB) P(C | B)
已 知 到 现 在 为 止 的 所 有 信 息 来 预 测 将 来 , 则 只 与 现 在 状 态 有 关 , 与 过 去 状 态 无 关 .
5
M a r k o v 性 的 直 观 含 义 :
P ( A C | B ) P (| A B ) P (| C B )
在 已 知 现 在 状 态 的 条 件 下 , 过 去 与 将 来 相 互 独 立 .
6
如 果 { Xn 0 , 1 , 2 , . . . } 是 状 态 离 散 n ; 的 M a r k o v 过 程 , 则 称 它 为 M a r k o v 链 .
即 对 t t . . . t m n , i ,. . . ,i i , j I( 状 态 空 间 ) 1 2 k 1 k, PX { n j| X i ,. . . ,X i i } PX { n j| X i } t 1 t k,X m m 1 k ＝ ＝ p m ,n ) i j(
记 为
在时 m处 于 状 态 i 的 条 件 下 , 到 n 时 转 移 到 状 态 j 的 转 移 概 率
7
性 质 : ( 1 ) p (,)0 m n , p (,)1 m n i j i j
jI
( 2 )( p ,)1 m , p ( m ,)0 m 若 j i i im i j
8
对 所 有 i, j,mn , , 若 p mn , )只 与 i, j,nm 有 关 时 , ij ( 称 为 齐 次 M a rk o v 链
9
记 p ( k ) : p ( m , m k ) . . . . . . . . . . . . . . . . . k 步 转 移 概 率 i j i j
记 P ( kp ) : ( k ) ) . . . . . . . . . . . . . . . . . k 步 转 移 概 率 矩 阵 i j I I
令 pp : ( 1 ) . . . . . . . . . . . . . . . . . 1 步 转 移 概 率 i j i j
P P ( 1 ) . . . . . . . . . . . . . . . . . 1 步 转 移 概 率 矩 阵
10
例1：(0-1传输系统)
X0
1
X1
2
X2
…
Xn-1
n
Xn
…
设各级的传真率为p，误码率为q=1-p。X0是初始输入，Xn 是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过 程，状态空间I={0,1}. 当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有 关，而与时刻n以前所处的状态无关，所以它是一个马氏 链，而且还是齐次的.
p j i PP X jX | i ij , 0 , 1 n i j 1 n q j i
p P q q p
11
1
2
3
4
5
例2：一维随机游动。设一醉汉在I={1,2,3,4,5}作随机游 动：如果现在位于点i(1<i<5)，则下一时刻各以1/3 的概率向左或向右移动一格，或以 1/3的概率留在原处 ；如果现在处于1(或5)这一点上，则下一时刻就以概率1 移动到2(或4)这点上，1和5这 两点称为反射壁，这种游动称为带有两个反射壁的 随机游动。 以Xn表示时刻n时的位置， 说明{Xn,n= 0,1,2 …}是一齐次马氏链， 并写出它的一步转移概率矩阵。