第七章马尔可夫过程简介

S1 , S 2 ,, S m 之一，显然事先我们并不能断言岩性到底应转移到哪个状态，只能给出岩性可能转移到某个状态
的概率，这个概率称为转移概率。应用转移概率可以对未来时刻出现的状态种类进行预测。 1. 一阶转移概率 马氏链要以看作是不同状态间的转移过程，当过程在 t n 时刻处于状态 i 条件下，在 t n 1 时刻转移 到状态 j 的概率称为转移概率，记为 P ( xn 1 j | xn i ) Pij (n, n 1) ，这里 i, j 并非一般足标，而是表示两种 状态，并且是从状态 i 向状态 j 转移。 如果状态个数是有限的 m 个，则由转移概率组成的矩阵为 m m 的矩阵，称该矩阵为转移概率矩阵，特 别当马氏链的转移概率 Pij (n, n 1) 只与状态 i, j 有关，而与 n 无关，则称这种马氏链为齐次（或平稳的）马氏 链，此时的转移概率记为 Pij 。其转移概率矩阵可写为
③时间和状态都连续的马尔可夫过程。
本章重点介绍马尔可夫链。
§7.2 马尔可夫链及其转移概率
设有一质点 P，它在状态 S1 , S 2 , S3 , , S m 上随机地运动，每隔一个单位时间改变一次状态。如果我们把 “质点 P 在时刻 t 所处的状态 S e (i 1,2,, m) ”这一随机事件记为 xt it 那么当上述质点 P 的运动过程具有 下述性质。
f [ x(tk 1 ) x(tk ),, x(t0 ) ]

f [ x(tk 1 ), x(tk ), x(tk 1 ),, x(t0 )] f [ x(tk ), x(tk 1 ),, x(t0 )] f [ x(tk 1 ), x(tk ), x(tk 1 ),, x(t0 )]
P [ xt 1 it 1 | xt tt , xt 1 it 1 ,, x0 i0 ] P [ xt 1 it 1 | xi it ]
时，则称系统状态 {x1} 为一个马尔可失过程，特别地，如果时章离散的 (t 0, 1, 2, ) ，状态也是离散的 。此时系统状态 {x1} 称为一个马尔可夫链，简称马氏链。马氏链中状态数目可以是有限工无 （ S1 , S 2 ,, S m ） 限。
沈阳理工大学
随机过程教案
第七章 马尔可夫过程简介
§7.1 马尔可夫过程定义
对于一个随机过程，如果它具有以下特性：即当过程在现在时刻 tk 所处的状态为已知的条件下，过程在 将来时刻 t tk 处的状态，只与过程在 tk 时刻的状态有关，而与过程在 tk 时刻以前所处的状态无关，则具具有 此种特性的随机过程称为马尔可夫过程。上述随机过程所具有的特性又称为无后效应。无后效应也理解为：过 程 X (t ) 在现在时刻 tk 的状态， X (tk ) ik 已知的条件下，过程“将来”的情况与“过去”的情况是无关的。或 者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来” 和“过去”就无关了。 或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么 “将来”和“过去”就无关了。 严格定义如下： 定义马尔可夫过程：考虑随机过程 X (t ) ，并设 t0 t1 t1 tk t k 1 ，如果它的条件概率密度函数满 足 f [ x (tk 1 ) x (t k ), x(tk 1 ),, x (t0 )] f [ x(tk 1 ) x (tk )] 则称为 X (t ) 为马尔可夫过程。 定义表明，x(tk 1) 的概率密度函数只取决于 x(tk ) 的状态， 而与前 x(tk 1 ),, x(t0 ) 个状态无关。 也就是 “现 在”的状态 x(tk ) 才对“将来”的状态 x(t k 1 ) 有影响，而“过去”的状态 x(tk 1 ), x(t k 2 ),, x(t0 ) 对“将来” 没有影响。 由马尔要夫定义再根据条件密度函数公式，可写出马乐可夫过程的联合概率密度。 ∵
1
沈阳理工大学
随机过程教案
f [ x(tk 1 ) | x(tk ),, x(t0 )] f [ x(tk ), x(tk 1 ),, x(t0 )] f [ x(tk 1 ) | x(tk )] f [ x(tk ), x(tk 1 ),, x(t0 )]
i 0 k
f [ x(ti 1 ) | x(ti )] f (t0 )
由上式要知，马尔可夫过程的联合概率密度函数等于各个转移概率密度和初始概率密度的乘积。
一般地，马尔可夫过程按照其状态和时间参数是连续还是离散，常划分成以下三个讨论和研究。
ห้องสมุดไป่ตู้
①时间离散、状态离散的马尔可夫过程，常被称为马尔可夫链；
②时间连续、状态离散的马尔可夫过程；
例如，一个柱状图，如果第 n 1 层岩性只与第 n 层岩性有关，而与更早的岩层无关，则此岩性系列构成 一个马氏链。
2
沈阳理工大学
随机过程教案
由上可知马尔可夫链实际上是当马尔可夫过程时间离散、状态离散的一个特殊过程。因此，马尔可夫链同 样具有马氏过程的重要特性“无后效益” 。所谓无后效应对于马氏链来说就是已知现在质点所处的状态条件下， 将来质点所处的状态，只与现在质点所处状态有关，而与质点过去所处的状态无关。可以理解秋，这个过程的 历史对未来的全部影响集中在最时刻的状态中，即认为系统的任何观测结果只和紧接前面的观测结果有关。
马尔可夫链是一个时间离散、状态离散的时间序列，它的特点是具有无后效应，序列中它在某一时刻的某 一种状态变为另一时刻的某种状态称为状态的转移。 例如在地质工作中，我们可以把岩性看成一个随机运动着的量，而地层剖面上的岩性种类有砂岩、泥岩、 页岩、石灰岩等，设地层剖面岩性种类有 m 种，这 m 个岩性可看成 m 个不同的状态，记为 S1 , S 2 , , S m ，岩 性每经过一个单位时间作一次随机转移，不妨假设岩性现在处于状态 S5 ，那么下次岩性的状态转移可能是