Matlab教程课件-马尔科夫模型简介

分析: {Xn,n 0,1,2,}是一随机过程, 状态空间 I {0, 1} ,
且当Xn i,i I为已知时, X n1所处的状态分布只与X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
即: 过程“将来”的情况与“过去”的情况是无 关的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程 设 I : 随机过程 { X (t ), t T }的状态空间,
如果对时间t的任意n个数值, tX1 (tnt2)在 条t件n ,Xn(ti 3) ,tixi下T 的 , 条恰件有分布函数 P{ X (tnX) (tnx)n在| X条(t件1 )X (xt1n,1X)(t2 )xn1x下2 ,的,条X (件tn分1 ) 布x函n1数} P{ X (tn ) xn | X (tn1 ) xn1}, xn R
转移到状态a j的转移概率.
说明: 转移概率具有特点
此矩阵的每一行元 素之和等于1.
Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m, m n))
ቤተ መጻሕፍቲ ባይዱ
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij(m, m n) 只与 i, j 及时间间距 n 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 此时, 记 Pij(m,m n) Pij(n),
p21
状
态
ai
pi1
P(1)
X m1的状态
a2 a j
p12 p1 j
p22 p1 j
P(1)
pi2 pij 记为P
三、应用举例
例1 设{ X (t), t 0}是独立增量过程,且X (0) 0, 证明 { X (t ), t 0}是一个马尔可夫过程.
证明 由独立增量过程的定义知, 当0 t j tn1 tn , j 1,2,,n 2时,
或写成 Ftn|t1tn1 ( xn , tn | x1, x2 ,, xn1;t1, t2 ,, tn1 )
Ftn|tn1 ( xn , tn | xn1, tn1 ), 这时称过程{ X (t), t T }具马尔可夫性或无后效性. 并称此过程为马尔可夫过程.
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X (n), n 0,1,2,}.
泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程.
例2 只传输数字0和1的串联系统 ( 0 1 传输系统) 如图:
X 0 1 X1 2 X 2 X n1 n X n
X
是第一级的输入
0
Xn是第n级的输出(n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
P{X mn a j | X t1 ai1 , X t2 ai2 , , X tr air , X m ai}
P{ Xmn a j | Xm ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij(m,m n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻 m n
增量X (t j ) X (0)与X (tn ) X (tn1)相互独立. 根据条件X (0) 0与X (tn1) xn1, 即有
X (t j )与X (tn ) xn1相互独立.
此时X (tn )与X (t j ), j 1,2,,n 2相互独立. 这表明X (t )具有无后效性,即{ X (t ), t 0}是一个 马尔可夫过程. 说明:
主要内容
➢马尔科夫过程及其概率分布 ➢多步转移概率的确定 ➢遍历性
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的 条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
Pij (n) P{ Xmn a j | Xm ai }.
称为马氏链的n步转移概率
P(n) (Pij(n))为n步转移概率矩阵.
特别的, 当 k=1 时,
一步转移概率 pij Pij (1) P( Xm1 a j | Xm ai }.
一步转移概率矩阵
a1
Xm 的
a1 p11
a2
马尔可夫模型
马尔可夫个人简介
• 马尔可夫（1856~1922），苏联数学家。切比雪夫的学生。在概率论、 数论、函数逼近论和微分方程等方面卓有成就。
• 马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作 著称。他的主要著作有《概率演算》等。在数论方面，他研究了连分 数和二次不定式理论 ，解决了许多难题 。在概率论中，他发展了矩 法，扩大了大数律和中心极限定理的应用范围。马尔可夫最重要的工 作是在1906～1912年间，提出并研究了一种能用数学分析方法研究自 然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随 机过程——马尔可夫过程的研究。马尔可夫经多次观察试验发现，一 个系统的状态转换过程中第n次转换获得的状态常决定于前一次（第 n-1次）试验的结果。马尔可夫进行深入研究后指出：对于一个系统， 由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这 种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始 状态和此次转移前的马尔可夫过程无关。目前，马尔可夫链理论与方 法已经被广泛应用于自然科学、工程技术和公用事业中
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ Xn X (n), n 0,1, 2,}, 状态空间为 I (a1,a2 ,}, ai R .
1. 用分布律描述马尔可夫性
对任意的正整数n, r 和 0 t1 t2 tr m; ti , m, n m Ti , 有