马尔可夫过程

7
5）齐次性：对一般马尔可夫序列而言，条件概率密度fX(xn|xn-1)是x和n的函 数，如果条件概率密度fX(xn|xn-1)与n无关，则称马尔可夫序列是齐次的。 6）平稳性：满足齐次性，且所有随机变量Xn具有相同的概率密度。
7）切普曼-柯尔莫哥洛夫方程 若一个马尔可夫序列的转移概率密度满足 其中n>r>s为任意整数，则称该方程为切普曼-柯尔莫哥洛夫方程。 证：对任意三个随机变量Xn,Xr,Xs, n>r>s,有
2
表7-1 马尔可夫过程的分类
状态空间I 分类名称 时间参数集T
离散
连续
离散 (n=0,1,2,…) 连续 (t≥0)
马尔可夫链
马尔可夫序列
可列马尔可夫过程
马尔可夫过程
3
7.1.1 马尔可夫序列
1、马尔可夫序列的定义 定义：若对于任意的n，随机序列{X(n)}的条件分布函数满足
则称此随机序列{X(n)}为马尔可夫序列。 条件分布函数FX(xn|xn-1)常被称为转移分布。 对于连续型随机变量，由上式可得
13
N
N
Leabharlann Baidu
同理可得离散切普曼-柯尔莫哥洛夫方程的矩阵形式为：
P ( n) = P ( l + k ) = P ( l ) P ( k )
当n=2时 当n=3时
P(2) = P (1) = P 2
2
P(3) = P (1) P ( 2 ) = P (1) P (1) = P3
代表在 X ( tn −1 ) = xn −1 ,L, X ( t2 ) = x2 , X ( t1 ) = x1 , 的条件下，时刻
∑ p ( n) = 1
j =1
通常还规定：
pi j ( 0 ) = pij ( m, n ) = δ ij = {1,ii= jj 0, ≠
（4）n步转移概率与一步转移概率的关系： 对于n步转移概率，有切普曼-柯尔莫哥洛夫方程的离散形式
N
pi j ( n ) = pij ( l + k ) = ∑ pir ( l ) prj ( k ) , n = l + k
14
2）一维分布 马氏链在第n步所处状态为aj的无条件概率称为马氏链的“一维分布”， 也称为“状态概率”。表示为
p { X n = a j } = p j ( n ) , j ∈ I = {1,L, N }
由全概率公式，一维分布可表示为
若将一维分布表示成矢量形式
15
3）n维分布 齐次马氏链在t=0,1,2, …,n-1时刻分别取得状态ai0, ai1, ai2, …, ai(n-1) (i0, i1,…,in-1∈I)这一事件的概率为P{X0=ai0,X1=ai1, …, Xn-1=ai(n-1) } 马氏链的任意有限维分布完全可以由初始分布和一步转移概率矩阵所确定。 因此，初始分布和一步转移概率矩阵是描述马氏链的统计特性的两个重要的 分布特征。 3、马氏链的平稳分布与遍历性 1）马氏链的平稳性 定义：若齐次马氏链的概率分布不随时间n的变化而变化。即满足
10
p i j = p ij ( m , m + 1 ) = P { X
m +1
= aj | X
m
= a i }, i , j ∈ I
由所有状态I={1,2, …,N}之间的一步转移概率pij构成的矩 阵，称为马氏链的一步转移概率矩阵，即
此矩阵具有下列两个性质： 1、
0 ≤ pij ≤ 1
2、
∑p
2、马氏链的转移概率及其转移概率矩阵 (1)马氏链的转移概率 (1)马氏链的转移概率 马氏链“在tm时刻出现的状态为ai的条件下，tm+k时刻出现的 状态为aj”的条件概率可用pij(m,m+k)表示，即
齐次马氏链：若pij(m,m+k)与m无关，即pij(m,m+k)= pij (k) k=1时，一步转移概率pij为：
时刻对X(t)观测得到相应的观测值
( t1 < t2 < L < tn −1 < tn ∈ T ) x1 , x2 ,L, xn −1 , xn 满足条件
（7-61）
或
（7-62）
则称此类过程为具有马尔科夫性质的过程或马尔科夫过程，简称马氏过程。其中
FX ( xn ; tn | xn −1 , xn − 2 ,L, x2 , x1; tn −1 , tn − 2 ,L, t2 , t1 )
r =1 r =1
N
N
当l=1,k=2时 pij ( 3) = 以此类推
∑ p (1) p ( 2 ) = ∑ p ∑ p
r =1 ir rj r =1 ir r =1
N
N
N
rk
pkj
pij ( n ) = ∑ pir (1) prj ( n − 1) = ∑ pir prj ( n − 1)
r =1 r =1
6
3）马尔可夫序列的条件数学期望满足
如果马尔可夫序列满足 则称此随机序列为“鞅”。 4）马尔可夫序列中，若已知现在，则未来与过去无关。 若n>r>s，则假定Xr已知条件下，随机变量Xn和Xs是独立的。满足
证：由式(7-4)知
f X ( xn | xr ) f X ( xr | xs ) f X ( xs ) f X ( xn , xs | xr ) = f X ( xr ) f X ( xn | xr ) f X ( xr , xs ) = f X ( xr ) = f X ( xn | xr ) f X ( xs | xr )
T
定理：(有限马氏链具有遍历性的充分条件)：对于一有限状态的马氏链， 若存在一正整数m，使所有状态满足。
则此链是遍历的。
p j = ∑ pi pij
N
其极限分布{pj}是
i =1
∑p
j =1
N
j
=1
方程组的唯一解。
17
7.1.3马尔可夫过程 7.1.3马尔可夫过程
1、马尔可夫过程的一般概念 ）、定义 （1）、定义 ）、 t 设有一随机过程X(t)，∈ T ，若在 t1 , t2 ,L, tn −1 , tn
2、马尔可夫序列的性质 1）马尔可夫序列的子序列仍为马尔可夫序列。 给定n个任意整数k1<k2<…<kn,有
f X ( xk n | xkn−1 , xn − 2 ,L, xk 1 ) = f X ( xk n | xkn−1 )
2）马尔可夫序列的逆序列仍为马尔可夫序列。 对任意的整数n和k，有
5
证：由式(7-4)知
8
f X ( xn | xs ) = ∫ =∫ =∫ =∫
∞ −∞ ∞
∞
−∞
f X ( xn , xr | xs )dxr = ∫
∞
−∞
f X ( xn , xr , xs ) dxr f X ( xs )
f X ( xn | xr , xs ) f X ( xr , xs ) dxr f X ( xs ) f X ( xn | xr , xs ) f X ( xr | xs )dxr f X ( xn | xr ) f X ( xr | xs )dxr
f X ( xn | xn −1 , xn − 2 ,L, x1 ) = f X ( xn | xn −1 )
因此，利用条件概率的性质
(7-2)
f X ( x1 , x2 L, xn ) = f X ( xn | xn −1 , xn − 2 ,L, x1 )L f X ( x2 | x1 ) f X ( x1 )
f X ( xn | xn +1, xn + 2 ,L, xn + k ) f X ( xn , xn +1, xn + 2 ,L, xn + k ) = f X ( xn +1, xn + 2 ,L, xn + k ) f X ( xn + k | xn + k −1 ) f X ( xn + k −1 | xn + k − 2 )L f X ( xn +1 | xn ) f X ( xn ) = f X ( xn + k | xn + k −1 ) f X ( xn + k −1 | xn + k − 2 )L f X ( xn + 2 | xn +1 ) f X ( xn +1 ) f X ( xn +1 | xn ) f X ( xn ) = f X ( xn +1 ) f X ( xn +1, xn ) = f X ( xn +1 ) = f X ( xn | xn −1 )
j =1
N
ij
=1
k=n时，n步转移概率pij(n)为： pi j ( n ) = pij ( m , m + 1) = P { X m + n = a j | X m = a i } , n ≥ 1 对应的n步转移概率矩阵为：
11
显然具有如下性质：
0 1、 ≤
N
pij ( n ) ≤ 1
ij
2、
第七章
马尔可夫过程 、独立 增量过程及独立随机过程
牛慧芳 2010-122010-12-25
1
7.1 马尔可夫过程
马尔可夫过程是一种重要的随机过程，它具有如下特性：当随机过程 在时刻ti所处的状态已知时，过程在时刻t(t>ti)所处的状态仅与过程在ti时刻的 状态有关，而与过程在ti时刻以前所处的状态无关。此特性称为随机过程的 无后效性或马尔可夫性。此特性也可理解为：随机过程X(t)在“现在”状态 已知的条件下，过程“将来”的情况与“过去”的情况无关。或者说，过去 只影响现在，而不影响将来。 P{将来|现在、过去}=P{将来|现在} 马尔可夫过程分类 按其状态空间I和时间参数集T是连续还是离散可分成四类(如表7-1)。 讨论的内容： 讨论的内容： 定义：转移概率及转移概率矩阵；齐次性；平稳分布；遍历性； 其他性质。
2
当n为任意整数时
P(n) = P (1) P ( n − 1) = L = P n
（5）马氏链的有限维分布 1）初始分布 初始概率：马氏链在t=0时所处状态ai的概率 Pi (0) = P { X 0 = ai } = pi 初始分布：所有初始概率的集合{pi}
{ pi } = ( p1 ,L, pi ,L, pN )
结合式(7-2)可得
(7-3)
fX (x1, x2 L, xn ) = fX (xn | xn−1) fX (xn−1 | xn−2)LfX (x2 | x1) fX (x1)
(7-4)
4
所以，X1，X2，…，Xn的联合概率密度可由转移概率密度 fX(xk|xk-1)(k=2, …,n)和初始概率密度fX(x1)所确定。 推广：多重马尔可夫序列。 二重马尔可夫序列满足
p j ( n ) = ∑ pi pij ( n ) = p j , j ∈ I
2）马氏链遍历性 定义：如果一个齐次马氏链对于一切状态i和j，存在不依赖于i的极限
n →∞
i∈ I
N
lim pij ( n ) = p j
则称此马氏链具有遍历性。
16
极限分布 p = [ p1 , p2 ,L pN ]
r =1
证：由全概率公式可得
12
pi j ( n ) = pij ( l + k ) = P { X m + l + k = a j | X m = a i } =
N
P { X m = a i , X m +l + k = a j } P{ X m = ai}
P { X m = a i , X m + l + k = a j , X m + l = ar } P { X m = a i , X m + l = ar } =∑ • P { X m = a i , X m + l = ar } P{ X m = ai} r =1
N r =1 N
= ∑ P { X m + l + k = a j | X m + l = ar , X m = a i } • P { X m + l = ar | X m = a i } = ∑ pir ( l ) prj ( k )
r =1
当l=1,k=1时
pij ( 2 ) = ∑ pir (1) prj (1) = ∑ pir prj
−∞ ∞
−∞
8）高斯-马尔可夫序列。
9
7.1.2
马尔可夫链
1、马尔可夫链的定义： 马尔可夫链的定义： 随机过程X(t)在时刻tn(n=1,2,…)的采样为Xn=X(tn),且Xn 可能取得的状态必为a1, a2, …, aN之一，其中AI={a1, a2, …, aN} 为有限的状态空间，I={1,2, …,N},随机过程只在t1, t2, …, tn, …可列个时刻发生状态转移。若随机过程X(t)在tm+k时刻变成 任一状态aj的概率，只与过程在tm时刻的状态ai有关，而与过程在 tm时刻以前的状态无关，则称此随机过程为马尔可夫链，简称为马 氏链。