第五章 马尔可夫过程-1

5.1 马尔可夫过程的概念
5.1.1 有关定义
马尔可夫过程定义：（条件概率）
给定随机过程{X(t), t∊T},若对于任意n(≥3)个时刻 t1<t2<…< tn-1 <tn ∊T, 有
P{X(tn) < xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn) < xn | X(tn-1) = xn-1} 或 F{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= F{xn; tn| xn-1 ; tn-1}
带入上式右端有
f ( xn ; tn | xk ; tk ) f (xn ; tn | xr ; tr ) f ( xr ; tr | xk ; tk )dxr


5.1 马尔可夫过程的概念 5.1.3 马尔可夫过程的分类
（1）时间离散、状态离散的马尔可夫过程——马尔可夫链。 参数集T={0,1,2,„},状态空间E={整数} （2）时间连续、状态离散的马尔可夫过程——可列马尔可夫 过程、连续参数马尔可夫链。
5 马尔可夫过程
马尔可夫过程的概念 离散参数马尔可夫链
连续参数马尔可夫链
生百度文库过程及应用
5 马尔可夫过程
有限维概率分布(簇) 转移概率
绝对概率
极限分布
平稳分布
状态空间的性质
5.1 马尔可夫过程的概念
5.1.1 有关定义
随机过程马尔可夫性：（物理描述）
当随机过程在时刻 ti 所处的状态为已知的条件下，过 程在时刻 t(>ti)所处的状态，与过程在ti时刻以前的状态无 关，而仅与在ti时刻的状态有关。这种已知“现在”状态的 条件下，“将来”状态与“过去”状态无关的性质，称为 马尔可夫性或无后效性。 具有马尔可夫性或无后效性的随机过程，即是马尔可 夫过程。
f ( xn , xr , xk ; tn , tr , tk ) f ( xn , xr ; tn , tr | xk ; tk ) f ( xk ; tk ) f ( xn ; tn | xr , xk ; tr , tk ) f ( xr , xk ; tr , tk ) f ( xk ; tk ) f ( xn ; tn | xr , xk ; tr , tk ) f ( xr ; tr | xk , tk ) f ( xn ; tn | xr ; tr ) f ( xr ; tr | xk , tk )
马尔可夫链是参数集T和状态空间E皆离散的马尔可夫过 程。 T={0,1,2,…}，E={i1,i2,…}.
马尔可夫链定义：
设随机序列{X(n), n=0,1,2,…}的离散状态空间为E={i1, i2, …},若对于任意的非负整数k和n1<n2<…< nm,以及任意i1, i2, …, im, im+k∊E, 有 P{X(nm+k) = im+k | X(n1) = i1, X(n2) = i2, …, X(nm) = im} = P{X(nm+k) = im+k | X(nm) = im} 则称随机序列{X(n), n=0,1,2,…}为马尔可夫链。
f(x2 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1)
称具有这种特性的马尔可夫过程为齐次马尔可夫过程。
5.1 马尔可夫过程的概念
5.1.1 有关定义
高阶马尔可夫过程的定义：
如果马尔可夫过程在tn时刻的状态，只与tn时刻以前的tn-1, tn-2,… tn-k这k个时刻的状态有关，而与更前时刻的状态无关， 即 F(xn ; tn | xn-1, xn-2,…, xn-k , xn-k-1 ,…, x2 , x1 ;tn-1, tn-2,…, tn-k , tn-k-1 ,…, t2 , t1 )= F(xn ; tn | xn-1, xn-2,…, xn-k;tn-1, tn-2,…, tn-k) 或 f(xn ; tn | xn-1, xn-2,…, xn-k , xn-k-1 ,…, x2 , x1 ;tn-1, tn-2,…, tn-k , tn-k-1 ,…, t2 , t1 )= f(xn ; tn | xn-1, xn-2,…, xn-k;tn-1, tn-2,…, tn-k) 则称具有这种特性的马尔可夫过程为k阶马尔可夫过程。
5.2 马尔可夫链 5.2.2 齐次马尔可夫链 齐次马尔可夫链转移矩阵：
对于有限状态空间E={1,2,…,N},齐次马尔可夫链 {X(n), n=0,1,2,…} 的k步转移矩阵为
p11 (k ) p (k ) P(k ) 21 pN 1 (k )
N
p12 (k ) p22 (k ) pN 2 (k )
当k=1时， pij =pij (m,1)=P{X(m+1) = j | X(m) = i}
称为马尔可夫链在m时刻的一步转移概率，简称转移概率。
k为转移步长。显然， 0≤ pij (m,k) ≤ 1 。
5.2 马尔可夫链 5.2.1 马尔可夫链的概念
马尔可夫链的转移概率及其矩阵：
对于有限状态空间E={1,2,…,N},由马尔可夫链 {X(n), n=0,1,2,…}在时刻m的k步转移概率pij (m,k)形成的下列矩阵
则称f(x; t| x0 ; t0) 为马尔可夫过程的转移概率密度。
5.1 马尔可夫过程的概念
5.1.1 有关定义
齐次马尔可夫过程的定义：
如果马尔可夫过程的转移概率函数或转移概率密度,只与 转移前后的状态及相应的二个时刻的时间差有关，而与二个 时刻无关，即 F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1)
或
f{xn | x1, x2, …, xn-1; t1, t2, …, tn-1}= f{xn; tn| xn-1 ; tn-1}
则称随机过程{X(t), t∊T}为马尔可夫过程。
5.1 马尔可夫过程的概念
5.1.1 有关定义
例1 直线上的随机游动。
概率q
概率p
概率q
概率p
X(0)
X(n)
例2 电话交换站在某时刻接到的呼唤次数。 [0,t]=[0,tm]+(tm,t] 例3 布朗运动。 次数(t)=次数(tm)+次数(tm,t)
0 pij (m, k ) 1
N
称为马尔可夫链在m时刻的k步转移矩阵。
当k=1时，称为一步转移矩阵，简称转移矩阵。j 1 pij (m, k ) 1
5.2 马尔可夫链 5.2.2 齐次马尔可夫链
齐次马尔可夫链及其转移概率：
如果马尔可夫链 {X(n), n=0,1,2,…}的转移概率pij (m,k)与 m无关，即 pij (m,k)=P{X(m+k) = j | X(m) = i}= pij (k) 则称为齐次马尔可夫链, pij (k)称为k步转移概率。 一步转移概率简写为 pij = pij (1) =P{X(m+1) = j | X(m) = i} 1, i j 规定 pij (0) pij (m, 0) ij 0, i j 显然， 0≤pij (k) ≤ 1 。
p11 (m, k ) p (m, k ) P(m, k ) 21 pN 1 (m, k ) p12 (m, k ) p22 (m, k ) pN 2 (m, k ) p1N (m, k ) p2 N (m, k ) pNN (m, k )
5.1 马尔可夫过程的概念
5.1.2 切普曼－柯尔莫哥洛夫方程
定理：马尔可夫过程的转移概率密度之间有下列关系：
f ( xn ; tn | xk ; tk )
Kolmogorov)方程。


f (xn ; tn | xr ; tr ) f ( xr ; tr | xk ; tk )dxr
5.2 马尔可夫链 5.2.1 马尔可夫链的概念
马尔可夫链的状态转移和状态转移矩阵：
n1
n2
n1
n2
n1
n2 C-K
n3
5.2 马尔可夫链 5.2.1 马尔可夫链的概念
马尔可夫链的转移概率及其矩阵：
马尔可夫链 {X(n), n=0,1,2,…}在时刻m处于状态i的条件 下，在时刻m+k处于状态j的条件概率，称为马尔可夫链在m 时刻的k步转移概率，记为 pij (m,k)=P{X(m+k) = j | X(m) = i}
5.1 马尔可夫过程的概念
5.1.1 有关定义
转移概率分布函数和转移概率密度的定义：
把马尔可夫过程{X(t), t∊T}的条件概率分布函数，
F(x2 ; t2 | x1 ; t1}= P{X(t2) < x2 | X(t1) = x1} 称为马尔可夫过程的(状态）转移概率函数。 如果
F ( x; t | x0 ; t0 ) f ( x; t | x0 ; t0 ) x
其中， tk<tr<tn 。此式称为切普曼－柯尔莫哥洛夫(Chapman[证] 利用由联合概率密度求边缘概率密度公式得
f ( xn ; tn | xk ; tk )


f (xn , xr ; tn , tr | xk ; tk )dxr
根据条件概率密度公式，上式的被积函数可表示成
5.1 马尔可夫过程的概念 5.1.2 切普曼－柯尔莫哥洛夫方程
5.1 马尔可夫过程的概念
例2 独立增量过程是马尔可夫过程。
[证] 设{X(t), t∊T}是一独立增量过程，且X(0)=0，有
X(t1)- X(0) = X(t1) , X(t2)- X(t1), …, X(tn-1)- X(tn-2), X(tn)- X(tn-1) 相 互独立。在X(tn-1)已知的条件下， X(tn)- X(tn-1) 与X(t1) ，X(t2) =X(t2)- X(t1)+ X(t1), X(t3) =X(t3)- X(t2)+ X(t2),…, X(tn-1) =X(tn-1)X(tn-2)+ X(tn-2)相互独立。 P{X(tn) < xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn)- X(tn-1) < xn- xn-1 | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn)- X(tn-1) < xn- xn-1 }= P{X(tn) < xn | X(tn-1) = xn-1} 因此， {X(t), t∊T}是马尔可夫过程。
参数集T=[0, ∞],状态空间E={整数}
（3）时间离散、状态连续的马尔可夫过程——马尔可夫序列。 参数集T= {0,1,2,„},状态空间E= (-∞, +∞) （4）时间连续、状态连续的马尔可夫过程。 参数集T= [0, ∞],状态空间E= (-∞, +∞)
5.1 马尔可夫过程的概念
例1 独立过程是马尔可夫过程。 [证] 设{X(t), t∊T}是一独立过程，随机事件X(t1)=x1, X(t2)=x2,…, X(tn-1)=xn-1, X(tn) < xn相互独立，所以 P{X(tn) < xn | X(t1) = x1, X(t2) = x2, …, X(tn-1) = xn-1} = P{X(tn) < xn} = P{X(tn) < xn | X(tn-1) = xn-1} 因此， {X(t), t∊T}是马尔可夫过程。
5.1 马尔可夫过程的概念
例3 维纳过程{W(t), t≥0}是独立增量过程，且W(0) = 0， 所以，维纳过程是马尔可夫过程。 例4 泊松过程{N(t), t≥0}是独立增量过程，且N(0) = 0， 所以，泊松过程是马尔可夫过程。
思考：马尔可夫过程的无前效性。
5.2 马尔可夫链 5.2.1 马尔可夫链的概念
p1N (k ) p2 N (k ) pNN (k )
且
0≤pij (k) ≤ 1，
p
j 1
ij
(k ) 1——随机矩阵。
随机矩阵定义：
若 aij 0 ,且满足
a11 a A 21 aN 1
a
j 1
N
ij
1
则称矩阵