经济应用模型---马尔可夫链的理论及应用

p j (n) p( X n j), ( j I )
初始分布: { p j , j I }为{X n , n T }的初始分布，
记为{ p j }
绝对分布: { p j (n), j I }为{X n , n T }的绝对分 布，记为 { p j (n)}
} 初始概率向量: P (0) {P 1, P 2 ,
马尔可夫链的基本理论及应用
一、 预备知识 (一) 随机过程的概念
引例：在一条自动生产线上检验产品质量，每次
检验一个，区分正品和次品。试构造一种恰当的
方法来描述该检验的全过程。
解:引入二元函数
t T 1,2,3,...,n,...
0, 第t次查出正品； X (e, t ) t，第t次查出次品，
故 lim pij 不存在，此链不具有遍 历性。
n
例4 在直线上带有吸收壁的随机游动,如果质点
只能取1,2,3三个点,一步转移矩阵为
1 0 P q 0 0 0
0 p 1
讨论它是否具有遍历性.
解:由于
P P, lim pij
n n
(n)
pij 与i有关，
T
n时刻的绝对概率向量:
P (n) {P }, n 0 1 (n), P 2 (n),
T
(2)性质
(a) p j (n) pi p
iI iI
( n) ij
(b) p j (n) pi (n 1) pij
(c) P (n) P (0) P
T T T T
( n)
(d ) P (n) P (n 1) P
p01 ... p0 k p11 ... p1k ... ... ... pk1 ... pkk
例 设一质点在线段[1,4]上随机游动,状态空间 I={1,2,3,4},每秒中发生一次随机游动,移动的 规则是: (1)若移动前在2,3处,则均以概率1/3向左或向右 移动一单位,或停留在原处; (2)若移动前在1处,则以概率1停留在原处; (3)若移动前在4处,则以概率1移到3处。 用Xn表示在时刻n质点的位置，则 {Xn,n≥0} 是一个有限齐次马氏链。写出其一步转移概率 矩阵。画出状态转移图。
4. (齐次马尔可夫链的)n步转移概率与n步 转移矩阵
n步转移概率为:
pij
( n)
P( X m n j X m i), i, j I , m 0, n 1
n步转移矩阵为:
P
( n)
( pij )
( n)
5. 切普蔓—柯尔莫哥洛夫方程(C-K方程)
定理 设 {X n , n T } 为马氏链,则对任意整数
T {0,1,2,}, I 0,1,2, 若任给整数n T , 和任意的i0 , i1 ,, in 1 I , 及P（X 0 i0 , X 1 i1 ,, X n in ) 0有： P（X n 1 in 1 X 0 i0 , X 1 i1 ,, X n in ) P（X n 1 in 1 X n in ) 则称{ X n，n T }为马尔可夫链。
9.遍历定理与平稳分布
（1）遍历性 定义:设马尔可夫链 {X n , n 0}的状态空间为I,
i ,j I ,存在不依赖于 i的极限 lim p ij
n
(n )
j
(*)
则称马尔可夫链具有遍 历性。
该定义的直观含义:不论系统从哪一状态出发,当 转移的步长n充分大时,转移到状态j的概率近似 于某个正常数.
X(e,t)具有两个特点:
(1)对每一确定的e ∈ , X(e,t)是t的实函数。
对所有的e ∈ , X(e,t)是一族t的函数。
(2)对每一确定的t ∈ T ,X(e,t)是一个随机变 量。对所有的t ∈T, X(e,t)是一族随机变量。
随机过程的定义：
设( , F,P)是概率空间，T是给定的参数集，若对
市场 次数 状态 市场状态
1(畅销)
下季度
1(畅销)
7
2(滞销)
7
本 季 度
2(滞销)
7
2
7 7 ˆ 11 ˆ 12 p 0.5, p 0.5 77 77 7 2 ˆ 21 ˆ 22 p 0.78, p 0.22 72 72 0 . 5 0 . 5 ˆ P 0.78 0.22
例2 若一马氏链的转移矩阵为P,问其是否具有遍历
性?
1 / 2 1 / 2 其中，P 0 1 解:因为
n 1/ 2 n P 0
1 1/ 2 1
n
可见 lim p
n
(n) i1
0与• i I无关，
lim pi 2
n
(n)
1与• i I无关
2.一步转移概率与一步转移矩阵
(1)一步转移概率 称条件概率
P( X n1 j X n i)为X n，n T
在时刻n的一步转移概率,记为 pij (n) (2)一步转移概率的性质
pij (n) 0;
p (n) 1, i I
jI ij
(3)一步转移概率矩阵 若固定时刻n∈T,令
t1 t 2 t n , xi ,1 i n 及 A R， 总有： P ( X t A X t1 x1 , X t 2 x2 , , X tn xn ) P ( X t A X t n xn )
则称此过程为马尔可夫过程(Markov过程).
在T上的普通函数，称这个函数为随机过程{X(t,e)， t ∈T}的一个样本函数或轨道。样本函数的全体称 为样本函数空间。
(二) 随机过程的分类
1.按随机过程的参数集和状态空间分为:
(1)参数离散、状态离散的随机过程
(2)参数连续、状态离散的随机过程
(3)参数离散、状态连续的随机过程 (4)参数连续、状态连续的随机过程
（3）遍历性定理(之一)
设马尔可夫链{X n , n 0} 的状态空间为I={1,2,…N}
如果正整数n0 , 使i, j I , 都有pij 是方程组
( n0 )
0
则此链是遍历的，且式 （*）中的{ 1 , 2 ,..., N }
j i pij , j 1,2,..., N
2.马尔可夫过程的分类
(1)参数离散、状态离散的马尔可夫过程(马尔可夫链)
(2)参数连续、状态离散马尔可夫过程(连续时间的马
尔可夫链)
(3)参数离散、状态连续的马尔可夫过程(马尔可夫序
列)
(4)参数连续、状态连续的马尔可夫过程(马尔可夫过
程或扩散过程)
二、马尔可夫链 1.马尔可夫链的定义 设马尔可夫过程 {X n , n T }
0 1 / 2 1 / 2 P 3 / 9 1 / 9 5 / 9 1 / 6 4 / 6 1 / 6
问经过相当长的时间后，市场情况如何？
解：因为P（2）>0,所以该链是遍历的,且存在唯一
的平稳分布{πj, j =1,2,3}.解下列方程组
B
2.按概率特征分为: (1)独立增量过程 (2)马尔可夫过程（包括马尔可夫链，泊松过程, 维 纳过程，扩散过程等） (3)平稳过程及二阶矩过程。 (4)鞅 (5)更新过程 (6)点过程(计数过程)
(三) 马尔可夫过程
1.马尔可夫过程的定义
设有随机过程{Xt，t ∈T},若对任意的
n, m 0, i, j I有
(1) p
( m n ) ij ( n)
p
kI
( m) ik
p
(n) kj ( n2)
(2) P
PP
( n 1)
PPP
P
n
6.初始概率和绝对概率,初始分布与绝对分布
(1)概念 初始概率: 绝对概率:
p j p( X 0 j ), ( j I )
0 .5 0 .5 0 P 0 0 . 5 0. 5 0 . 5 0 0. 5
（1）求三步转移矩阵P（3）。 （2）当初始分布为P(X0=1)=P(X0=2)=0，
P(X0=3)=1时，经三步转移后处于状态3的概率。
7.马氏链的有限维分布
定理：设{X n , n T} 为马尔可夫链 ，
p00 (n) p ( n) 10 P ... pk 0 ( n) ...
p01 (n) ... p0 k (n)... p11 (n) ... p1k (n)... ... ... pk1 (n) ... pkk (n)... ... ...
故此链不具有遍历性。
（2）平稳分布
定义:设马尔可夫链 {X n , n 0} 的状态空间为I, 转移概率矩阵为P=(Pij),如果非负数列{πj}满足:

j 0

j
1

j i pij , j 0,1,2,...
i 0
则称{πj, j ∈I}为该链的平稳分布.
分布 注: 当状态为有限( N个）时，据下式求平稳 P N 1 i i 1 其中 （ 1， 2， N）
i 1
N
满足条件 j 0, j 1的唯一解，
j 1
N
也即该Markov链的平稳分布存在且唯 一。
注:该定理的条件充分而不必要
如例2,
n 1, p
( n) 21
0, 定理的条件不满足
但它是遍历的.
例5 某厂的销售状况分为3个状态:滞销(用1表示)、
正常（用2表示）、畅销（用3表示），其转移矩 阵
故此链遍历。
例3 在直线上带有完全反射壁的随机游动,如果
质点只能取1,2,3三个点,一步转移矩阵为
0 1 P q 0 0 1
0 p 0
讨论它是否具有遍历性.
解:
由于
P
2 n 1
P,
(n)
P
2n
q 0 0 1 q 0
p 0 p
例 已知本月销售状态的初始分布和转移概率
矩阵如下：
PT （ 0 ） (0.4,0.2,0.4), 0.8 0.1 0.1 P 0 . 1 0 . 7 0 . 2 0.2 0.2 0.6
求下一、二个月的销售状态分布。
[练习] 已知随机游动的转移概率矩阵为：
则称P为{X n , n T }在时刻n的一步转移矩阵.
3.齐次马尔可夫链
pij (n) 与n无 关,即 P( X n1 j X n i) pij ,则称此链为齐 次马尔可夫链. 有限状态(k+1个状态)的齐次马尔可夫链的一 步状态转移矩阵为
如果马尔可夫链的一步转移概率
p00 p 10 P ... pk 0
季度 1 2 3 4 5 6 7 8 9 10 11 12
销售 畅 畅 滞 畅滞 滞 畅 畅 畅 滞 状态 1 1 2 1 2 2 1 1 1 2
畅 滞 1 2
百度文库
季度 13 14 15 16 17 18 19 20 21 22 23 24 销售 畅 畅 滞 滞 畅 畅 畅 滞 畅 滞 畅 畅 状态 1 1 2 2 1 1 2 1 2 1 1 1
每个t∈T,有一个随机变量X(t,e)与之对应，则称随 机变量族{X(t,e)，t ∈T}是( , F,P)上的随机过程， 简记为随机过程{X(t)，t ∈T}。
T称为参数集，通常表示时间。
X(t)的所有可能状态所构成的集合称为状态空间或
相空间,记为I。对每一固定的e ∈ , X(e,t)是定义
则对任意的i1 , , in I和n 1, 有
iI
P（X 1 i1 , , X n in ) pi pii1 ...pin1in
证明及例子（板书）
思考题：实际中怎样得到一步转移概率
矩阵？
8.马氏链的转移概率矩阵的估算
方法
例子
例1 (转移矩阵的估计) 设味精市场的销售记录共有6年24个季度的数 据,见下表,试估计味精状态的转移概率矩阵.