马尔科夫

r
，i，j = 1，2„
直观意义：要想由 i 状态出发经 k+ l 步由 r 状转移到了 j 状态。
步到达 j 状
l 态，可先经过 k 步到达任意 r 状态，然后再经过
证明：
pij ( k l ) P { X ( m k l ) j | X ( m ) i }
P{ X (m ) i , X (m k l ) j} = P{ X (m ) i }
记为
它表示，已知 n 时刻处于状态 i，经 k 个单位时间 后处于（转移到）状态 j 的概率（条件概率）
一般 pij ( n, n k ) 与 n 有关，如果不依赖于 n，则称过 程{X(n)，n=0，1，2„ }为时齐（齐次）马氏链，即 有 pij ( n, n k ) = pij (k ) ， k≥1 的马氏链是时齐马氏链，
= f(xn；tn | xn-1；tn-1)
例（定理）设{ X(t)，t∈T}是一独立随机过程， 则 P{X(t)，t∈T }是一马氏过程。
独立随机过程的定义为：如果过程{X(t)，t∈T}对 任意有限个不同的实数 t1，t2，„ tn∈T， r.v. X(t1)，X(t2)，„X(tn)是相互独立的，
（3）T 连续
E 连续
是时间连续、状态边续的
马氏过程。如：例 3，布朗运动
§2.
马尔可夫链
一、定义
P185 设随机序列{X(n)，n=0，1，2„}离散状态
E=（1，2„）或（1，2„N）或（„-2，-1，0，1，2„）
若对于任意的 m 个非负整数 n1， 2， m n n （0≤n1<n2<„ <nm）和任意自然数 k，以及任意 i1 , i 2 , , i m , j E ， 满足 P{X(nm+k)=j | X(n1)=i1 ，X(n2)=i2，X(nm)=im }
第四章 马尔可夫链 §1. 马尔可夫过程的的直观描述 一、马尔可夫过程（Markov）是具有“无后效性” 特性的随机过程，
所谓无后效性是指当过程在时刻 t m 所处的状态 为已知条件下，过程在时刻 t（t> t m ）处的状态只
tm 与过程在tm 时刻的状态有关，而与过程在 时刻之
前所处的（概率特性）状态无关。
H ( k ) H (1) k
1, i j pij (0) ij 0, i j
说明：k 步转移概率，可由一步转移概率矩阵获 得， 这说明一步转移概率矩阵是马氏过程最基本 的，它完全确定了链的状态转移的统计规律。
三、初始概率，绝对概率分布 1． 马氏链在初始时刻（即零时刻）取各种状态的
r
P{ X ( m ) i }
无后效性

P{ X ( m ) i , X ( m k ) r } P{ X ( m k l ) j | X ( m k ) r }
r
P{ X ( m ) i }

r
P{ X ( m ) i , X ( m k ) r } prj ( l ) pir ( k ) prj ( l ) P{ X ( m ) i } r
在时刻 t n 1 的状态，而与过去时刻的状态无关。
用分布函数可表示为 F(xn；tn | xn-1，xn-2 ，„x1；tn-1，tn-2，„ t1)
= F(xn；tn| xn-1；tn-1 )
如果条件概率密度存在，上面等式等价于 f(xn；tn | xn-1，xn-2 ，„x1；tn-1，tn-2，„ t1)
或说：如果过程{ X(t)，t∈T }的 n 维联合分布函 数可表示为
Fn ( x1 , x 2 , , x n ; t1 , t 2 , , t n )
= k 1 F ( x k , t k ) ，n=1，2„
n
则称{ X(t)，t∈T }为独立随机过程。
证明：设 0≤t1<t2<„ tn<t∈T 由条件 X(t1)，X(t2)，„X(tn)相互独立 故事件 ( X ( t 1 )
例如曾介绍过在射击过程中若以 X(n)表示 n 次 射击中击中目标的次数，{X(n)，n=1，2，3„} 是一随机过程，易知它是独立随机过程。
三、分类 马氏过程{X(t)，t∈T }按参数 T 和状态空间 E 的情况一般分三类
（1）T离散 如例2
E离散的马氏过程，称为马氏链 Nhomakorabea（2）T 连续，E 离散称为马氏过程 如：例 1，电话„
n 时刻（口袋中白球个数）状态为 k，k=0，1，2，„a
pij =P{X(n+1) = j|X(n)=i} i, j =0，1，2，„a p 00 = P{ X(n+1)=0 | X(n)=0 } = 0 p 01 = P{ X(n+1)=1 | X(n)=0 } = 1 状态空间E = ( 0，1，2，…a )
例 1： 电话交换站在 t 时刻前收到的呼唤次数 X(t) （即 时刻[0，t]内收到的呼唤次数） 。
例 2. 直线上的随机游动。 一个质点在零时刻处于实数轴上原点的位置，每隔 一单位时间向右移或左移一个单位长度， 右移的概率为 p （0<p<1） 左移的概率为 q q=1-p） ， （ ，
记质点在第 n 时刻的位置为 X(n)，n=1，2„ ∵质点在直线上的移动是随机的，故称之为质点在 直线上的随机游动
p
j
ij
1
， i，j=1，2„ （有限或无限个）
对有限状态空间 E={ 1，2，N }时齐马氏链，一步 转移概率可写成矩阵形式，称为（时齐）马氏链的 一步转移概率矩阵（叫随机矩阵） p11 p12 p1 j p1 N p21 p22 p2 j p2 N H p p N 2 p Nj p NN N1
p00 p10 H p a0
0 1 a 0 1 0 2 a
p01 p21 pa 1
0 a 1 a 0
p02 p12 pa 2

p0a p1a paa
0 0 a2 0 a a 1 1 0 a a 0 1 0
P187 例 1 一般独立同分布的离散 r.v 序列{X(n)， n=0，1，„ }亦是马氏链， ∵随机序列的将来不依赖于现在现在更不依赖 于过去。 （已证明）
3． k 步转移概率矩阵 对 E =（1，2，„N）
p11 ( k ) p21 ( k ) H (k ) p (k ) N1 p12 ( k ) p22 ( k ) pN 2 (k ) p1 N ( k ) p2 N ( k ) p NN ( k )
将上式与成矩阵形式，即 H ( k l ) H ( k ) H ( l )
取 m=1， l 1 ，得
H (2 ) H (1) H (1) [ H (1)]2
l 1 ，得 H (3 ) H ( 2) H (1) [ H (1)]3 „ 取 m=2，
一般地
一般规定
花粉位置，用平面直角坐标系描述，t 时刻花粉的位 置。X(t)(模标)Y(t)（纵标）t≥0，都是马氏过程。
二、马氏过程。“无后效性”的特点在数学上的定义
设{ X(t)，t∈ (0，+∞) }为随机过程，如果对任意 n，0≤ t1 t 2 t n = T，过程在 t1 , t 2 , , t n 1 取值 分别为 x1 , x 2 , , x n1 则有
可推广至无限情况 注意：① 每个元素 pij ≥0，
p ②每行之和为 1，
j
ij
1
例 1 袋中有 a 个球，球为黑色和白色的，随机地从 袋中取出一球然后放回一个不同颜色的球，若在袋 中有 k 个白球，则称系统处于状态 k。用马氏链描 述这上模型，并写出一步转移概率矩阵。
解：设 X(n)表示当在第 n 时刻（n 次摸球时）袋中 （装）有白球个数， (X(n)=k)， 表示当在第 n 时刻 次摸球时） （装） （n 袋中 有 k 个白球，

P{ X ( m ) i , X ( m k ) r , X ( m k l ) j }
r
P{ X ( m ) i }

P{ X ( m ) i , X ( m k ) r } P{ X ( m k l ) j | X ( m ) i , X ( m k ) r }
满足：① 0≤ pij (k ) ≤1， ②
p
j
i，j=1，2„ N
ij
(k ) 1
，每一行之和为 1
H(k) 也是随机矩阵，N 可推广至∞情况。
4．定理（切普曼——柯尔莫哥洛夫方程，简称C—K方程）
马尔可夫链的转移概率之间有下列关系： 设 n k l ，k≥1，l 1 ，则
pij ( n ) pij ( k l ) pir ( k ) prj ( l )
当 n0 固定，X（n0） 是 r.v. 又 n 是变量（时间） ∴ { X(n)，n=0，1，2„ }是随机过程
又 ∵若已知质点现在的位置， 将来的情况只与现在 的位置有关，而与过去的情况无关，∴X(n)无后效 性，故它是马氏过程。 例 3 布朗运动。
将一颗花粉放在水平上，由于分子的冲击，使它 在液面上随机游动，这种游动称之为随机游动。
=P{X(nm+k)=j | X(nm)=im }
则称{X(n)，n=0，1，2…}是马氏链。
二、k 步转移概率 条件概率 P{ X ( n k ) j | X ( n) i } Pij ( n, n k ) ， 其中 i，j=1,2„ ，n=1，2，„k 1 称为马氏链 的 k 步转移概率。
如果把 tm 时间叫 “现在” t m 以前的时刻作为 ， “过去” ，
t m 以后的时刻称为“将来” 。
过去
现在
tm
将来
无后效性也可以理解为：过程在现在（时刻t m ）状态 已知的条件下，过程“将来”的（情况）状态只与 现在的状态有关，而与过去的状态无关。或者说： 这种随机过程的“将来”只是通过“现在”与“过 去”发生联系。如果一旦“现在”已知，那么“将 来”和“过去”就无关了。
P{ X ( t n ) x n | X ( t 1 ) x1 , X ( t 2 ) x 2 , , X ( t n ) x n )
P { X ( t n ) x n | X ( t n 1 ) x n 1 )
则称{X(t) , t∈ (0，+∞)}为马氏过程。
t n 1 表示现在时刻，t n 1 ， t n 2 „1 表示过去时刻， t 则将来时刻 t n 的状态 X ( t n ) 的统计特性， 但取决于现
如：随机游动（直线问题）
我们只讨论时齐马氏链。省略“时齐”二字。 .特别地，当 k=1 时
pij ( n, n 1) =P{X(n+1)=j
| X(n)=i }记为
pij
，i，j=1，2„
叫一步转移概率。（时齐马氏链）
对时齐马氏链，一步转移概率具有两个性质。 ① 0≤ pij ≤1，
②
i，j=1，2„
x n ), ( X ( t 2 ) x n ), , ( X ( t n ) x n ), ( X ( t ) x n )
也相互独立 于是 P{ X (t ) x | X (t1 ) x1 , X (t 2 ) x2 ,} P{ X ( t ) x }
P{ X ( t ) x | X ( t n ) x x } P{ X ( t ) x }
x ∴ 可得 P{X(t) ≤x | X(t1) =x1，„X(t n ) = n
}
= P{ X(t) ≤x | X(t n )= xn }
即可证知{X(t)，t∈T }是马氏过程。
由上述可知，可以说独立随机过程的一维分布函 数包含了该随机过程的全部统计信息，但这是一 种理想化的随机过程，在数学上处理简单方便。 独立随机变量序列（离散随机序列）是存在的。