马尔可夫链原理及应用实例探讨

p12 L⎤ p22 L⎥ ⎥ ⎥ M ⎦
把矩阵 Ρ 称为一步转移概率矩阵。显然，矩阵 Ρ 的所有元素都是非负的，且每一行元素 的和都等于 1。
r
r
4.3
切普曼－柯尔莫哥洛夫方程（Chapman－Kolmogrov 方程）
设 X ( n ) , n = 0,1, 2,L 是齐次马尔可夫链，状态空间为 I ，则对于任意正整数 k , l ，
r
r
(
)
{
}
pij ( k ) = pij ( m, m + k ) = P X ( m + k ) = j X ( m ) = i , i, j ∈ I , m = 0,1, 2,L , k = 1, 2,L. r r 于 是 k 步 转 移 概 率 矩 阵 可 记 为 Ρ ( k ) ， 即 Ρ ( k ) = ( pij ( k ) ) ， 通 常 规 定
r
r
r
r
r
r
r
rr
r2
r
r
r
r
r r2
r3
r
rk
4.4
初始概率分布及时刻 m 的概率分布
设 X ( n ) , n = 0,1, 2,L 是马尔可夫链， 状态空间为 I 。 在初始时刻 （n = 0） 状态 X ( 0 )
4
{
}
http://www.paper.edu.cn
的概率分布
P { X ( 0 ) = j} = p j , j ∈ I ，
{
}
有 pij ( k + l ) = K 方程。
∑ p ( k ) p ( l )，i, j ∈ I ，此式称为切普曼－柯尔莫哥洛夫方程，简称 C－
s∈I is sj
C－K 方程表明， “从状态 i 出发经 k + l 步转移到状态 j ”这一事件，可以分解为“从 状态 i 出发经 k 步转移到达中间状态 s ( s ∈ I ) ，再从 s 出发经 l 步转移到状态 j ”这样一些 事件的并。对于不同的中间状态 s ( s ∈ I ) ，这样的事件是互不相容的。 将 C－K 方程表示成矩阵的形式，得 Ρ ( k + l ) = Ρ ( k ) Ρ ( l ) 。 在上式中，取 k = l = 1 ，得 Ρ ( 2 ) = Ρ (1 + 1) = Ρ (1) Ρ (1) = ΡΡ = Ρ 。 若取 k = 1, l = 2 ，得 Ρ ( 3) = Ρ (1 + 2 ) = Ρ (1) Ρ ( 2 ) = ΡΡ = Ρ 。 一般地， 有 Ρ ( k ) = Ρ , k = 1, 2,L. 这表明齐次马尔可夫链的 k 步转移概率矩阵等于 k 个 一步转移概率矩阵的乘积，因此 k 步转移概率可由一步转移概率得到。
t0 以后系统到达的情况与时刻 t0 以前系统所处的状态无关，完全取决于时刻 t0 系统所处的
1
http://www.paper.edu.cn
状态。这个特性称为无后效性，也称为“马尔可夫性” 。 马尔可夫过程数学定义如下[3]： 设 X ( t ) , t ∈ T 为随机过程， 如果对于任意正整数 n 及
p1N ⎤ p22 L p2 N ⎥ ⎥ M M M ⎥ ⎥ pN 2 L pNN ⎦ r 如果马尔可夫链具有无限状态空间 I = {1, 2,L ,} ，仍然用 Ρ 表示以 pij 为元素的矩阵， p12 L
有
⎡ p11 ⎢p r r Ρ = Ρ (1) = ⎢ 21 ⎢ M ⎢ ⎣ pN 1
⎡ p11 r r Ρ = Ρ (1) = ⎢ ⎢ p21 ⎢ ⎣ M
称为马尔可夫链 X ( n ) , n = 0,1, 2,L 的初始概率分布，记作
{
}
u r u r p = p ( 0 ) = ( p1 , p2 ,L p j ,L) , j ∈ I 。
在时刻 m （ n = m ）状态 X ( m ) 的概率分布
P { X ( m ) = j} = p j ( m ) , j ∈ I , m≥0 ，
p j ( m + 1) = ∑ pi ( m ) pij , j ∈ I , m≥0
i∈I
如果已经初始概率分布 p j ( j ∈ I ) 及 m 步转移概率 pij ( m )( i, j ∈ I , m≥1) ，则在时刻 m 的 概率分布为
p j ( m ) = ∑ pi pij ( m ) , j ∈ I , m≥1
= P X ( m + k ) = j X ( m) = i
{
}
{
，
则称随机序列 X ( n ) , n = 0,1, 2,L 为马尔可夫链， 也称为随机序列 X ( n ) , n = 0,1, 2,L
{
}
}
具 有 马 尔 可 夫 性 或 无 后 效 性 。 条 件 概 率 P X ( m + k ) = j X ( m) = i 称 为 马 尔 可 夫 链
4 4.1
马尔可夫链[1]
马尔可夫链的数学定义
设随机序列 X ( n ) , n = 0,1, 2,L 满足如下条件： (1) (2) 对于每一个 n ( n = 0,1, 2,L )， X ( n ) 取整数或它的子集(记为 I )； 对于任意 r +1 个非负整数 n1 , n2 ,L nr , m ( 0 ≤ n1 < n2 < L < nr < m ) 和任意正整数
T 称为参数集。
当 T = {0,1, 2,L} ， T = {1, 2,L} ， T = {L , −2, −1, 0,1, 2,L} 时， X ( t ) , t ∈ T 称为 随机序列或时间序列。
{
}
3 马尔可夫过程
马尔可夫过程是下述这样的一种过程[2]：在已经时刻 t0 系统所处状态的条件下，在时刻
{
}
上述定义中， I 叫做马尔可夫链 X ( n ) , n = 0,1, 2,L 的状态空间。
{
}
4.2
转移概率矩阵
因为马尔可夫链在时刻 m 从任意一个状态 i ( i ∈ I ) 出发，到时刻 m + k wk.baidu.com定转移到状态
空间 I 中的某一状态，所以转移概率 pij ( m, m + k ) 一定满足
pij ( m, m + k )≥0， ∑ pij ( m, m + k ) = 1,
j∈I
i, j ∈ I , m = 0,1, 2,L , k = 1, 2,L.
由转移概率 pij ( m, m + k ) 为元素构成的矩阵称为马尔可夫链的 k 步转移概率矩阵，记 为 Ρ ( m, m + k ) ，即 Ρ ( m, m + k ) = pij ( m, m + k ) 。在转移概率矩阵中，每一行元素的和 都等于 1。 如果 k 步转移概率 pij ( m, m + k ) 不依赖于时刻 m ，则称 X ( n ) , n = 0,1, 2,L 为齐次 马尔可夫链或时齐马尔可夫链。此时，它的状态转移概率仅依赖于转移出发的状态 i ，转移 步数 k 和转移最后到达的状态 j ，而与转移时刻 m 无关，记为 pij ( k ) ，即
{
}
{ X ( n ) , n = 0,1, 2,L} 在时刻 m 从状态 i 出发，在时刻 m + k 转移到状态 j 的转移概率，记
作 pij ( m, m + k ) ，即
2
http://www.paper.edu.cn
pij ( m, m + k ) = P X ( m + k ) = j X ( m ) = i
P X tn ≤ xn X t1 = x1, X t2 = x2 ,L, X tn −1 = xn −1
(
)
}
则称 X ( t ) , t ∈ T 为马尔可夫过程，或称该过程具有马尔可夫性。 按照时间和状态的离散、连续情况马尔可夫过程可分为三类[2]： 时间与状态（空间）都离散的过程，称为马尔可夫链； 时间连续与状态（空间）离散的过程，称为连续时间的马尔可夫过链； 时间与状态（空间）都连续的马尔可夫过程。
称为马尔可夫链 X ( n ) , n = 0,1, 2,L 在时刻 m 的概率分布，记作
{
}
u r p ( m ) = ( p1 ( m ) , p2 ( m ) ,L p j ( m ) ,L) , j ∈ I ，
特别地，在时刻 m = 0 的概率分布就是初始概率分布，可记作
P { X ( 0 ) = j} = p j = p j ( 0 ) , j ∈ I 。
1 引言
马尔可夫过程是研究得相当深入， 而且还在蓬勃发展的随机过程。 随着现代科学技术的 发展， 很多在应用中出现的马氏过程模型的研究受到越来越多的重视。 它的原始模型马尔可 夫链，由俄国数学家 A.A.马尔可夫于 1907 年提出。在现实世界中，有很多过程都是马尔可 夫过程，本文拟从其最原始的数学定义出发，逐步讨论它的转移概率矩阵，切普曼－柯尔莫 哥洛夫方程（C－K 方程） ，初始概率分布及在时刻 m 的概率分布，详尽阐述它的公式所表达 的意义和应用的方法， 并利用姜华平、 陈海泳等人调查的城市客运量数据建立了独立的城市 公交客运量的预测模型。
i∈I
①
如果齐次马尔可夫链的状态空间为 I = {1, 2,L , N } ， Ρ 是一步转移概率矩阵，则①式可以 表 示 为
r
( p ( m ) , p ( m ) ,L p ( m ) ) = ( p , p ,L p ) Ρ
1 2 N 1 2 N
rm
, m≥1
2
随机过程[1]
设随机试验 E 的样本空间 Ω ，T 是一个数集（ T ⊆ (−∞, +∞) ） ，如果对于每一个 t ∈ T ，
都有一个定义在样本空间 Ω 上的随机变量 X
(ω , t ) , ω ∈ Ω ，则称依赖于 t 的一族随机变量
{ X (ω , t ) , t ∈ T } 为随机过程或随机函数，简记为 { X ( t ) , t ∈ T } 或 X ( t ) ，其中 t 称为参数，
{
}
t1 < t2 < L < tn ， P { X ( t1 ) = x1 , X ( t2 ) = x2 ,L , X ( tn −1 ) = xn −1} > 0 ，并且其条件分布为
{ ( ) () ( ) = P{ X ( tn )≤ xn X ( tn −1 ) = xn −1}
{ }
(1) (2) (3)
pij = pij (1) = P X ( m + 1) = j X ( m ) = i , i, j ∈ I , m = 0,1, 2,L
如果马尔可夫链具有有限状态空间 I = {1, 2,L , N } ，则以一步转移概率 pij 为元素可以 构成一个 N 阶矩阵，记为 Ρ ，即
{
}
r
3
http://www.paper.edu.cn
，i = j pij ( 0 ) = δ ij = {1 0，i ≠ j ，且有
{
}
pij ( k )≥0， ∑ pij ( k ) = 1, i, j ∈ I , m = 0,1, 2,L , k = 1, 2,L.
j∈I
当转移步数 k = 1 时， pij (1) 称为一步转移概率，简记为 pij ，即
时刻 m 的概率分布满足条件 p j ( m )≥0， p j ( m ) = 1, j ∈ I , m = 0,1, 2,L 。
j∈I
∑
设 X ( n ) , n = 0,1, 2,L 为 齐 次 马 尔 可 夫 链 。 如 果 已 知 在 时 刻 m 的 概 率 分 布
{
}
p j ( m )( j ∈ I ) 及一步转移概率 pij ( i, j ∈ I ) ，则知在时刻 m + 1 的概率分布是
http://www.paper.edu.cn
马尔可夫链原理及应用实例探讨
祝学衍
吉林大学地球科学学院（130061）
Email:ironstone817@163.com
摘 要：马尔可夫链原理复杂，应用广泛。本文从其最原始的数学定义出发，逐步讨论它 的转移概率矩阵，切普曼－柯尔莫哥洛夫方程（C－K 方程） ，初始概率分布及在时刻 m 的概 率分布，并以城市公交客运量的预测模型为例佐证。 关键词：马尔可夫链；应用实例；客运量
{
}
k ，以及状态 i1 , i2 ,L ir , i, j ∈ I ，有
P { X ( n1 ) = i1 , X ( n2 ) = i2 ,L , X ( nr ) = ir , X ( m ) = i} > 0 ，且
P { X ( m + k ) = j X ( n1 ) = i1 , X ( n2 ) = i2 ,L , X ( nr ) = ir , X ( m ) = i}