第0 31_06讲马尔可夫链

p ( x n +1 / x1 , " x m −1 , x m +1 ,", x n ; t1 ," t m −1 , t m +1 ," , t n , t n +1 ) = p( x n +1 / x n ; t n , t n +1 )
证明： 现在考虑以下的联合概率，
p ( x1 , " x m −1 , x m +1 , ", x n , x n +1 ; t1, "t m −1 , t m +1 ," , t n , t n +1 ) = p( x n +1 / x1 ," x m −1 , x m +1 ," , x n ; t1, "t m −1 , t m +1 ,", t n , t n +1 ) × p( x1 , " x m −1 , x m +1 ,", x n ; t1, "t m −1 , t m +1 ," , t n )
p( xn +1 / x1 , " xm −1 , xm +1 ," , xn ; t1 ," tm −1 , tm +1 , " , tn , tn +1 ) = p ( xn +1 / xn ; tn , tn +1 )
其中， t1 < " < tm −1 < tm +1 < " < tn < tn +1 是非连续的顺序时刻。 推论 1，定义 1 和定义 2 是等价的。 显然可以证明满足定义 2 的随机过程满足定义 1， 以下再证明满足定义 1 的随机过程满 足定义 2，这样定义 1 和定义 2 就是等价的。 如果定义 1 成立，应该有
该联合概率还可以写作，
p( x1 ," x m −1 , x m +1 ," , x n , x n +1 ; t1 ," t m −1 , t m +1 ,", t n , t n +1 )
xm
= ∑ p( x1 ," x m −1 , x m , x m +1 ,", x n , x n +1 ; t1 ," t m −1 , t m , t m +1 ," , t n , t n +1 ) = ∑ p( x n +1 / x1 ," x m −1 , x m , x m +1 ,", x n ; t1 , " t m −1 , t m , t m +1 ," , t n , t n +1 )
用 n 步转移概率、m 步转移概率来表示 n+m 步转移概率的切普曼-柯尔莫哥洛夫方 程（用全概率公式来证明） 。 系统的状态概率方程， 系统在时刻 n 的概率分布是 P{ ξ (n) = i}, i = 0,1," ， 写成概率分布矢量，
ቤተ መጻሕፍቲ ባይዱ
w (n) = [P{ξ (n) = 0}, P{ξ (n) = 1}, " , P{ξ (n) = i}, "]
k k
= ∑ P{ξ (n + m + r ) = j / ξ (n + m) = k }
k
P{ξ (n + m) = k / ξ (n) = i} P{ξ (n + m) = k / ξ (n) = i}
( m) (r ) = ∑ Pik (n) ⋅Pkj ( n + m) k
证明 2 利用马尔可夫链的有限维条件概率密度可以用转移概率，有
切普曼-柯尔莫哥洛夫方程：
(m) (r ) Pij( m + r ) (n) = ∑ Pik (n) ⋅Pkj ( n + m)
k
证明 1 按照全概率公式，
Pij( m + r ) (n) = P{ξ (n + m + r ) = j / ξ (n) = i} = ∑ P{ξ (n + m + r ) = j , ξ (n + m) = k / ξ (n) = i} = ∑ P{ξ (n + m + r ) = j / ξ (n + m) = k , ξ (n) = i}
[P
( m+ r ) ij
] = [P ]⋅ [P ]
(m) ik (r ) kj
可以将它写成矩阵转置形式
[P
( m+ r ) T ij
] = [P ] ⋅ [P ]
(r ) T kj
(m) T ik
齐次马尔可夫链的切普曼-柯尔莫哥洛夫方程的矩阵形式：
P ( m+ r ) = P ( m) ⋅ P ( r ) P m+ r = P m ⋅ P r
6 马尔可夫链 6.1 概述
马尔可夫链是时间离散，状态离散，具有马尔可夫性的过程 定义，马尔可夫链 设有一个离散时间、离散状态的随机过程 { ξ (n), n = 0,1,2 "} ，且 ξ (n) 满足条件，
P{ξ (n + 1) = j / ξ (0) = i0 , ξ (1) = i1 ,"ξ (n) = in } = P{ξ (n + 1) = j / ξ (n) = in }
6.3 切普曼-柯尔莫哥洛夫方程
切普曼-柯尔莫哥洛夫方程，是用 m 步和 r 步转移概率来表示 m+r 步转移概率。 m 步转移概率： Pij 有 Pij
(m) (m)
(k ) = P{ξ (k + m) = j / ξ (k ) = i} ，
j
(k ) ≥ 0 ， ∑ Pij( m ) (k ) = 1
随机过程是独立增量过程。 定理： 独立增量过程一定是马尔可夫过程。 定义：正交增量过程， 设有二阶矩过程
{ξ (t ), t ∈ T } ， 并 设 t1 ≤ t 2 ≤ t 3 ≤ t 4
， t1 , t 2 , t 3 , t 4 ∈ T 有
E{ [ξ (t 2 ) − ξ (t1 )][ξ (t 4 ) − ξ (t 3 )]* } = 0 ，则称该过程为正交增量过程。
定理：
ξ (t )} = 0 ， E 独立增量过程，若满足 E{
{ξ (t ) }≤ ∞ ，则该过程也是一个正交增量
2
过程。 定义：齐次独立增量过程， 如果独立增量过程的增量仅与时间差有关， 而与时间本身无关， 则称它为齐次独立 增量过程。
6.5 关于马尔科夫链的定义的补充：
定义 1：满足以下的性质的离散时间离散取值随机过程是马尔科夫链，
6.2 马尔可夫链的一步转移概率
定义，马尔可夫链的一步转移概率
ξ (k + 1) = j / ξ (k ) = i} = Pij (k ) 是时刻 k 马尔可夫链的一步转移概率， 条件概率 P{
它完全描述了马尔可夫链的有限维概率。 性质，马尔可夫链的一步转移概率具有非负性和归一化特性。
Pij (k ) ≥ 0 ， ∑ Pij (k ) = 1
P{ξ (n + m + r ) = j , ξ (n + m) = k / ξ (n) = i}
对 n+m 时刻的状态 k 求和，有
= P{ξ (n + m + r ) = j / ξ (n + m) = k }P{ξ (n + m) = k / ξ (n) = i}
Pij( m + r ) (n) = P{ξ (n + m + r ) = j / ξ (n) = i} = ∑ P{ξ (n + m + r ) = j , ξ (n + m) = k / ξ (n) = i} = ∑ P{ξ (n + m + r ) = j / ξ (n + m) = k }
系统在时刻 n+m 的概率分布是 P{ ξ (n + m) = j}, j = 0,1, " 写成概率分布矢量，
w (n + m) = [P{ξ (n + m) = 0}, P{ξ (n + m) = 1}, " , P{ξ (n + m) = i}, "]
它们之间的关系是，
P {ξ (n + m) = j} = ∑ P {ξ (n + m) = j / ξ (n) = i} ⋅ P {ξ (n) = i}
则称这类随机过程是马尔可夫链。它具有无后效性。 性质 1，马尔可夫链的有限维概率密度可以用转移概率来表示，即
P {ξ (0) = i0 , ξ (1) = i1 ,"ξ (n) = in , ξ (n + 1) = j} = P {ξ (n + 1) = j / ξ (0) = i0 , ξ (1) = i1 ,"ξ (n) = in } P {ξ (0) = i0 , ξ (1) = i1 ,"ξ (n) = in } = P {ξ (n + 1) = j / ξ (n) = in } ⋅ P {ξ (0) = i0 , ξ (1) = i1 , "ξ (n) = in } " = P {ξ (n + 1) = j / ξ (n) = in } ⋅ P {ξ (n) = in / ξ (n − 1) = in −1}" P {ξ (1) = i1 / ξ (0) = i0 } ⋅ P {ξ (0) = i0 }
p( x n +1 / x1, " x m −1 , x m , x m +1 , ", x n ; t1, "t m −1 , t m , t m +1 , ", t n , t n +1 ) = p( x n +1 / x n ; t n , t n +1 )
其中， t1 , " t m −1 , t m , t m +1 , " , t n , t n +1 是连续的顺序时刻。 定义 2：满足以下的性质的离散时间离散取值随机过程是马尔科夫链，
性质 2，马尔可夫链的有限维条件概率密度可以用转移概率来表示，即
P {ξ (1) = i1 ,"ξ (n) = in , ξ (n + 1) = j / ξ (0) = i0 } = P {ξ (0) = i0 , ξ (1) = i1 , "ξ (n) = in , ξ (n + 1) = j} / P {ξ (0) = i0 } = P {ξ (n + 1) = j / ξ (n) = in } ⋅ P {ξ (n) = in / ξ (n − 1) = in −1}" P {ξ (1) = i1 / ξ (0) = i0 } ⋅ P {ξ (0) = i0 } / P {ξ (0) = i0 } = P {ξ (n + 1) = j / ξ (n) = in } ⋅ P {ξ (n) = in / ξ (n − 1) = in −1}" P {ξ (1) = i1 / ξ (0) = i0 }
⎤ ⎥ ⎥ ⎥， ⎥ ⎥ ⎥ ⎦
一步转移概率矩阵的第 i 行第 j 列元素是从状态 i 转移到状态 j 的概率，每个 元素都是非负的，每一行元素的和是 1。 定义，齐次马尔可夫链 如果马尔可夫链的一步转移概率满足条件 P{ ξ (k + 1) = j / ξ (k ) = i} = Pij ，与 k 无 关，则称这个马尔可夫链是齐次的。 马尔可夫链的分析问题， 分析状态转移的概率： 按照马尔可夫链的描述，确定马尔可夫链的状态空间和一步转移概率矩阵， 按照马尔可夫链的一步转移概率矩阵，确定马尔可夫链的 n 步转移概率矩阵， 进一步分析状态的概率： 确定经过 n 步到达某个状态的概率， 确定经过 n 步第一次到达某个状态的概率， 确定常返状态的极限分布， 确定从非常返状态到达特定状态的概率分布。
j
马尔可夫链的一步转移概率矩阵： 马尔可夫链的一步转移概率矩阵由一步转移概率组成，即
P01 (k ) P02 (k ) " ⎡ P00 (k ) ⎢ P (k ) P11 (k ) P12 (k ) " ⎢ 10 P (k ) = ⎢" " " " ⎢ Pi1 (k ) Pi 2 (k ) " ⎢ Pi 0 (k ) ⎢" " " " ⎣
i
写成矢量形式， w (n + m) = w (n) ⎡ P
⎣
( m)
( n) ⎤ ⎦
6.4 独立增量过程和正交增量过程
定义：独立增量过程， 随机过程 { ξ (t ), t ∈ T } ，在 T 上任选 t1 < t 2 < " < t n n 个点，随机过程的增量
ξ (t 2 ) − ξ (t1 ) ， ξ (t 4 ) − ξ (t 3 ) ， " , ξ (t n ) − ξ (t n −1 ) 是相互统计独立的 ，则称这类
k k
P{ξ (n + m) = k / ξ (n) = i}
( m) (r ) = ∑ Pik (n) ⋅Pkj ( n + m) k
齐次切普曼-柯尔莫哥洛夫方程， 齐次马尔可夫链的切普曼-柯尔莫哥洛夫方程：
(m) (r ) Pij( m + r ) = ∑ Pik ⋅Pkj k
可以将它写成矩阵形式