第三章 马尔可夫链

第三章 马尔可夫链 一、马尔可夫链的概念
马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。

马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。

（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。

（3） 时间和状态都连续的马尔可夫过程。

本章介绍马尔可夫链
定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有
},,,{110011n n n n i X i X i X i X P ====++
}{11n n n n i X i X P ===++
则称此随机序列}0,{≥n X n 为马尔可夫链。

若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。

定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。

例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）
令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。

例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。

可以证明{ Xn,n ≥0}为马尔可夫链。

事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ,,,,210 ,由题意可知
故{ Xn,n ≥0}为马尔可夫链。

二、转移概率
由马尔可夫链的无后效性和乘法公式有
},,,{1100n n i X i X i X P ===
},,,{},,,{111100111100----===•=====n n n n n n i X i X i X P i X i X i X i X P },,,{}{11110011----===•===n n n n n n i X i X i X P i X i X P
=
}{}{}{}{000011221111i X P i X i X P i X i X P i X i X P n n n n n n n n ========------ 由此可见，马尔可夫链的统计特性完全由条件概率
}{11n n n n i X i X P ==++所确定，所以如何确定这个条件概率就显得非常重要，我们把这个条件概率称为一步转移概率。

一般一步转移概率为}{1i X j X P n n ==+，它表示系统在时刻n 处于状态i 的条件下，到时刻n+1转移到状态j 的概率，记为)(n p ij 。

定义2 称条件概率 }{)(1i X j X P n p n n ij ===+为马尔可夫链}0,{≥n X n 在时刻n 的一步转移概率。

一般，转移概率)(n p ij 不仅与状态j i ,有关，而且与时刻n 有关，但当它与时刻n 无关时，表示马尔可夫链具有平稳转移概率，即与起点无关，此时我们称马尔可夫链是齐次的。

定义3 如果对任意的I j i ∈,，马尔可夫链的转移概率)(n p ij 与n 无关，则称
}0,{≥n X n 为齐次马尔可夫链，并记ij ij p n p =)(。

下面我们只讨论齐次马尔可夫链。

设P 为一步转移概率ij p 所组成的矩阵，状态空间},2,1{ =I ，称
P ⎪⎪⎪⎭
⎫ ⎝
⎛=
n
n p p p p p p 22221
11211 为马尔可夫链的一步转移概率矩阵。

转移概率矩阵具有下面性质 （1）0≥ij p ，I j i ∈,
（2）1=∑∈I
j ij p ，I i ∈
称具有上面两条性质的矩阵为随机矩阵。

下面给出n 步转移概率的概念 定义4 称条件概率
}{)(i X j X P p m n m n ij ===+，1,0,,≥≥∈n m I j i
为马尔可夫链的n 步转移概率，并称
P (n) )()(n ij p =
为马尔可夫链的n 步转移概率矩阵。

其中1,
0)
()(=≥∑∈I
j n ij
n ij p
p 。

当n=1时，P P )1(=，规定
⎩⎨
⎧=≠=j i j i p ij ,1,0)
0(，即)0(P 为单位矩阵。

切普曼--柯尔莫哥洛夫方程
定理1 设}0,{≥n X n 为马尔可夫链，则对任意正整数n ，n l <≤0，和状态I j i ∈,，n 步转移概率具有下列性质
（1）∑∈-=I
k l n kj l ik n ij
p p p )
()()(（切普曼—柯尔莫哥洛夫方程） （2）∑∑∈∈--=I
k j k k k ik I
k n ij
n n p p p p 112111)
( （3）)1n (n)(PP P -=
（4）n )n (P P =
证明 （1）利用全概率公式和马尔可夫性，有
},)({}{)(i X j X k X P i X j X P p m n m I
k l m m n m n ij =======+∈++
}),({i X j X k X P m I
k n m l m ====∈++
∑∈++====I
k m n m l m i X j X k X P },{
∑
∈++=====I
k m n m l m m i X P j X k X i X P }
{}
,,{
∑
∈+++========I
k m l m m n m m l m m i X P k X i X j X P i X k X P i X P }
{}
,{}{}{
∑∈+++=====I
k l m n m m l m k X j X P i X k X P }{}{
∑∈-+=I
k l n kj l ik l m p m p )()()()(∑∈-=I
k l n kj l ik p p )
()( （1）式是关于转移概率的一个重要结果，切普曼-柯尔莫哥洛夫方程（简称为C-K 方程），直观上可以作如下解释：马尔可夫链{ Xn,n ≥0}在时刻m 处于状态i ，
经过n 步，即在时刻m+n 转移到状态j 的过程可以视为它在时刻m 处于状态i ，先经过l 步，即在时刻l m +遍历所有状态),2,1( =k k ，然后再经过l n -步，即在时刻m+n 转到状态j 的转移过程（见下图）
C-K 方程的矩阵形式为 )()()n (P P P l n l -=
当1=l 时，即为（3）)1n (n)(PP P -=，再利用归纳法可证（4）
在（1）中令1,1k k l ==，得 ∑∈-=I
k n j
k ik n ij p p p )
1()(11这是一个递推公式，逐步递推可证（2）
例3（随机游动）
设质点在线段上做随机游动。

（见图）。

每隔一秒钟移动一步。

当质点处于‘O ’
点时，必然要以概率1向右移动一步至‘1’点；当质点处于‘4’点时，下一步必然以概率1向左移动一步至‘3’点；当质点处于其它点时，下一步便均分别
以概率 向左、向右或停留在原地不动。

令Xn 表示n 次移动后质点所处的位置。

显然，{ Xn,n ≥0}为一齐次马尔可夫链， 其状态空间为I={0，1，2，3，4}
试求{ Xn,n ≥0}的一步和二步转移概率矩阵：
解：按题意可知
同样可求得其它转移概率
等等。

于是便得一步转移概率矩阵
二步转移概率矩阵便为
齐次马尔可夫链的有限维分布 1. 一维分布
定义5 设}0,{≥n X n 为齐次马尔可夫链，其状态空间为I ，称下列一组概率
}{)0(0j X P p j ==，I j ∈
为}0,{≥n X n 的初始分布，)0(j p 称为初始概率。

将其写成向量形式为
)),0(,),0(),0((0P 21T
N p p p =）（
，称为初始概率向量。

定义6 设}0,{≥n X n 为齐次马尔可夫链，其状态空间为I ，称下列一组概率
}{)(j X P n p n j ==，I j ∈
为}0,{≥n X n 的绝对分布，)(n p j 称为绝对概率。

将其写成向量形式为
)),(,),(),((n P 21T
n p n p n p N =）（
，称为绝对概率向量。

定理2 设}0,{≥n X n 为齐次马尔可夫链，则对任意I j ∈和1≥n ，绝对概率具有下列性质
（1）∑∈=I
i n ij i j p p n p )
()0()(
（2）∑∈-=I
i ij i j p n p n p )1()(
（3）)n (T T P )0(P )n (P =
（4）P )1n (P )n (P T T -=
证明 (1) }{)(j X P n p n j ==∑∈===I
i n j X i X P },{0
∑∑∈∈=====I
i n ij i I
i n p p i X j X P i X P )(00)0(}{}{ （2）}{)(j X P n p n j ==∑∈-===I
i n n j X i X P },{1
∑∑∈∈---=====I
i ij i I
i n n n p n p i X j X P i X P )1(}{}{11
（3）（4）式是（1）（2）的矩阵形式。

2．n 维分布
定理3 设}0,{≥n X n 为齐次马尔可夫链，对任意I i i i n ∈,,,21 和1≥n ，则马尔可夫链的n 维分布有
∑∈-====I
i i i i i ii i n n n n p p p p i X i X i X P 1211)0(},,,{2211
此式证明利用了乘法公式和马尔可夫的无后效性。

（见教材P45）
此式表明齐次马尔可夫链的有限维分布同样可由其初始分布和转移概率而确定。

例4． 某计算机经常出故障。

现每隔15分钟观察一次此计算机的状态，共收集97次观察结果。

用‘1’表示工作正常，用‘0’表示工作不正常，所测得数据如下：
令Xn 表示第n 个时间段计算机的状态。

显然{ Xn,n ≥0}为齐次马尔可夫链。

其状态空间为I={0，1}。

由统计的结果可得转移情况如下：
利用频率‘代替’概率的原理，可得转移概率
即得其转移概率矩阵为
假定初始分布为
则此计算机能连续工作四个时间段（即一小时）的概率便为
书上例题
例1 无限制随机游动
设质点在数轴上移动，每次移动一格，向右移动的概率为p ，向左移动的概率为q=1-p ，这种运动称为无限制随机游动，以n X 表示质点在时刻n 所处的位置，则
}0,{≥n X n 是一个齐次马尔可夫链，试写出它的一步转移概率矩阵和k 步转移概
率。

解 显然状态空间为},2,1,0{ ±±=I ，一步转移概率矩阵为
⎪⎪⎪⎪
⎪⎭
⎫
⎝
⎛= p q p q 0000P 设质点在k 步转移过程中向右移了x 步，向左移了y 步，并且经过k 步转移状态从i 进入j ，则
⎩⎨⎧-=-=+i j y x k
y x
解出 2)(i j k x -+=
，2
)
(i j k y --= 由于y x ,是正整数，所以)(i j k -±必须是偶数，又在k 步转移中哪x 步向右哪y 步向左是任意的，于是
⎩⎨
⎧-±-±=为奇数，
为偶数
)(0)(,)(i j k i j k q p C p
y x x k k ij
例2 赌徒输光问题
两赌徒甲、乙进行一系列赌博，甲有a 元，乙有b 元，每赌一局输者给赢者1元，没有和局，直到两人中有一人输光为止，设在每一局中，甲赢的概率为p ，输的概率为p q -=1，求甲输光的概率。

这个问题实际上是带有两个吸收壁的随机游动，状态空间为
b a
c c I +==},,,2,1,0{ ，求质点从状态a 出发到达状态0先于到达状态c 的概
率。

解 设i u 表示甲从状态i 出发转移到状态0的概率，现要计算a u 。

由于0和c 是吸收状态，故 0,10==c u u 由全概率公式 1,,2,1,11-=+=-+c i qu pu u i i i 即 11)(-++=+i i i qu pu u q p ，11-+-=-i i i i qu qu pu pu 所以 1,,2,1,),(11-==
-=--+c i p
q
r u u r u u i i i i 这是一个差分方程，下面只讨论1,2
1
===r q p 即的情况，此时 1,,2,111-=-=--+c i u u u u i i i i
令 α+=01u u ，则
αα2011012+=+=+-=u u u u u u ， αα3023+=+=u u u ， αi u u i +=0
αc u u c +=0, ，即 αc +=10，c
1
-=α
所以 c i u i -=1， b
a b
c a u a +=-=1
由于甲、乙的地位是对等的，同样可计算出乙输光的概率为
b
a a
u b +=
上式表明甲输光的概率与乙的赌本成正比，所以赌本小者输光的可能性大（输赢
等可能的情况下），又1=+b a u u ，表明必有一人要输光，赌博迟早要结束。

例3 天气预报问题
设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨、今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日都无雨，明日有雨的概率为0.2；若星期一、星期二均下雨，求星期四下雨的概率。

解 设昨日、今日都有雨称为状态0（记为RR ），昨日无雨、今日有雨称为状态1（记为NR ），昨日有雨、今日无雨称为状态2（记为RN ），昨日、今日都无雨称为状态3（记为NN ），于是此问题可看作是一个4状态的马尔可夫链，求现在处
于状态0的条件下将来处于状态0或1的两部转移概率)
2(01)2(00p p +，下面求出一
步概率转移矩阵
}{}{00连续三天有雨今昨明今P R R R R P p ==7.0}{==今昨明R R R P 0}{01==今昨明今R R R N P p （不可能事件）
0.30.71}{}{02=-===今昨明今昨明今R R N P R R N R P p 0}{30==今昨明今R R N N P p （不可能事件） ==}{10今昨明今R N R R P p 5.0}{=今昨明R N R P 0}{11==今昨明今R N R N P p （不可能事件）
==}{12今昨明今R N N R P p 5.05.01}{=-=今昨明R N N P 0}{13==今昨明今R N N N P p （不可能事件）
同样方法可求出 0}{20==今昨明今N R R R P p ，4.0}{21==今昨明今N R R N P p
0}{22==今昨明今N R N R P p ，6.0}{23==今昨明今N R N N P p 0}{30==今昨明今N N R R P p ，2.0}{31==今昨明今N N R N P p 0}{32==今昨明今N N N R P p ，8.0}{33==今昨明今N N N N P p 所以一步转移概率矩阵为
⎪⎪⎪⎪
⎪⎭
⎫ ⎝⎛=
⎪⎪⎪⎪⎪⎭⎫
⎝⎛=8.002.006.004.0005.005.003.007.0P 3332
31
30
232221201312111003020100
p p p p p p p p p p p p p p p p
⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==8.002.006.004.0005.005.003.007.0PP P (2)
⎪⎪⎪⎪⎪⎭⎫ ⎝⎛8.002.006.004.0005.005.003.007.0⎪⎪
⎪⎪
⎪
⎭
⎫
⎝⎛=64.010.016.010.048.020.012.020
.030.015.020.035.018.021.012.049.0 所以星期一、星期二均下雨，星期四又下雨的概率为
)
2(01)2(00p p +=0.49+0.12=0.61
例4 带有吸收壁和反射壁的随机游动
设质点在线段[1，4]上做随机游动，假设它只在时刻n 发生移动，且只能停留在
1，2，3，4点上，当质点转移到2，3点时，它以3
1
的概率向左或向右移动一格，
或停留在原处。

当质点移动到1
时，它以概率1停在原处。

当质点移到4时，它以概率1转移到点3。

若以n X 表示质点在时刻n 所处位置，则}}4,3,2,1{,{∈n X n 是一个齐次马尔可夫链。

一步概率转移矩阵为
⎪⎪⎪⎪⎪⎭
⎫ ⎝⎛=0100313131003131310001P
转移概率可以用图形表达出来。