第2章 马尔可夫链

0 x x j
j!
dG x ,
j0
Pij P( X n 1 j X n i ) P ( X n 1 Yn j X n i ) P(Yn j i 1 X n i ) P (Yn j i 1) e
0
( t ) j dG t , j!
j 0,1,
i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的 概率，
pi 0 P X n 1 0 X n i
0 k i 1



e t
(t )k dG t , k!
i0
例4 直线上的随机游动
p00 p10 P pi 0
p01 p11 pi1
p02 p12 pi 2

1, pij 0 i, j 0 2, pij 1 i 0,1, 2,
j 1

我们来看马尔可夫链的分布
P ( X 0 i0 , X 1 i1 ,
（1）无限制的随机游动 设有一质点在数轴上随机游动， 每隔一单位时间移动一次，每次只能向左或向右移动一单位， 或原地不动。设质点在0时刻的位置为a,向右移动的概率为p， 向左移动的概率为q，原地不动的概率为r(p+q+r=1),且各次 移动相互独立，以Xn表示质点经n次移动后所处的位置，则 {Xn,n≥0}是一马尔可夫链,转移概率为
X n 1 Yn , X n 0 X n 1 Xn 0 Yn ,
容易证明{Yn，n≥1}独立同分布，且

P{Yn j}Biblioteka Baidu
0
( x) j x e dG x , j!
j 0,1, 2,
因此， {Xn，n≥1}是马尔可夫链。其转移概率为
P0 j P( X n 1 j X n 0) P(Yn j X n 0) P(Yn j ) e
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
可见，马尔可夫链的分布由其初始分布 P( X 0 i0 ) 和
P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 1 i1 )
其
一步转移概率完全决定。
4、马尔可夫链的例子
例1 独立随机变量和的序列 设 {Yn,n≥1}为独立同分布随机变量序列，且Yn取值为非 负整数，其概率分布为P{Yn=i}=ai，i=0,1,2, …令 X0=0,Xn=Y1+…+ Yn ，则易证{Xn,n≥0}是一马尔可夫链,且
Yn -----第n个顾客来到时刻到第n+1个顾客来到时刻之间系统 服务完的顾客数，则
X n1 X n 1 Yn
pi ,i 1 j P X n 1 i 1 j X n i P i 1 j X n 1 Yn X n i P Yn j X n i P Yn j e t
Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0
（2）带吸收壁的随机游动 设（1）中的随机游动限制在 S={0,1,2, …b}，当质点移动到状态0或b后就永远停留在该位 置，即p00=1, pbb=1，其余pij(1≤i,j ≤b-1)同（1），这时 {Xn,n≥0}称为带两个吸收壁0和b的随机游动 ，它是一有限状 态马尔可夫链。
0 x
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括该顾 客），则{Xn，n≥1}是马尔可夫链。记
2、分类
按马尔可夫过程参数空间和状态空间的不同可分为
t
X t
离散 马尔可夫链 可数状态马 尔可夫过程
连续 马尔可夫序列 连续状态马 尔可夫过程
离散 连续
3、转移概率
定义
i, j S , 称 P X n 1 j X n i pij n
为n时刻的一步转移概率。若 i, j S , pij n pij 即pij与n无关，则称{Xn,n≥0}为齐次马尔可夫链。记 P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
a j i , pij 0,
例2 M/G/1排队系统
j i j i
显然{Yn,n≥1}也是一马尔可夫链。
若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不具马 尔可夫性。
Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
定理：设随机过程{Xn,n≥0}满足
, X n in ) , X n 1 in 1 )
P ( X 0 i0 ) P ( X 1 i1 X 0 i0 ) P ( X 2 i2 X 0 i0 , X 1 i1 ) P ( X n in X 0 i0 , X 1 i1 , P ( X n in X n 1 in 1 )