5马尔可夫链(精品PPT)

所以{Xn,n≥0}是马尔可夫链，且
pij P( X n 1 j X n i ) P( f i, Yn 1 j ) P( f i, Y1 j )
二、切普曼-柯尔莫哥洛夫方程
1，随机矩阵 定义：称矩阵A=(aij)S×S为随机矩阵，若aij ≥0，且
i S , 有 aij 1
例5 Polya（波利亚）模型
罐中有b只黑球及r只红球，每次随机地取出一只后 把原球放回，并加入与抽出球同色的球c只，再第二次 随机地取球重复上面步骤进行下去，{Xn=i}表示第n回 摸球放回操作完成后，罐中有i只黑球这一事件，所以
i b r nc , i P X n 1 j X n i 1 , b r nc 0,
x
j i 1
( j i 1)!
dG x ,
j i 1, i 1 其它
Pij 0,
例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参 数为 ，且与顾客到达过程独立。 Xn-----第n个顾客来到时见到系统中的顾客数（包括 该顾客），则{Xn，n≥1}是马尔可夫链。记
jS
显然马尔可夫链{Xn,n≥0}的一步转移概率矩阵P为 随机矩阵。 2，n步转移概率 定义：设{Xn,n≥0}是一马尔可夫链，称
n pij P X n m j X m i ,
n 0, i, j 0
为马尔可夫链{Xn,n≥0}的n步转移概率。记
i (n) P X n i ,
j ic j i else
这是一个非齐次的马尔可夫链，在传染病研究中有用。
下面的定理提供了一个非常有用的获得马尔可夫链的方 法，并可用于检验一随机过程是否为马尔可夫链。
定理：设随机过程{Xn,n≥0}满足
（1） Xn=f(Xn-1,Yn),(n ≥1), 其中f:S× S→ S,且Yn取值在S上，
j 1
4、马尔可夫链的例子
例1 独立随机变量和的序列
设 {Yn,n≥1}为独立同分布随机变量序列，且Yn取 值为非负整数，其概率分布为P{Yn=i}=ai，i=0,1,2, …令 X0=0,Xn=Y1+…+ Yn ，则易证{Xn,n≥0}是一马尔可夫链， 且
a j i , pij 0,
称
1 (n), 2 (n),, i (n),
为n时刻Xn的概率分布向量。
1 (0), 2 (0),, i (0),
称为马尔可夫链{Xn,n≥0}的初始分布向量。 结论：一个马尔可夫链的特性完全由它的一步转移概 率矩阵及初始分布向量决定。
事实上
P X 0 i0 P X 1 i1 X 0 i0 P X 2 i2 X 0 i0 , X 1 i1 P X n in X 0 i0 , , X n 1 in 1 P X 0 i0 P X 1 i1 X 0 i0 P X 2 i2 X 1 i1 P X n in X n 1 in 1 i0 0 pi0i1 pi1i2 pin1,in
（2） {Yn,n≥1}为独立同分布随机变量，且X0与{Yn,n≥1}也相 互独立，则{Xn,n≥0}是马尔可夫链，其一步转移概率为
pij=P[f(i,Y1)=j]
证明：设n≥1 ，则Yn+1与X0, X1, …, Xn相互独立，事实上， 因为X1=f(X0,Y1)， Y2与X0,Y1独立，所以， Y2与X1， X0 独立。同理， X2=f(X1,Y2)= f(f(X0,Y1),Y2)，所以， Y3与X2， X1， X0独立。归纳可得Yn+1与X0, X1, …, Xn相互独立。
t e
k i 1
P(Y

n
k)Βιβλιοθήκη 0k i 1( t )k dG t , k!
i0
例4 直线上的随机游动
（1）无限制的随机游动 设有一质点在数轴上随机游 动，每隔一单位时间移动一次，每次只能向左或向右移动一 单位，或原地不动。设质点在0时刻的位置为a,向右移动的概 率为p，向左移动的概率为q，原地不动的概率为r(p+q+r=1), 且各次移动相互独立，以Xn表示质点经n次移动后所处的位 置，则{Xn,n≥0}是一马尔可夫链,转移概率为
为了克服上述困难，我们可以只在顾客离去的时 刻考察系统，记 Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则
X n 1 Yn , X n 0 X n 1 Xn 0 Yn ,

容易证明{Yn，n≥1}独立同分布，且
0
X n1 X n 1 Yn
( t ) j dG t , j!
j 0,1,i
pi0公式略有不同，它是服务台由有i个顾客转为空闲的
概率，即第n个顾客来到时刻到第n+1个顾客来到时刻之 间系统服务完的顾客数≥i+1。
pi 0 P X n 1 0 X n i P(Yn i 1)
Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0
（2）带吸收壁的随机游动 设（1）中的随机游动限 制在S={0,1,2, …b}，当质点移动到状态0或b后就永远停留在 该位置，即p00=1, pbb=1，其余pij(1≤i,j ≤b-1)同（1），这时 {Xn,n≥0}称为带两个吸收壁0和b的随机游动 ，它是一有限状 态马尔可夫链。
CHAPTER 5 马尔可夫链
第一节 基本概念
一、马尔可夫链的定义及例子 1、分类
按马尔可夫过程参数空间和状态空间的不同可分为
t
X t
离散
连续
离散
连续
马尔可夫链
可数状态马 尔可夫过程
马尔可夫序列
连续状态马 尔可夫过程
2. 马尔可夫链的定义
随机过程 X n , n 0,1,2, 称为马尔可夫链，若 它只取有限或可列个值（称为过程的状态，记为0，1， 2，…），并且，对任意 n 0 及状态 i, j, i0 , i1 ,, in1，
Yn -----第n个顾客来到时刻到第n+1个顾客来到时刻之 间系统服务完的顾客数，则
pi ,i 1 j P X n 1 i 1 j X n i P i 1 j X n 1 Yn X n i P Yn j X n i P Yn j e t
所以有
P( X n1 in1 X 0 i0 , X n in ) P( f X n , Yn1 in1 X 0 i0 , X n in ) P( f in , Yn1 in1 X 0 i0 , X n in ) P( f in , Yn1 in1 ) P( X n1 in1 X n in )
k 0

P X n k X 0 i P X n m j X n k
k 0 n m pik pkj k 0
P n P P n 1 P P P n 2 P n
例（马尔可夫预测）某种鲜奶A改变了广告方式，
有
P( X n 1 j X 0 i0 , X 1 i1 , , X n 1 in 1 , X n i ) P( X n 1 j X n i )
3、转移概率
定义 i, j S , 称 P X n 1 j X n i pij n 为n时刻 的一步转移概率。 若 i, j S , pij n pij ，即pij与n无关，称转移概率 具有平稳性.此时称{Xn,n≥0}为齐次（或时齐的）马尔
其中
n P ( n ) pij
为马尔可夫链{Xn , n≥0}的n步转移概率矩阵。
证明：
P X n m j X 0 i P X n m j , X n k X 0 i
k 0

P X n m j X n k , X 0 iP X n k X 0 i
0 x
x
j!
j
dG x ,
j0
Pij P ( X n 1 j X n i ) P( X n 1 Yn j X n i ) P(Yn j i 1 X n i ) P (Yn j i 1) e
0 x
j i j i
显然{Yn , n≥1}也是一马尔可夫链。
例2 M/G/1排队系统 假设顾客依参数为 的泊松过程来到一服务中心， 只有一个服务员，来客发现服务员空着即刻得到服务；其 他人排队等待服务。相继来到的顾客的服务时间Ti假定为 相互独立的随机变量，具有共同的分布G；且假定他们与 来到过程独立。 M/G/1排队系统中字母M代表顾客来到时间间隔服从 指数分布， G代表服务时间的分布， 数字1代表只有一个 服务员。 若以X(t)记在t时刻系统中的顾客数，{X(t),t≥0}则不 具马尔可夫性。因为，若我们知道在t时刻系统中的顾客 数，那么为了预测将来的状态，我们不用关心从最近的一 位顾客来到后已过去了多长时间（因为来到过程是无记忆 的），但和服务中的顾客服务了多长时间有关（因为服务 时间分布不具无记忆性）。
类似地可以证明马尔可夫链任意个时刻的联合分布也 完全由一步转移概率矩阵及初始分布向量决定。
P X 0 i0 , X 1 i1 , , X n in
3、定理：切普曼-柯尔莫哥洛夫方程（C-K方程）
p
或
m n ij
p p
k 0 n ik

m kj
P ( m n ) P( n ) P( m) P m n
可夫链。记P=(pij)，称P为{Xn,n≥0}的一步转移概率矩阵.
p00 p10 P pi 0
p01 p11 pi1
p02 p12 pi 2
1, pij 0 i, j 0 2, pij 1 i 0,1, 2,
解 一阶转移矩阵为
0.95 0.30 P 0.20 0.20
初始分布为
0.02 0.60 0.10 0.20
0.02 0.06 0.70 0.10
0.01 0.04 0.00 0.50
(1, 2 , 3 , 4 ) (0.25,0.30,0.35,0.10)
P{Yn j} P{Yn j Tn1 x}dG x
0

0
( x) j x e dG x , j 0,1, 2, j!
因此， {Xn，n≥1}是马尔可夫链。其转移概率为
P0 j P( X n 1 j X n 0) P(Yn j X n 0) P(Yn j ) e
经调查发现购买A种鲜奶及另外三种鲜奶B、C、D的顾
客每两个月的平均转换率为：（假设市场上只有这4种 鲜奶） A → A（95%） B（2%） C（2%） D（1%） B → A（30%） B（60%）C（6%） D（4%）
C → A（20%） B（10%）C（7%） D（0%）
D → A（20%） B（20%）C（10%） D（50%） 假设目前购买A、B、C、D 4种鲜奶的顾客的分布为 （25%，30%，35%，10%），求半年后鲜奶A、B、C、 D的市场份额。