第四章马氏链(1)

1234 5
若以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同 状态，那么｛Xn,n=0，1,2,…｝是一随机过程，状态空间 就是I，而且当Xn=i,iI为已知时,Xn+1所处的状态的概率 分布只与Xn=i有关，而与Q在时刻n以前如何到达i是完全无 关的，所以｛Xn,n=0，1,2,… ｝是一马氏链，且是齐次
例4.1.2(一维随机游动) 设一醉汉Q（或看作一随机游 动的质点），在如图所示直线的点集I＝｛1，2，3，4， 5｝上作游动，仅仅在1秒、2秒…等时刻发生游动。游动 的概率规则是：如果Q现在位于点i (1<i <5)，则下一时刻 各以1/3的概率向左或向右移动一格，或以1/3的概率留 在原处；如果Q现在位于1（或5）这点上，则下一时刻就 以概率1移动到2（或4）点上。1和5这两点称为反射壁。 上面这种游动称为带有两个反射壁的随机游动。
{ } pij pij 1 = P Xm+1 = j | Xm = i
称为齐次马氏链的一步转移概率；
P P(1) = pij (1)
a1 a1 p11 P(1) = a2 p21
ai pi1
a2 p12 p22
pi2
aj p1 j p2 j
pij
称为齐次马氏链的一步转移概率矩阵。
14
例：（订货问题）设某商店使用(s,S)订货策略，每 天早上检查某商品的剩余量，设为x,则订购额为：
设订货和进货不需要时间，每天的需求量 独
立同分布且 P{Yn = j} = aj ( j = 0,1, 2,...)。
4. n步转移概率及C-K方程
称条件概率Pij (m, m + n) {P Xn+m = j | Xm = i} 为马尔
0 1/ 9 2/ 9 5/ 9 1/ 9
0
0 1 / 3 1 / 3 1 / 3
5、有限维分布
1．有限维分布
设马氏链{Xn,n≥0},状态空间S，n步转移概率矩阵P(n).
(1)一维分布
称X0的分布 q j (0) = P{ X0 = j}, j = 0,1, 2,L
为{Xn,n=0,1,…}的初始分布.
pij = qj , i,j S .
例： M/G/1 排队系统
假设顾客依参数为λ的Poisson过程来到只有一个服务员的服 务站，若服务员空闲来客就立刻得到服务，否则排队等待直
至轮到他。设每名顾客接受服务的时间独立同分布，分布函 数 为 G(x) ， 且 与 顾 客 到 达 过 程 相 互 独 立 。 这 个 系 统 称 为 M/G/1排队系统. (M--到达的时间间隔服从指数分布, G--服 务时间的分布，1--单个服务员)。
的i，j，有 {P Xm+n = j | Xm = i}与m无关。
证明： {P Xm+n = j | Xm = i}
{ } =
P Xm+1 = j1 ,L , Xn+m-1 = jn-1 , Xn+m = j | Xm = i
j1 , j2 ,L , jn-1
{ } 而P Xm+1 = j1,L , Xn+m-1 = jn-1, Xn+m = j | Xm = i
若将一维分布用行向量表示 去q(n)=(q0(n),q1(n),…,qj(n),…),
利用矩阵的乘法：q(n)= q(0)P(n)
说明马氏链在任一时刻n的一维分布由初始分布与n步
转移概率矩阵确定。
(2)r维分布 对任意r个时刻 0≤n1<n2<…<nr,马氏链的r维分布
{ } P Xn1 = i1, Xn2 = i2 ,L , Xnr = ir { } { } = P Xn1 = i1 P Xn2 = i2 | Xn1 = i1 g L g
意的正整数k,m，有Pij (m + k ) = Pir (m)Prj (k )
此方程称为Chapman-kolmogorovr(切普曼－柯尔莫哥
洛夫)方程,简称C-K方程.
注释：如果把转移概率写成矩阵的形式，那么C－K方程 具有以下简单的形式
P(m+k)=P(m)P(k) m, k≧0 特别地，对齐次马氏链有P(n)=Pn, n步转移概率由一 步转移概率完全决定。
可见,｛Xn,n=0，1，2,…｝是一个马氏链。
2．转移概率的性质
(1) Pij0；(2) Pij (m, m + n) = 1, i = 0,1, 2,L j=0
事实上，因为链在m时刻从状态i出发，到m+n时刻
必然转移到S中的某一个状态，从而
Pij (m, m + n) = {P Xm+n = j | Xm = i}
称Xn的分布 q j (n) = P{ Xn = j}, j = 0,1, 2,L
为{Xn,n=0,1,…}的绝对分布。
显然有 q j (n) = 1 . j=0
由全概公式有：
P{ Xn = j} = P{ Xn = j | X0 = i}P{ X0 = i}, i=0 q j (n) = qi (0) pij (n) , j = 1, 2,L i=0
令Xn--第n个顾客结束服务时剩下的顾客数， Un--第n个顾客接受服务的时间内来到服务机构的顾客数，则
X n +1 = X n - (X n ) + U n +1
其中
(
x)
=
1, x 0, x
=
0 0
可证{Xn, n=0,1,2,…}是齐次Markov链,其一步转移概率为
pij = P(Un = j - i + (i)),n 1
0
P = 3 0 1/3 1/3 1/3 0
4
0
0 1 / 3 1 / 3 1 / 3
5 0 0 0 1 0
如果把1这一点改为吸收壁，即Q一旦到达1，就永远 留在点1上。此时，相应链的转移概率矩阵只须把P中第1横 行改为（1，0，0，0，0）。总之，改变游动的概率规则， 就可得到不同方式的游动和相应的马氏链。
所以{Xn}为马氏链。
记 P {X n = i} = qi , i S
由于Xn, n=0，1，2,…独立同分布，因而
{ } { } P X n+1 = j | X n = i = P X n+1 = j
= qj = P{X m +1 = j | X m = i} 所以{Xn}为齐次马氏链。其一步转移概率P:
r
P{Xn = i}
= P {Xn = i} pir (m) prj (k)
r
P{Xn = i}
= pir (m) prj (k )
r
例4.1.4 求带有两个反射壁的一维随机游动的两步转移
概率矩阵。
0 1 0 0 0
1/ 3 1/ 3 1/ 3 0 0
解 ：1/3 1/3 1/3
p11(n) p12(n)
p21(n) p22(n)
P(n) = pij(n) =
pi1(n) pi2(n)
p1j(n)
p2j(n)
pij(n)
为齐次马尔可夫链的n步转移概率矩阵。
其中 pij (n) 0, pij (n) = 1. a jx
定理4.1.2 设{Xn，n=0,1,…}为齐次马氏链，则对于任
有
{ } P Xn+1 = in+1 X0 = i0 , X1 = i1,L , Xn = in
{ } = P Xn+1 = in+1 | Xn = in
则称｛Xn,n0｝为马氏链。
注：定义4.1.2与定义4.1.1是等价的。
例4.1.1：记从数1,2, …,N中任取一数为X0，当n1时， 记从数1,2, …,Xn-1中任取一数为Xn,问｛Xn,n=0，1， 2,…｝是马氏链吗？
可夫链在时刻m处于状态i的条件下，在时刻m+n步转移到 状态j的n步转移概率。
若对任意的正整数m,n及任意的ai，aj，有
Pij n, n + 1 = Pij m, m + 1
即马氏链{Xn,n0}的转移概率Pij(n,n+1)与n无关，
则称转移概率具有平稳性，这时，马尔可夫链称为是 齐次的。
定理4.1.1：若{Xn}为齐次马氏链，则对任意正整数n,及任意
例4.1.3 设Xn,n=0，1，2,…是独立同分布的随机变量 列,记Xn可能取值的全体为S={i,i 1},证明{Xn}为马氏 链，并求其一步转移概率。
解 对任意的n及 i0 , i1 , , in , in+1 I
{ } { } P X n+1 = in+1 | X 0 = i0 , , X n = in = P X n+1 = in+1 { } = P X n+1 = in+1 | X n = in
{ } P Xnr = ir | Xn1 = i1 , Xn2 = i2 ,L , Xnr-1 = ir-1 { } { } { } = P X n1 = i1 P X n2 = i2 | X n1 = i1 g L gP X nr = ir | X nr-1 = ir-1
j=0
j=0
=
P
{U X m+n
j
=
j} |
Xm
=
i
=
1.
3.齐次马尔可夫链及一步转移概率
定义4.1.3 若对任意的i，j，有
Pij n,n + 1 = Pij m ,m + 1
即马氏链{Xn,n0}的转移概率Pij(n,n+1)与n无关，
则称转移概率具有平稳性，这时，马尔可夫链称为是 齐次的。
{ } 证： Pij (m + k) = P Xn+m+k = j | Xn = i
{ } = P X n+m = r, X n+m+k = j | X n = i
r
既:“从Xn= i 出发，经时刻m转移到中间状态r,再从
r经k时段转移到 j 状态”这样一些事件的和事件。
{ } = P Xn = i, Xn+m = r, Xn+m+k = j
{ } P
=
Xm = i, Xm+1 = j1 ,L , Xn+m-1 = jn-1 , Xn+m = j |
{ } P Xm = i
{ } P { } =
Xm = i P
pij1 p j1 j2 L Xm = i
p = p p L jn-1 j
ij1
j1 j2
p jn-1 j
所以 {P Xm+n = j | Xm = i}与m无关。
的。它的一步转移概率和一步转移概率矩阵分别为
pij
=
P{Xn+1
=
j
|
Xn
=
i}
=
1 3
,
1,
j i
= i - 1, i, = 1, j = 2
i+ 或
1, 1 < i = 5,
i j
<5 =4
0, j - i 2.
12345
1 0 1 0 0 0
2 1 / 3 1 / 3 1 / 3 0
因此，马氏链的齐次性可写为
{ } { } P Xm1+n = j | Xm1 = i = P Xm2+n = j | Xm2 = i
定义4.1.4 称条件概率
{ } Pij (n) P Xm+n = j | Xm = i ,
i, j S, m 0, n 1
为齐次马氏链{Xn,n≥0}的n步转移概率，并称由pij(n) 组成的矩阵
= {P Xn+m = j | Xm = i},
则称｛Xn,n=0,1，2，…｝为马氏链。
Pij (m, m + n) {P Xn+m = j | Xm = i}
称为马氏链在时刻 m 系统处于状态 i 的条件下，经过 n步转移到状态 j 的转移概率。
定义4.1.2 设{Xn,n0},其状态空间为S,若对于任意的 正整数n和任意的 i0 , i1, , in+1,
第四章 马尔可夫链
1.马氏链的定义
定义4.1.1 若对于任意的正整数m，n和任意的
0 t1 < t2 < L < tr < m, ti , m, m + n T = { 0 ,1,2, L }, 有
{ } P Xn+m = j Xt1 = i1, Xt2 = i2 ,L , Xtr = ir , Xm = i
证：｛Xn,n=0，1，2,…｝的状态空间S={i,1iN},
对任意的 n及 i0 , i1 ,L , in , in+1 S,
{ } P X n+1 = in+1 X 0 = i0 , X 1 = i1 , , X n = in
=
0 1
in
in+1 in
{ } in+1 in = P X n+1 = in+1 | X n = in
0
0 0 1/ 3 1/ 3 1/ 3
0
0
0
1
0
0 1 0 0 0
1/ 3 1/ 3 1/ 3 0 0
0
1/3 1/3 1/3
0
0 0 1/ 3 1/ 3 1/ 3
0
0
0
1
0
1 / 3 1 / 3 1 / 3 0 0
1/ 9 5/ 9 2/ 9 1/ 9 0
= 1 / 9 2 / 9 3 / 9 2 / 9 1 / 9