第十一篇马尔可夫链

aiFra bibliotekpi1
pi2 L
M M M
aj L
p1 j L
p2 j
L
记成
M P(1) P
pij
L
M
2020/6/1
9
例2 （0 1传输系统） 在如图111只传输数字 0和1的串联系统中，设每一级的传真率（输出 与输入数字相同的概率称为系统的传真率，相 反情形称为误码率）为p，误码率为q 1- p,并 设一个单位时间传输一级，X 0是第一级的输入， X n是第n级的输出（n 1).那么{X n , n 0,1, 2,L } 是一随机过程，状态空间I {0，1}，而且
7
当转移概率Pij (m, m n)只与i, j及时间间距n有关时， 把它记为Pij (n),即Pij (m, m n) Pij (n),并称此转移 概率具有平稳性。同时也称此链是齐次的或时齐的。
在马氏链为齐次的情形下，由（1.3)式定义的转移概率
Pij (n) P{X mn a j | X m ai}
0
0
q(1 p)
pq (1 p)
2020/6/1
20
例5 某计算机机房的一台计算机经常出故障，研 究者每隔15分钟观察一次计算机的运行状态，收集 了24小时的数据（共作97次观察）。用1表示正常状 态，用0表示不正常状态，所得的数据序列如下：
1110010011111110011110111111001111111110001101101
称它为马氏链的初始分布。
再看马氏链在任一时刻n T1的一维分布：
P{X mn a j | Xt1 ai1 , Xt2 ai2 ,L , Xtr air , X m ai}
P{X mn a j | X m ai}
(1.2)
其中ai I.
2020/6/1
6
记上式右端为Pij (m, m n), 称条件概率
Pij (m, m n) P{X mn a j | X m ai} (1.3)
2020/6/1
12
1
2
3
4
5
图11-2
若以X n表示时刻n时Q的位置，不同的位置就是X n 的不同状态，那么{Xn , n 0,1, 2,L }是一随机过程，
2020/6/1
13
状态空间就是I，而且当X n i,i I为已知时， X n1所处的状态的概率分布只与X n i有关， 而与Q在时刻n以前如何到达i是完全无关的，
111011010111101110111101111110011011111100111
设X n为第（n n 1, 2,L ,97)个时段的计算机状态，可以 认为它是一个齐次马氏链，状态空间I={0，1}。96次
转移的情况是： 0 0，8次； 0 1，18次；
1 0，18次；1 1，52次
2020/6/1
系统
随机到达者
等候室
服务台
离去者
图11-3
2020/6/1
16
设时间间隔t内有一个顾客进入系统的概率为q， 有一原来被服务的顾客离开系统（即服务完毕） 的概率为p。又设当t充分小时，在这时间间隔 内多于一个顾客进入或离去系统实际上是不可能 的。再设有无顾客来到与服务是否完毕是相互 独立的。现用马氏链来描述这个系统。
解：由题意，某一时段的状态为0就是初始状态为0，即X 0 0，由乘法公式、马氏性和齐次性得，所求条件概率为
P{X1 1，X 2 1，X3 1| X 0 0}
P{X0 0，X1 1，X 2 1，X3 1}/ P{X0 0} P{X0 0}P{X1 1| X0 0}P{X2 1| X1 1，X0 0}
2020/6/1
1
过程（或系统）,在时刻t0所处的状态为已知的 条件下，过程在时刻t t0所处状态的条件分布 与过程在时刻t0之前所处的状态无关。
即在已经知道过程“现在”的条件下， 其“将来”不依赖于“过去”。
设随机过程{X (t),t T}的状态空间为I。如果对 时间t的任意n个数值t1 t2 L tn , n 3,ti T , P{X（tn ) xn | X (t1) x1, X (t2 ) x2,L , X (tn1) xn1}
设X n X (nt)表示时刻nt时系统内的 顾客数，即系统的状态。
{Xn, n 0,1, 2,L }是一随机过程，状态空间I {0，1，2，3}， 而且仿照例2、3的分析，可知它是一个齐次马氏链。
2020/6/1
17
p00 ——在系统内没有顾客的条件下，经t后仍没 有顾客的概率（条件概率，下同），p00 1 q.
p01 ——系统内没有顾客的条件下，经t后 有一顾客进入系统的概率，p01 q.
p10 ——系统内恰有一顾客正在接受服务的条件下，经 t后系统内无人的概率，它等于在t间隔内顾客因服 务完毕而离去，且无人进入系统的概率，p10 p(1 q). p11 ——系统内恰有一顾客的条件下，在t间隔内， 他因服务完毕而离去，而另一顾客进入系统，或者 正在接受服务的顾客继续要求服务，且无人进入系 统的概率，p11 pq (1 p)(1 q).
和P
2
3
1/ 3 0
1/ 3 1/ 3
1/ 3 1/ 3
0 1/ 3
0
0
4
0
0 1/ 3 1/ 3 1/ 3
5 0 0 0 1 0
如果把1这一点改为吸收壁，就是说Q一旦到达1这
一点，则就永远留在点1上。此时，相应链的转移
概率矩阵只需把P中第1横行改为（1,0,0,0,0)。
总之，改变游动的概率规则，就可得到不同
2020/6/1
18
p12 ——正在接受服务的顾客继续要求服务，且另 一个顾客进入系统的概率，p12 (1 p)q.
p13 ——正在接受服务的顾客继续要求服务， 且在t间隔内有两个顾客进入系统的概率。
由假设，后者实际上是不可能发生的，p13 0.
类似地，有p21 p32 p(1 q),
p22 pq (1 p)(1 q), p23 q(1 p),
2020/6/1
3
例1 设{X (t),t 0}是独立增量过程，且X (0) 0, 证明{X（t),t 0}是一个马尔可夫过程。
证：由（1.1)式知，只要证明在已知X (tn1) xn1 的条件下X（tn )与X (t j ), j 1, 2,L , n 2相互独立 即可。现由独立增量过程的定义知道，
当X n
i, i
I为已知时，X
n
所处状态的概率
1
分布只与Xn i有关，而与时刻n以前所处的状态
无关，所以它是一个马氏链，而且还是齐次的。
2020/6/1
10
X0
1
X1
2
X2
X n1
n
Xn
图11-1
它的一步转移概率和一步转移概率
矩阵分别为
p, j i,
pij
P{X n1
j|
Xn
i}
q,
j
i, i,
P{X (tn ) xn | X (tn1) xn1}, xn R, (1.1)
2020/6/1
2
或写成 F (x , t tn|t1L tn1 n n | x1, x2 ,L , xn1;t1, t2 ,L , tn1)
Ftn|tn1 (xn , tn | xn1, tn1)
则称过程{X (t),t T}具有马尔可夫性或无 后效性，并称此过程为马尔可夫过程。
当0 t j tn1 tn，j 1, 2,L , n 2时，增量 X (t j ) X (0)与X (tn ) X (tn1)相互独立。
根据条件X (0) 0和X（tn1) xn1，即有 X（t j )与X (tn ) xn1相互独立。
2020/6/1
4
再由第三章第4节定理知，此时X (tn )与X（t j ), j 1, 2,L , n 2相互独立。这表明X（t)具有 无后效性，即{X (t),t 0}是一个马尔可夫过程。
所以{Xn, n 0,1, 2,L }是一马氏链，而且还是齐次的。
它的一步转移概率和一步转移概率矩阵分别为
pij
P{X n1
j|
Xn
i}
113,,i
j i 1,
j
1,
i,i 1,1 2或i 5,
i j
5, 4
0, | j i | 2
2020/6/1
14
12 3 4 5
10 1 0 0 0
(1.5)
称为马氏链的n步转移概率，P(n) (Pij (n))为n步转移
概率矩阵。
2020/6/1
8
一步转移概率为pij Pij (1) P{X m1 a j | Xm ai},一步转移概率矩阵为
X
的状态
m1
a1 a2 L
Xm 的
a1 p11
a2
p21
p12 L p22 L
状 态
M M M
j
0,1
01
和P
0
1
p
q
q p
2020/6/1
11
例3 一维随机游动 设一醉汉Q（或看作一 随机游动的质点），在如图11-2所示直线的 点集I {1, 2,3, 4,5}上作随机游动，且仅在 1秒、2秒等时刻发生游动。游动的规则是： 如果Q现在位于点（i 1 i 5)，则下一时刻 各以1/3的概率向左或向右移动一格，或以 1/3的概率留在原处；如果Q现在位于1（或5） 这点上，则下一时刻就以概率1移动到2（或4） 这一点上。1和5这两点称为反射壁。上面这种 游动称为带有两个反射壁的随机游动。
方式的随机游动和相应的马氏链。
2020/6/1
15
例4 排队模型 设服务系统由一个服务员和只 可以容纳两个人的等候室组成，见图11-3。服务 规则是：先到先服务，后来者需在等候室依次排队。 假定一个需要服务的顾客到达系统时发现系统内已 有3个顾客（一个正在接受服务，两个在等候室排 队），则该顾客离去。