概率统计与随机过程Less10

α 1−α p= β 1− β
例3：（天气预报扩展）假设今天是否下雨依赖于前两天的
天气条件，与以前无关。如果过去两天都下雨，明天下雨的 概率为0.7；如果今天下雨，昨天不下，明天下雨的概率为 0.5；如果昨天下雨，今天没有，明天下雨的概率为0.4；如 果过去的两天都不下雨，明天下雨的概率概率为0.2。 状态0：昨天今天都下雨 状态1：昨天不下雨今天下雨
例6：某计算机机房的一台计算机经常出故障，研究者每隔
15分钟观察一次计算机的运行状态，收集了24个小时的数 (共作97次观察)，用1表示正常状态，用0表示不正常状态， 所得的数据序列如下： 11100100111111100111101111110011111111100011011011 11011011010111101110111101111110011011111100111 考虑用马尔可夫链来描述这个数据序列： 设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认 为它是一个齐次马氏链。 (1)求一步转移概率矩阵。 (2)计算机机房在某一时段(15分钟)的状态为0，问在此条件 下，从此时段起，该计算机能连续正常工作45分钟(3个时段) 的条件概率。
A = { X n = i, X n +1 = i + 1 − j} ˆ
(i ≥ 0,0 ≤ j ≤)
= { X n = i, 在(Tn , Tn +1 )时间服务完j个顾客}
由于各顾客的服务时间相互独立，且服从参数为µ的指数分布， 所以(0,t]时间内服务完的顾客数服从参数为µ的泊松分布，即
e − µt ( µt ) j P{在(0, t ]内服务完j个顾客} = j！
考虑用马尔可夫链来描述这个服务系统： 设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统 的状态。{Xn,n=0,1,2…}是一随机过程，状态空间 S={0,1,2,3}, 它是一个齐次马氏链，它的一步转移概率矩 阵为：
0 0 1− q 1 p(1 − q) P= 2 0 3 0 1 q pq + (1 − p)(1 − q) p(1 − q) 0 2 0 q (1 − p) pq + (1 − p)(1 − q) p(1 − q) 3 0 q (1 − p) pq + (1 − p) 0
p j = i Pij = P ( X n +1 = j | X n = i ) = i, j = 0,1 q j ≠ i p P= q q p
例2：（天气预报）假设明天是否下雨只依赖于前一天的
天气条件，与以前无关。如果假设今天下雨，明天下雨的 概率为α，今天没有下雨，明天下雨的概率为β。 假设： 下雨为状态0 不下雨为状态1 天气为一个两个状态的马尔可夫链，其转移概率矩阵为：
1 0 1 0 0 0 2 1 1 1 0 0 3 3 3 1 1 1 P = 3 0 3 3 3 0 4 0 0 1 1 1 3 3 3 5 0 0 0 1 0
0 0
1 3 1 3
0 0
0
1
例5：（排队模型）设服务系统由一个服务员和只可以容纳
两个人的等候室组成。服务规则为：先到先服务，后来者需 在等候室依次排队，假设一个需要服务的顾客到达系统时发 现系统内已有3个顾客，则该顾客立即离去。
8 26 即: P = 18 70
18 26 52 70
8 26 即: P = 18 70
所求概率为 :
18 26 52 70
(2)某一时段的状态为0,定义其为初始状态,即X 0 = 0,
× P ( X 3 = 1| X 0 = 0, X 1 = 1, X 2 = 1) = P01 P P 11 11 = 18 52 52 = 0.382 26 70 70
马尔可夫性，无后效性
在给定过去的状态X0, X1 …, Xn-1，和现在的状态Xn ， 将来的状态Xn+1的条件分布独立于过去的状态，且只依赖于 现在的状态。
转移概率
pij(n)= P{Xn+1=j|Xn=i} 为马尔可夫链 {Xn，n ≥0} 在时刻n的一步转移概率，简称转移概率，其中 i,j∈S。 若对任意的 i,j ∈S，马尔可夫链 {Xn，n ≥0} 的转移概率Pij (n) n (n)与n无关，则称马尔可夫链是齐次的，并记Pij (n)为Pij 。 P (n) P 记P记一步转移概率Pij的矩阵，
k =1
全概率公式 ∞
＝＝＝
马氏性
∑ P{X ( s + u) = a | X ( s) = a } × P{X ( s + u + v) = a | X ( s + u ) = a }
k =1 k i j k
∞
＝＝＝
齐次性
∑ P (u ) P ( v )
k =1 ik kj
∞
( P (u )
i1
概率统计与随机过程
宋 晖 – 2010年秋
第八章 马尔可夫过程
马尔可夫过程
马尔可夫链 转移矩阵 C-K方程 状态分类
A.A.Markov
安德烈·马尔可夫
彼得堡数学学派的代表人物，以数论和概率论 方面的工作著称 主要著作有《概率演算》等 在1906～1912年间，提出并研究了一种能用数 学分析方法研究自然过程的一般图式—马尔可 夫链，该理论与方法已经被广泛应用于自然科 学、工程技术和公用事业中
设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认 为它是一个齐次马氏链，状态空间S={0,1}， 96次状态转移 情况是：
0→0：8次； 0→0：
0→1：18次； 0→1：18次
1→0：18次 1→1：52次 1→0：18次； 1→1：52次；
因此一步转移概率可用频率近似地表示为：
P00 = P ( X n +1 = 0 | X n = 0 ) ≈
解：星期四下雨等价于周四处于状态0和状态1的过程。
0.7 P ( 2) = P 2 = 0.5 0 0 0 0 0.4 0.2 0.3 0.5 0 0 0 0 0.6 0.8 • 0.7 0.5 0 0 0 0 0.4 0.2 0.3 0.5 0 0 0 0 0.6 0.8
aj
0
s
s+u s+u+v
t
C-K方程证明 方程证明
Pij ( u + v ) = P { X ( s + u + v ) = a j | X ( s ) = ai }
＝＝＝ ∑ P { X ( s + u ) = ak | X ( s ) = ai } × P { X ( s + u + v ) = a j | X ( s ) = ai , X ( s + u ) = ak }
由此可得：
P{ A | X n = i} = ∫
+∞ 0
P{ A | X n = i, Tn +1 − Tn = t}dG (t ) = ∫
+∞
+∞
0
e − µt ( µt ) j dG (t ) j！ j！
即：
Pi ,i +1− j = ∫
0
e − µt ( µt ) j dG (t ) j！
1 ≤ j ≤ i, i ≥ 0
Pi0是服务台有i个顾客转为空闲的概率，显然
Pi ,0 =
k = i +1
∑∫
∞
+∞
0
+∞ ∞ e − µt ( µt ) k ( µt ) k dG (t ) = ∫ ∑ e − µt dG (t ) 0 k! k! k = i +1
i≥0
多步转移矩阵
已知一步转移概率Pij ，n步转移概率 p 将在n次转移后处于状态j的概率。即
随机到达者 等候室 服务台 离去者
系统
设时间间隔⊿t内有一个顾客进入系统的概率为q，有 一接受服务的顾客离开系统(即服务完毕)的概率为p,又设 当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开 系统实际上是不可能的，再设有无顾客来到与服务是否完 毕是相互独立的。
随机到达者
等候室
服务台
离去者
系统
状态2：昨天下雨今天不下雨 状态3：昨天今天都不下雨 天气为一个4个状态的马尔可夫链，其转移概率矩阵为：
0.7 0 0.3 0 0.5 0 0.5 0 p= 0 0.4 0 0.6 0 0.2 0 0.8
例4：（随机游动模型）设一质子在S={1,2,3,4,5}作随机
游动：如果现在位于点i(1<i<5)，则下一时刻以1/3的概率 向左或向右移动一格，或留在原处；如果现在处于1(或5)这 一点上，则下一时刻就以概率1移动到2(或4) 点上. 1和5这两点称为反射壁，这种游动称为带有两个反射壁 的随机游动。 以Xn表示时刻n时的位置， 说 明{Xn,n=0,1,2 …}是一齐次马 氏链，其转移概率矩阵为：
由归纳法可得：
P
( n)
=P
( n −1+1)
=P
n −1
•P = P
n
即n步转移矩阵可以由P自乘n次得到。
例3（Continue）：概率是（天气预报扩展）已知周一与 Continue）：
周二下雨，问星期四下雨的多少？ 状态0：昨天今天都下雨 状态1：昨天不下雨今天下雨 状态2：昨天下雨今天不下雨 状态3：昨天今天都不下雨
马尔可夫链（Markov Chain）
定义：
设程{Xn, n≥ 0}为随机序列，
若对任意正整数n, i0 , i1, …, in, in+1 ∈S ， P{X0 = i0, X1 = i1…, Xn = in}>0，有 P{Xn+1= in+1 |X0 = i0, X1 = i1…, Xn = in} = P(Xn+1= in+1 | Xn = in}， 则称Xn为马尔可夫链
Pi 2 ( u ) Pi 3 ( u ) ⋯ ) 是 u步转移概率矩阵的第 i行， P2 j ( v ) P3 j ( v ) ⋯ ) 是 v步转移概率矩阵的第 j列，
T
( P (v )
1j
C − K 方程可以写成矩阵形式： ( u + v ) = P ( u ) P ( v ) P
特别地：
P ( 2) = P (1+1) = P • P = P 2
n ij
为处于状态 i 的过程
p = P{ X n+ k = j | X k = i},
n ij
n ≥ 0, i, j ≥ 0
ቤተ መጻሕፍቲ ባይዱ
C-K方程（Chapman-Kolmogorov） 方程（ 方程 ）
u u v pij +v = ∑ pik pkj , k =0
ak ai
∞
u, v ≥ 0, i, j ≥ 0
8 = 8 , 8 + 18 26
P01 = P ( X n +1 = 0 | X n = 1) ≈ 18 = 18 8 + 18 26 P = P ( X n +1 = 1| X n = 0 ) ≈ 18 = 18 , 10 18 + 52 70 P = P ( X n +1 = 1| X n = 1) ≈ 52 = 52 11 18 + 52 70
= P ( X 1 = 1| X 0 = 0 ) P ( X 2 = 1| X 0 = 0, X 1 = 1)
P ( X 1 = 1, X 2 = 1, X 3 = 1| X 0 = 0 )
例7：（G/M/1排队系统）G表示顾客到达服务台的事件间 ：
隔，假设为独立同分布，分布函数为G(x)；M表示服务时间， 假设为独立同指数分布（设参数为µ），且与顾客到达过程 相互独立；1表示单个服务员。 设Xn为n第个顾客到达服务台系统内的顾客数（包括该顾 客），Tn表示第n个顾客到达时刻。易证{Xn ,n≥1}为一马尔 可夫链。 下面计算转移概率。令
定义： 定义：称条件概率
p00 p10 p = ... pi 0 ⋮
p01 p11 ... pi 2 ⋮
p02 ... p12 ... ... pi 3 ⋮ ... ...
例1：（0-1传输系统）
X0
1
X1
2
X2
…
Xn-1
n
Xn
…
设各级的传真率为p，误码率为q=1-p，X0是初始输入，Xn 是第n级的输出(n≥1)。 {Xn,n=0,1,2…}是一随机过程，状态空间S={0,1}. 当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关， 与时刻n以前所处的状态无关。 Xn是一个齐次马氏链
1 2 3 4 5
如果把1这点改为 2 吸收壁，即质子 一旦到达1这一点， P = 3 则永远留在点1时， 4 此时的转移概率 5 矩阵为： 1 2 3 4 5
1 1 1 1 3 0 0 0
2 0
1 3 1 3
3 4 0
1 3 1 3 1 3
5 0 0 0 1 3 0