第十三章 马尔可夫链概率论与数理统计

3
0 0 q(1 p) pq (1 p)
四、小结
齐次马氏链、平稳性的概念.
一步转移概率矩阵的计算. 一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵 P (1) ( Pij (n)).
k 1
考虑到马氏性和齐次性, 即得 C-K 方程. C-K 方程也可写成矩阵形式:
P ( u v ) P ( u) P (v ).
二、多步转移概率的确定
利用 C-K 方程我们容易确定 n 步转移概率.
在P ( u v ) P ( u) P (v )中, 令u 1, v n 1,
说明: 改变游动的概率规则, 就可得到不同方式的 随机游动和相应的马氏链. 如果把点 1 改为吸收壁, 相应链的转移概率矩阵只须把P 中第1行改为 (1,0,0,0,0).
例3 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小
时的数据 (共作97次观察) . 用1表示正常状态, 用0
p00 p01 p10 p11 p12
p13 p21 p32 p22 p23 p33
0
0 1 q 1 p(1 q) P 2 0 3 0
1
q pq (1 p)(1 q) p(1 q) 0
2
0 q(1 p) pq (1 p)(1 q) p(1 q)
一步转移概率 pij Pij (1) P ( X m1 a j | X m ai }. 一步转移概率矩阵
a1
Xm 的 状 态
a1 p11 a2 p21 ai pi1

P (1) X m 1的状态 a2 a j
p12 p1 j p22 p2 j pi 2 pij P (1) 记为P
1. 用分布律描述马尔可夫性
对任意的正整数 n, r 和 0 t1 t2 tr m;
t i , m , n m Ti , 有 P{ X m n a j | X t1 a百度文库1 , X t 2 ai2 , , X t ai , X m ai }
tXt t2 在条件X ( 3,tix 下的条件分布函数 T, 恰有 1 ( ) t n , n t ) n i i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R
第二节
多步转移概率的确定
一、C-K 方程 二、多步转移概率的确定
一、C-K 方程
设 { X ( n) , n T1 } 是一齐次马氏链, 则对任意的 u, v T1 ,有
Pij ( u v ) Pik ( u) pkj (v ), i , j 1, 2,.
k 1

切普曼-柯尔莫哥洛夫方程(简称C -K方程)
与过程在时刻 0之前所处的状态无关的 t 特性称为
马尔可夫性或无后效性. 即: 过程“将来”的情况与“过去”的情况是无 关的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
则{ X n , n 0,1,2,}是一随机过程 .
状态空间就是I.
且当X n i , i I为已知时,
X n1所处的状态分布只与 n i有关, X
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij P{ X n1 j | X n i }

此矩阵的每一行元 素之和等于1.
Pij (m, m n) 1, i 1,2,. j 1
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij ( m , m n) 只与 i , j 及时间间距 n
P{ X m n a j | X m ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij (m, m n) P{ X m n a j | X m ai }
为马氏链在时刻 处于状态ai条件下, 在时刻 m n m
转移到状态a j的转移概率.
说明: 转移概率具有特点
状态空间: I={0, 1}.
96 次状态转移的情况: 0 0, 8次;
0 1, 18次; 1 0, 18次; 1 1, 52次.
因此, 一步转移概率可用频率近似地表示为: 8 8 p00 P{ X n1 0 | X n 0} , 8 18 26 18 18 p01 P{ X n1 1 | X n 0} , 8 18 26 18 18 p10 P{ X n 1 0 | X n 1} , 18 52 70 52 52 p11 P{ X n 1 1 | X n 1} . 18 52 70
状态空间 I {0, 1} ,
且当X n i , i I为已知时, X n1所处的状态分布只与 n i有关, X
而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率
p, j i pij P{ X n1 j | X n i } i, j 0,1 q , j i , 0 1 0 p q 一步转移概率矩阵 P 1 q p
件的和事件. 如下图所示:
ak ai
aj
o
s
su
suv t
证明
先固定 ak I和s T1 ,
由条件概率定义和乘法定理得
P{ X ( s u v ) a j , X ( s u) ak | X ( s) ai }
P { X ( s u ) ak | X ( s ) ai } P { X ( s u v ) a j | X ( s u) ak , X ( s ) ai }
第十三章 马尔可夫链
第一节 第二节 马尔可夫过程及其概率分布 多步转移概率的确定
第三节
遍历性
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念
二、马尔可夫过程的概率分布
三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的
条件下,过程在时刻t t0所处状态的条件分布与
例4 某电话亭有两部电话，顾客的到达与离开都 是随机的，每隔一分钟来一个顾客的概率为q，有
一个顾客打完电话离开的概率为p。而且如果顾客
到达时发现前面已经有一个顾客在等待，该顾客 即离去，并且排除每分钟内多于1人到达或离开的 情况。用马氏链来描述这个系统。
设Xn表示第n分钟电话亭里的顾客数，即系统的状态。 {Xn,n=0,1,2,3…}是一个随机过程，状态空间为I={0,1,2,3}. 仿真前面例子的分析，可知它是一个齐次马氏链。 分析该马氏链的一步转移概率：
三、应用举例
例1 只传输数字0和1的串联系统 ( 0 1 传输系统) 如图: X n 1 Xn X1 X2 X0 n 2 1
X 0是第一级的输入
设一个单位时间传输一级,
X n是第n级的输出 n 1) (
设每一级的传真率为 p, 误码率为 q=1-p.
, 分析: { X n , n 0,1,2,}是一随机过程
5 1 2 4 3 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上.
1和5这两点称为反射壁.
上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
1
2
3
4
5
理论分析: 以X n表示时刻n时Q的位置.
或写成
Ftn |t1tn1 ( xn , tn | x1 , x2 ,, xn1; t1 , t2 ,, tn1 ) Ftn |tn1 ( xn , t n | xn1 , t n1 ),
这时称过程 X ( t ), t T }具马尔可夫性或无后效 . { 性
并称此过程为马尔可夫过程.
表示不正常状态, 所得的数据序列如下:
1110010011111110011110111111001111111110001101101 111011011010111101110111101111110011011111100111
分析
设 X n 为第 n ( n 1, 2,,97 ) 个时段的计算机状态 ,
说明 C-K 方程基于下列事实:
“从时刻 s 所处的状态 ai 出发 , 经时段 u v 转移到状态 a j , X ( s u v ) a j” .
这一事件可分解成:
“从 X ( s ) ai 出发, 先经时段u 转移到中间状态
ak ( k 1, 2), 在从 ak 经时段 v 转移到状态 a j”等事
得递推关系: P ( n) P (1) P ( n 1) PP ( n 1), 从而可得
P(n) P .
n
结论 马氏链的n步转移概率是一步转移概率的 n 次 方.
例1 设任意相继的两天中 雨天转晴天的概率为 ,
有关时, 称转移概率具有平稳性.
同时也称此链是齐次的或时齐的.
此时, 记 Pij ( m , m n) Pij ( n),
Pij (n) P{ X m n a j | X m ai }.
称为马氏链的n步转移概率
P ( n) ( Pij ( n))为n步转移概率矩阵 .
特别的, 当 n=1 时,
Pik (u) Pkj (v ). (马氏性和齐次性)
因事件组“X ( s u) ak” k 1,2, 构成一划分, ,
所以
Pij ( u v ) P{ X ( s u v ) a j | X ( s) ai }
P{ X ( s u v ) a j , X ( s u) ak | X ( s ) ai }.
例2 一维随机游动 一随机游动的质点 在如图所示直线的点集
I {1,2,3,4,5}上作随机游动, 并且仅仅在1秒、秒 2 等时刻发生游动 .
1 2 游动的概率规则
3
4
5
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X ( n), n 0,1,2,}.
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ X n X ( n), n 0,1, 2,},
状态空间为 I (a1 , a2 ,}, ai R .
1 3 , j i 1, i , i 1, 1 i 5 1, i 1, j 2 或 i 5, j 4 0, j 1 2.
一 步 转 移 概 率 矩 阵
1 2 3 4 5 1 0 1 0 0 0 2 1 / 3 1 / 3 1 / 3 0 0 P 3 0 1/ 3 1/ 3 1/ 3 0 4 0 0 1 / 3 1 / 3 1 / 3 5 0 0 0 1 0