马尔可夫过程及其概率分布精

分析: {Xn,n 0,1,2,}是一随机过程, 状态空间 I {0, 1} ,
且当Xn i,i I为已知时, X n1所处的状态分布只与X n i有关,
而与时刻 n 以前所处的状态无关.
所以它是一个马氏链, 且是齐次的.
一步转移概率
pij
P{ Xn1
j|
Xn
i}
p, j i q, j i,
二、马尔可夫过程的概率分布
研究时间和状态都是离散的随机序列
{ Xn X (n), n 0,1, 2,}, 状态空间为 I (a1,a2 ,}, ai R .
1. 用分布律描述马尔可夫性
对任意的正整数n, r 和 0 t1 t2 tr m; ti , m, n m Ti , 有
12345 如果Q现在位于1(或5)这点上, 则下一时刻就 以概率1移动到2(或4)这一点上. 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 模拟方法:产生均匀分布的随机数序列132322 11122…,其中1表示左移;2表示不动;3表示右移.
12345
理论分析: 以Xn表示时刻n时Q的位置. 则{Xn ,n 0,1,2,}是一随机过程.
增量X (t j ) X (0)与X (tn ) X (tn1)相互独立. 根据条件X (0) 0与X (tn1) xn1, 即有
X (t j )与X (tn ) xn1相互独立.
此时X (tn )与X (t j ), j 1,2,,n 2相互独立. 这表明X (t )具有无后效性,即{ X (t ), t 0}是一个 马尔可夫过程. 说明:
Pij (n) P{ Xmn a j | Xm ai }.
称为马氏链的n步转移概率
P(n) (Pij(n))为n步转移概率矩阵.
特别的, 当 k=1 时,
一步转移概率 pij Pij (1) P( Xm1 a j | Xm ai }.
一步转移概率矩阵
a1
Xm 的
a1 p11
a2
泊松过程是时间连续状态离散的马氏过程; 维纳过程是时间状态都连续的马氏过程.
例2 只传输数字0和1的串联系统 ( 0 1 传输系统) 如图:
X 0 1 X1 2 X 2 X n1 n X n
X
是第一级的输入
0
Xn是第n级的输出(n 1)
设一个单位时间传输一级, 设每一级的传真率为 p, 误码率为 q=1-p.
p21
状
态
ai
pi1
Biblioteka Baidu
P(1)
X m1的状态
a2 a j
p12 p1 j
p22 p1 j
P(1)
pi2 pij 记为P
三、应用举例
例1 设{ X (t), t 0}是独立增量过程,且X (0) 0, 证明 { X (t ), t 0}是一个马尔可夫过程.
证明 由独立增量过程的定义知, 当0 t j tn1 tn , j 1,2,,n 2时,
或写成 Ftn|t1tn1 ( xn , tn | x1, x2 ,, xn1;t1, t2 ,, tn1 )
Ftn|tn1 ( xn , tn | xn1, tn1 ), 这时称过程{ X (t), t T }具马尔可夫性或无后效性. 并称此过程为马尔可夫过程.
3. 马尔可夫链的定义
时间和状态都是离散的马尔可夫过程称为马尔 可夫链, 简记为 { X n X (n), n 0,1,2,}.
i, j 0,1
一步转移概率矩阵
01
P 0 1
p q
q p
例3 一维随机游动 一随机游动的质点在如图所示直线的点集 I {1,2,3,4,5}上作随机游动,并且仅仅在1秒、2秒 等时刻发生游动.
12345 游动的概率规则
如果Q现在位于点 i (1< i <5),则下一时刻各以 1/3的概率向左或向右移动一格, 或以1/3的概率留 在原处;
P{X mn a j | X t1 ai1 , X t2 ai2 , , X tr air , X m ai}
P{ Xmn a j | Xm ai }, 其中 ai I .
2. 转移概率
称条件概率 Pij(m,m n) P{ Xmn a j | Xm ai }
为马氏链在时刻m处于状态ai条件下,在时刻 m n
第一节 马尔可夫过程及其概率分布
一、马尔可夫过程的概念 二、马尔可夫过程的概率分布 三、应用举例 四、小结
一、马尔可夫过程的概念
1. 马尔可夫性(无后效性)
过程或(系统)在时刻t0所处的状态为已知的 条件下,过程在时刻t t0所处状态的条件分布与 与过程在时刻t0之前所处的状态无关的特性称为 马尔可夫性或无后效性.
即: 过程“将来”的情况与“过去”的情况是无 关的.
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程.
用分布函数表述马尔可夫过程 设 I : 随机过程 { X (t ), t T }的状态空间,
如果对时间t的任意n个数值, tX1 (tnt2)在 条t件n ,Xn(ti 3) ,tixi下T 的 , 条恰件有分布函数 P{ X (tnX) (tnx)n在| X条(t件1 )X (xt1n,1X)(t2 )xn1x下2 ,的,条X (件tn分1 ) 布x函n1数} P{ X (tn ) xn | X (tn1 ) xn1}, xn R
转移到状态a j的转移概率.
说明: 转移概率具有特点
此矩阵的每一行元 素之和等于1.
Pij(m,m n) 1,i 1,2,.
j 1
由转移概率组成的矩阵 P(m,m n)(Pij(m, m n))
称为马氏链的转移概率矩阵. 它是随机矩阵.
3. 平稳性
当转移概率 Pij(m, m n) 只与 i, j 及时间间距 n 有关时, 称转移概率具有平稳性. 同时也称此链是齐次的或时齐的. 此时, 记 Pij(m,m n) Pij(n),
状态空间就是I. 且当Xn i,i I为已知时, X n1所处的状态分布只与X n i有关, 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的.
一步转移概率 pij P{ Xn1 j | Xn i}