马尔可夫链课件

p12 p22 0 0
p13 p23 1 0
p14 p24 0 1
三、马氏链的例子
例2 (0-1传输系统或简单信号模型)
X0 1 X1 2 X2 Xn-1 Xn
…
n
…
如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p， 误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn
n
P P X i |X ik k 1 和 1 P{ X n j | X n 1 i} 确定. {kX i} 分布 条件概率 0 k P X 0 i0，X 1 i1， ，X k 2 ik 2 马氏性
P X k 1 ik 1 | X 0 i0， ，X k 2 ik 2 P X k ik |X k 1 ik 1
则称 { X n，n 0}为齐次马尔可夫链，称 pij 为从状态 i
转移到状态 j 的一步转移概率. 若马尔科夫链 { X n，n 0}的状态空间是有限集，则
称 { X n，n 0}为有限状态的马尔科夫链；
若马尔科夫链 { X n，n 0}的状态空间是可列集，则 称 { X n，n 0} 为可列状态的马尔科夫链.

P X 0 i0 P X 1 i1 | X 0 i0 P X k ik |X k 1 ik 1
二、转移概率
定义1 设 { X n，n 0}是马尔可夫链，记
Байду номын сангаас
pij (n) P{X n 1 j | X n i}
称 pij 为马尔可夫链 { X n，n 0} 在时刻 n 时的一步转 移概率。 当 i，n 固定时，一步转移概率 pij (n) 实质上就是 在 X n i 的条件下，随机变量 X n 1的条件分布律，所以 条件分布律满足：
n
n 1
t
二、转移概率
设{ X n，n 0} 是马尔可夫链，对任意的 k 1 ，计算 的联合分布律 X 0，X1， ，X k 1，X k 乘法公式
P X 0 i0，X1 i1， ，X k 1 ik 1，X k ik
， i1， ，X k 1 ik 1 P X 马氏性 P P X00 ii00 X X1P X k ik |X k 1 ik 1 1 i1 | X 0 i0 P X k ik |X 0 i0，X 1 i1， ，X k 1 ik 1 P i1， ，X X 0 i0，X1 { 1 i k 1 即马尔可夫链 X， n k 0}的有限维分布完全由初始
• 第一节 基本概念 • 第二节 状态的分类及性质 • 第三节 极限性态及平稳分布
• 第四节 Markov链的应用
第一节
基本概念
一、Markov链的定义 二、转移概率 三、Markov链的例子 四、n步转移概率，C-K方程
第一节
基本概念
一、Markov链的定义
马尔可夫性(无后效性 )过程(或系统)在时刻t 所处的状态为已知的条件下，过程在时
0
刻t>t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 通俗地说，就是在已经知道过程“现在”的条件下，其“将来”
不依赖于“过去”。
用分布函数表述马尔可夫性：
设随机过程 X (t ), t T , 其状态空间为S , 对参数集T中任意n个数值 t1 t2 P X (tn ) in | X t1 i1 tn , n 3, ti T X tn 1 in 1 P X (tn ) in | X t n 1 in 1
三、马氏链的例子
例1 (一个简单的疾病死亡模型)
考虑一个包含两个健康状态S1和S2以及两个死亡状态 S3和S（即由不同原因引起的死亡）的模型。若个体病愈， 4 则认为它处于状态S1，若患病，则认为它处于S2，个体可 以从S1，S2进入S3和S4，易见这是一个马氏链，转移矩阵为
p11 p21 P 0 0
pij (n) 0，i，j S，n 0； pij (n) 1，i S，n 0.
jS
二、转移概率
定义2 设 { X n，n 0} 是马尔可夫链，若其一步转移 概率 pij 与时间 n 无关，即
pij P{ X n 1 j | X n i} P{ X1 j | X 0 i}
P{X n1 j | X n i， X n1 in1， ， X1 i1，X 0 i0 } P{X n1 j | X n i}
1 2 } 为离散时间、离散状态的马尔可 则称 { X n ,n 0，，，
夫过程，或简称为马尔可夫链。
Xn
…………
0 1 2 3 4
二、转移概率
定义3 设 { X n，n 0} 是齐次马尔可夫链，其一步 矩阵的每一行都 转移概率为 pij (i, j S )，记 是一条件分布律
p00 p10 P ( pij ) p 20 pi 0
.
p 01 p 02 p11 p12 p 21 p 22 pi1 pi 2
p0 j p1 j p2 j pij

则称矩阵 P 为齐次马尔科夫链的一步转移概率矩阵
记 ( 0，1， )，( i P{ X 0 i}，i S ) .称

为齐次马尔可夫链的初始分布. 齐次马尔科夫链的有限维分布族完全由其一步转移 概率矩阵 P 和初始分布 确定.
则称过程 X (t ), t T 具有马尔可夫性或无后效性，并称此过程为马尔 可夫过程。
定义
1 2 } 的状态空间为： 设随机过程 { X n ,n 0，，，
S {0，，，， 1 2 3 } i1 i2 ， in 1， i, j S 有 若对任意的 n 0，及i0，，，