第4章马尔可夫链1-2汇总

p(1) ij
pij
，此时一步转移矩阵 P (1)
P
。此
外，我们规定
p(0) ij
0, 1,
i j i j
定理 1 设{Xn , n T } 为马尔可夫链，则对任意整数
n 0, 0
l
n 和i, j I
，n
步转移概率
p(n) ij
具有下列
性质
(1)
p(n) ij
p p ; (l ) (nl ) ik kj
P{ X0 i0 , X1 i1 , , X n1 in1 } P{ X n in | X n1 in1 } P{ X0 i0 , X1 i1 , , X n1 in1 }
P{ Xn in | Xn1 in1} P{ Xn1 in1 | Xn2 in2 }
P{ X1 i1 | X0 i0 }P{ X0 i0 } 可见，马尔可夫链的统计特性完全由条件概率
k, Xmn
j}
P{ X m
i, Xml
k}
kI
P{Xm i, Xml k}
P{Xm i}
P{ X mn j | X ml k}P{ X ml k, X m i} kI
定义 2 称条件概率
pij (n) P{ X n1 j | X n i}
为马尔可夫链{ Xn , n T } 在时刻 n 的一步转移概率，其
中 i, j I ，简称为转移概率。
一般地，转移概率 pij (n) 不仅与状态 i, j 有关，而且 与时刻 n 有关。当 pij (n) 不依赖于时刻 n 时，表示马尔 可夫链具有平稳转移概率。
P X (tn ) xn | X tn1 xn1
，
则称X t,t T为马尔可夫过程。
上式称为过程的马尔可夫性（或无后效性），它表 示若已知系统的现在状态，则系统未来所处的状态的概 率规律性就已确定，而不管系统是如何达到现在的状
态。换句话说，若把 tn1 看作“现在”，则 tn 就是“未来”，
第4章 马尔可夫链
第二章关于马尔可夫过程 定义：
定义 2.9 设X t ,t T为随机过程，若对任意正
整数 n 及 t1 t2, tn, P X(t1) x1, , X tn1 xn1 0 ，且其
条件分布
P X (tn ) xn | X t1 x1, , X tn1 xn1
• 马尔可夫过程按其状态和时间参数是连 续的或离散的，可分为三类：
• （1）时间、状态都是离散的马尔可夫 过程，称为马尔可夫链。
• （2）时间连续、状态离散的马尔可夫 过程，称为连续时间的马尔可夫链。
• （3）时间、状态都连续的马尔可夫过 程。
§4.1 马尔可夫链的概念及转移概率
一、马尔可夫键的定义
P{ Xk1 ik1 | Xk ik }
和初始概率
所决定。
二、转移概率
条件概率 P{ X n1 j | X n i} 的直观含义为系统在时 刻 n 处于状态 i 的条件下，在时刻 n+1 系统处于状态 j 的概率。它相当于随机游动的质点在时刻 n 处于状态 i 的条件下，下一步转移到状态 j 的概率，记此条件概率 为 pij (n) ，其严格定义如下：
而 t1 , t2 , , tn1 就是“过去”，“ X ti xi ”表示系统在时
刻 ti 处于状态 xi 。上式说明，系统在已知现在所处状态
的条件下，它将来所处的状态与过去所处的状态无关。 很多实际问题都具有这种无后效性。例如，生物基因遗 传从这一代到下一代的转移中仅依赖于这一代而与以 往各代无关。再如，每当评估一个复杂的计算机系统的 性能时，就要充分利用系统在各个时刻的状态演变所具 有的通常概率特性：即系统下一个将到达的状态，仅依 赖于目前所处的状态，而与以往所处的状态无关。
假设马尔可夫过程{ Xn , n T } 的参数集 T 是离散的 时间集 I 合，即T {0,1, 2, } ，其相应 Xn 可能取值的
全体组成的状态空间 I 是离散的状态集。
定义 1 设有随机过程{ Xn , n T } ，若对于任意的整数
n T 和任意的 i0 , i1, , in1 I ，条件概率满足
p11 p12
P
p21
p22Fra Baidu bibliotek
p1n
p2n
称为系统状态的一步转移概率矩阵。它具有性质：
(1) pij 0, i, j I ;
(2) jI pij 1, i I 。
(2)式中对j求和是对状态空间I的所有可能状态进行 的，此性质说明一步转移概率矩阵中任一行元素之和为 1。通常称满足上述(1)，(2)性质的矩阵为随机矩阵。
P{ X n1 in1 X0 i0 , X1 i1 , , X n in } P{ Xn1 in1 Xn in }
则称{Xn,nT} 为马尔可夫链，简称马氏链。
上式是马尔可夫链的马氏性（或无后效性）的数学 表达式。由定义知 P{ X0 i0 , X1 i1 , , Xn in } P{ Xn in | X0 i0 , X1 i1 , , X n1 in1 }
kI
(2)
p(n ij
)
k1I
p p ik1 k1k2
kn1I
(3)P (n) PP (n1);
(4)P(n) Pn .
p ; kn1 j
证 (1)利用全概率公式及马尔可夫性，有
p(n) ij
P{ X mn
j
Xm
i}
P{Xm i, Xmn P{Xm i}
j}
P{ X m
i, Xml
定义 4 称条件概率
p(n) ij
P{ X mn
j|
Xm
i }( i ,
j I,m
0, n 1)
为马尔可夫链{Xn, n T } 的 n 步转移概率，并称
P(n)
(
p(n ij
)
)
为马尔可夫链的
n
步转移矩阵，其中
p(n) ij
0,
jI
p(n) ij
1，
即 P (n) 也是随机矩阵。
当
n=1
时，
定义 3 若对任意的i, j I ，马尔可夫链{ X n , n T } 的转 移概率 pij (n) 与 n 无关，则称马尔可夫链是齐次的，并记 pij (n) 为 pij 。
下面我们只讨论齐次马尔可夫链，通常将“齐次” 两字省略。
设 P 表示一步转移概率 pij (n) 所组成的矩阵，且状 态空间 I {1, 2, } ，则