医药信息分析与决策--第5章马尔科夫预测与决策_WJ详解

5.2 状态转移矩阵 1.一步转移概率矩阵 一步转移概率定义：马氏链在tn时刻处于状态ai条 件下，到tn+1时刻转移到状态aj的条件概率，称为 在tn时刻的一步转移概率，记为p(1)ij(n)或者 pij(n)。
(1) 0 <= pij(n) <=1
(2) Σ pij(n) =1
j=1
N
一步转移矩阵定义：由所有状态（N个）之间，在 tn时刻的一步转移概率pij(n) 构成的矩阵，称为在 tn时刻的一步转移矩阵。
0 当i不等于 j
P1 为一步转移矩阵
2步转移概率可由一步转移概率求出：
p(2)ij = Σ pik pkj
k=1
n
(一步矩阵第i行乘以第j列元素的乘积和)
含义：从状态ai出发，经一步到达状态ak ,然后再 从ak经一步到达状态aj 的概率之和。 因此2步转移概率矩阵为： P(2) = P2
类似k步转移概率矩阵为:
P=
=
0 1 0 0 0 1/3 1/3 1/3 0 0 0 1/3 1/3 1/3 0 0 0 1/3 1/3 1/3 0 0 0 1 0
概率向量：任意行(列)向量，其每个元素非负且 总和等于1 概率矩阵：由概率向量作为行向量构成的方阵。 2. k步状态转移矩阵 k步转移概率定义：齐次马氏链在tn时刻处于状 态ai条件下，到tn+k时刻转移到状态aj的条件概率 ，称为在tn时刻的k步转移概率，记为p(k)ij(n)， 由于马氏链是齐次的，这个概率与n无关，简记 为p(k)ij (1) 0 <= p(k)ij<=1 (2) Σ p(k)ij =1
1 1 1 1
0.5*0.6 = 0.55
2 1
P56 [例5-4] 设一步转移概率矩阵： 0.7 0.3 P= 0.9 0.1 0.9 0.76 0.24 则P(2)= P2= 0.72 0.28 初始概率向量 P(0) = 0.8 0.2 p1(1) = p1(0)* p11+ p2(0)* p21 好 好 坏 好 0.8 * 0.7 + 0.2 * 0.9=0.74 0.1
0.7
1
0.3
2
求一步转移后机床无故障概率？(两种可能)
P56 例5-4 设一步转移概率矩阵 0.7 0.3 P= 0.9 0.1 初始概率向量 P(0) = 0.8 0.2 求一步转移后机床出现故障概率？(两种可能) p2(1) = p1(0)* p12+ p2(0)* p22 好 坏 坏 坏
0.8 * 0.3 + 0.2 * 0.1=0.26
j=1
N
k步转移矩阵定义：所有状态之间的k步转移概率 p(k)ij为元素构成的矩阵，记为P(k)或Pk Pk =
p(k)11 p(k)21 : p(k)n1
p(k)12 p(k)22 : p(k)n2
1
(k) p . . 1n (k) p . . 2n
：
.
(k) p . nn
当i等于 j
规定P0 = （单位矩阵）
P(k) = Pk (k>=1)
即当马氏链是齐次的（满足稳定性）， k步转移概 率矩阵为一步转移概率矩阵的k次方。
P56 例5-3 设一步转移概率矩阵： 0.5 0.5 P= 0.6 0.4
则P(2)= P2= 0.55 0.45
0.5
1
0.6
2
0.5
பைடு நூலகம்
0.54 0.46
0.4
P(2)11= 0.5*0.5 +
状态1 状态2 状态n 状态空间
t1时刻
t2时刻
tn时刻
时间参数集
按其状态空间和时间参数集是连续还是离散 可分成四类:
仅讨论马尔可夫链
2.马尔可夫链 定义：随机过程X(t)在tn时刻的状态为Xn=X(tn)， 且Xn可能取得的状态必为a1 a2 … an之一，其中 AI={a1 a2 … an}为有限的状态空间， 随机过程只 在t1 t2 … tn …可列个时刻发生状态转移。 若随机过程在tn+1时刻变成 任一状态aj的概率， 只与过程在tn时刻的状态ai有关，而与过程在 tn时 刻以前的状态无关，则称此随机过程为马尔可夫链 ，简称为马氏链。 P{X(tn+1))= aj| X(tn) = ai ,X(tn-1)= an-1 ,…,X(t0)= a0} = P{X(tn+1))= aj| X(tn) = ai}
已知系统的初始状态和概率转移矩阵，可得系统任 意时刻的状态。
3.齐次马氏链的遍历性和稳态概率 通常讨论关于齐次马氏链的n步转移概率的 两方面问题，一是其极限是否存在？二是 如果此极限存在，那么它是否与初始状态 无关，有关这两方面问题的定理，统称为 遍历性定理。
P= p11 p12 . . p1N p21 p22 . . p2N : : ： : pN1 pN2 . . pNN
如果一步转移概率pij(n) 与时刻tn无关， p{X(tn+1))= aj| X(tn) = ai} = p{X(tn+1))= aj}， 则称该马尔可夫链是齐次的。
（P54)[例5-2]概率与任何时刻无关，只和位置有 关，是齐次马尔可夫链，一步转移矩阵为： p11 p21 : p51 p12 . . p14 p15 p22 . . p24 p25 : ： : : p52 . . p54 p55
第5章 马尔可夫预测与决策
安德雷〃马尔可夫（1856－1922） 俄国数学家，师从切比雪夫，主要研究领 域在概率和统计方面。他的研究开创了随 机过程这个新的领域，以他的名字命名的 马尔可夫链在现代工程、自然科学和社会 科学各个领域都有很广泛的应用。
5.1 马尔可夫过程
1. 马尔可夫过程是一种随机过程: 当随机过程在t时刻所处的状态已知时， 在t+1时刻所处的状态仅与t时刻的 状态有关， 而与t时刻以前的状态无关。此特性称为随机过 程的无后效性或马尔可夫性 过去只影响现在，而不影响将来。 P{将来|现在、过去}=P{将来|现在}
因此一步转移后机床的概率向量为：
P(1) = P(0)* P = 0.74 0.26
P56 例5-4 设一步转移概率矩阵 两步转移后机床的状态概率向量为：
0.76 P(2) = P(0)* P2 = 0.8 0.2 * 0.72
0.24 0.28
= 0.752 0.248 可见k步转移后状态概率向量(分布)为： P(k) = P(0)* Pk = P(k-1)* P