markov过程.ppt

1i N
qt* t1(qt*1), t T 1,T 2,...,1
1(i) p ibi (O1), 1 i N
1(i) 0, 1 i N
t ( j)
max[
1i N
t
1
(i)aij
]b
j
(Oi
),
2
t
T ,1
j
N
t ( j) argmax[t1(i)aij ], 2 t T ,1 j N
1i N
P*
max
1i N
[
T
(i)])
qT* arg max[T (i)]
HMM是一个双重随机过程，两个组成部分：
马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系，
用观察值概率描述。
隐马尔科夫过程概念
用模型五元组＝（ N, M, π ，A，B）用来描 述HMM，或简写为 =(π ，A，B)
参数
含义
实例
N
状态数目
缸的数目
M
每个状态可能的观察值数 彩球颜色数目
n1
n1
为系统在0时从状态i 出发经过有限步转移后迟早要
回状态j 的概率，简称迟早概率.
马尔科夫链
Doeblin公式
Doeblin公式：i, j ，S有：
N
p(n) ij
fij
lim
N
n1 N
1
p(n) jj
n1
推论1：
fii
1 lim N 1
1
N
p(n) ii
n1
证明思路： （1）上极限存在 （2）下极限存在 （3）相等
推论2：
p(n) ii
fii
1
n1
p(n) ii
fii
1
n1
di
GCD{n |
n
1,
p(n) ii
0}
马尔科夫链状态分类
状态 i
fii
非常返态
常返态
ii
def
ij E(Tj | X 0 i) nfij(n)
n1
零常返态（有限状态markov不存在）
正常返态
周期 （d不等于1）
于馨培
马尔科夫过程 马尔科夫链 隐马尔科夫过程
马尔科夫过程
随机过程定义
随机过程与函数的不同： 随机过程将普通函数的概念从实数与实数的对应关系推广到 实数与随机变量的对应关系。对普通函数而言，当t属于T时， 总有一个确定的实数与之对应；而对随机过程而言，当t属于 T时，与之对应的是一个随机变量。
目
A
与时间无关的状态转移概 在选定某个缸的情况下，
率矩阵
选择另一个缸的概率
B
给定状态下，观察值概率 每个缸中的颜色分布
分布
p
初始状态空间的概率分布 初始时选择某口缸的概率
隐马尔科夫模型
隐马尔科夫模型解决的问题
问题1：给定观察序列O=O1,O2,…OT,以及
模型 (A, B,p ) , 如何计算P(O|λ)？
瞬态分析：求某一时刻的概率分布和转移 情况。
马尔科夫链
马尔科夫链
记作{Xn = X(n), n = 0,1,2,…}
在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结 果
链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏
N和T分别为状态个数和序列长度
定义：
t (i)
max
q1 ,q2 ,...qt1
P[q1q2...qt1, qt
i, O1,O2,…Ot,
| ]
我们所要找的，就是T时刻最大的T (i)所代表的那个
状态序列
隐马尔科夫模型
问题2 Viterbi算法 （续）
初始化： 递归： 终结： 求S序列：
1
1
2/3
0
1
2
3
1/3
1
1
0
1 2/3 2 1
1/3
强连通缩点。。
马尔科夫链
常返性
常返性是考察马氏链由一个状态出发之后 能否再次回归到本状态的特性
常返性分三种
正常返（必定会返回，平均返回时间为有限值） 零常返（必定会返回，平均返回时间为 ） 非常返（可能不再返回）
马尔科夫链
首达概率和迟早概率
不可约性
设C为状态空间I 的一个子集， 则C称为闭集。
不可约闭集：设C 是闭集，如果C中不再含有任 何非空真闭子集，则称 C 是不可约闭集. 或称 C 是不可约的，或不可分的，或最小的.
若一个马氏链的任意两个状态都互通，则此马氏 链称为不可约马氏链；否则称为可约的马氏链。
2，3 闭集
4 闭集(吸收态)
隐马尔科夫过程
实例描述
设有N个缸，每个缸中装有很多彩球，球的颜色由 一组概率分布描述。实验进行方式如下
根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布，随机选择一个球，记球的颜
色为O1，并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸，重复
以上步骤。
最后得到一个描述球的颜色的序列O1,O2,…，称为 观察值序列O。
假D2设，为…了，解Dn决，某如一若优这化个问决题策，序需列要是依最次优作的出，n对个于决任策何D1， 一个整数k，1 < k < n，不论前面k个决策是怎样的，以 后的最优决策只取决于当前状态，即以后的决策Dk+1， Dk+2，…，Dn也是最优的。
。。动态规划？！ 可以看到马尔科夫过程用的很多算法确实是DP
马尔科夫过程
马尔科夫过程定义
如果一个随机过程的“将来”仅依赖“现 在”而不依赖“过去”，则此过程具有马 尔可夫性,或称此过程为马尔可夫过程
X(t+1) = f( X(t) ) 一般表示为：
这种性质好像还在哪听过。。。
马尔科夫过程
乱入。。
最优化原理（最优子结构）
“一个过程的最优决策具有这样的性质：即无论其初始 状态和初始决策如何，其今后诸策略对以第一个决策所 形成的状态作为初始状态的过程而言，必须构成最优策 略”。（bellman大神说的。。）
链在时刻m处于状态ai条件下，在时刻m+n转移到状 态aj的转移概率。 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马 尔科夫链，通常说的马尔科夫链都是指齐次马尔科 夫链。齐次才能定量计算，若不是也要近似为齐次。
马尔科夫链
Chapman-Kolmogorov方程
p(k ij
m)
(n)
p(k il
隐马尔科夫过程
实例约束
在上述实验中，有几个要点需要注意：
不能被直接观察缸间的转移 从缸中所选取的球的颜色和缸并不是
一一对应的 每次选取哪个缸由一组转移概率决定
隐马尔科夫过程
隐马尔科夫过程概念
HMM的状态是不确定或不可见的，只有通过观 测序列的随机过程才能表现出来
观察到的事件与状态并不是一一对应，而是通 过一组概率分布相联系
齐次马尔可夫链 {Xn, n≥0} 的有限维分布由其初始分 布和一步转移概率所完全确定.
齐次马尔科夫链的转移矩阵
晴天
阴天
下雨
晴天 阴天 下雨 晴天 0.50 0.25 0.25 阴天 0.375 0.25 0.375 下雨 0.25 0.125 0.625
马尔科夫链
互通性
若对某一n1，有
p(n) ij
di
非周期（遍历态）
fii 1 常返态 fii 1 非常返态
ii ii
正常返态 零常返态
马尔科夫链
应用
如 X x1, x2,L , xN 为一状态概率向量，P为状态
转移概率矩阵。若 XP X 则称 X 为马尔可夫链
的一个平稳分布。
一般论文里的应用就是用来预测未来情况，其状 态转移矩阵由历史数据得到，算法就是矩阵快速 幂+那个神棍的O(N2.36)的矩阵乘法。或者也会求 平稳分布，依然要用矩阵快速幂。
问题2：给定观察序列O=O1,O2,…OT以及 模型λ,如何选择一个对应的状态序列 S = q1,q2,…qT，使得S能够最为合理的解释 观察序列O？
隐马尔科夫模型
问题1 基本方法
给定一个固定的状态序列S=(q1，q2，q3…)
T
P(O / S, ) P(Ot / qt , ) bq1 (O1)bq2 (O2 ) bqt (OT ) t 1
初始化：
递归： 终结：
1(i) pibi (O1) 1 t T
N
t1( j) [ i (i)aij ]bj (Ot1) 1 t T 1,1 j N i 1
N
P(O / ) T (i) i 1
ห้องสมุดไป่ตู้
隐马尔科夫模型
问题2 Viterbi算法
目的：给定观察序列O以及模型λ,如何选择一个对应 的状态序列S ，使得S能够最为合理的解释观察序列 O？
0
，则称系统X可以自状
态I到达状态j，并记ij。如果ij，并且ji，则
状态i与j互通，并记为ij
互通性的性质
自反律： i i (假定每个状态0步转移到自己)
对称律： i j 当且仅当j i
传递律： i k 且k j，则i j
i
j
i
k
j
i与j不通 强连通分量~~ i，j，k互
马尔科夫链
)
(n)
p(m) lj
(n
k
),
n, k, m 0,i, j S
l
{Xn, n≥0}在n 时处于状态 i 的条件下经过 k+m 步转 移于 n+k+m 时到达状态 j，可以先在 n 时从状态 i 出发，经过 k 步于 n+k时到达某种中间状态 l，再在 n+k 时从状态 l 出发经过 m 步转移于 n+k+m 时到达 最终状态 j，而中间状态 l 要取遍整个状态空间。
bqt (Ot ) 表示在qt状态下观测到Ot的概率
P(O / ) P(O / S,)P(S / ) 所有S
复杂度？假设状态数为N，观察序列长度为T
隐马尔科夫模型
问题1 动态规划
DP，复杂度？
定义前向变量
t (i) P(O1 , O2 , Ot , qt i / ) 1 t T
def
f (n) ij
P( X n
j, Xk
j, k
1, 2,L
,n 1|
X0
i)
为系统在0时从状态i 出发经过n 步转移后首次到达状
态 j 的概率，简称首达概率. 称
def
U fij
f (n) ij
P(
( X n j, X k j, k 1, 2,L , n 1) | X 0 i)
马尔科夫过程
马尔科夫过程分类
时间参数离散、状态空间离散的叫马尔科夫链。 时间参数连续、状态空间离散的叫可数状态马尔
科夫过程。 时间参数离散、状态空间连续的叫马尔科夫序列。 时间参数和状态空间都连续的叫连续马尔科夫过
程。
状态空间不确定的叫隐式马尔科夫过程。
马尔科夫链
马尔科夫链研究的问题
稳态分析：时间趋向于正无穷时的情况， 此时需要关注首达概率、常返状态等问题 。