马尔科夫和隐马尔科夫模型

一、Morkov模型
1913年俄国数学家马尔柯夫发现：某些事物的概率变化过程中，
第n次试验的结果常由第n-1次试验的结果决定。在学术研究上
把这种无后效的随机过程称为马尔柯夫过程。
一、Morkov模型
马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅 与前一时刻的状态有关而与过去的状态无关，这样的状态转移 过程就称为马尔可夫过程。
f (0,1) 1, f (1, 0) 0.5 g(0,1) 0, g(1, 0) 0.5
关系式给出了问题的模型。满足条件的f 和g很多， 须确定它们的具体形式。在满足所有条件后，通常 取最简单的方案。如成功，问题就简单解决了；如 失败，可修正。
本题最简单的是假定f 和g都是自变量的 线性函数，即：
qk
1 yk 1
0.5qk 0.5qk
yk
qk 1

0.5qk

0.5qk 1

0.5(qk

qk 0.5qk 10.5qk 2
qk 1 )

0.75qk 1
0.25qk2
yk1 0.25qk1 0.25qk2
qk1 yk1 qk yk 1
1 0.5 0 0.5
1 0

0.75 0.25
0.5 0.5
P3

0.75 0.25
0.5 0.5 0.5 0.5
1 0

0.625 0.375
0.75 0.25
P1

0.5 0.5
1 0
P2

0.75 0.25
时刻t，处在状态i，并且部分 观察序列为o1o2o3…ot的概率。
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )
在模型参数未知或不准确的情况下，如何根据输出 O和输入π求得模型参数或调整模型参数
二、隐Morkov模型
二、隐Morkov模型 定义了一个一阶马尔科夫模型，包括如下概念： 状态：晴、多云、雨； 状态转移概率； 初始概率。
当不能通过直接观察天气状态预测天气时，水藻与天气有 一定概率关系。
有两组状态：观察状态（水藻状态）和隐含状态（天气状 态）。 希望一个算法通过水藻和马尔科夫过程，在没有观 察天气的情况下得到天气变化情况。
第8讲
马尔可夫模型及隐马尔可夫 模型
The Morkov Model and the Hidden Morkov Model
一、Morkov模型
事物发展有必然偶然。云由水蒸发是必然；哪天下雨偶然。 偶然事件在数学中为随机事件。偶然事件可能性大小为概率。 许多事物的发展受现状支配。如轴承的磨损情况、各竞争企 业的市场占有率等，一个未来完全由现在的状态所确定的过 程称为无后效的。
给定HMM: λ=( S,O,A, B，π),给定观察序列 O=(O1,02,03…Ot),如何有效地计算出观察序列的概率， 即P(O|λ)?
给定λ, 以及状态转换序列q = (q1 q2 q3… qT )产生观察 序列O = ( o1 o2 o3 …oT )的概率可以通过下面的公式计
算：
P (O|q, λ) = bq1(o1) bq2(o2) … bqT(oT)
1 yk 1
0.5qk 0.5qk
yk
let
X k 1


qk 1 yk 1

,
Xk


qk yk

,
P

0.5 0.5
1 0
X k1 PX k P2 X k1 ... Pn X kn1 ...
P2

0.5 0.5
(1 0.5 0.25) 0.53 qk3 ... [1 0.5 0.25 0.125 ... (0.5)n ] [0.5]n qkn

1 (0.5)n1 1 (0.5)
n

2 3 ; yk
1
2 3

1 3
概率向量：任意一个向量，如果它的各元素非负， 且总和等于1，此向量称为概率向量。
如u = (0.28, 0.72 )。
概率矩阵：方阵中，如各列都是概率向量，则方阵
为概率矩阵。如A 和 B 都是概率矩阵，则AB亦为概 率矩阵，An亦为概率矩阵。
设概率矩阵 A，n趋于无穷大时，An趋于一个
固定概率矩阵P，即矩阵中每一个列向量都相
等的概率矩阵。且P的列向量在A作用下不变。
qk
给定HMM: λ=( A, B，π),给定观察序列 O=(O1,02,03…Ot),如何寻找一个状态转换序列 q=(q1,q2,q3,…qt}，使得该状态转换序列最有可能产 生上述观察序列?
在模型参数未知或不准确的情况下，如何根据观察序列 O=(O1,02,03,…,Ot)求得模型参数或调整模型参数 (训 练问题)
yk
)


2 / 3
1
/
3

设S是一个由有限个状态组成的集合。
S={l, 2, 3, ...,n-1, n} 随机序列X在t时刻所处的状态为qt，其中qt∈S，若有:
P(qt=j|qt-1=i, qt-2=k,. .) = P(qt=j|qt-1=i) 则随机序列X构成一个一阶马尔科夫链。(Markov Chain) 令aij=P(qt=j|qt-1=i)
0.5 0.5
P3

0.625 0.375
0.75 0.25
P4

0.625 0.375
0.75 0.5 0.25 0.5
1 0.6875 0 0.3125
Pn
n
0.5 0.5
1n 2 / 3 0 1/ 3
2 / 3
给定λ, 状态转换序列q = (q1 q2 q3… qT )的概率可
以通过下面的公式计算：
P (q|λ) =πq1αq1q2 … αqT-1qT
则O和q 的联合概率为：
P (O,q|λ) = P (O|q,λ) P (q|λ)
考虑所有的状态转换序列，则：
P(O | ) P(O,q | )
q1bq1(o1)q1q2bq2 (o2)...qT 1qT bqT (oT )
q
q1,q2,...qT
估算观察序列概率：
理论上，可以通过穷举所有状态转换序列的办法计算观察序列O
的概率。 实际上，这样做并不现实。
可能的状态转换序列共有NT个。 需要做(2T–1)NT次乘法运算，NT–1 次加法运算。 若N = 5，T=100，则(2×100-1)×5100≈1072
1
/
3

0.625 0.375

qk 1

yk
1


2 1
/ /
3 3
2/ 1/
3
3

qk

yk


2 / 3(qk 1 / 3(qk

yk )
需要寻找更为有效的计算方法。
隐马尔科夫模型的三个问题各有自己成熟的算法:
已知HMM(内部参数)及观察序列(外部接口参数)，计算 出现外部接口参数的概率，即P(O|λ)?
算法：前向算法、后向算法
前向算法
向前变量αt(i)
αt(i) = P(o1o2o3…ot, qt=i|λ)
αt(i)的含义是，给定模型λ，
0.75qk1 0.25qk2 0.25qk1 0.25qk2 1
qk1 0.5qk2 qk 0.5qk1 1
qk 110.5qk 2
qk 1 0.5qk1 (1 0.5) 0.52 qk2 (1 0.5) 0.52 (1 0.5qk3 )
设某天晴天和下雨的概率为q0和y0，后n天晴天和下 雨的可能为qn和yn。需求出y=lim n→∞yn 。
由于后一天的天气取决于前一天，可得：
qykk11

f (qk g (qk
, ,
yk yk
) )
qk yk f (qk , yk ) g(qk , yk ) 1
函数f 和g形式待定
隐马尔可夫模型可以表示为一个五元组(S,O,A,B,π)
S是一组状态的集合。 S = { 1, 2, 3, . . ., N }(状态n对应坛子n)
O是一组输出符号组成的集合。 O = {Ol, O2, O3,…，OM}(O对应小球) A是状态转移矩阵，N行N列。 A = [aij], aij=P(qt=j|qt-1=i)
f aq by, g cq dy
易求出 a = 0.5, b = 1, c = 0.5，d = 0
qykk11

f (qk g (qk
, ,
yk yk
) )

qk
1 yk 1
0.5qk 0.5qk
yk
从出发点开始，递推出k天后的概率。随天数k的增 加，晴天和下雨的概率逐渐收敛。当幂次趋于无穷 大，晴天和下雨的概率变得相同。易算出当天数 k 趋 于无穷大时，天气情况概率为q=2/3，y =1/3。表明 无论最初天气如何，足够长时间后，下雨的概率会 变成确定值y= 1/3。该城市一年中有三分之一时间下 雨，约122天。
i 1
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )