马尔科夫和隐马尔科夫模型
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如u = (0.28, 0.72 )。
概率矩阵：方阵中，如各列都是概率向量，则方阵
为概率矩阵。如A 和 B 都是概率矩阵，则AB亦为概 率矩阵，An亦为概率矩阵。
设概率矩阵 A，n趋于无穷大时，An趋于一个
固定概率矩阵P，即矩阵中每一个列向量都相
等的概率矩阵。且P的列向量在A作用下不变。
qk
i 1
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )
时刻t，处在状态i，并且部分 观察序列为o1o2o3…ot的概率。
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )
一、Morkov模型
1913年俄国数学家马尔柯夫发现：某些事物的概率变化过程中，
第n次试验的结果常由第n-1次试验的结果决定。在学术研究上
把这种无后效的随机过程称为马尔柯夫过程。
一、Morkov模型
马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅 与前一时刻的状态有关而与过去的状态无关，这样的状态转移 过程就称为马尔可夫过程。
1 0.5 0 0.5
1 0
0.75 0.25
0.5 0.5
P3
0.75 0.25
0.5 0.5 0.5 0.5
1 0
0.625 0.375
0.75 0.25
P1
0.5 0.5
1 0
P2
0.75 0.25
q1bq1(o1)q1q2bq2 (o2)...qT 1qT bqT (oT )
q
q1,q2,...qT
估算观察序列概率：
理论上，可以通过穷举所有状态转换序列的办法计算观察序列O
的概率。 实际上，这样做并不现实。
可能的状态转换序列共有NT个。 需要做(2T–1)NT次乘法运算，NT–1 次加法运算。 若N = 5，T=100，则(2×100-1)×5100≈1072
例：企业经营状况可分为：盈利、不盈不亏、亏损。 商品销售状况可分为：畅销、平销、滞销。 状态转移举例： 营业情况由盈利→亏损。商品由畅销→滞销。
一、Morkov模型
某城市天气变化有如下规律：如今天下雨明天 一定是晴天；如今天是晴天则明天50%可能下 雨。问该城市一年中有多少天下雨？
可认为天气分晴天和下雨两类。晴天和下雨 都是随机事件，后一天天气由前一天决定。 要求的是一年中下雨的概率。
给定HMM: λ=( S,O,A, B，π),给定观察序列 O=(O1,02,03…Ot),如何有效地计算出观察序列的概率， 即P(O|λ)?
给定λ, 以及状态转换序列q = (q1 q2 q3… qT )产生观察 序列O = ( o1 o2 o3 …oT )的概率可以通过下面的公式计
算：
P (O|q, λ) = bq1(o1) bq2(o2) … bqT(oT)
给定λ, 状态转换序列q = (q1 q2 q3… qT )的概率可
以通过下面的公式计算：
P (q|λ) =πq1αq1q2 … αqT-1qT
则O和q 的联合概率为：
P (O,q|λ) = P (O|q,λ) P (q|λ)
考虑所有的状态转换序列，则：
P(O | ) P(O,q | )
在模型参数未知或不准确的情况下，如何根据输出 O和输入π求得模型参数或调整模型参数
二、隐Morkov模型
二、隐Morkov模型 定义了一个一阶马尔科夫模型，包括如下概念： 状态：晴、多云、雨； 状态转移概率； 初始概率。
当不能通过直接观察天气状态预测天气时，水藻与天气有 一定概率关系。
有两组状态：观察状态（水藻状态）和隐含状态（天气状 态）。 希望一个算法通过水藻和马尔科夫过程，在没有观 察天气的情况下得到天气变化情况。
B是输出符号的概率分布。 B={bj(k)} bj(k)表示在状态j时输出符号vk的概率
π是初始状态概率分布
隐马尔可夫过程是一个双重随机过程，其中一重随机 过程不能直接观察到，通过状态转移概率矩阵描述。 另一重随机过程输出可以观察到的观察符号，这由输 出概率来定义。
隐马尔科夫模型的三个问题:
给定HMM: λ=( A, B，π),给定观察序列 O=(O1,02,03…Ot),如何有效地计算出观察序列的概率， 即P(O|λ)?
yk
)
2 / 3
1
/
3
设S是一个由有限个状态组成的集合。
S={l, 2, 3, ...,n-1, n} 随机序列X在t时刻所处的状态为qt，其中qt∈S，若有:
P(qt=j|qt-1=i, qt-2=k,. .) = P(qt=j|qt-1=i) 则随机序列X构成一个一阶马尔科夫链。(Markov Chain) 令aij=P(qt=j|qt-1=i)
如果令每一个坛子对应与一个状态，可以用一个一阶 马尔科夫过程来描述坛子的选择过程。 在马尔科夫过程中，每个状态只有一个输出，但在坛 子和小球的问题中。可以从每个坛子中拿出不同颜色 的小球。也就是每个状态能按照特定的概率分布产生 多个输出。 在坛子与小球问题中，如果给定一个观察序列(不同颜 色的小球序列)，不能直接确定状态转换序列(坛子的序 列)，因为状态转移过程被隐藏起来了。所以这类随机 过程被称为隐马尔科夫过程。
需要寻找更为有效的计算方法。
隐马尔科夫模型的三个问题各有自己成熟的算法:
已知HMM(内部参数)及观察序列(外部接口参数)，计算 出现外部接口参数的概率，即P(O|λ)?
算法：前向算法、后向算法
前向算法
向前变量αt(i)
αt(i) = P(o1o2o3…ot, qt=i|λ)
αt(i)的含义是，给定模型λ，
隐马尔可夫模型可以表示为一个五元组(S,O,A,B,π)
S是一组状态的集合。 S = { 1, 2, 3, . . ., N }(状态n对应坛子n)
O是一组输出符号组成的集合。 O = {Ol, O2, O3,…，OM}(O对应小球) A是状态转移矩阵，N行N列。 A = [aij], aij=P(qt=j|qt-1=i)
有下面的关系成立:
aij 0
aij 0
n
aij
or 1
n
aij
1
j1
i1
马尔科夫模型的三个问题:
给定MM: λ=( S, A, π),给定t时刻O输出,如何有效地 计算出输出的概率，即P(O|λ)?
给定MM: λ=( S, A, π), 最有可能产生的输出是?
设某天晴天和下雨的概率为q0和y0，后n天晴天和下 雨的可能为qn和yn。需求出y=lim n→∞yn 。
由于后一天的天气取决于前一天，可得：
qykk11
f (qk g (qk
, ,
yk yk
) )
qk yk f (qk , yk ) g(qk , yk ) 1
函数f 和g形式待定
0.5 0.5
P3
0.625 0.375
0.75 0.25
P4
0.625 0.375
0.75 0.5 0.25 0.5
1 0.6875 0 0.3125
Pn
n
0.5 0.5
1n 2 / 3 0 1/ 3
2 / 3
1 yk 1
0.5qk 0.5qk
yk
let
X k 1
qk 1 yk 1
,
Xk
qk yk
,
P
0.5 0.5
1 0
X k1 PX k P2 X k1 ... Pn X kn1 ...
P2
0.5 0.5
f (0,1) 1, f (1, 0) 0.5 g(0,1) 0, g(1, 0) 0.5
关系式给出了问题的模型。满足条件的f 和g很多， 须确定它们的具体形式。在满足所有条件后，通常 取最简单的方案。如成功，问题就简单解决了；如 失败，可修正。
本题最简单的是假定f 和g都是自变量的 线性函数，即：
二、隐Morkov模型 语音识别，就是如何通过给出的语音信号预测出 原来的文字信息。 语音信号是观察状态，识别出的文字是隐含状态 应用中，观察状态个数与隐含状态个数可能不一 样。
在一个房间中，假定有N个坛子，每个坛子中都装 有不同颜色的小球，并且假定总共有M种不同颜色的 小球。 在房间中首先随机地选择一个坛子，再从这个坛子 中随机选择一个小球，并把小球的颜色记录下来作 为观察值。 然后把球放回到坛子中，以当前的坛子为条件再随 机选择一个坛子，从中随机选择一个小球，并报 告小球的颜色，然后放回小球，如此继续…，随着时 间的推移，会得到由这个过程产生的一个小球颜色的 序列。
qk
1 yk 1
0.5qk 0.5qk
yk
qk 1
0.5qk
0.5qk 1
0.5(qk
qk 0.5qk 10.5qk 2
qk 1 )
0.75qk 1
0.25qk2
yk1 0.25qk1 0.25qk2
qk1 yk1 qkHale Waihona Puke Baidu yk 1
0.75qk1 0.25qk2 0.25qk1 0.25qk2 1
qk1 0.5qk2 qk 0.5qk1 1
qk 110.5qk 2
qk 1 0.5qk1 (1 0.5) 0.52 qk2 (1 0.5) 0.52 (1 0.5qk3 )
1
/
3
0.625 0.375
X k1 PX k P2 X k1 ... Pn X kn1 ...
qk 1
yk
1
2 1
/ /
3 3
2/ 1/
3
3
qk
yk
2 / 3(qk 1 / 3(qk
yk )
(1 0.5 0.25) 0.53 qk3 ... [1 0.5 0.25 0.125 ... (0.5)n ] [0.5]n qkn
1 (0.5)n1 1 (0.5)
n
2 3 ; yk
1
2 3
1 3
概率向量：任意一个向量，如果它的各元素非负， 且总和等于1，此向量称为概率向量。
f aq by, g cq dy
易求出 a = 0.5, b = 1, c = 0.5，d = 0
qykk11
f (qk g (qk
, ,
yk yk
) )
qk
1 yk 1
0.5qk 0.5qk
yk
从出发点开始，递推出k天后的概率。随天数k的增 加，晴天和下雨的概率逐渐收敛。当幂次趋于无穷 大，晴天和下雨的概率变得相同。易算出当天数 k 趋 于无穷大时，天气情况概率为q=2/3，y =1/3。表明 无论最初天气如何，足够长时间后，下雨的概率会 变成确定值y= 1/3。该城市一年中有三分之一时间下 雨，约122天。
第8讲
马尔可夫模型及隐马尔可夫 模型
The Morkov Model and the Hidden Morkov Model
一、Morkov模型
事物发展有必然偶然。云由水蒸发是必然；哪天下雨偶然。 偶然事件在数学中为随机事件。偶然事件可能性大小为概率。 许多事物的发展受现状支配。如轴承的磨损情况、各竞争企 业的市场占有率等，一个未来完全由现在的状态所确定的过 程称为无后效的。
给定HMM: λ=( A, B，π),给定观察序列 O=(O1,02,03…Ot),如何寻找一个状态转换序列 q=(q1,q2,q3,…qt}，使得该状态转换序列最有可能产 生上述观察序列?
在模型参数未知或不准确的情况下，如何根据观察序列 O=(O1,02,03,…,Ot)求得模型参数或调整模型参数 (训 练问题)
概率矩阵：方阵中，如各列都是概率向量，则方阵
为概率矩阵。如A 和 B 都是概率矩阵，则AB亦为概 率矩阵，An亦为概率矩阵。
设概率矩阵 A，n趋于无穷大时，An趋于一个
固定概率矩阵P，即矩阵中每一个列向量都相
等的概率矩阵。且P的列向量在A作用下不变。
qk
i 1
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )
时刻t，处在状态i，并且部分 观察序列为o1o2o3…ot的概率。
前向算法
显然有 1(i) ibi (o1)(1 i N)
若αt(i) (1≤i≤N)已知，有
N
t1( j) [ t (i)ij ];bj (ot1)(1 t T 1,1 j N )
一、Morkov模型
1913年俄国数学家马尔柯夫发现：某些事物的概率变化过程中，
第n次试验的结果常由第n-1次试验的结果决定。在学术研究上
把这种无后效的随机过程称为马尔柯夫过程。
一、Morkov模型
马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅 与前一时刻的状态有关而与过去的状态无关，这样的状态转移 过程就称为马尔可夫过程。
1 0.5 0 0.5
1 0
0.75 0.25
0.5 0.5
P3
0.75 0.25
0.5 0.5 0.5 0.5
1 0
0.625 0.375
0.75 0.25
P1
0.5 0.5
1 0
P2
0.75 0.25
q1bq1(o1)q1q2bq2 (o2)...qT 1qT bqT (oT )
q
q1,q2,...qT
估算观察序列概率：
理论上，可以通过穷举所有状态转换序列的办法计算观察序列O
的概率。 实际上，这样做并不现实。
可能的状态转换序列共有NT个。 需要做(2T–1)NT次乘法运算，NT–1 次加法运算。 若N = 5，T=100，则(2×100-1)×5100≈1072
例：企业经营状况可分为：盈利、不盈不亏、亏损。 商品销售状况可分为：畅销、平销、滞销。 状态转移举例： 营业情况由盈利→亏损。商品由畅销→滞销。
一、Morkov模型
某城市天气变化有如下规律：如今天下雨明天 一定是晴天；如今天是晴天则明天50%可能下 雨。问该城市一年中有多少天下雨？
可认为天气分晴天和下雨两类。晴天和下雨 都是随机事件，后一天天气由前一天决定。 要求的是一年中下雨的概率。
给定HMM: λ=( S,O,A, B，π),给定观察序列 O=(O1,02,03…Ot),如何有效地计算出观察序列的概率， 即P(O|λ)?
给定λ, 以及状态转换序列q = (q1 q2 q3… qT )产生观察 序列O = ( o1 o2 o3 …oT )的概率可以通过下面的公式计
算：
P (O|q, λ) = bq1(o1) bq2(o2) … bqT(oT)
给定λ, 状态转换序列q = (q1 q2 q3… qT )的概率可
以通过下面的公式计算：
P (q|λ) =πq1αq1q2 … αqT-1qT
则O和q 的联合概率为：
P (O,q|λ) = P (O|q,λ) P (q|λ)
考虑所有的状态转换序列，则：
P(O | ) P(O,q | )
在模型参数未知或不准确的情况下，如何根据输出 O和输入π求得模型参数或调整模型参数
二、隐Morkov模型
二、隐Morkov模型 定义了一个一阶马尔科夫模型，包括如下概念： 状态：晴、多云、雨； 状态转移概率； 初始概率。
当不能通过直接观察天气状态预测天气时，水藻与天气有 一定概率关系。
有两组状态：观察状态（水藻状态）和隐含状态（天气状 态）。 希望一个算法通过水藻和马尔科夫过程，在没有观 察天气的情况下得到天气变化情况。
B是输出符号的概率分布。 B={bj(k)} bj(k)表示在状态j时输出符号vk的概率
π是初始状态概率分布
隐马尔可夫过程是一个双重随机过程，其中一重随机 过程不能直接观察到，通过状态转移概率矩阵描述。 另一重随机过程输出可以观察到的观察符号，这由输 出概率来定义。
隐马尔科夫模型的三个问题:
给定HMM: λ=( A, B，π),给定观察序列 O=(O1,02,03…Ot),如何有效地计算出观察序列的概率， 即P(O|λ)?
yk
)
2 / 3
1
/
3
设S是一个由有限个状态组成的集合。
S={l, 2, 3, ...,n-1, n} 随机序列X在t时刻所处的状态为qt，其中qt∈S，若有:
P(qt=j|qt-1=i, qt-2=k,. .) = P(qt=j|qt-1=i) 则随机序列X构成一个一阶马尔科夫链。(Markov Chain) 令aij=P(qt=j|qt-1=i)
如果令每一个坛子对应与一个状态，可以用一个一阶 马尔科夫过程来描述坛子的选择过程。 在马尔科夫过程中，每个状态只有一个输出，但在坛 子和小球的问题中。可以从每个坛子中拿出不同颜色 的小球。也就是每个状态能按照特定的概率分布产生 多个输出。 在坛子与小球问题中，如果给定一个观察序列(不同颜 色的小球序列)，不能直接确定状态转换序列(坛子的序 列)，因为状态转移过程被隐藏起来了。所以这类随机 过程被称为隐马尔科夫过程。
需要寻找更为有效的计算方法。
隐马尔科夫模型的三个问题各有自己成熟的算法:
已知HMM(内部参数)及观察序列(外部接口参数)，计算 出现外部接口参数的概率，即P(O|λ)?
算法：前向算法、后向算法
前向算法
向前变量αt(i)
αt(i) = P(o1o2o3…ot, qt=i|λ)
αt(i)的含义是，给定模型λ，
隐马尔可夫模型可以表示为一个五元组(S,O,A,B,π)
S是一组状态的集合。 S = { 1, 2, 3, . . ., N }(状态n对应坛子n)
O是一组输出符号组成的集合。 O = {Ol, O2, O3,…，OM}(O对应小球) A是状态转移矩阵，N行N列。 A = [aij], aij=P(qt=j|qt-1=i)
有下面的关系成立:
aij 0
aij 0
n
aij
or 1
n
aij
1
j1
i1
马尔科夫模型的三个问题:
给定MM: λ=( S, A, π),给定t时刻O输出,如何有效地 计算出输出的概率，即P(O|λ)?
给定MM: λ=( S, A, π), 最有可能产生的输出是?
设某天晴天和下雨的概率为q0和y0，后n天晴天和下 雨的可能为qn和yn。需求出y=lim n→∞yn 。
由于后一天的天气取决于前一天，可得：
qykk11
f (qk g (qk
, ,
yk yk
) )
qk yk f (qk , yk ) g(qk , yk ) 1
函数f 和g形式待定
0.5 0.5
P3
0.625 0.375
0.75 0.25
P4
0.625 0.375
0.75 0.5 0.25 0.5
1 0.6875 0 0.3125
Pn
n
0.5 0.5
1n 2 / 3 0 1/ 3
2 / 3
1 yk 1
0.5qk 0.5qk
yk
let
X k 1
qk 1 yk 1
,
Xk
qk yk
,
P
0.5 0.5
1 0
X k1 PX k P2 X k1 ... Pn X kn1 ...
P2
0.5 0.5
f (0,1) 1, f (1, 0) 0.5 g(0,1) 0, g(1, 0) 0.5
关系式给出了问题的模型。满足条件的f 和g很多， 须确定它们的具体形式。在满足所有条件后，通常 取最简单的方案。如成功，问题就简单解决了；如 失败，可修正。
本题最简单的是假定f 和g都是自变量的 线性函数，即：
二、隐Morkov模型 语音识别，就是如何通过给出的语音信号预测出 原来的文字信息。 语音信号是观察状态，识别出的文字是隐含状态 应用中，观察状态个数与隐含状态个数可能不一 样。
在一个房间中，假定有N个坛子，每个坛子中都装 有不同颜色的小球，并且假定总共有M种不同颜色的 小球。 在房间中首先随机地选择一个坛子，再从这个坛子 中随机选择一个小球，并把小球的颜色记录下来作 为观察值。 然后把球放回到坛子中，以当前的坛子为条件再随 机选择一个坛子，从中随机选择一个小球，并报 告小球的颜色，然后放回小球，如此继续…，随着时 间的推移，会得到由这个过程产生的一个小球颜色的 序列。
qk
1 yk 1
0.5qk 0.5qk
yk
qk 1
0.5qk
0.5qk 1
0.5(qk
qk 0.5qk 10.5qk 2
qk 1 )
0.75qk 1
0.25qk2
yk1 0.25qk1 0.25qk2
qk1 yk1 qkHale Waihona Puke Baidu yk 1
0.75qk1 0.25qk2 0.25qk1 0.25qk2 1
qk1 0.5qk2 qk 0.5qk1 1
qk 110.5qk 2
qk 1 0.5qk1 (1 0.5) 0.52 qk2 (1 0.5) 0.52 (1 0.5qk3 )
1
/
3
0.625 0.375
X k1 PX k P2 X k1 ... Pn X kn1 ...
qk 1
yk
1
2 1
/ /
3 3
2/ 1/
3
3
qk
yk
2 / 3(qk 1 / 3(qk
yk )
(1 0.5 0.25) 0.53 qk3 ... [1 0.5 0.25 0.125 ... (0.5)n ] [0.5]n qkn
1 (0.5)n1 1 (0.5)
n
2 3 ; yk
1
2 3
1 3
概率向量：任意一个向量，如果它的各元素非负， 且总和等于1，此向量称为概率向量。
f aq by, g cq dy
易求出 a = 0.5, b = 1, c = 0.5，d = 0
qykk11
f (qk g (qk
, ,
yk yk
) )
qk
1 yk 1
0.5qk 0.5qk
yk
从出发点开始，递推出k天后的概率。随天数k的增 加，晴天和下雨的概率逐渐收敛。当幂次趋于无穷 大，晴天和下雨的概率变得相同。易算出当天数 k 趋 于无穷大时，天气情况概率为q=2/3，y =1/3。表明 无论最初天气如何，足够长时间后，下雨的概率会 变成确定值y= 1/3。该城市一年中有三分之一时间下 雨，约122天。
第8讲
马尔可夫模型及隐马尔可夫 模型
The Morkov Model and the Hidden Morkov Model
一、Morkov模型
事物发展有必然偶然。云由水蒸发是必然；哪天下雨偶然。 偶然事件在数学中为随机事件。偶然事件可能性大小为概率。 许多事物的发展受现状支配。如轴承的磨损情况、各竞争企 业的市场占有率等，一个未来完全由现在的状态所确定的过 程称为无后效的。
给定HMM: λ=( A, B，π),给定观察序列 O=(O1,02,03…Ot),如何寻找一个状态转换序列 q=(q1,q2,q3,…qt}，使得该状态转换序列最有可能产 生上述观察序列?
在模型参数未知或不准确的情况下，如何根据观察序列 O=(O1,02,03,…,Ot)求得模型参数或调整模型参数 (训 练问题)