隐马尔可夫模型技术

{i}
HMM的基本要素
• 用模型五元组
来{ 描N 述HM,MM ，或,简写,为A ,B }
{,A,B}
参数 N M
A=[aij]
含义 状态总数 每个状态可能的观察值数目 与时间无关的状态转移概率矩阵
实例 缸的数目
彩球颜色数目
在选定某个缸的情况下，选择另一个缸 的概率
B=[bjk]
给定状态下，观察值概率分布
马尔可夫链 • 时间和状态都离散的马尔可夫过程称为马尔可夫链
• 记作{Xn = X(n), n = 0,1,2,…} • 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果
• 链的状态空间记做I = {a1, a2,…}, ai∈R. • 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状
隐马尔可夫ห้องสมุดไป่ตู้型技术
1
HMM的由来
1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出马尔科夫模型 马尔可夫模型 马尔可夫链 隐马尔可夫模型
马尔可夫性
•
如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过
程为马尔可夫过程。
•
X(t+1) = f( X(t) )
晴天
多云
晴天
0.8
0.8
0.1
0.4
0.3
0.1
0.2
P(O| Mod)elP[3,3,3,1,1,3,2,3]| Mod]el P[3]P[3| 3]2P[1| 3]P[1|1]P[3|1]P[2| 3]P[3| 2]
3(a33)2a31a11a13a32a23
(1.0)(0.8)2(0.1)(0.4)(0.3)(0.1)(0.2) 1.536*104
实现在语音处理上的应用
3
HMM实例 2
1
屏障
观察到的球的颜色 设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实验方式如下: 根据初始概率分布，随机选择N个缸中的一个开始实验 根据缸中球颜色的概率分布,随机选择一个球,记球的颜色为O1 ,并把球放回缸中 根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。
一阶离散马尔可夫模型
P(qt1 s1 | qt s1) 0 P(qt1 s2 | qt s1) 0 P(qt1 s3| qt s1) 1
1/2 s1
1/3 1
s3
P(qt1 s1 | qt s3) 1/3 P(qt1 s2 | qt s3) 2/3 P(qt1 s3| qt s3) 0
每个缸中的颜色分布
初始状态空间的概率分布
最后得到一个描述球的颜色的序列O1, O2,…，称为观察值序列O
HMM实例——约束
在上述实验中，有几个要点需要注意：
• 不能直接观察缸间的转移 • 从缸中所选取的球的颜色和缸并不是一一对应的 • 每次选取哪个缸由一组转移概率决定
什么是 HMM?
• 绿圈 • 表示隐含状态－－隐 • 仅依赖于前一个状态－－齐次 • 给定当前状态，过去与将来无关－－马尔可夫
i, j i
一阶离散马尔可夫模型
0.4
0.6
下雨 0.1
0.3
0.2
0.3
0.1
多云 0.2
晴天
0.8
➢ 下雨---状态1 ➢ 多云---状态2 ➢ 晴天---状态3
一问阶题离：散马尔可夫模型 连续8天的天气状况为“晴天-晴天-晴天-下雨-下雨-晴天-多云-晴天”的概率是多少？
晴天
晴天
晴天
下雨
下雨
• 当Pij(m,m+n)与m无关时，称马尔可夫链为齐次马尔可夫链，通常说的马尔可夫链都是指齐次马尔可夫
链。
Pij(m,mn)1,i1,2,
j1
一阶离散马尔可夫模型
s1
s2
s3
➢ 有N个状态，S1,S2…SN ➢存在一个离散的时间序列
t=0,t=1…… ➢在每个时刻t，系统只能处于唯一一个状态qt
• 紫圈 • 是输出观察序列的状态 • 仅依赖于各自对应的隐状态
HMM 模型
A
A
A
A
S
S
S
S
S
B
B
B
K
K
K
K
K
• {N,M, , A, B}
• S : {s1…sN } 隐状态的值，共有N种可能值
• K : {k1…kM } 观察的值，共有M种可能值
•
隐状态初始概率
• A = {aij} 隐状态转移概率，N×N • B = {bjk} 观察状态的概率，N×M
一阶离散马尔可夫链 晴天-晴天-晴天-下雨-下雨-晴天-多云-晴天
晴天
晴天
晴天 t-1
下雨 t
下雨 t+1
晴天
多云
晴天
马尔可夫链
隐马尔可夫链（HMM）理论
❖ 信号统计理论模型 ❖ 起源于60年代后期 ❖ Baum和他的同事首先提出 ❖ Baker(CMU)和Jelinek(IBM)在70年代早期
态aj的转移概率。
转移概率矩阵 晴天
阴天
晴天 0.50 阴天 0.375 下雨 0.25
0.25 0.25 0.125
晴天 0.25 0.375 0.625
阴天
下雨
下雨
转移概率矩阵(续) • 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所
以有
1/2
P(qt1 s2 | qt s1) 0 s1
P(qt1 s3| qt s1) 1
1/3 1
s3
P(qt1 s1 | qt s3) 1/3 P(qt1 s2 | qt s3) 2/3 P(qt1 s3| qt s3) 0
s2
P(qt1 s1 | qt s2) 1/ 2
2/3
P(qt1 s2 | qt s2) 1/ 2 P(qt1 s3| qt s2) 0
1/2
s2 P(qt1 s1 | qt s2) 1/2 P(qt1 s2 | qt s2) 1/2
2/3 P(qt1 s3| qt s2) 0
a ij P [q t j|q t 1 i] , 1 i,j N
➢aij--- 转移概率 并且满足如下的标准随机约束条件:
aij 0
N
aij 1
j 1
➢ 下一个时刻所处的状态是随机出现的
N=3 t=0
q0=s3
当前状态
➢ 当前状态qt只与前面相邻的一个状态qt-1有 关，与其他状态无关
P [ q t j |q t 1 i , q t 2 k , . P [ q . t . j |q t ] 1 i ]
一阶离散马尔可夫模型
1/2
P(qt1 s1 | qt s1) 0