隐马尔科夫模型

5.2隐马尔科夫模型的引入 5.2隐马尔科夫模型的引入
• HMM是一个输出符号序列的统计模型，具有N个状 HMM是一个输出符号序列的统计模型， 是一个输出符号序列的统计模型 态 , S ,L , S ，它按一定的周期从一个状态转移到另一个状 S 态，每次转移时，输出一个符号。转移到哪一个状态，转 每次转移时，输出一个符号。转移到哪一个状态， 移时输出什么符号， 移时输出什么符号，分别由状态转移概率和转移时的输出 概率来决定。因为只能观测到输出符号序列， 概率来决定。因为只能观测到输出符号序列，而不能观测 到状态转移序列（即模型输出符号序列时， 到状态转移序列（即模型输出符号序列时，是通过了哪些 状态路径，不能知道），所以称为隐藏的马尔可夫模型。 状态路径，不能知道），所以称为隐藏的马尔可夫模型。 ），所以称为隐藏的马尔可夫模型
P( S ) = ∏ P( si | s1i −1 ) = ∏ P( si | si −1 )
i i
P (O | S ) = ∏ P (oi | s1i ) = ∏ P(oi | si −1 , si )
i i
• 因为是隐Markov模型，把所有可能的状态转移序列都考虑进 因为是隐Markov模型， Markov模型 则有： 去，则有：
P (O) = ∑ P (O | S ) P( S ) = ∑∏ P ( s i | si −1 ) P (oi | s i −1 , si )
S S i
这就是上面我们计算输出符号序列aab的输出概率时所用的 方法。 方法。
HMM的基本元素 HMM的基本元素
根据以上的分析，对于语音识别用HMM可以用下面六个 根据以上的分析，对于语音识别用HMM可以用下面六个 HMM 模型参数来定义， 模型参数来定义，即： M = {S , O, A, B, π , F } :模型中状态的有限集合，即模型由几个状态组成。设 模型中状态的有限集合，即模型由几个状态组成。 S = {Si | i =1,2,L, N} st 个状态， 有Ns 个状态S ) ， 。记t时刻模型所处状态为 ，显 t ∈ ( S1 , L , N 在球与缸的实验中的缸就相当于状态。 然 。在球与缸的实验中的缸就相当于状态。 O
P (t , t + 1) ij ≥ 0
∑
N j =1
P (t , t + 1) ij = 1
P (t , t + 1) ij • 同时满足： 同时满足： S1 , S 2 , L • 这里 是当时刻t从状态i在时刻t+1到状态j的转移概率， 是当时刻t从状态i在时刻t+1到状态j的转移概率， t+1到状态 P (t ) ij ≥ 0 当这个转移概率是与时间无关的常数时， 当这个转移概率是与时间无关的常数时，又叫 是具有 常数转移概率的Markov过程。另外， Markov过程 表示t存在时， 常数转移概率的Markov过程。另外， 表示t存在时，从 P (t ) ij ≥ 0 状态i到状态j的转移是可能的。对于任意的i,j i,j都有 状态i到状态j的转移是可能的。对于任意的i,j都有 则这个Markov过程，是正则Markov过程。 Markov过程 Markov过程 则这个Markov过程，是正则Markov过程。
5.3隐马尔科夫模型的定义 5.3隐马尔科夫模型的定义
离散Markov过程 离散Markov过程 Markov
Markov链是Markov 随机过程的特殊情况， Markov链是 Markov链是Markov 随机过程的特殊情况，即Markov链是 链是 状态和时间参数都离散的Markov过程。 Markov过程 状态和时间参数都离散的Markov过程。 • 设在时刻t的随机变量用 t 、其观察值用t 表示，则如果 S s 表示， 当 S t +1 = st +1 S1 =s1,S2 =s2,LSt =st , 的前提下， 的概率是如下式所示， 的前提下， 的概率是如下式所示，则 称其为n1 = st +1 | S过程 称其为tn阶Markov1t = s1t ) = P ( S t +1 = s t +1 | S tt− n +1 = s tt− n +1 ) P ( S + Markov过程
概率矩阵， 概率矩阵，即：
a11 L a1N A= M O M a N 1 L a NN
a ij
其中 a ≤ 1 ∑ a = 1 是从状态 0≤
N
Si
Sj
ij
有
,
j =1
ij
到状态
转移时的转移概率， 转移时的转移概率，
1 ≤ i, j ≤ N
且
。在球与缸实验中，它指描述每次在当前 在球与缸实验中，
5.1概述 5.1概述 5.2隐马尔科夫模型的引入 5.2隐马尔科夫模型的引入 5.3隐马尔科夫模型的定义 5.3隐马尔科夫模型的定义 5.4隐马尔科夫模型的基本算法 5.4隐马尔科夫模型的基本算法 5.5隐马尔科夫模型的各种结构类型 5.5隐马尔科夫模型的各种结构类型 5.6隐马尔科夫模型的一些实际问题 5.6隐马尔科夫模型的一些实际问题
• 系统在任一时刻所处的状态只与此时刻的前一时刻所处的状 态有关。而且，为了处理问题方便，我们只考虑式（ 态有关。而且，为了处理问题方便，我们只考虑式（5-4） Pij (t , t + 1) = P[ S t +1 = s j | 右边的概率与时间无关的情况， S t = 右边的概率与时间无关的情况，即： s i ]
选取得缸的条件下选取下一个缸的概率。 选取得缸的条件下选取下一个缸的概率。
• 特别地，当如下式成立时，则称其为1阶Markov过程，又叫 特别地，当如下式成立时，则称其为1 Markov过程， 过程 单纯Markov过程。 单纯Markov过程。 Markov过程
P ( S t +1 = s t +1 | S1t = s1t ) = P ( S t +1 = s t +1 | S t = s t )
oi
隐Markov模型 Markov模型 • HMM类似于一阶Markov过程。不同点是HMM是一个双内嵌式随 HMM类似于一阶Markov过程 不同点是HMM 类似于一阶Markov过程。 HMM是一个双内嵌式随 机过程。正如在前一小节所介绍的一样，HMM是由两个随机 机过程。正如在前一小节所介绍的一样，HMM是由两个随机 过程组成，一个是状态转移序列，它对应着一个单纯Markov 过程组成，一个是状态转移序列，它对应着一个单纯Markov 过程。另一个是每次转移时输出的符号组成的符号序列。 过程。另一个是每次转移时输出的符号组成的符号序列。在 语音识别用HMM HMM中 相邻符号之间是不相关的（ 语音识别用HMM中，相邻符号之间是不相关的（这当然不符 合语音信号的实际情况，这也是HMM的一个缺点，对此， HMM的一个缺点 合语音信号的实际情况，这也是HMM的一个缺点，对此，已 经有许多改进的HMM被提出）。这二个随机过程， HMM被提出）。这二个随机过程 经有许多改进的HMM被提出）。这二个随机过程，其中一个 S = s1 s 2 L sT O = o1o2 L oT 随机过程是不可观测的， 随机过程是不可观测的，只能通过另一个随机过程的输出观 si oi 察序列观测。 si −1 察序列观测。设状态转移序列为 ，输出的符号序列 则在单纯Markov Markov过程和相邻符号之间是不相关 为 ，则在单纯Markov过程和相邻符号之间是不相关 的假设下（ 的假设下（即 和 之间转移时的输出观察值 和其他转 移之间无关），有下式成立： ），有下式成立 移之间无关），有下式成立：
5.1 概述
• 隐马尔可夫模型(HMM)，作为语音信号的一种统计模型， 隐马尔可夫模型(HMM)，作为语音信号的一种统计模型， (HMM) 今天正在语音处理各个领域中获得广泛的应用。由于Bell 今天正在语音处理各个领域中获得广泛的应用。由于Bell 实验室Rabiner等人在80年代中期对HMM的深入浅出的介绍， 实验室Rabiner等人在80年代中期对HMM的深入浅出的介绍， Rabiner等人在80年代中期对HMM的深入浅出的介绍 HMM为世界各国从事语音信号处理的研究人员所了解和 使HMM为世界各国从事语音信号处理的研究人员所了解和 熟悉，进而成为公认的一个研究热点。近几十年来， 熟悉，进而成为公认的一个研究热点。近几十年来，隐马 尔可夫模型技术无论在理论上或是在实践上都有了许多进 展。其基本理论和各种实用算法是现代语音识别等的重要 基础之一。 基础之一。
1 2 N
• 一个简单的三状态HMM的例子 一个简单的三状态HMM的例子 HMM

• 假设有一个实际的物理过程，产生了一个可观察的序列。在 假设有一个实际的物理过程，产生了一个可观察的序列。 这种情况下， 这种情况下，建立一个模型来描述这个序列的特征是非常重 要的。如果在分析的区间内，信号是非时变的或平稳的， 要的。如果在分析的区间内，信号是非时变的或平稳的，那 么使用众所周知的线性模型来描述该信号就可以了。例如， 么使用众所周知的线性模型来描述该信号就可以了。例如， 语音信号在短时间（ 10～30ms）内认为是平稳的，所以， 语音信号在短时间（约10～30ms）内认为是平稳的，所以， 在一段短时间内， 在一段短时间内，就可以用一个全零点模型或极零点模型来 描述它，这就是线性预测 LPC）模型。但整体来讲， 线性预测（ 描述它，这就是线性预测（LPC）模型。但整体来讲，语音 信号是时变的，所以用模型表示时，其参数也是时变的。 信号是时变的，所以用模型表示时，其参数也是时变的。但 是语音信号是慢时变信号，所以，简单的考虑方法是： 是语音信号是慢时变信号，所以，简单的考虑方法是：在较 短的时间内用线性模型参数来表示，然后， 短的时间内用线性模型参数来表示，然后，再将许多线性模 型在时间上串接起来，这就是马尔可夫链 Markov链 马尔可夫链（ 型在时间上串接起来，这就是马尔可夫链（Markov链）。 Markov链虽然可以描述时变信号 但不是最佳的和最有效的。 链虽然可以描述时变信号， Markov链虽然可以描述时变信号，但不是最佳的和最有效的。
• 而HMM的出现，既解决了用短时模型描述平稳段的信号，又 HMM的出现，既解决了用短时模型描述平稳段的信号， 的出现 解决了每个短时平稳段是如何转变到下一个短时平稳段的。 解决了每个短时平稳段是如何转变到下一个短时平稳段的。 HMM是由两个随机过程组成 是由两个随机过程组成， HMM是由两个随机过程组成，一个随机过程描述状态和观察 值之间的统计对应关系的， 值之间的统计对应关系的，它解决了用短时模型描述平稳段 的信号的问题；由于实际问题比Markov Markov链模型所描述的更为 的信号的问题；由于实际问题比Markov链模型所描述的更为 复杂，观察到的事件并不是如Markov Markov链模型中与状态一一对 复杂，观察到的事件并不是如Markov链模型中与状态一一对 所以HMM 应，所以HMM 通过另一组概率分布相联系的状态的转移统计 对应关系来描述每个短时平稳段是如何转变到下一个短时平 稳段的。 稳段的。 • 语音识别的最大困难之一就是如何对语音的发音速率及声学 变化建立模型。随着HMM被引入到语音识别领域中， HMM被引入到语音识别领域中 变化建立模型。随着HMM被引入到语音识别领域中，这一棘 手问题得到了较圆满地解决。HMM很好的描述了语音信号的 手问题得到了较圆满地解决。HMM很好的描述了语音信号的 整体非平稳性和局部平稳性， 整体非平稳性和局部平稳性，是一种较为理想的语音信号模 型。
M ， :输出的观测值符号的集合，即每个状态对应的可能的 输出的观测值符号的集合O1,L,OM
• •
S
•
观察值数目。 观察值数目。记 察值为 ，其中 色就是观察值。 色就是观察值。
ot
ot ∈ (O1 ,L , OM )
个观察值为 ，记t时刻观察到的观 。在球与缸实验中所选彩球的颜
•
A :状态转移概率的集合。所有转移概率可以构成一个转移 状态转移概率的集合。