n阶隐马尔科夫模型的参数估计

合集下载

马尔可夫网络的参数估计方法(十)

马尔可夫网络的参数估计方法马尔可夫网络是一种描述随机过程的数学工具，它可以用来建模时间序列数据、自然语言处理等领域。

在实际应用中，我们通常需要对马尔可夫网络的参数进行估计，以便更准确地模拟和预测系统的行为。

在本文中，我们将讨论一些常见的马尔可夫网络参数估计方法，并对它们的优缺点进行比较。

1. 最大似然估计（Maximum Likelihood Estimation, MLE）最大似然估计是一种常见的参数估计方法，它通过最大化观测数据的似然函数来估计参数值。

对于马尔可夫链模型来说，我们可以通过观测数据的转移概率来估计状态转移矩阵。

具体来说，对于一个马尔可夫链模型，我们可以定义观测数据的似然函数为所有状态转移的联合概率，然后通过最大化这个似然函数来估计状态转移矩阵的参数值。

虽然最大似然估计是一种直观简单的估计方法，但是它也存在一些缺点。

首先，当观测数据较少时，似然函数可能存在多个局部最优解，使得估计结果不够稳定。

其次，当模型的参数维度较高时，最大似然估计可能会导致过拟合，从而影响模型的泛化能力。

2. 贝叶斯估计（Bayesian Estimation）贝叶斯估计是一种基于贝叶斯统计理论的参数估计方法，它通过引入先验概率分布来对参数进行估计。

对于马尔可夫链模型来说，我们可以通过引入状态转移概率的先验分布来对状态转移矩阵进行估计。

具体来说，我们可以选择一个合适的先验分布，然后通过观测数据来更新参数的后验分布，最终得到参数的估计值。

贝叶斯估计的优点在于它可以有效地利用先验信息，从而提高参数估计的稳定性和泛化能力。

另外，贝叶斯估计还可以提供参数估计的不确定性信息，这对于模型的评估和选择非常有帮助。

然而，贝叶斯估计也存在一些问题，比如选择合适的先验分布可能会影响参数估计的结果，而且计算复杂度较高。

3. 最大后验概率估计（Maximum a posteriori Estimation, MAP）最大后验概率估计是贝叶斯估计的一种特殊情况，它通过最大化后验概率来估计参数值。

隐马尔可夫模型的基本用法

隐马尔可夫模型的基本用法隐马尔可夫模型（HiddenMarkovModel，HMM）是一种用于描述随机过程的概率模型，它在自然语言处理、语音识别、生物信息学、金融分析等领域得到了广泛应用。

本文将介绍隐马尔可夫模型的基本概念、数学表达、参数估计、解码算法等内容，希望对读者理解和应用该模型有所帮助。

一、隐马尔可夫模型的基本概念隐马尔可夫模型是一个二元组（Q, O, A, B, π），其中：Q = {q1, q2, …, qN}是状态集合，表示模型中可能出现的所有状态；O = {o1, o2, …, oT}是观测集合，表示模型中可能出现的所有观测；A = [aij]是状态转移矩阵，其中aij表示从状态i转移到状态j的概率；B = [bj(k)]是观测概率矩阵，其中bj(k)表示在状态j下观测到k的概率；π = [πi]是初始状态概率向量，其中πi表示模型开始时处于状态i的概率。

隐马尔可夫模型的基本假设是：每个时刻系统处于某一状态，但是我们无法观测到该状态，只能观测到该状态下产生的某个观测。

因此，我们称该状态为隐状态，称观测为可观测状态。

隐马尔可夫模型的任务就是根据观测序列推断出最有可能的隐状态序列。

二、隐马尔可夫模型的数学表达隐马尔可夫模型的数学表达可以用贝叶斯公式表示：P(O|λ) = ∑Q P(O|Q, λ)P(Q|λ)其中，O表示观测序列，Q表示隐状态序列，λ表示模型参数。

P(O|Q, λ)表示在给定隐状态序列Q和模型参数λ的条件下，观测序列O出现的概率；P(Q|λ)表示在给定模型参数λ的条件下，隐状态序列Q出现的概率。

P(O|λ)表示在给定模型参数λ的条件下，观测序列O出现的概率。

如何使用隐马尔科夫模型进行时间序列预测(六)

隐马尔科夫模型（Hidden Markov Model, HMM）是一种用于建模时间序列数据的统计模型，常用于语音识别、自然语言处理、生物信息学等领域。

本文将从HMM的基本原理、参数估计、模型选择和时间序列预测等方面进行论述。

一、HMM的基本原理HMM是一种由状态、观测值和状态转移概率矩阵组成的动态随机过程模型。

在HMM中，状态不可见，只能通过观测值来推断。

HMM包括三个核心要素：状态空间、观测空间和状态转移概率矩阵。

状态空间描述系统可能处于的不同状态，观测空间描述系统可观测到的不同观测值，状态转移概率矩阵描述系统从一个状态转移到另一个状态的概率。

二、参数估计在使用HMM进行时间序列预测时，需要对HMM的参数进行估计。

常用的参数估计方法包括极大似然估计、期望最大化算法等。

极大似然估计是一种通过最大化观测序列的联合概率来估计HMM参数的方法，期望最大化算法是一种通过迭代优化HMM参数来最大化观测序列概率的方法。

三、模型选择在使用HMM进行时间序列预测时，需要选择合适的HMM模型。

模型选择包括确定状态空间大小、选择合适的观测空间、确定状态转移概率矩阵等。

常用的模型选择方法包括交叉验证、信息准则等。

交叉验证是一种通过将数据集划分为训练集和测试集来评估模型性能的方法，信息准则是一种通过模型复杂度和数据拟合程度来选择合适模型的方法。

四、时间序列预测使用HMM进行时间序列预测的过程包括模型训练和预测两个阶段。

在模型训练阶段，需要通过已有的时间序列数据来估计HMM的参数；在预测阶段，可以使用已训练好的HMM模型来对未来的时间序列进行预测。

常用的时间序列预测方法包括前向算法、维特比算法等。

前向算法是一种通过动态规划来计算观测序列的概率和状态序列的概率的方法，维特比算法是一种通过动态规划来计算最优状态序列的方法。

综上所述，HMM是一种强大的时间序列预测模型，通过合理选择HMM的参数和模型，可以有效地对时间序列数据进行预测。

隐马尔可夫模型参数估计

隐马尔可夫模型参数估计
隐马尔可夫模型参数估计是指在隐马尔可夫模型中，根据观
测数据估计模型参数的过程。

隐马尔可夫模型是一种概率模型，
它用来描述一个隐藏状态序列的概率分布，它可以用来描述一个
隐藏状态序列的概率分布，以及它们之间的转移概率。

隐马尔可
夫模型参数估计是一个复杂的过程，它需要根据观测数据来估计
模型参数，以便更好地描述隐藏状态序列的概率分布。

隐马尔可夫模型参数估计的方法有很多，其中最常用的是最
大似然估计法。

最大似然估计法是一种概率模型参数估计的方法，它的基本思想是，根据观测数据，求出使得观测数据出现的概率
最大的模型参数。

另外，还有一些其他的参数估计方法，比如最
小二乘法、最小化KL散度等。

隐马尔可夫模型参数估计的结果可以用来描述隐藏状态序列
的概率分布，以及它们之间的转移概率。

此外，它还可以用来预
测未来的状态，以及推断未知的状态。

因此，隐马尔可夫模型参
数估计是一个非常重要的过程，它可以帮助我们更好地理解隐藏
状态序列的概率分布，以及它们之间的转移概率。

n阶隐马尔可夫模型的参数估计

南京邮电大学硕士学位论文n阶隐马尔可夫模型的参数估计姓名：***申请学位级别：硕士专业：应用数学指导教师：***2011-03摘要本文给出了n 阶隐马尔可夫模型()n HMM 的定义及结构。

在传统的隐马尔可夫模型及二阶隐马尔可夫模型2()HMM 的基础上，研究了n 阶隐马尔可夫模型的前向、后向算法，Baum —Welch 算法，并导出了n HMM 在单观测序列培训和多观测序列培训两种情况下的参数重估公式。

最后，研究了与观测信息相关的n 阶隐马尔可夫模型()n n HMM ⨯以及混合n 阶隐马尔可夫模型()n MHMM 的Baum —Welch 算法。

论文主要分为五个部分。

第一部分阐述隐马尔可夫模型理论的发展以及国内外研究现状，引出本文的研究背景，然后介绍了一种约束最优化方法。

第二部分主要介绍n 阶隐马尔可夫模型的前向、后向算法。

第三部分首先介绍n 阶隐马尔可夫模型的Baum-Welch 算法，紧跟着给出n 阶隐马尔可夫模型的参数重估公式，最后介绍重估公式的物理含义。

第四部分给出n 阶隐马尔可夫模型在多观测序列培训情况下的参数重估公式。

第五部分给出与观测信息相关的n 阶隐马尔可夫模型以及混合n 阶隐马尔可夫模型的定义及结构，进而研究n n HMM ⨯以及n MHMM 的前向、后向算法，Baum —Welch 算法，并分别推导出了它们的参数重估公式。

关键词：前向、后向算法；Baum —Welch 算法；多观测序列；Baum 辅助函数ABSTRACTThis paper describes the structure of nth-order hidden markov model on condition that observation noise is not independent of the markov chain, and then researches the forward-backward algorithm and the Baum-Welch algorithm of the model, and derives the parametric estimation equations for the model assuming one observable sequence only. Furthermore, nth-order hidden Markov model is trained with multiple observable sequences and several new formulae solving model training problem are derived. Finally , the paper researches the Baum-Welch algorithm of nth-order hidden markov model relation with the observations ()n n HMM ⨯ and mixture of nth-order hidden markov model ()n MHMM .This paper is divided into five parts as follows:The first part describes the development of hidden markov model theory and related research at home and abroad, then introduces the study background of this dissertation. In the end, a kind of constrained optimization method is presented.The second part focuses on the forward-backward algorithm of nth-order hidden markov model.Firstly the third part introduces the Baum-Welch algorithm of nth-order hidden markov model, followed the model parameter estimation equations. Finally it ’s the introduction of the physical meaning of the model.The fourth part derives the parametric estimation equations for nth-order hidden markov model assuming multiple observable sequences.In the fifth part, the paper describes the structures of n n HMM ⨯ and n MHMM , and derives the update parametric estimation equations for these two models according to Baum-Welch algorithm.Keywords: forward-backward algorithm; Baum-Welch algorithm; multiple observable sequences; Baum auxiliary function缩略词南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。

马尔可夫网络的参数估计方法(五)

马尔可夫网络的参数估计方法马尔可夫网络是一种用于建模随机过程的图模型，它描述了一个系统在不同状态之间转移的概率。

马尔可夫网络被广泛应用于自然语言处理、生物信息学和机器学习等领域。

在实际应用中，我们经常需要根据观测数据来估计马尔可夫网络的参数，以便进行推断和预测。

本文将介绍几种常见的马尔可夫网络的参数估计方法。

一、最大似然估计最大似然估计是一种常用的参数估计方法，它通过最大化观测数据的似然函数来估计参数。

对于马尔可夫网络，我们可以利用观测数据来构造状态转移矩阵，并通过最大似然估计来估计状态转移概率。

假设我们有一组观测序列，我们可以统计每个状态的出现次数以及状态转移的次数，然后利用这些统计量来估计状态转移概率。

最大似然估计是一种直观且易于理解的参数估计方法，但在数据稀疏的情况下容易产生过拟合的问题。

二、贝叶斯估计贝叶斯估计是一种基于贝叶斯理论的参数估计方法，它通过引入先验分布来对参数进行估计。

对于马尔可夫网络，我们可以引入Dirichlet分布作为状态转移概率的先验分布，然后利用观测数据来更新参数的后验分布。

贝叶斯估计能够有效地处理数据稀疏的情况，并且能够有效地控制参数的复杂度。

但是贝叶斯估计需要对先验分布进行合理的选择，并且需要进行参数的后验推断，计算复杂度较高。

三、EM算法EM算法是一种常见的参数估计方法，它通过迭代的方式来估计参数。

对于马尔可夫网络，我们可以利用EM算法来估计隐藏状态的概率分布以及状态转移的概率。

在E步骤中，我们通过当前参数来计算隐藏状态的后验概率，然后在M步骤中利用这些后验概率来更新参数。

EM算法能够有效地处理隐变量的情况，并且能够收敛到局部最优解。

但是EM算法对初始参数的选择敏感，容易陷入局部最优解。

四、Gibbs抽样Gibbs抽样是一种基于马尔可夫链的参数估计方法，它通过在马尔可夫链上进行随机游走来估计参数。

对于马尔可夫网络，我们可以构造一个马尔可夫链，然后在该链上进行随机游走来估计参数。

隐马尔可夫模型三个基本问题以及相应的算法

隐马尔可夫模型三个基本问题以及相应的算法1. 背景介绍隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，用于描述具有隐藏状态的序列数据。

HMM在很多领域中得到广泛应用，如语音识别、自然语言处理、机器翻译等。

在HMM中，我们关心三个基本问题：评估问题、解码问题和学习问题。

2. 评估问题评估问题是指给定一个HMM模型和观测序列，如何计算观测序列出现的概率。

具体而言，给定一个HMM模型λ=(A,B,π)和一个观测序列O=(o1,o2,...,o T)，我们需要计算P(O|λ)。

前向算法（Forward Algorithm）前向算法是解决评估问题的一种经典方法。

它通过动态规划的方式逐步计算前向概率αt(i)，表示在时刻t处于状态i且观测到o1,o2,...,o t的概率。

具体而言，前向概率可以通过以下递推公式计算：N(i)⋅a ij)⋅b j(o t+1)αt+1(j)=(∑αti=1其中，a ij是从状态i转移到状态j的概率，b j(o t+1)是在状态j观测到o t+1的概率。

最终，观测序列出现的概率可以通过累加最后一个时刻的前向概率得到：N(i)P(O|λ)=∑αTi=1后向算法（Backward Algorithm）后向算法也是解决评估问题的一种常用方法。

它通过动态规划的方式逐步计算后向概率βt(i)，表示在时刻t处于状态i且观测到o t+1,o t+2,...,o T的概率。

具体而言，后向概率可以通过以下递推公式计算：Nβt(i)=∑a ij⋅b j(o t+1)⋅βt+1(j)j=1其中，βT(i)=1。

观测序列出现的概率可以通过将初始时刻的后向概率与初始状态分布相乘得到：P (O|λ)=∑πi Ni=1⋅b i (o 1)⋅β1(i )3. 解码问题解码问题是指给定一个HMM 模型和观测序列，如何确定最可能的隐藏状态序列。

具体而言，给定一个HMM 模型λ=(A,B,π)和一个观测序列O =(o 1,o 2,...,o T )，我们需要找到一个隐藏状态序列I =(i 1,i 2,...,i T )，使得P (I|O,λ)最大。

HMM（隐马尔可夫）推导（下）-参数估计（EM）

HMM（隐马尔可夫）推导（下）-参数估计（EM）HMM (隐马尔可夫) 推导 (下) - 参数估计 (EM)回顾 HMM上篇介绍了HMM这样的⼀种时序类模型, 即描述了⼀些观测现象的产⽣, 是由我们很难观测到的 "隐变量因⼦", 产⽣的, 同时这些隐变量因⼦之间的变化也有⼀个状态转移概率的过程.HMM 的推导过程, 也就两个部分, Z 过程 (推断过程) 和 Estimation(参数估计)过程.上篇对于 Z 过程, 有通过类似于枚举法和⼀种 DP (动态规划) 算法来求解最好的 Z, 其前提假设是模型的参数 (初始状态, 状态转移概率矩阵,发射概率) 已知下来求解的. 嗯. 推导思路过程有点类似之前的 XGBoost 算法, 也是先假定, 再推导, 在证明假设前提这样的套路, 过程⼜⽤到了 EM算法来求解.如果我是⾯试官, 问HMM, 这相当于将 EM 和 DP 算法同时问了, 这样的问题就很有质量哦.12⽉底恰好tableau⽼铁跟我分享动态规划,果然数学系就是不⼀样, ⽤爬n阶楼梯来说明, 斐波那契数. DP的核⼼思想就是将问题规模不断缩⼩求解, 不同于递归哈, 后⾯可以单独举个 DP 栗⼦.so, 本篇就来整⼀波, 如何进⾏参数求解.θ=(π,A,B)假设有5个状态, 同样是扔2个硬币π表⽰初始状态, 如: π=[0.8,b,c,d,e]A 表⽰两个状态的转移矩阵; 是⼀个 5x5 的⽅阵B 表⽰发射概率 (隐含规则->观测的概率值); 是⼀个 5x2 的矩阵如果是词性分析, 则矩阵就⾮常⼤了, 如果观测是连续型则需要⽤概率分布来描述了.对于, HMM, 要求解出这3个参数, 主要有两个步骤, 或者说是2个关键点:给定模型的参数, 找出最适合的 Z => Inference (推断过程)估计模型参数的θ => Parameter Estimation (估计过程)Complete VS lncomplete "Z"Z 就是隐变量, X 是对应的观测值.X 已知, Z 已知, 则通过简单的频率统计即可求解出参数X 已知, Z 未知, 则通过 EM 算法求解. (E 步更新发射概率, M 步更新参数值, 这样循环交替直到收敛, 即得参数发射概率就是隐变量 z1 -> x1 (观测值) 的概率. 可参考EM篇的扔硬币, 上帝视⾓, 事先知道试验结果是由哪个硬币产⽣的, 或知道概率. (如第1次是 "正", 我知道有 70% 概率来⾃ A 硬币, 30%概率来⾃ B硬币, 这个概率矩阵 [0.7, 0.3] 就是发射概率)转移概率描述状态之间的变化规律. 如还是扔硬币, 每次对 A, B 硬币的选择策略不同, 如 AAB, ABA ... 的场景, 可通过转移概率矩阵来描述.ps: ⽼铁昨天问我是数论强, 还是分析强...嗯, 我只想说, 作为⽂科⽣(商科), 只是熟练使⽤数学⼯具⽽已....另外想分享⼀点⼯具论, 在我眼⾥, 数学符号, 公式, 代码, 其实本质都是⼀样的, 就是⼀个靠谱的⼯具, ⽬标都是为了对现实世界的另⼀种刻画. 当然世界很⼤, 可以感性认知, 也可理性认知, 探索的过程是其乐⽆穷的. 我感觉⾃⼰内⼼还是⼀个⽂艺青年的特征, 追求内⼼的感受, 也有故作伤春悲秋....不说这些了..Complete "Z"假设有 3个观测样本, Z 是已知时:s1:z : 1, 1, 2, 2, 2, 3x : a, b, a, c, c, bs2:z : 2, 1, 3, 3, 2x : a, a, c, b, as3:z : 1, 1, 3, 2x : b, a, a, c在 z 已知道的这种上帝视⾓下, 求解参数 (初始状态, 状态转移矩阵, 发射概率) 就是词频统计, 然后归⼀化作为概率值 , ⾮常容易的.为了⽅便简单演⽰, 假设样本空间就是上⾯这3个样本, 观测值和其隐变量状态都是已知的.⾸先来估计π (初始状态) 即每⼀个样本(向量 1x3) 的第⼀状态分量的频数统计, (约定先⾏后列哦)状态1状态2状态3频次210然后再归⼀化得到初始状态 (向量) :π=[23,1 3,3]接着来估计 A (状态转移矩阵), 状态与状态间的, 即 3x3 的矩阵. 同时, 状态要横向来看, 统计是先⾏后列--->状态1状态2状态3状态1212状态2121状态3021按⾏进⾏归⼀化即可得到概率 (严格来说, "频率" 应该更适合, 但我们通常都是⽤样本估计总体, 也说得通哈)--->状态1状态2状态3状态12/51/52/5状态21/42/41/4状态30/32/31/3最后来估计 B (发射概率矩阵), 即每个状态下, 每个观测值的概率, 即可 3x3 的矩阵 (统计也是约定, 先⾏后列哈)--->a b c状态1320状态2303状态3121同样按⾏做归⼀化可得到发射概率矩阵 B:--->a b c状态13/52/50/5状态23/60/63/6状态31/42/41/4因此, 在已知 Z 的情况下, 要做的就是直接统计出了模型的参数: 初始概率状态(向量), 状态转移概率 (矩阵), 发射概率 (矩阵). 站在上帝视⾓, 果然爽歪歪. 此处突然想到了基本经济社会问题. 就是, 你所掌握资源越多, 就越有发⾔权, 做事情成功的概率必然很⼤和相对轻松.Incomplete "Z"⽽我们⾝处的现实世界, ⼏乎是没有上帝视⾓的. 它只存在于理论的乌托邦世界. 于是在现世的洪流, 我们通常只是看到观测到的现象, ⽽⽆法得知现象背后的上帝,是如何扔骰⼦的, 即便如此, 我们依旧去进⾏⼀个逼近, 利⽤智慧, 嗯, 说得有⾼⼤上, 这⾥其实就⽤到 EM 算法来进⾏⼀个参数估计即可.(x,z)−简单统计−θ⽽,(x,)−how−θF/B 算法 ( Forward And Backward)就要要计算出p(z k|x) 即在给定 x 的情况下, 可以计算任意时刻状态下的 z 的期望通过 F/B 算法, 可以计算出: p(z k=1|x),p(z k=2|x),....p(z k=m|x)也就是说, 通过观测 X, 计算出了 Z, 然后简单统计则可估计出模型的参数, 再来捋⼀波条件F / B : p(z|x)Forward : ⽤来计算p(z k|x1...k)Backward : ⽤来计算p(x k+1,...n|z k)如何将它们关联起来呢, , 涉及条件概率, 同时也会想到贝叶斯公式呀.p(z k|x)=p(z k,x) p(x)这⾥的 x 表⽰所有的 n 个样本嘛, 因此为了和 F, B 产⽣联系, 可以将 x 进⾏划分 (展开).p(z k,x)=p(z k,x1...k,x k+1...n)=p(z k,x1...k) p(x k+1...n|z k,x1..k)可以省略掉x1...k考虑条件独⽴的情况下, 其对条件概率是没有影响的.=p(z k,x1...k) p(x k+1...n|z k)为啥是条件独⽴成⽴?因为, directional separation 性质: (嗯, 就可理解为条件独⽴的⼀种更⾼级的⼀个性质), ⽤处就是帮助我们来判断多个变量中, 有哪⼀些变量之间, 是有条件独⽴的性质的, 或者是把很多的变量看作⼀个集合.我们在谈条件独⽴的时候, 通常是以单个变量来参照的. 然⽽涉及多个变量, 则需⽤的 D-separation 性质了呀. 嗯....举个栗⼦, 假设我有两波变量, 然后通过 D-separation 性质, 可以帮我们判断, 其中⼀波变量, 是否对其条件概率产⽣了影响. 算是⼀个更加泛化的⼀个条件独⽴性质.在本例中, 我们把 X, 拆分成了x1...k−1,x k,x k+1...n在 D-separation 性质中, x k这个分割点被称为 Block , 如果当存在变量 (可以多个) x - Block - y 且指向关系是 x -> Block -> y 的时候, 则可以认为, x(变量集合) 是条件独⽴于 Block 的. 因此可以省略掉. (具体D-separation 性质证明, 后⾯再补⼀波百度吧, 先⽤上再说)最终p(z k,x)=p(z k,x1...k) p(x k+1...n|z k) 即通过计算 Forward 和 Backward 完成最终求解.重要信息,再重复⼀遍: 我们为了计算p(z|k) 其实只需要计算出 Forward 和 Backward 即可, 这也就是通过 X 计算出了 Z, 从⽽依上 complete 的简单统计, 求解出模型参数然后关如何去定义 Z 的个数, 其实是⼀个超参数, 有点类似于 EM算法中, 最开始 E部的初始值, ⼈⼯可以根据经验来控制的.⼩结然后好像有点⼤篇幅的在弄 F/B 算法, ⽽开篇主要想阐明参数估计的核⼼是 EM算法, 那体现在何处呢? 我们捋⼀波求解参数的过程:⾸先, 我们是要通过在给定 X 的情况下, 求解出 Z 的期望, 这个求解过程⽤到了 F/B 算法;其次, 我们通过已知 (X, Z) 来求解出了参数θ这, 不就是 EM 算法的 E步和 M 步了呀.最后, 其实还遗留了⼀个问题, 就是如何求解 F/B 嗯, 想⼀波先. 框架是没问题了, 这就跟写代码⼀样, 逻辑结构, 模块划分已经搭起来了, 然后就是慢慢去找别⼈的代码来复制粘贴的过程, 先想⼀波哈.Processing math: 100%。

4第四章_隐马尔可夫模型

S2
a23 0.6
a 0 .5 b 0 .5
S3
a13 0.2
a 1 b 0
a 0.8 a11 0.3 b 0 .2
a22 0.4 a 0.3
b 0 .7
S1
a12 0.5
a 1 b 0
再根据这个缸中彩色球颜色的概率分布，随机选择
一个球，记O2,再把球放回缸中。最后得到描述球颜色的序列O1 O2 观察，被隐藏。，成为观察值序列，但每次选取的缸和缸之间的转移并不能直接
设观察到的输出符号序列是aab。试求aab的输出概率？
a 0.8 a11 0.3 b 0 .2 a 0 .3 a22 0.4 b 0 .7 a 1 b 0
S1
a12 0.5
S2
a23 0.6
a 0 .5 b 0 .5
S3
a13 0.2 a 1
b 0
从S1到S3,并且输出aab，可能的路径有三种：
S1
S1
S1
S2
S2 S3
S2 S3
0.3×0.8×0.5×1×0.6×0.5=0.036
0.5×1×0.4×0.3×0.6×0.5=0.018 0.3×0.8×0.3×0.8×0.2×0=0
S2
a23 0.6
a 0 .5 b 0 .5
S3
a13 0.2
a 1 b 0
a11 a12 a13 1 a 22 a 23 1 a b 1
从一个状态转移出去的概率之和为1。
每次转移时输出符号a和b 的概率之和为1。
一个关于天气的3状态马尔可夫模型

隐马尔科夫模型(HMM)详解

马尔科夫过程马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。

考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是{S1,S2,S3,...S N}。

我们如今用q1,q2,q3,…q n来表示系统在t=1,2,3,…n时刻下的状态。

在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(S N)表示t=1时系统状态为S N的概率。

马尔科夫模型有两个假设：1. 系统在时刻t的状态只与时刻t-1处的状态相关；〔也称为无后效性〕2. 状态转移概率与时间无关；〔也称为齐次性或时齐性〕第一条详细可以用如下公式表示：P(q t=S j|q t-1=S i,q t-2=S k,…)= P(q t=S j|q t-1=S i)其中，t为大于1的任意数值，S k为任意状态第二个假设那么可以用如下公式表示：P(q t=S j|q t-1=S i)= P(q k=S j|q k-1=S i)其中，k为任意时刻。

下列图是一个马尔科夫过程的样例图：可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，a ij表示P(S i|S i-1)。

隐马尔科夫过程与马尔科夫相比，隐马尔科夫模型那么是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下列图所示：此图是从别处找来的，可能符号与我之前描绘马尔科夫时不同，相信大家也能理解。

该图分为上下两行，上面那行就是一个马尔科夫转移过程，下面这一行那么是输出，即我们可以观察到的值，如今，我们将上面那行的马尔科夫转移过程中的状态称为隐藏状态，下面的观察到的值称为观察状态，观察状态的集合表示为O={O1,O2,O3,…O M}。

相应的，隐马尔科夫也比马尔科夫多了一个假设，即输出仅与当前状态有关，可以用如下公式表示：P(O1,O2,…,O t|S1,S2,…,S t)=P(O1|S1)*P(O2|S2)*...*P(O t|S t) 其中，O1,O2,…,O t为从时刻1到时刻t的观测状态序列，S1,S2,…,S t那么为隐藏状态序列。

故障诊断领域中的隐马尔可夫模型参数估计

故障诊断领域中的隐马尔可夫模型参数估计隐马尔可夫模型（Hidden Markov Model，HMM）是一种常用于建模和解决序列数据问题的统计模型。

在故障诊断领域，HMM被广泛应用于故障识别和预测，通过对系统状态和观测数据进行建模和分析，实现对系统故障的诊断和预测。

HMM由状态空间、观测空间、状态转移概率、观测概率和初始概率组成。

在故障诊断中，状态空间表示系统的可能状态，观测空间代表可以观测到的系统输出。

状态转移概率描述了系统在各个状态之间的转移概率，观测概率表示给定状态下观测到某个输出的概率，初始概率表示系统初始状态的概率分布。

在实际应用中，参数估计是构建HMM模型的关键步骤之一。

参数估计的目的是通过观测数据来估计HMM模型中的参数值，从而使模型更加准确地反映实际系统的行为。

常用的参数估计方法包括最大似然估计（MLE）和期望最大化（EM）算法。

最大似然估计是一种常用的参数估计方法，它的基本思想是选择使得给定观测数据出现概率最大的参数值。

在故障诊断中，最大似然估计可以通过计算给定参数下观测数据序列出现的概率，并选择使该概率最大化的参数值。

该方法需要计算模型的状态转移概率和观测概率，可以通过统计观测数据序列中各个状态之间的转移次数和观测值出现的次数来进行。

然后根据统计结果，计算状态转移概率和观测概率的估计值。

最大似然估计方法的优点是简单易用，但它对于初始状态的估计比较困难。

期望最大化算法是另一种常用的参数估计方法，它可以同时估计HMM模型中的状态转移概率、观测概率和初始概率。

期望最大化算法是一种迭代算法，它通过多次迭代计算模型的期望值和最大化值来估计参数。

在每次迭代中，通过前向-后向算法计算观测数据序列出现的概率，并计算每个状态在每个时刻的后验概率。

然后，根据这些后验概率，更新模型的参数值。

通过多次迭代，可以逐渐改善参数的估计结果，使模型更加准确。

除了最大似然估计和期望最大化算法，还有其他一些用于HMM参数估计的方法，如贝叶斯估计和最大后验概率估计。

隐马尔可夫模型三个基本问题及算法

隐马尔可夫模型(Hidden Markov Model, HMM)是一种用来对时序数据进行建模的概率图模型。

它在信号处理、语音识别、自然语言处理等领域被广泛应用，具有重要的理论和实际意义。

隐马尔可夫模型包括三个基本问题及相应的算法，分别是概率计算问题、学习问题和预测问题。

接下来我们将针对这三个问题展开详细探讨。

### 1.概率计算问题概率计算问题是指给定隐马尔可夫模型λ=(A, B, π)和观测序列O={o1, o2, ..., oT}，计算在模型λ下观测序列O出现的概率P(O|λ)。

为了解决这个问题，可以使用前向传播算法。

前向传播算法通过递推计算前向概率αt(i)来求解观测序列O出现的概率。

具体来说，前向概率αt(i)表示在时刻t状态为i且观测到o1, o2, ..., ot的概率。

通过动态规划的思想，可以高效地计算出观测序列O出现的概率P(O|λ)。

### 2.学习问题学习问题是指已知观测序列O={o1, o2, ..., oT}，估计隐马尔可夫模型λ=(A, B, π)的参数。

为了解决这个问题，可以使用Baum-Welch算法，也称为EM算法。

Baum-Welch算法通过迭代更新模型参数A、B和π，使得观测序列O出现的概率P(O|λ)最大化。

这一过程涉及到E步和M步，通过不断迭代更新模型参数，最终可以得到最优的隐马尔可夫模型。

### 3.预测问题预测问题是指给定隐马尔可夫模型λ=(A, B, π)和观测序列O={o1,o2, ..., oT}，求解最有可能产生观测序列O的状态序列I={i1, i2, ..., iT}。

为了解决这个问题，可以使用维特比算法。

维特比算法通过动态规划的方式递推计算最优路径，得到最有可能产生观测序列O的状态序列I。

该算法在实际应用中具有高效性和准确性。

在实际应用中，隐马尔可夫模型的三个基本问题及相应的算法给我们提供了强大的建模和分析工具。

通过概率计算问题，我们可以计算出观测序列出现的概率；通过学习问题，我们可以从观测序列学习到模型的参数；通过预测问题，我们可以预测出最有可能的状态序列。

隐马尔科夫模型在生态学研究中的使用技巧(四)

隐马尔科夫模型在生态学研究中的使用技巧隐马尔科夫模型（Hidden Markov Model，HMM）是一种用于建模时序数据的统计模型。

在生态学研究领域，HMM被广泛应用于对动植物迁徙、种群动态、生态系统变化等方面的研究。

本文将探讨HMM在生态学研究中的使用技巧。

HMM的基本原理HMM是由马尔科夫链和观测模型组成的，其中马尔科夫链描述了状态之间的转移概率，而观测模型则描述了每个状态下观测到的概率分布。

在生态学研究中，可以将动植物的行为状态作为HMM中的状态，而观测到的数据（如位置、生物标记）作为观测值。

HMM的使用技巧1. 状态空间的选择在使用HMM建模时，首先需要确定状态空间。

在生态学研究中，动植物的行为状态可能有多种，如觅食、休息、迁徙等。

确定合适的状态空间对于模型的准确性至关重要，需要充分考虑研究对象的生物学特性和研究问题的实际情况。

2. 观测数据的获取HMM的观测模型依赖于观测数据的获取，因此在生态学研究中，需要选择合适的数据收集方法。

例如，对于动物迁徙的研究，可以利用GPS跟踪技术获取动物的位置数据；对于种群数量的研究，可以通过定点观测或摄像监测获取数据。

3. 参数估计HMM的参数包括状态转移概率和观测概率。

在生态学研究中，这些参数的估计可能受到数据获取的限制，需要结合实际情况进行合理的估计方法选择。

常见的方法包括极大似然估计、贝叶斯估计等。

4. 模型验证和比较在建立HMM模型后，需要对模型进行验证和比较。

在生态学研究中，可以利用交叉验证、信息准则（如AIC、BIC）等方法对模型进行验证，以确保模型的准确性和可靠性。

5. 模型应用建立并验证HMM模型后，可以利用模型进行预测、分类、识别等应用。

在生态学研究中，可以利用HMM对动植物的行为模式进行识别和分类，预测种群数量和分布等。

HMM在生态学研究中的应用案例1. 动物迁徙HMM被应用于对动物迁徙过程的建模和分析。

通过对动物位置数据的建模，可以揭示动物迁徙的路径选择、迁徙速度、栖息地利用等行为特征，为保护和管理野生动物提供科学依据。

隐马尔可夫模型(hmm)参数迭代与语音识别

隐马尔可夫模型(HMM)是一种统计模型，常用于语音识别、自然语言处理等领域。

它主要用来描述隐藏的马尔可夫链，即一种具有未知状态的马尔可夫链。

在语音识别中，HMM被广泛应用于对语音信号进行建模和识别。

下面我将从HMM的基本概念、参数迭代和语音识别应用等方面展开阐述。

1. HMM的基本概念在隐马尔可夫模型中，有三种基本要素：状态、观测值和状态转移概率及观测概率。

状态表示未知的系统状态，它是隐藏的，无法直接观测到。

观测值则是我们可以观测到的数据，比如语音信号中的频谱特征等。

状态转移概率描述了在不同状态之间转移的概率，而观测概率则表示在每个状态下观测到不同观测值的概率分布。

2. HMM参数迭代HMM的参数包括初始状态概率、状态转移概率和观测概率。

在实际应用中，这些参数通常是未知的，需要通过观测数据进行估计。

参数迭代是指通过一定的算法不断更新参数的过程，以使模型更好地拟合观测数据。

常见的参数迭代算法包括Baum-Welch算法和Viterbi算法。

其中，Baum-Welch算法通过最大化似然函数来估计模型的参数，Viterbi算法则用于解码和预测。

3. HMM在语音识别中的应用在语音识别中，HMM被广泛用于建模和识别语音信号。

语音信号被转换成一系列的特征向量，比如MFCC（Mel-Frequency Cepstral Coefficients）特征。

这些特征向量被用来训练HMM模型，学习模型的参数。

在识别阶段，通过Viterbi算法对输入语音进行解码，得到最可能的文本输出。

4. 个人观点和理解从个人角度看，HMM作为一种强大的统计模型，在语音识别领域有着重要的应用。

通过不断迭代参数，HMM能够更好地建模语音信号，提高语音识别的准确性和鲁棒性。

然而，HMM也面临着状态空间爆炸、参数收敛速度慢等问题，需要结合其他模型和算法进行改进和优化。

总结回顾通过本文对隐马尔可夫模型(HMM)的介绍，我们从基本概念、参数迭代和语音识别应用等方面对HMM有了更深入的了解。

机器学习中的隐马尔可夫模型解析

机器学习中的隐马尔可夫模型解析隐马尔可夫模型（Hidden Markov Model，HMM）是一种常用于描述随机过程的概率模型，在机器学习领域得到广泛应用。

本文将对隐马尔可夫模型的原理、应用以及解析方法进行详细介绍。

一、隐马尔可夫模型的基本原理隐马尔可夫模型由两个基本假设构成：马尔可夫假设和观测独立假设。

根据这两个假设，隐马尔可夫模型可以表示为一个五元组：(N, M, A, B, π)，其中：- N表示隐藏状态的数量；- M表示观测状态的数量；- A是一个N×N的矩阵，表示从一个隐藏状态转移到另一个隐藏状态的概率；- B是一个N×M的矩阵，表示从一个隐藏状态生成一个观测状态的概率；- π是一个长度为N的向量，表示初始隐藏状态的概率分布。

在隐马尔可夫模型中，隐藏状态无法被直接观测到，只能通过观测状态的序列来进行推断。

因此，对于给定的观测状态序列，我们的目标是找到最有可能生成该序列的隐藏状态序列。

二、隐马尔可夫模型的应用领域隐马尔可夫模型在自然语言处理、语音识别、图像处理等领域得到广泛应用。

以下是几个常见的应用场景：1. 自然语言处理：隐马尔可夫模型可以用于词性标注、语法分析等任务，通过学习文本中的隐藏状态序列来提取语义信息。

2. 语音识别：隐马尔可夫模型可以用于音频信号的建模，通过观测状态序列推断出音频中的语音内容。

3. 图像处理：隐马尔可夫模型可以用于图像分割、目标跟踪等任务，通过学习隐藏状态序列来提取图像中的特征。

三、隐马尔可夫模型的解析方法解析隐马尔可夫模型有两个基本问题：评估问题和解码问题。

1. 评估问题：给定模型参数和观测状态序列，计算生成该观测序列的概率。

一种常用的解法是前向算法，通过动态规划的方式计算前向概率，即在第t个时刻观测到部分序列的概率。

2. 解码问题：给定模型参数，找到最有可能生成观测状态序列的隐藏状态序列。

一种常用的解法是维特比算法，通过动态规划的方式计算最大后验概率路径，即在第t个时刻生成部分观测序列的概率最大的隐藏状态路径。

隐马尔可夫模型三个基本问题以及相应的算法

隐马尔可夫模型三个基本问题以及相应的算法一、隐马尔可夫模型(Hidden Markov Model, HMM)隐马尔可夫模型是一种统计模型，它描述由一个隐藏的马尔可夫链随机生成的不可观测的状态序列，再由各个状态生成一个观测而产生观测序列的过程。

HMM广泛应用于语音识别、自然语言处理、生物信息学等领域。

二、三个基本问题1. 概率计算问题（Forward-Backward算法）给定模型λ=(A,B,π)和观察序列O=(o1,o2,…,oT)，计算在模型λ下观察序列O出现的概率P(O|λ)。

解法：前向-后向算法(Forward-Backward algorithm)。

前向算法计算从t=1到t=T时，状态为i且观察值为o1,o2,…,ot的概率；后向算法计算从t=T到t=1时，状态为i且观察值为ot+1,ot+2,…,oT的概率。

最终将两者相乘得到P(O|λ)。

2. 学习问题（Baum-Welch算法）给定观察序列O=(o1,o2,…,oT)，估计模型参数λ=(A,B,π)。

解法：Baum-Welch算法(EM算法的一种特例)。

该算法分为两步：E 步计算在当前模型下，每个时刻处于每个状态的概率；M步根据E步计算出的概率，重新估计模型参数。

重复以上两步直至收敛。

3. 预测问题（Viterbi算法）给定模型λ=(A,B,π)和观察序列O=(o1,o2,…,oT)，找到最可能的状态序列Q=(q1,q2,…,qT)，使得P(Q|O,λ)最大。

解法：Viterbi算法。

该算法利用动态规划的思想，在t=1时初始化，逐步向后递推，找到在t=T时概率最大的状态序列Q。

具体实现中，使用一个矩阵delta记录当前时刻各个状态的最大概率值，以及一个矩阵psi记录当前时刻各个状态取得最大概率值时对应的前一时刻状态。

最终通过回溯找到最可能的状态序列Q。

三、相应的算法1. Forward-Backward算法输入：HMM模型λ=(A,B,π)和观察序列O=(o1,o2,…,oT)输出：观察序列O在模型λ下出现的概率P(O|λ)过程：1. 初始化：$$\alpha_1(i)=\pi_ib_i(o_1),i=1,2,…,N$$2. 递推：$$\alpha_t(i)=\left[\sum_{j=1}^N\alpha_{t-1}(j)a_{ji}\right]b_i(o_t),i=1,2,…,N,t=2,3,…,T$$3. 终止：$$P(O|λ)=\sum_{i=1}^N\alpha_T(i)$$4. 后向算法同理，只是从后往前递推。

n阶隐马尔可夫模型的参数估计

ＰａａｅｒｃＥｓｉａｉｎｏｈ．ｒｅｉｄｎＭａｋｖＭｏｅｓｒｍｔｉｔｍｔｏｆＮｔｏｄｒＨｄｅｒｏｄｌ
ＷＡＮＧＧｕｏｇｎｇ．ＡＮＧｕ－ｕｏ・ａＷＹｏｇ
（ＣｌｇｆｃｎｅＮｎｉｇＵｉｒｔｏｏｔａｄＴｌｎｌｕｊｔｎ，ａｊｇ２０４Ｃｉａｏｅｅｏｉｃ，ａｊｎｖｓｙｆｓｎｅｅ ¨ｍｃｉｓＮｎｉ１０６，ｈｎ）ｌＳｅｎｅｉＰｓｃｎａｏｎ
（ＨＭＭ：的基础上研究了Ｈ的前向、向算法，ａｍ— ｌｈ算法，导出了Ｈ在单观测序列和多观测序）ＭＭ后ＢｕＷｅｃ并ＭＭ列培训两种情况下的参数估计公式。关键词：ＭＭ；Ｈ前向、向算法；ａｍＷｅｈ算法；后Ｂｕ — ｌｃ多观测序列中图分类号：２１６；２２７０１．２０１．文献标识码：Ａ文章编号：６３５３（０１０－１８７１７ —４９２１）４０１－０
０引言
隐马尔可夫模型（ＭＭ）一个双内嵌式随机Ｈ是序列，由两个随机序列组成：它一个描述状态问转移
状态有关。在传统的隐马尔可夫模型中常见的观测过程是状态的某个已知函数再加一个与状态独立的ｉｉｄ噪声干扰。但在许多实际问题的应用中观测．．噪声可以和马尔可夫链不相互独立。例如，在语音

隐马尔科夫模型(HMM).

隐马尔科夫模型(HMM作者：leivo 来源：博客园发布时间：2010-10-29 00:59 阅读：497 次原文链接[收藏]介绍我们通常都习惯寻找一个事物在一段时间里的变化规律。

在很多领域我们都希望找到这个规律，比如计算机中的指令顺序，句子中的词顺序和语音中的词顺序等等。

一个最适用的例子就是天气的预测。

首先，本文会介绍声称概率模式的系统，用来预测天气的变化然后，我们会分析这样一个系统，我们希望预测的状态是隐藏在表象之后的，并不是我们观察到的现象。

比如，我们会根据观察到的植物海藻的表象来预测天气的状态变化。

最后，我们会利用已经建立的模型解决一些实际的问题，比如根据一些列海藻的观察记录，分析出这几天的天气状态。

Generating Patterns有两种生成模式：确定性的和非确定性的。

确定性的生成模式：就好比日常生活中的红绿灯，我们知道每个灯的变化规律是固定的。

我们可以轻松的根据当前的灯的状态，判断出下一状态。

非确定性的生成模式：比如说天气晴、多云、和雨。

与红绿灯不同，我们不能确定下一时刻的天气状态，但是我们希望能够生成一个模式来得出天气的变化规律。

我们可以简单的假设当前的天气只与以前的天气情况有关，这被称为马尔科夫假设。

虽然这是一个大概的估计，会丢失一些信息。

但是这个方法非常适于分析。

马尔科夫过程就是当前的状态只与前n个状态有关。

这被称作n阶马尔科夫模型。

最简单的模型就当n=1时的一阶模型。

就当前的状态只与前一状态有关。

（这里要注意它和确定性生成模式的区别，这里我们得到的是一个概率模型）。

下图是所有可能的天气转变情况：对于有M个状态的一阶马尔科夫模型，共有M*M个状态转移。

每一个状态转移都有其一定的概率，我们叫做转移概率，所有的转移概率可以用一个矩阵表示。

在整个建模的过程中，我们假设这个转移矩阵是不变的。

该矩阵的意义是：如果昨天是晴，那么今天是晴的概率为0.5，多云的概率是0.25，雨的概率是0.25。

隐马尔可夫模型三个基本问题及算法

隐马尔可夫模型三个基本问题及算法隐马尔可夫模型(Hien Markov Model, HMM)是一种用于建模具有隐藏状态和可观测状态序列的概率模型。

它在语音识别、自然语言处理、生物信息学等领域广泛应用，并且在机器学习和模式识别领域有着重要的地位。

隐马尔可夫模型有三个基本问题，分别是状态序列概率计算问题、参数学习问题和预测问题。

一、状态序列概率计算问题在隐马尔可夫模型中，给定模型参数和观测序列，计算观测序列出现的概率是一个关键问题。

这个问题通常由前向算法和后向算法来解决。

具体来说，前向算法用于计算给定观测序列下特定状态出现的概率，而后向算法则用于计算给定观测序列下前面状态的概率。

这两个算法相互协作，可以高效地解决状态序列概率计算问题。

二、参数学习问题参数学习问题是指在给定观测序列和状态序列的情况下，估计隐马尔可夫模型的参数。

通常采用的算法是Baum-Welch算法，它是一种迭代算法，通过不断更新模型参数来使观测序列出现的概率最大化。

这个问题的解决对于模型的训练和优化非常重要。

三、预测问题预测问题是指在给定观测序列和模型参数的情况下，求解最可能的状态序列。

这个问题通常由维特比算法来解决，它通过动态规划的方式来找到最可能的状态序列，并且在很多实际应用中都有着重要的作用。

以上就是隐马尔可夫模型的三个基本问题及相应的算法解决方法。

在实际应用中，隐马尔可夫模型可以用于许多领域，比如语音识别中的语音建模、自然语言处理中的词性标注和信息抽取、生物信息学中的基因预测等。

隐马尔可夫模型的强大表达能力和灵活性使得它成为了一个非常有价值的模型工具。

在撰写这篇文章的过程中，我对隐马尔可夫模型的三个基本问题有了更深入的理解。

通过对状态序列概率计算问题、参数学习问题和预测问题的深入探讨，我认识到隐马尔可夫模型在实际应用中的重要性和广泛适用性。

隐马尔可夫模型的算法解决了许多实际问题，并且在相关领域有着重要的意义。

隐马尔可夫模型是一种强大的概率模型，它的三个基本问题和相应的算法为实际应用提供了重要支持。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

3
*
#$ # mp; # k$% %&
* $ ! & # k $ %} $ " $} % $ ! & # k $% %& ~ %& , " $ % ~
} ! %" %5 & % ^ % %$ ! & % M kM $% M %%.~
#% &" &qCDAwN:;
. . .
’ } ! "~’ <]~M
8=*&#"(& e O82404:4&0 10= 9:/.?:./8 1/8 54780 &2 0:IG&/=8/ I4==80 E1/P&7 @&=8’9( Q&/R1/=GS1?PR1/= 1’5&G /4:I@ 10= F1.@GH8’?I 1’5&/4:I@ &2 :I8 @&=8’9 1/8 9:.=48= S198= &0 :I8 :/1=4:4&01’ 98?&0=G&/=8/ I4==80 E1/P&7 @&=8’( <1/1@8:8/ 89:4@1:4&0 8T.1:4&09 2&/ :I8 @&=8’9 1/8 =8/478= 2&/ :I8 ?1989 &2 S&:I 9405’8 10= @.’:4U’8 &S98/71:4&0 98T.80?8 :/140405( >%? @+#1*e DEE ! ^ 2&/R1/=GS1?PR1/= 1’5&/4:I@^ F1.@GH8’?I 1’5&/4:I@^ @.’:4U’8 &S98/71S’8 98T.80?89
.
!" K@no
! rsDEFGT L } !"" ! ~ S % i y? 7 < U:.7s#(= / i ] S % i ! r DEFGHe 5 " Q)# " $ % Q) ( = / H H yz ] r L A 0 " Q)(=/M tbLA0. ! & % iQ)(=/M Fe #$
$} " $ ! 4 % k $% %~ " $ ! 4 % k $% %~ # k# # #}
$ !4% / % $% / % % /%
* $%k} ’% &( M # * $%k} $ 2 +~ $ 2 +~
+ /%
.
.
.
* ’ } ! "~ /
} % % $% M kM $ 2 %.M % %2%! & % ~
! N "# O! N $ P ! ! *+## Q , R
! " # $ % & & ’( ) * + & , -&./01’ &2 )103405 60478/94:; &2 <&9:9 10= >8’8?&@@.04?1:4&09 } )1:./1’ A?480?8~
%&’( "#! )&( $ B.5( *+##
.
S0HP}T L " ( "# {M "& } ! & %~ Q)=/ t )$! & % M kM " & % Q ) = / t ) $% M " Q ) = / t )% b ;P<i] , " $ % M ," $ # M kM , 5 ( yz. $} " $ ! & % k $% % ~ F66{!1k3|oq-e ! XX; ’% $} 5 $ ! & % k $% % ~ } % %$ ! & % M kM $% M %%.~ " |oq’ $} " $ ! & % $ ! & # k $% % ~
!"#"$%&#’( )*&’$"&’+, +- .&/0+#1%# 2’11%, 3"#4+5 3+1%6*
78.9 9:+0;",;M 78.9 <+:0;:+
( N&’’858 &2 A?480?8M )103405 60478/94:; &2 <&9:9 10= >8’8?&@@.04?1:4&09M )103405 *#++$C M NI401 )
M } (% ’ ) $ ~ M ! ’?! $ @ !$ ’ ’ ! $ &( # !$ ’ % M
$ /%
} # ~=/HHyz+je 0 & & % ’?# $%$#k$ & @ M } # %& %! ~ ^ 0 ! ’?# $ ! & %k$%%& @ @$e } (& ’ )$& (& & % ’ )$& & % M kM ( % ’ ) $% ~ ! # $% k$ & ’ ’
* N1 P
le3‘e ! rsDEFGTL(tuvq
%%0
Pi]1q{(tuvq 7 mM MTuB;Pi] 1q !""# ([=. &G H !"" ? !""# ( / S uM :?mn !"" ! (tuvq}~.
#" hiN%"$3";S
#% !" %";S
}%. # 4 N t #} $ ! & % k $ % % ~’ ’ } ,% k , " M " ( " &} ! & %~ ’ ) $ ! & % k ( " & % ’ ) $% M (" ’ )% " ~ . # 4N S 0 HP} T L " ( "# {M Vi " Q)R.’+;P i]M bH " & } ! & %~ Q ) = / t )$! & % M kM " &% Q ) = / t ) $% M " Q)=/ t ) % ( yz. #} " $ ! & % k $% % ~ F66{!1k3|oq-. ! XX; ’ #} ! $ ! & % k $% % ~ ,% ~ # $ ! & %$ ! & # * $ ! & %$ ! &} ,# ~ k # $ ! & % k $ % % * $ ! & % $} ,! ~ ! $ ! & % * $ ! &} % # %% " |oq’ # " $} % $ ! & # k $% %& ~
.
# $%k$ & &( M # # $% k$ & ’ % M
$& / %
} % % $% M kM $ & %.M # %& %! ~
.
" # $ ! & %k$%%& &( M # # $! & %k$%%& ’ % M
& /%
} % %$ ! & % M kM $% M %M & %.~ } ) ~;<N(yz+je 1 2 ’?* $%k} @ M } % %2%! & % ~ ^ $ 2 +~ 1 ! ’?* $ ! & %k$} +~ @ M } % %2%3~ %% @$e ’’ } , 2 ’ - + (% ’ ) $ 2 M kM ( % ’ ) $% ~ ! * $%k} $ 2 +~
x $y >= .t4M grs DEFGT L G s u s DE
.
qr}~M 7%tuvq}~M SsDEFGT LH-’@A$(>C}~.Bt8|W>.FA :-WXVRmTLM ^R.|A|o . } 6 F1.@G H8’?I .~ 7kAX%0Z.. s DEFGT L S % i 2 ? DEFG U :M 7 B==/ H H ( 7 < U : } %t=/U:~ K ;< NZO( 7 < U : } %t;P U :~ .7 ( Z O ; <Nyz.!d. = / | >M H H yz . ! . % i
} +~’ ’ } , " ’ -+ ( " ’ ) % M (" & % ’ )$ M kM ( " &} ! & %~ ’ ) $ ~
% ! &%
* * * *
$ ! 4% / %
#
} # $ ! & %k$%%& * $ ! & #k$%} # " $ ! & % k $% % ~ %& , " $ % ~
1q DEE QM FRAa ; P i ]M * F R AB
x #+ y ;P i ] .t1q DEE* QM 8NurAa ; P
i].GH x ## y L P } T L{ B ; P i ] j i ( yzF2Cqa; P i ] j iyz ( 4 % KM VQ wA / @ % ?m $u F1.@ VW U uM k t A Z1G 5/1058 2b.qS d vU uM ;O u DEE* H B ;