概率密度函数的参数估计

正态分布的似然估计
• Gauss分布的参数：由均值矢量μ和协方差矩阵Σ构成，最大似然估计结果为：
μˆ
1 n
n i1
xi
Σ
1 n
n i1
xi
μˆ xi
μˆ t
3.2 期望最大化算法(EM算法)
• EM算法的应用可以分为两个方面： 1. 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 2. 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。
p x i ,θi
似然函数
• 样本集D出现的概率：
n
p D θ p x1,x2, ,xn θ pxi θ i1
• 对数似然函数：
n
l θ ln p D θ ln pxi θ i1
最大似然估计
• 最大似然估计：寻找到一个最优矢量 ，使得似然函数 最大。
θˆ
l θ
θˆ arg max l θ θ
• 模式描述：特征矢量序列。
输入语音波形
观察序列
• 观察序列：信号的特征需要用一个特征矢量的序列来表示：
V T v1 , v2 , , vT
• 其中的vi为一个特征矢量，称为一个观察值。
一阶Markov模型
• 状态序列的产生：一阶Markov模型由M个状 态构成，在每个时刻t，模型处于某个状态w (t)，经过T个时刻，产生出一个长度为T的状 态序列WT=w(1),…,w(T)。
n
I yt i
t 1
已知参数条件下，y的估计：
yt arg max ai N xt ;μi , Σi
i
K-mean算 法
• 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。
• 修改计算过程：
ai
1 n
n t 1
P
yt
i
n
n
μi P yt i xt P yt i
3. 重新估计参数 θ；
P y i 4. 迭代计算2，3步，直到t收敛为止。
,μM ,ΣM
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数的局部最大值点（极值点），而不能保证收 敛于全局最优点。
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=XY。
M步： θi arg max Q θ θi1
θ
5.
until Q θi1 θi Q θi θi1 T
6. return θˆ θi1
隐含Markov模型 (Hidden Markov Model, HMM)
• 应用领域：识别对象存在着先后次序信息，如语音识别，手势识别，唇读系统等；
一阶Markov模型的状态转移
• Markov性：模型在时刻t处于状态wj的概率完全由 t-1时刻的状态wi决定，而且与时刻t无关，即：
Pwt W T P wt wt 1
P wt j wt 1 i aij
Markov模型的初始状态概率
t 1
t 1
n
Σi P yt ixt μi xt μi t t 1
n
P yt i
t 1
M
P yt i ai N xt ;μi , Σi ai N xt ;μi , Σi i 1
EM算 法
GMM的参数估计算法(EM)
1. 随机初始化参数：
2. θ 计算： a1, a2 , , aM ,μ1, Σ1,
• 参数估计：已知样本x1,…,xn，估计参数θ。 • 存在的问题：每个样本是由哪一个子集产生
的未知。
训练样本： x1 来自子类： y1
x2 y2
xn yn
已知y的条件下，参数的估计：
ai
1 n
n t 1
I
yt
i
n
n
μi I yt i xt I yt i
t 1
t 1
n
Σi I yt i xt μi xt μi t t 1
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
M
px θ ai pi x θi , i1
M
ai 1
i1
• 高斯混合模型：GMM，Gauss Mixture Model
M
p x ai N x;μi , Σi i 1
两个高斯函数的混合 px 0.7N 10,2 0.3N(5,3)
Q θ θi1 EY l θ X, Y X,θi1
EY ln p X, Y θ X,θi1
M步：
θi arg max Q θ θi1 θ
基本EM算法
1. begin initialize θ，0 T，i0；
2. do ii+1
3.
E步：计算 Q θ θi1 ;
4.
第三章 概率密度函数的参 数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的 估计。
• 问题的表示：已有c个类别的训练样本集合D1， D2，…，Dc，求取每个类别的类条件概率密
度 px i。
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概率密度函数的形式已知，而具体的参数未知； • 最大似然估计(MLE, Maximum Likelihood Estimation)； • 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
Βιβλιοθήκη Baidu.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，x
2， …, xn，样本都是独立同分布的随机变量(i.i.d， independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参 数可以表示为参数矢量θ：
p D θ p X,Y θ
• 似然函数：由于Y未知，在给定参数θ时，似 然函数可以看作Y的函数：
l θ l θ D l θ X,Y ln p X,Y θ
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：
E步：
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按照正态分布产生的； • GMM样本的产生：先按照先验概率ai选择一个子类，然后按照这个子类满足的正态分
布产生样本。
GMM模型产生的2维样本数据
GMM模型的参数估计
• GMM的参数：
θ a1, a2, , aM ,μ1, Σ1, ,μM , ΣM