第3章概率密度函数的参数估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。
• 修改计算过程：
ai
1 n
n t 1
P
yt
i
n
n
μi P yt i xt P yt i
t 1
t 1
n
Σi P yt ixt μi xt μi t t 1
n
P yt i
t 1
M
P yt i ai N xt ;μi , Σi ai N xt ;μi , Σi i 1
模式识别 – 概率密度函数的参数估计
似然函数
• 样本集D出现的概率：
n
p D θ p x1,x2,L ,xn θ pxi θ i1
• 对数似然函数：
n
l θ ln p D θ ln pxi θ i1
模式识别 – 概率密度函数的参数估计
最大似然估计
• 最大似然估计：寻找到一个最优矢量θˆ ，使 得似然函数 l θ 最大。
3.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，
x2， …, xn，样本都是独立同分布的随机变量 (i.i.d，independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参 数可以表示为参数矢量θ：
p x i ,θi
θ a1, a2,L , aM ,μ1, Σ1,L ,μM , ΣM
• 参数估计：已知样本x1,…,xn，估计参数θ。 • 存在的问题：每个样本是由哪一个子集产
生的未知。
模式识别 – 概率密度函数的参数估计
训练样本： x1 来自子类： y1
x2 L y2 L
xn yn
已知y的条件下，参数的估计：
M
px θ ai pi x θi , i1
M
ai 1
i1
• 高斯混合模型：GMM，Gauss Mixture Model
M
p x ai N x;μi , Σi i 1
模式识别 – 概率密度函数的参数估计
两个高斯函数的混合
px 0.7N 10,2 0.3N(5,3)
模式识别 – 概率密度函数的参数估计
θˆ arg max l θ θ
模式识别 – 概率密度函数的参数估计
正态分布的似然估计
• Gauss分布的参数：由均值矢量μ和协方 差矩阵Σ构成，最大似然估计结果为：
μˆ
1 n
n i1
xi
Σ
1 n
n i1
xi
μˆ xi
μˆ t
模式识别 – 概率密度函数的参数估计
3.2 期望最大化算法(EM算法)
ai
1 n
n t 1
I
yt
i
n
n
μi I yt i xt I yt i
t 1
t 1
n
Σi I yt i xt μi xt μi t t 1
n
I yt i
t 1
已知参数条件下，y的估计：
yt arg max ai N xt ;μi , Σi
i
K-mean算法
模式识别 – 概率密度函数的参数估计
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按 照正态分布产生的；
• GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态 分布产生样本。
模式识别 – 概率密度函数的参数估计
GMM模型产生的2维样本数据
模式识别 – 概率密度函数的参数估计
GMM模型的参数估计
• GMM的参数：
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概 率密度函数的形式已知，而具体的参数未 知；
– 最大似然估计(MLE, Maximum Likelihood Estimation)；
– 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
模式识别 – 概率密度函数的参数估计
3.
E步：计算 Q θ θi1 ;
4.
ຫໍສະໝຸດ Baidu
M步：θi arg max Q θ θi1
θ
5.
until Q θi1 θi Q θi θi1 T
6. return θˆ θi1
模式识别 – 概率密度函数的参数估计
第三章 概率密度函数的 参数估计
模式识别 – 概率密度函数的参数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的 估计。
• 问题的表示：已有c个类别的训练样本集合D1，
D2，…，Dc，求取每个类别的类条件概率密
度
p。x i
模式识别 – 概率密度函数的参数估计
模式识别 – 概率密度函数的参数估计
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数 的局部最大值点（极值点），而不能保证 收敛于全局最优点。
模式识别 – 概率密度函数的参数估计
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=X Y。
EM算法
模式识别 – 概率密度函数的参数估计
混合密度模型的参数估计
• 混合密度模型的参数可以表示为：
θ a1, a2 ,L , aM ,θ1,θ2 ,L ,θM
• 参数的估计方法：
1. 梯度法：利用最优化方法直接对似然函数进行 优化；
2. EM算法：引入未知隐变量Y对问题进行简化， 将Y看作丢失的数据，使用EM算法进行优化。
E步： Q θ θi1 EY l θ X, Y X,θi1
EY ln p X, Y θ X,θi1
M步：
θi arg max Q θ θi1 θ
模式识别 – 概率密度函数的参数估计
基本EM算法
1. begin initialize θ0，T，i0； 2. do ii+1
• EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数 的最大似然估计；
2. 对某些复杂分布模型假设，最大似然估计很 难得到解析解时的迭代算法。
模式识别 – 概率密度函数的参数估计
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
p D θ p X,Y θ
• 似然函数：由于Y未知，在给定参数θ时，似 然函数可以看作Y的函数：
l θ l θ D l θ X,Y ln p X,Y θ
模式识别 – 概率密度函数的参数估计
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：
• 修改计算过程：
ai
1 n
n t 1
P
yt
i
n
n
μi P yt i xt P yt i
t 1
t 1
n
Σi P yt ixt μi xt μi t t 1
n
P yt i
t 1
M
P yt i ai N xt ;μi , Σi ai N xt ;μi , Σi i 1
模式识别 – 概率密度函数的参数估计
似然函数
• 样本集D出现的概率：
n
p D θ p x1,x2,L ,xn θ pxi θ i1
• 对数似然函数：
n
l θ ln p D θ ln pxi θ i1
模式识别 – 概率密度函数的参数估计
最大似然估计
• 最大似然估计：寻找到一个最优矢量θˆ ，使 得似然函数 l θ 最大。
3.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，
x2， …, xn，样本都是独立同分布的随机变量 (i.i.d，independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参 数可以表示为参数矢量θ：
p x i ,θi
θ a1, a2,L , aM ,μ1, Σ1,L ,μM , ΣM
• 参数估计：已知样本x1,…,xn，估计参数θ。 • 存在的问题：每个样本是由哪一个子集产
生的未知。
模式识别 – 概率密度函数的参数估计
训练样本： x1 来自子类： y1
x2 L y2 L
xn yn
已知y的条件下，参数的估计：
M
px θ ai pi x θi , i1
M
ai 1
i1
• 高斯混合模型：GMM，Gauss Mixture Model
M
p x ai N x;μi , Σi i 1
模式识别 – 概率密度函数的参数估计
两个高斯函数的混合
px 0.7N 10,2 0.3N(5,3)
模式识别 – 概率密度函数的参数估计
θˆ arg max l θ θ
模式识别 – 概率密度函数的参数估计
正态分布的似然估计
• Gauss分布的参数：由均值矢量μ和协方 差矩阵Σ构成，最大似然估计结果为：
μˆ
1 n
n i1
xi
Σ
1 n
n i1
xi
μˆ xi
μˆ t
模式识别 – 概率密度函数的参数估计
3.2 期望最大化算法(EM算法)
ai
1 n
n t 1
I
yt
i
n
n
μi I yt i xt I yt i
t 1
t 1
n
Σi I yt i xt μi xt μi t t 1
n
I yt i
t 1
已知参数条件下，y的估计：
yt arg max ai N xt ;μi , Σi
i
K-mean算法
模式识别 – 概率密度函数的参数估计
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按 照正态分布产生的；
• GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态 分布产生样本。
模式识别 – 概率密度函数的参数估计
GMM模型产生的2维样本数据
模式识别 – 概率密度函数的参数估计
GMM模型的参数估计
• GMM的参数：
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概 率密度函数的形式已知，而具体的参数未 知；
– 最大似然估计(MLE, Maximum Likelihood Estimation)；
– 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
模式识别 – 概率密度函数的参数估计
3.
E步：计算 Q θ θi1 ;
4.
ຫໍສະໝຸດ Baidu
M步：θi arg max Q θ θi1
θ
5.
until Q θi1 θi Q θi θi1 T
6. return θˆ θi1
模式识别 – 概率密度函数的参数估计
第三章 概率密度函数的 参数估计
模式识别 – 概率密度函数的参数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的 估计。
• 问题的表示：已有c个类别的训练样本集合D1，
D2，…，Dc，求取每个类别的类条件概率密
度
p。x i
模式识别 – 概率密度函数的参数估计
模式识别 – 概率密度函数的参数估计
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数 的局部最大值点（极值点），而不能保证 收敛于全局最优点。
模式识别 – 概率密度函数的参数估计
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=X Y。
EM算法
模式识别 – 概率密度函数的参数估计
混合密度模型的参数估计
• 混合密度模型的参数可以表示为：
θ a1, a2 ,L , aM ,θ1,θ2 ,L ,θM
• 参数的估计方法：
1. 梯度法：利用最优化方法直接对似然函数进行 优化；
2. EM算法：引入未知隐变量Y对问题进行简化， 将Y看作丢失的数据，使用EM算法进行优化。
E步： Q θ θi1 EY l θ X, Y X,θi1
EY ln p X, Y θ X,θi1
M步：
θi arg max Q θ θi1 θ
模式识别 – 概率密度函数的参数估计
基本EM算法
1. begin initialize θ0，T，i0； 2. do ii+1
• EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数 的最大似然估计；
2. 对某些复杂分布模型假设，最大似然估计很 难得到解析解时的迭代算法。
模式识别 – 概率密度函数的参数估计
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
p D θ p X,Y θ
• 似然函数：由于Y未知，在给定参数θ时，似 然函数可以看作Y的函数：
l θ l θ D l θ X,Y ln p X,Y θ
模式识别 – 概率密度函数的参数估计
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：