概率密度函数的参数估计-PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 n ai P yt i n t 1 μi P yt i xt
t 1 n n
P y i
t 1 t t
n
Σi P yt i xt μi xt μi
t 1
P y i
t 1 t
n
P y i N x ; μ , Σ a N x ; μ , Σ a t i t i i i t i i
模式识别 – 概率密度函数的参数估计
最大似然估计
• 最大似然估计：寻找到一个最优矢量 θ ˆ ，使 得似然函数 l θ 最大。
ˆ θ a r g m a x l θ
θ
模式识别 – 概率密度函数的参数估计
正态分布的似然估计
• Gauss分布的参数：由均值矢量μ 和协方 差矩阵Σ 构成，最大似然估计结果为：
t 1
I y i
t 1 t
n
已知参数条件下，y的估计：
y a r g m a x a N x ; μ , Σ t i t i i
i
K-mean算法
模式识别 – 概率密度函数的参数估计
• 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。 • 修改计算过程：
3.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，
x2， …, xn，样本都是独立同分布的随机变量 (i.i.d，independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参
数可以表示为参数矢量θ ：
p θ x i, i
模式识别 – 概率密度函数的参数估计
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数
的局部最大值点（极值点），而不能保证 收敛于全局最优点。
模式识别 – 概率密度函数的参数估计
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=XY。
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概 率密度函数的形式已知，而具体的参数未 知；
– 最大似然估计(MLE, Maximum Likelihood Estimation)； – 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
模式识别 – 概率密度函数的参数估计
模式识别 – 概率密度函数的参数估计
第三章 概率密度函数的 参数估计
模式识别 – 概率密度函数的参数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的
Hale Waihona Puke Baidu估计。
• 问题的表示：已有c个类别的训练样本集合D1，
D2，…，Dc，求取每个类别的类条件概率密
度 px i 。
模式识别 – 概率密度函数的参数估计
1 ˆ μ n
x
i 1
n
i
1n t ˆ ˆ Σ x μ x μ i i n i 1
模式识别 – 概率密度函数的参数估计
3.2 期望最大化算法(EM算法)
• EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数 的最大似然估计； 2. 对某些复杂分布模型假设，最大似然估计很 难得到解析解时的迭代算法。
i 1 M
模式识别 – 概率密度函数的参数估计
两个高斯函数的混合
p x 0 . 7 N 1 0 , 2 0 . 3 N ( 5 , 3 )
模式识别 – 概率密度函数的参数估计
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按 照正态分布产生的； • GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态 分布产生样本。
p D θ p X , Y θ
• 似然函数：由于Y未知，在给定参数θ 时，似 然函数可以看作Y的函数：
l θ l θ D l θ X , Y l n p X , Y θ
模式识别 – 概率密度函数的参数估计
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：
模式识别 – 概率密度函数的参数估计
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
p ap xθ , xθ i i i
i 1 M
M
i1
ai 1
• 高斯混合模型：GMM，Gauss Mixture Model
p aN ;μ x x i i,Σ i
模式识别 – 概率密度函数的参数估计
x1 来自子类： y1
训练样本：
x2 y2
xn yn
已知y的条件下，参数的估计：
1 n ai I yt i n t 1 μi I yt i xt
t 1 n n
I y i
t 1 t t
n
Σi I yt i xt μi xt μi
i 1
M
EM算法
模式识别 – 概率密度函数的参数估计
GMM的参数估计算法(EM)
1. 随机初始化参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
2. 计算： P yt i
3. 重新估计参数 θ； 4. 迭代计算2，3步，直到收敛为止。
模式识别 – 概率密度函数的参数估计
GMM模型产生的2维样本数据
模式识别 – 概率密度函数的参数估计
GMM模型的参数估计
• GMM的参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
• 参数估计：已知样本x1,…,xn，估计参数θ。
• 存在的问题：每个样本是由哪一个子集产 生的未知。
模式识别 – 概率密度函数的参数估计
似然函数
• 样本集D出现的概率：
p D θ p x , x , , x θ p x 1 2 n iθ
i 1 n
• 对数似然函数：
l θ l n p D θ l n p x iθ
i 1
n
t 1 n n
P y i
t 1 t t
n
Σi P yt i xt μi xt μi
t 1
P y i
t 1 t
n
P y i N x ; μ , Σ a N x ; μ , Σ a t i t i i i t i i
模式识别 – 概率密度函数的参数估计
最大似然估计
• 最大似然估计：寻找到一个最优矢量 θ ˆ ，使 得似然函数 l θ 最大。
ˆ θ a r g m a x l θ
θ
模式识别 – 概率密度函数的参数估计
正态分布的似然估计
• Gauss分布的参数：由均值矢量μ 和协方 差矩阵Σ 构成，最大似然估计结果为：
t 1
I y i
t 1 t
n
已知参数条件下，y的估计：
y a r g m a x a N x ; μ , Σ t i t i i
i
K-mean算法
模式识别 – 概率密度函数的参数估计
• 存在的问题：样本xt可能来自于任何一个子类，但 在参数估计时只出现在一个子类中。 • 修改计算过程：
3.1 最大似然估计
• 独立同分布假设：样本集D中包含n个样本：x1，
x2， …, xn，样本都是独立同分布的随机变量 (i.i.d，independent identically distributed)。
• 对类条件概率密度函数的函数形式作出假设，参
数可以表示为参数矢量θ ：
p θ x i, i
模式识别 – 概率密度函数的参数估计
EM算法的性质
• 收敛性：EM算法具有收敛性；
• 最优性：EM算法只能保证收敛于似然函数
的局部最大值点（极值点），而不能保证 收敛于全局最优点。
模式识别 – 概率密度函数的参数估计
基本EM算法
• 样本集：令X是观察到的样本数据集合，Y为 丢失的数据集合，完整的样本集合D=XY。
概率密度函数的估计方法
• 参数估计方法：预先假设每一个类别的概 率密度函数的形式已知，而具体的参数未 知；
– 最大似然估计(MLE, Maximum Likelihood Estimation)； – 贝叶斯估计(Bayesian Estimation)。
• 非参数估计方法。
模式识别 – 概率密度函数的参数估计
模式识别 – 概率密度函数的参数估计
第三章 概率密度函数的 参数估计
模式识别 – 概率密度函数的参数估计
3.0 引言
• 贝叶斯分类器的学习：类条件概率密度函数的
Hale Waihona Puke Baidu估计。
• 问题的表示：已有c个类别的训练样本集合D1，
D2，…，Dc，求取每个类别的类条件概率密
度 px i 。
模式识别 – 概率密度函数的参数估计
1 ˆ μ n
x
i 1
n
i
1n t ˆ ˆ Σ x μ x μ i i n i 1
模式识别 – 概率密度函数的参数估计
3.2 期望最大化算法(EM算法)
• EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数 的最大似然估计； 2. 对某些复杂分布模型假设，最大似然估计很 难得到解析解时的迭代算法。
i 1 M
模式识别 – 概率密度函数的参数估计
两个高斯函数的混合
p x 0 . 7 N 1 0 , 2 0 . 3 N ( 5 , 3 )
模式识别 – 概率密度函数的参数估计
样本的产生过程
• 高斯模型样本的产生：每一个样本都是按 照正态分布产生的； • GMM样本的产生：先按照先验概率ai选择 一个子类，然后按照这个子类满足的正态 分布产生样本。
p D θ p X , Y θ
• 似然函数：由于Y未知，在给定参数θ 时，似 然函数可以看作Y的函数：
l θ l θ D l θ X , Y l n p X , Y θ
模式识别 – 概率密度函数的参数估计
基本EM算法
• 由于Y未知，因此我们需要寻找到一个在Y的 所有可能情况下，平均意义下的似然函数最 大值，即似然函数对Y的期望的最大值：
模式识别 – 概率密度函数的参数估计
混合密度模型
• 混合密度模型：一个复杂的概率密度分布函 数可以由多个简单的密度函数混合构成：
p ap xθ , xθ i i i
i 1 M
M
i1
ai 1
• 高斯混合模型：GMM，Gauss Mixture Model
p aN ;μ x x i i,Σ i
模式识别 – 概率密度函数的参数估计
x1 来自子类： y1
训练样本：
x2 y2
xn yn
已知y的条件下，参数的估计：
1 n ai I yt i n t 1 μi I yt i xt
t 1 n n
I y i
t 1 t t
n
Σi I yt i xt μi xt μi
i 1
M
EM算法
模式识别 – 概率密度函数的参数估计
GMM的参数估计算法(EM)
1. 随机初始化参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
2. 计算： P yt i
3. 重新估计参数 θ； 4. 迭代计算2，3步，直到收敛为止。
模式识别 – 概率密度函数的参数估计
GMM模型产生的2维样本数据
模式识别 – 概率密度函数的参数估计
GMM模型的参数估计
• GMM的参数：
θ a , a , ,, a μ , Σ , ,, μ Σ 1 2 M 1 1 M M
• 参数估计：已知样本x1,…,xn，估计参数θ。
• 存在的问题：每个样本是由哪一个子集产 生的未知。
模式识别 – 概率密度函数的参数估计
似然函数
• 样本集D出现的概率：
p D θ p x , x , , x θ p x 1 2 n iθ
i 1 n
• 对数似然函数：
l θ l n p D θ l n p x iθ
i 1
n