概率密度函数估计.
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ d ( x , x ,, x ) d (X )。称作最大似然估计量。 样本集的函数，记作 1 2 N
为了便于分析，还可以定义对数似然函数 H ( ) ln l ( )。
3.2
最大似然估计(Maximum
Likelihood Estimation)
求解： 若似然函数满足连续、可微的条件，则最大似然估计量就是方程
i
P(Xi/θi)
利用上式求出 的估值 ，即为 ＝
i
上图有5个解,只有一个解最大即.
3.2
最大似然估计(Maximum
Likelihood Estimation)
正态分布下的最大似然估计示例 以单变量正态分布为例
[1， , 2 ]T
p( x | ) 1
1，
2 2
1 x 2 exp 2 2
样本集
X x1 , x2 ,, x N
l ( x ) p ( X | ) p ( xk | )
k 1 N
似然函数
3.2
最大似然估计(Maximum
dl( ) / d 0 或 dH ( ) / d 0
的解（必要条件）。 若未知参数不止一个，即 [1 , 2 ,, s ]T ，记梯度算子
, , , s 1 2
T
则最大似然估计量的必要条件由S个方程组成：
似然函数（likelihood function）
l ( ) p( X | ) p( x1 , x2 ,, x N | ) p( xi | )
i 1 N
—— 在参数 下观测到样本集 X 的概率（联合分布）密度
基本思想：
ˆ 下 l ( ) 最大，则 ˆ 应是“最可能”的参数值，它是 如果在参数
第三章 概率密度函数的估计
本章主要内容介绍
3.1 3.2 3.3 3.4
引言 最大似然估计(Maximum Likelihood Estimation) 贝叶斯估计和贝叶斯学习 概率密度估题：
已知 P( i ) 和 p( x | i ) ，对未知样本分类（设计分类器） 已知一定数目的样本，对未知样本分类（设计分类器）
怎么办？
一种很自然的想法：
ˆ ( ) 首先根据样本估计p( x | i ) 和 P( i ) ，记 p ˆ ( x | i ) 和 P i
然后用估计的概率密度设计贝叶斯分类器。 ——（基于样本的）两步贝叶斯决策
3.1
引言
希望：当样本数 N 时，如此得到的分类器收敛于理论上的最优解。 为此， 需
i i 2 ，此时 p( x | i )可写成 p( x | i , i ) 或 p( x | i ) 。 i
2
3.2
最大似然估计(Maximum
Likelihood Estimation)
鉴于上述假设，我们可以只考虑一类样本，记已知样本为
X x1 , x2 ,, x N
3.1
引言
基本概念 参数估计(parametric estimation)：
已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本
估计这些参数的值。
几个名词：
统计量(statistics)：样本的某种函数，用来作为对某参数的估计 参数空间(parametric space)：待估计参数的取值空间
ˆ( x , x ,, x ) 估计量(estimation)： 1 2 N
3.2
最大似然估计(Maximum
Likelihood Estimation)
假设条件： ① 参数 是确定的未知量，（不是随机量） ② 各类样本集 X i ，i 1,, c 中的样本都是从密度为p( x | i ) 的总体中独立 抽取出来的，（独立同分布，i.i.d.） ③ p( x | i ) 具有某种确定的函数形式，只其参数 未知 ④ 各类样本只包含本类分布的信息 其中，参数 通常是向量，比如一维正态分布 N (i , 12 )，未知参数可能是
为例）
N 1 i ... log P ( | )0 X k k 1 p N i log P ( | )0 X k k 1 1 ......... ......... N logP ( X k | i ) 0 k 1 p
Likelihood Estimation)
对数似然函数 H ( ) ln l ( x) ln P( xk | )
参数方法 (parametric methods)
非参数方法 (nonparametric methods)
不假定数学模型，直接用已知类别的学习样本的先验知识直 接估计数学模型。
二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。
无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。
H ( ) 0
3.2
最大似然估计(Maximum
Likelihood Estimation)
讨论： 如果似然函数连续、可微，存在最大值，且上述必要条件方程组有 唯一解，则其解就是最大似然估计量。（比如多元正态分布）。 如果必要条件有多解，则需从中求似然函数最大者
若不满足条件，则无一般性方法，用其它方法求最大（以均匀分布
ˆ ( x | i ) N p p( x | i )
ˆ ( ) N P P(i ) i
重要前提： 训练样本的分布能代表样本的真实分布，所谓i.i.d条件 有充分的训练样本 本章讨论内容： 如何利用样本集估计概率密度函数？ 估计概率密度的两种基本方法：
为了便于分析，还可以定义对数似然函数 H ( ) ln l ( )。
3.2
最大似然估计(Maximum
Likelihood Estimation)
求解： 若似然函数满足连续、可微的条件，则最大似然估计量就是方程
i
P(Xi/θi)
利用上式求出 的估值 ，即为 ＝
i
上图有5个解,只有一个解最大即.
3.2
最大似然估计(Maximum
Likelihood Estimation)
正态分布下的最大似然估计示例 以单变量正态分布为例
[1， , 2 ]T
p( x | ) 1
1，
2 2
1 x 2 exp 2 2
样本集
X x1 , x2 ,, x N
l ( x ) p ( X | ) p ( xk | )
k 1 N
似然函数
3.2
最大似然估计(Maximum
dl( ) / d 0 或 dH ( ) / d 0
的解（必要条件）。 若未知参数不止一个，即 [1 , 2 ,, s ]T ，记梯度算子
, , , s 1 2
T
则最大似然估计量的必要条件由S个方程组成：
似然函数（likelihood function）
l ( ) p( X | ) p( x1 , x2 ,, x N | ) p( xi | )
i 1 N
—— 在参数 下观测到样本集 X 的概率（联合分布）密度
基本思想：
ˆ 下 l ( ) 最大，则 ˆ 应是“最可能”的参数值，它是 如果在参数
第三章 概率密度函数的估计
本章主要内容介绍
3.1 3.2 3.3 3.4
引言 最大似然估计(Maximum Likelihood Estimation) 贝叶斯估计和贝叶斯学习 概率密度估题：
已知 P( i ) 和 p( x | i ) ，对未知样本分类（设计分类器） 已知一定数目的样本，对未知样本分类（设计分类器）
怎么办？
一种很自然的想法：
ˆ ( ) 首先根据样本估计p( x | i ) 和 P( i ) ，记 p ˆ ( x | i ) 和 P i
然后用估计的概率密度设计贝叶斯分类器。 ——（基于样本的）两步贝叶斯决策
3.1
引言
希望：当样本数 N 时，如此得到的分类器收敛于理论上的最优解。 为此， 需
i i 2 ，此时 p( x | i )可写成 p( x | i , i ) 或 p( x | i ) 。 i
2
3.2
最大似然估计(Maximum
Likelihood Estimation)
鉴于上述假设，我们可以只考虑一类样本，记已知样本为
X x1 , x2 ,, x N
3.1
引言
基本概念 参数估计(parametric estimation)：
已知概率密度函数的形式，只是其中几个参数未知，目标是根据样本
估计这些参数的值。
几个名词：
统计量(statistics)：样本的某种函数，用来作为对某参数的估计 参数空间(parametric space)：待估计参数的取值空间
ˆ( x , x ,, x ) 估计量(estimation)： 1 2 N
3.2
最大似然估计(Maximum
Likelihood Estimation)
假设条件： ① 参数 是确定的未知量，（不是随机量） ② 各类样本集 X i ，i 1,, c 中的样本都是从密度为p( x | i ) 的总体中独立 抽取出来的，（独立同分布，i.i.d.） ③ p( x | i ) 具有某种确定的函数形式，只其参数 未知 ④ 各类样本只包含本类分布的信息 其中，参数 通常是向量，比如一维正态分布 N (i , 12 )，未知参数可能是
为例）
N 1 i ... log P ( | )0 X k k 1 p N i log P ( | )0 X k k 1 1 ......... ......... N logP ( X k | i ) 0 k 1 p
Likelihood Estimation)
对数似然函数 H ( ) ln l ( x) ln P( xk | )
参数方法 (parametric methods)
非参数方法 (nonparametric methods)
不假定数学模型，直接用已知类别的学习样本的先验知识直 接估计数学模型。
二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。
无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。
H ( ) 0
3.2
最大似然估计(Maximum
Likelihood Estimation)
讨论： 如果似然函数连续、可微，存在最大值，且上述必要条件方程组有 唯一解，则其解就是最大似然估计量。（比如多元正态分布）。 如果必要条件有多解，则需从中求似然函数最大者
若不满足条件，则无一般性方法，用其它方法求最大（以均匀分布
ˆ ( x | i ) N p p( x | i )
ˆ ( ) N P P(i ) i
重要前提： 训练样本的分布能代表样本的真实分布，所谓i.i.d条件 有充分的训练样本 本章讨论内容： 如何利用样本集估计概率密度函数？ 估计概率密度的两种基本方法：