非参数估计(完整)ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 1 u 1 , ,d j , j u 2 0 o th e r w is e
中心在原点的 单位超立方体
Parzen窗估计
落入以X为中心的立方体区域的样本数为：
x xi kn i 1 hn X处的密度估计为：
n
n k / n x x 1 1 n i ˆ p x n V n n V i 1 n h n
估计P(x|ω1)即PN(x) x6 0 1 2 x5 x3 x1 x2 3 4
1
x4 5 6
x
( u ) 解：选正态窗函数
12 exp( u ) 2 2
2
| x | | x | 1 1 x x i i ( ) ( u ) ( ) exp[ ] 2 2h h N N
P k 的期望值为： Ek N
对P的估计：
k ˆ P N
当 N 时， 估计是非 常精确的
概率密度估计
假设p(x)是连续的，且R足够小使得p(x)在R内几乎 没有变化。
令R是包含样本点x的一个区域，其体积为V，设有 N个训练样本，其中有k落在区域R中，则可对概率 密度作出一个估计： k ˆ P p x d x p x V P N R
可以验证： p ˆn x 0
ˆ x x1 d p
n
窗函数的要求
Parzen窗估计过程是一个内插过程，样本xi
距离x越近，对概率密度估计的贡献越大，越 远贡献越小。 只要满足如下条件，就可以作为窗函数：
u 0
u 1 u d
窗函数的形式
方窗函数
1 1, | u | (u ) 2 0.其他
n
limVn 0
n
limkn
n
lim kn / n0
选择Vn
选择kn
概率密度估计
两种选择方法：
主要内容
概率密度估计 Parzen窗估计
k-NN估计
最近邻分类器（NN） k-近邻分类器（k-NN）
Parzen窗估计
定义窗函数：假设Rn是一个d维的超立方体。令hn 为超立方体一条边的长度，则体积： Vn hnd 立方体窗函数为：
收敛性问题：样本数量N无穷大是，估计的概率函 数是否收敛到真实值？
N
ˆ l i m p x p x N
ˆ x 越精确，要求： R 0 实际中，p
实际中，N是有限的：
ˆ x 0 当 R 0 时，绝大部分区间没有样本： p
ˆ x 如果侥幸存在一个样本，则： p
k/N ˆ x p V
对p(x) 在小区域内的平均值的估计
概率密度估计
当样本数量N固定时，体积V的大小对估计的
效果影响很大。
过大则平滑过多，不够精确； 过小则可能导致在此区域内无样本点，k=0。
此方法的有效性取决于样本数量的多少，以
及区域体积选择的合适。
概率密度估计
方法
1. 把x的每个分量分成k 个等间隔小窗，
（ x∈Ed ，则形成kd 个小舱） 2. 统计落入各个小舱内的样本数qi 3. 相应小舱的概率密度为： qi /(NV ) （ N ：样本 总数，V ：小舱体积）
概率密度估计
直方图的例子
概率密度估计
非参数概率密度估计的核心思路：
一个向量x落在区域R中的概率P为： P pxdx
R
因此，可以通过统计概率P来估计概率密度函数p(x)
概率密度估计
假设N个样本的集合
是根据概率密度
函数为p(x)的分布独立抽取得到的。 那么，有k个样本落在区域R中的概率服从二项式 定理： N N k
k P P 1 P k k
正态窗函数
指数窗函数
( u Байду номын сангаас
12 exp{ u } 2 2
1
( u ) exp{ |u |}
x xi hn
其中：u
窗口宽度的影响
Parzen估计的性能与窗宽参数hn紧密相关
当hn较大时，x和中心xi距离大小的影响程度变弱，估计
的p(x)较为平滑，分辨率较差。 当hn较小时，x和中心xi距离大小的影响程度变强，估计 的p(x)较为尖锐，分辨率较好。
概率密度估计
理论结果：
设有一系列包含x 的区域R1，R2，…,Rn,…，对 R1采用1个样本进行估计，对R2用2 个，…， Rn 包含kn个样本。Vn为Rn的体积。
kn / N pn x Vn
为p(x)的第n次估计
概率密度估计
如果要求 p n x 能够收敛到p(x)，那么必须满足：
窗口宽度的影响
5个样本的Parzen窗估计：
窗函数
密度估计值
渐近收敛性
Parzen窗密度估计的渐近收敛性：
无偏性：
ˆ 当 Vn 0 时，Ep x p x l
一致性：
n 2 ˆ l i m p x 0 n
例：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类 的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)
主要内容
概率密度估计 Parzen窗估计
k-NN估计
最近邻分类器（NN） k-近邻分类器（k-NN）
概率密度估计
概率密度估计问题：
xx ,2 , , x 给定i.i.d.样本集： X 1 l
估计概率分布：
p x
概率密度估计
直方图方法：非参数概率密度估计的最简单
非参数估计(完整)
引言
参数化估计：ML方法和Bayesian估计。假设概率 密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的，即有多个局部极大 值。 实际中样本维数较高，且关于高维密度函数可以表 示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法：能处理任意的概率 分布，而不必假设密度函数的形式已知。
中心在原点的 单位超立方体
Parzen窗估计
落入以X为中心的立方体区域的样本数为：
x xi kn i 1 hn X处的密度估计为：
n
n k / n x x 1 1 n i ˆ p x n V n n V i 1 n h n
估计P(x|ω1)即PN(x) x6 0 1 2 x5 x3 x1 x2 3 4
1
x4 5 6
x
( u ) 解：选正态窗函数
12 exp( u ) 2 2
2
| x | | x | 1 1 x x i i ( ) ( u ) ( ) exp[ ] 2 2h h N N
P k 的期望值为： Ek N
对P的估计：
k ˆ P N
当 N 时， 估计是非 常精确的
概率密度估计
假设p(x)是连续的，且R足够小使得p(x)在R内几乎 没有变化。
令R是包含样本点x的一个区域，其体积为V，设有 N个训练样本，其中有k落在区域R中，则可对概率 密度作出一个估计： k ˆ P p x d x p x V P N R
可以验证： p ˆn x 0
ˆ x x1 d p
n
窗函数的要求
Parzen窗估计过程是一个内插过程，样本xi
距离x越近，对概率密度估计的贡献越大，越 远贡献越小。 只要满足如下条件，就可以作为窗函数：
u 0
u 1 u d
窗函数的形式
方窗函数
1 1, | u | (u ) 2 0.其他
n
limVn 0
n
limkn
n
lim kn / n0
选择Vn
选择kn
概率密度估计
两种选择方法：
主要内容
概率密度估计 Parzen窗估计
k-NN估计
最近邻分类器（NN） k-近邻分类器（k-NN）
Parzen窗估计
定义窗函数：假设Rn是一个d维的超立方体。令hn 为超立方体一条边的长度，则体积： Vn hnd 立方体窗函数为：
收敛性问题：样本数量N无穷大是，估计的概率函 数是否收敛到真实值？
N
ˆ l i m p x p x N
ˆ x 越精确，要求： R 0 实际中，p
实际中，N是有限的：
ˆ x 0 当 R 0 时，绝大部分区间没有样本： p
ˆ x 如果侥幸存在一个样本，则： p
k/N ˆ x p V
对p(x) 在小区域内的平均值的估计
概率密度估计
当样本数量N固定时，体积V的大小对估计的
效果影响很大。
过大则平滑过多，不够精确； 过小则可能导致在此区域内无样本点，k=0。
此方法的有效性取决于样本数量的多少，以
及区域体积选择的合适。
概率密度估计
方法
1. 把x的每个分量分成k 个等间隔小窗，
（ x∈Ed ，则形成kd 个小舱） 2. 统计落入各个小舱内的样本数qi 3. 相应小舱的概率密度为： qi /(NV ) （ N ：样本 总数，V ：小舱体积）
概率密度估计
直方图的例子
概率密度估计
非参数概率密度估计的核心思路：
一个向量x落在区域R中的概率P为： P pxdx
R
因此，可以通过统计概率P来估计概率密度函数p(x)
概率密度估计
假设N个样本的集合
是根据概率密度
函数为p(x)的分布独立抽取得到的。 那么，有k个样本落在区域R中的概率服从二项式 定理： N N k
k P P 1 P k k
正态窗函数
指数窗函数
( u Байду номын сангаас
12 exp{ u } 2 2
1
( u ) exp{ |u |}
x xi hn
其中：u
窗口宽度的影响
Parzen估计的性能与窗宽参数hn紧密相关
当hn较大时，x和中心xi距离大小的影响程度变弱，估计
的p(x)较为平滑，分辨率较差。 当hn较小时，x和中心xi距离大小的影响程度变强，估计 的p(x)较为尖锐，分辨率较好。
概率密度估计
理论结果：
设有一系列包含x 的区域R1，R2，…,Rn,…，对 R1采用1个样本进行估计，对R2用2 个，…， Rn 包含kn个样本。Vn为Rn的体积。
kn / N pn x Vn
为p(x)的第n次估计
概率密度估计
如果要求 p n x 能够收敛到p(x)，那么必须满足：
窗口宽度的影响
5个样本的Parzen窗估计：
窗函数
密度估计值
渐近收敛性
Parzen窗密度估计的渐近收敛性：
无偏性：
ˆ 当 Vn 0 时，Ep x p x l
一致性：
n 2 ˆ l i m p x 0 n
例：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类 的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1)
主要内容
概率密度估计 Parzen窗估计
k-NN估计
最近邻分类器（NN） k-近邻分类器（k-NN）
概率密度估计
概率密度估计问题：
xx ,2 , , x 给定i.i.d.样本集： X 1 l
估计概率分布：
p x
概率密度估计
直方图方法：非参数概率密度估计的最简单
非参数估计(完整)
引言
参数化估计：ML方法和Bayesian估计。假设概率 密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的，即有多个局部极大 值。 实际中样本维数较高，且关于高维密度函数可以表 示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法：能处理任意的概率 分布，而不必假设密度函数的形式已知。