非参数估计(完整)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
x4 5 6
x
解：选正态窗函数 ϕ (u ) =
∴ ϕ (u ) = ϕ ( | x − xi | hN )= 1
1 exp(− u 2) 2 2π
2
1 | x − xi | )] exp[− ( 2 hN 2π
∵ x是一维的
∴VN = hN = h1 , 其中选 h1 = 0.5 6，N = 6 N
k/N ˆ p (x) = V
对p(x) 在小区域内的平均值的估计
概率密度估计
当样本数量N固定时，体积 的大小对估计的 当样本数量 固定时，体积V的大小对估计的 固定时 效果影响很大。 效果影响很大。
过大则平滑过多，不够精确； 过大则平滑过多，不够精确； 过小则可能导致在此区域内无样本点， 过小则可能导致在此区域内无样本点，k=0。 。
概率密度估计
两种选择方法： 两种选择方法：
主要内容
概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器（ ） 最近邻分类器（NN） k-近邻分类器（k-NN） 近邻分类器（ 近邻分类器 ）
Parzen窗估计
定义窗函数：假设 是一个d维的超立方体 维的超立方体。 定义窗函数：假设Rn是一个 维的超立方体。令hn 为超立方体一条边的长度，则体积： 为超立方体一条边的长度，则体积： Vn = hnd 立方体窗函数为： 立方体窗函数为：
n
kn / n 1 n 1 x − xi ˆ pn ( x ) = = ∑ ϕ Vn n i =1 Vn hn
可以验证：Байду номын сангаасˆ 可以验证： pn ( x ) ≥ 0
ˆ ∫ p ( x )dx = 1
n
窗函数的要求
Parzen窗估计过程是一个内插过程，样本xi 距离x越近，对概率密度估计的贡献越大，越 远贡献越小。 只要满足如下条件，就可以作为窗函数：
非参数估计
刘芳， 刘芳，戚玉涛 qi_yutao@163.com
引言
参数化估计： 方法和 方法和Bayesian估计。假设概率 估计。 参数化估计：ML方法和 估计 密度形式已知。 密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的， 实际中概率密度往往是多模的，即有多个局部极大 值。 实际中样本维数较高， 实际中样本维数较高，且关于高维密度函数可以表 示成一些低维密度函数乘积的假设通常也不成立。 示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法： 本章介绍非参数密度估计方法：能处理任意的概率 分布，而不必假设密度函数的形式已知。 分布，而不必假设密度函数的形式已知。
1 代入： ˆ 代入： pN ( x ) = N 1 x − xi ∑V ϕ h i =1 n n
N
0.5 6 ∴V N = hN = = 0.5 6
上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中 心的正态曲线，而PN(x)则是这些曲线之和。 由图看出，每个 样本对估计的贡 献与样本间的距 离有关，样本越 多，PN(x)越准 确。
1 ϕ (u) = 0 1 u j ≤ , j = 1,L , d 2 otherwise
中心在原点的 单位超立方体
Parzen窗估计
落入以X为中心的立方体区域的样本数为： 落入以 为中心的立方体区域的样本数为： 为中心的立方体区域的样本数为
x − xi kn = ∑ ϕ i =1 hn X处的密度估计为： 处的密度估计为： 处的密度估计为
Pk = P k (1 − P ) k
k 的期望值为： E [ k ] = NP 的期望值为： 的估计： 对P的估计： 的估计
ˆ= k P N
当 N → ∞ 时， 估计是非 常精确的
概率密度估计
假设p(x)是连续的，且R足够小使得 是连续的， 足够小使得p(x)在R内几乎 假设 是连续的 足够小使得 在 内几乎 没有变化。 没有变化。 是包含样本点x的一个区域 令R是包含样本点 的一个区域，其体积为 ，设有 是包含样本点 的一个区域，其体积为V， N个训练样本 其中有k落在区域 N个训练样本，其中有k落在区域R中，则可对概率 个训练样本， 落在区域R中 密度作出一个估计： 密度作出一个估计： ˆ= k P P = ∫ p ( x )dx = p ( x ) V N R
窗口宽度的影响
Parzen估计的性能与窗宽参数hn紧密相关
当hn较大时，x和中心xi距离大小的影响程度变弱，估计 的p(x)较为平滑，分辨率较差。 当hn较小时，x和中心xi距离大小的影响程度变强，估计 的p(x)较为尖锐，分辨率较好。
窗口宽度的影响
5个样本的 个样本的Parzen窗估计： 窗估计： 个样本的 窗估计
例：设待估计的P(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的1个、 16个、 256个作为 学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0
ϕ(
| x − xi | hN
1 1 | x − xi | )] )= exp[− ( 2 hN 2π
− 2
0
2
− 2
0
2
− 2
0
2
由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正 态曲线，与窗函数差不多。
②当N＝16及N=256时
h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。
概率密度估计
假设N个样本的集合 假设 个样本的集合 是根据概率密度 函数为p(x)的分布独立抽取得到的。 的分布独立抽取得到的。 函数为 的分布独立抽取得到的 那么，有k个样本落在区域 中的概率服从二项式 那么， 个样本落在区域R中的概率服从二项式 个样本落在区域 定理： 定理： N N −k
−2
0
2
−2
0
2
−2
0
2
当N=1、16、256、 ∞时的PN(x)估计如图所示 ①当N＝1时， PN(x) 实际是窗函数。 ②当N＝16及N=256时
h1＝0.25 曲线起伏大 h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当N→∞时，曲线较好。
Parzen窗估计
优点
由前面的例子可以看出， Parzen窗估计的优点是应用的 普遍性。对规则分布，非规则分布，单锋或多峰分布都 可用此法进行密度估计。 可以获得较为光滑且分辨率较高的密度估计，实现了光 滑性和分辨率之间的一个较好平衡。
p (x)
概率密度估计
直方图方法： 直方图方法：非参数概率密度估计的最简单 方法
1. 把x的每个分量分成k 个等间隔小窗， x的每个分量分成 个等间隔小窗， 的每个分量分成k 则形成k 个小舱） （ x∈Ed ，则形成 d 个小舱） ∈ 2. 统计落入各个小舱内的样本数 i 统计落入各个小舱内的样本数q 3. 相应小舱的概率密度为： qi /(NV ) 相应小舱的概率密度为： 总数， 小舱体积） （ N ：样本 总数，V ：小舱体积）
概率密度估计
直方图的例子
概率密度估计
非参数概率密度估计的核心思路：
一个向量x落在区域 中的概率 一个向量 落在区域R中的概率 为： P = ∫ p ( x )dx 落在区域 中的概率P为
R
因此，可以通过统计概率 来估计概率密度函数 来估计概率密度函数p(x) 因此，可以通过统计概率P来估计概率密度函数
h1 = 4
用
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0
0 .1 0 . 01
Parzen 窗
法 估 计 单 一 正 态 分 布 的 实 验
0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001 10 . 0
1 .0 0 .1 0 . 01 0 . 001
窗函数
密度估计值
渐近收敛性
Parzen窗密度估计的渐近收敛性：
无偏性： 当 Vn → 0 时，E pl ( x ) → p ( x ) ˆ 一致性：
n →∞
lim σ 2 pn ( x ) = 0 ˆ
例：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类 的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x) x6 0 1 2 x5 x3 x1 x2 3 4
kn / N pn ( x ) = Vn
的第n次估计 为p(x)的第 次估计 的第
概率密度估计
能够收敛到p(x)，那么必须满足： ，那么必须满足： 如果要求 pn ( x ) 能够收敛到
n →∞
lim Vn = 0
n →∞
lim kn = ∞
lim kn / n = 0
n →∞
选择V 选择 n
选择k 选择 n
概率密度估计
理论结果： 理论结果：
设有一系列包含x 的区域R1， ， 设有一系列包含 的区域 ，R2，…,Rn,…，对 ， R1采用 个样本进行估计，对R2用2 个，…， Rn 采用1个样本进行估计 采用 个样本进行估计， 用 ， 包含kn个样本 个样本。 为 的体积 的体积。 包含 个样本。Vn为Rn的体积。
2
hN = h1 N
V N = hN
hN:窗长度，N为样本数，h1为选定可调节的参数。
1 PN ( x) = N
∑V
i =1
N
1
N
ϕ(
| x − xi | hN
)= h1
1
∑ N
i =1
N
1 1 | x − xi | N exp[− 2 2π h1
(
)
2
]
10 . 0
h 1 = 0 . 25
h1 = 1
缺点
要求样本足够多，才能有较好的估计。因此使计算量， 存储量增大。 窗宽在整个样本空间固定不变，难以获得区域自适应的 密度估计。
识别方法
1. 2.
3.
保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选 择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待 识别样本x的类条件概率密度：
10 . 0
h 1 = 0 . 25
h1 = 1
h1 = 4
用
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001 10 . 0
Parzen 窗 法 估 计 两 个 均 匀 分 布 的 实 验
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001
此方法的有效性取决于样本数量的多少， 此方法的有效性取决于样本数量的多少，以 及区域体积选择的合适。 及区域体积选择的合适。
概率密度估计
收敛性问题：样本数量 无穷大是 无穷大是， 收敛性问题：样本数量N无穷大是，估计的概率函 数是否收敛到真实值？ 数是否收敛到真实值？
N →∞
ˆ lim pN ( x ) = p ( x )
例：待估的密度函数为二项分布 解：此为多峰情况的估计 设窗函数为正态
-2.5<x<-2 1 P(x) = 0.25 0<x<2 0 x为其它
-2.5 -2
P(x)
1
0.25
0
2 x
解：此为多峰情况的估计 1 设窗函数为正态 ϕ (u ) =
1 2 h1 exp[ − u ], hN = 2 2π N
ϕ (u ) ≥ 0
∫ ϕ ( u ) du = 1
窗函数的形式
方窗函数
1 1 , | u |≤ ϕ (u ) = 2 0 .其他
正态窗函数
指数窗函数
ϕ (u ) =
1 exp{− u 2} 2 2π
1
ϕ ( u ) = exp{ − | u |}
x − xi 其中： 其中：u = hn
实际中，ˆ 越精确，要求： 实际中，p ( x ) 越精确，要求： R → 0 实际中， 是有限的 是有限的： 实际中，N是有限的： 绝大部分区间没有样本： ˆ 当 R → 0 时，绝大部分区间没有样本： p ( x ) = 0
ˆ 如果侥幸存在一个样本， 如果侥幸存在一个样本，则： p ( x ) = ∞
主要内容
概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器（ ） 最近邻分类器（NN） k-近邻分类器（k-NN） 近邻分类器（ 近邻分类器 ）
概率密度估计
概率密度估计问题： 概率密度估计问题：
给定i.i.d.样本集： X = {x1 , x 2 ,L , xl } 样本集： 给定 样本集 估计概率分布： 估计概率分布：
x4 5 6
x
解：选正态窗函数 ϕ (u ) =
∴ ϕ (u ) = ϕ ( | x − xi | hN )= 1
1 exp(− u 2) 2 2π
2
1 | x − xi | )] exp[− ( 2 hN 2π
∵ x是一维的
∴VN = hN = h1 , 其中选 h1 = 0.5 6，N = 6 N
k/N ˆ p (x) = V
对p(x) 在小区域内的平均值的估计
概率密度估计
当样本数量N固定时，体积 的大小对估计的 当样本数量 固定时，体积V的大小对估计的 固定时 效果影响很大。 效果影响很大。
过大则平滑过多，不够精确； 过大则平滑过多，不够精确； 过小则可能导致在此区域内无样本点， 过小则可能导致在此区域内无样本点，k=0。 。
概率密度估计
两种选择方法： 两种选择方法：
主要内容
概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器（ ） 最近邻分类器（NN） k-近邻分类器（k-NN） 近邻分类器（ 近邻分类器 ）
Parzen窗估计
定义窗函数：假设 是一个d维的超立方体 维的超立方体。 定义窗函数：假设Rn是一个 维的超立方体。令hn 为超立方体一条边的长度，则体积： 为超立方体一条边的长度，则体积： Vn = hnd 立方体窗函数为： 立方体窗函数为：
n
kn / n 1 n 1 x − xi ˆ pn ( x ) = = ∑ ϕ Vn n i =1 Vn hn
可以验证：Байду номын сангаасˆ 可以验证： pn ( x ) ≥ 0
ˆ ∫ p ( x )dx = 1
n
窗函数的要求
Parzen窗估计过程是一个内插过程，样本xi 距离x越近，对概率密度估计的贡献越大，越 远贡献越小。 只要满足如下条件，就可以作为窗函数：
非参数估计
刘芳， 刘芳，戚玉涛 qi_yutao@163.com
引言
参数化估计： 方法和 方法和Bayesian估计。假设概率 估计。 参数化估计：ML方法和 估计 密度形式已知。 密度形式已知。 实际中概率密度形式往往未知。 实际中概率密度形式往往未知。 实际中概率密度往往是多模的， 实际中概率密度往往是多模的，即有多个局部极大 值。 实际中样本维数较高， 实际中样本维数较高，且关于高维密度函数可以表 示成一些低维密度函数乘积的假设通常也不成立。 示成一些低维密度函数乘积的假设通常也不成立。 本章介绍非参数密度估计方法： 本章介绍非参数密度估计方法：能处理任意的概率 分布，而不必假设密度函数的形式已知。 分布，而不必假设密度函数的形式已知。
1 代入： ˆ 代入： pN ( x ) = N 1 x − xi ∑V ϕ h i =1 n n
N
0.5 6 ∴V N = hN = = 0.5 6
上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中 心的正态曲线，而PN(x)则是这些曲线之和。 由图看出，每个 样本对估计的贡 献与样本间的距 离有关，样本越 多，PN(x)越准 确。
1 ϕ (u) = 0 1 u j ≤ , j = 1,L , d 2 otherwise
中心在原点的 单位超立方体
Parzen窗估计
落入以X为中心的立方体区域的样本数为： 落入以 为中心的立方体区域的样本数为： 为中心的立方体区域的样本数为
x − xi kn = ∑ ϕ i =1 hn X处的密度估计为： 处的密度估计为： 处的密度估计为
Pk = P k (1 − P ) k
k 的期望值为： E [ k ] = NP 的期望值为： 的估计： 对P的估计： 的估计
ˆ= k P N
当 N → ∞ 时， 估计是非 常精确的
概率密度估计
假设p(x)是连续的，且R足够小使得 是连续的， 足够小使得p(x)在R内几乎 假设 是连续的 足够小使得 在 内几乎 没有变化。 没有变化。 是包含样本点x的一个区域 令R是包含样本点 的一个区域，其体积为 ，设有 是包含样本点 的一个区域，其体积为V， N个训练样本 其中有k落在区域 N个训练样本，其中有k落在区域R中，则可对概率 个训练样本， 落在区域R中 密度作出一个估计： 密度作出一个估计： ˆ= k P P = ∫ p ( x )dx = p ( x ) V N R
窗口宽度的影响
Parzen估计的性能与窗宽参数hn紧密相关
当hn较大时，x和中心xi距离大小的影响程度变弱，估计 的p(x)较为平滑，分辨率较差。 当hn较小时，x和中心xi距离大小的影响程度变强，估计 的p(x)较为尖锐，分辨率较好。
窗口宽度的影响
5个样本的 个样本的Parzen窗估计： 窗估计： 个样本的 窗估计
例：设待估计的P(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的1个、 16个、 256个作为 学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0
ϕ(
| x − xi | hN
1 1 | x − xi | )] )= exp[− ( 2 hN 2π
− 2
0
2
− 2
0
2
− 2
0
2
由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正 态曲线，与窗函数差不多。
②当N＝16及N=256时
h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。
概率密度估计
假设N个样本的集合 假设 个样本的集合 是根据概率密度 函数为p(x)的分布独立抽取得到的。 的分布独立抽取得到的。 函数为 的分布独立抽取得到的 那么，有k个样本落在区域 中的概率服从二项式 那么， 个样本落在区域R中的概率服从二项式 个样本落在区域 定理： 定理： N N −k
−2
0
2
−2
0
2
−2
0
2
当N=1、16、256、 ∞时的PN(x)估计如图所示 ①当N＝1时， PN(x) 实际是窗函数。 ②当N＝16及N=256时
h1＝0.25 曲线起伏大 h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当N→∞时，曲线较好。
Parzen窗估计
优点
由前面的例子可以看出， Parzen窗估计的优点是应用的 普遍性。对规则分布，非规则分布，单锋或多峰分布都 可用此法进行密度估计。 可以获得较为光滑且分辨率较高的密度估计，实现了光 滑性和分辨率之间的一个较好平衡。
p (x)
概率密度估计
直方图方法： 直方图方法：非参数概率密度估计的最简单 方法
1. 把x的每个分量分成k 个等间隔小窗， x的每个分量分成 个等间隔小窗， 的每个分量分成k 则形成k 个小舱） （ x∈Ed ，则形成 d 个小舱） ∈ 2. 统计落入各个小舱内的样本数 i 统计落入各个小舱内的样本数q 3. 相应小舱的概率密度为： qi /(NV ) 相应小舱的概率密度为： 总数， 小舱体积） （ N ：样本 总数，V ：小舱体积）
概率密度估计
直方图的例子
概率密度估计
非参数概率密度估计的核心思路：
一个向量x落在区域 中的概率 一个向量 落在区域R中的概率 为： P = ∫ p ( x )dx 落在区域 中的概率P为
R
因此，可以通过统计概率 来估计概率密度函数 来估计概率密度函数p(x) 因此，可以通过统计概率P来估计概率密度函数
h1 = 4
用
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0
0 .1 0 . 01
Parzen 窗
法 估 计 单 一 正 态 分 布 的 实 验
0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001 10 . 0
1 .0 0 .1 0 . 01 0 . 001
窗函数
密度估计值
渐近收敛性
Parzen窗密度估计的渐近收敛性：
无偏性： 当 Vn → 0 时，E pl ( x ) → p ( x ) ˆ 一致性：
n →∞
lim σ 2 pn ( x ) = 0 ˆ
例：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类 的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x) x6 0 1 2 x5 x3 x1 x2 3 4
kn / N pn ( x ) = Vn
的第n次估计 为p(x)的第 次估计 的第
概率密度估计
能够收敛到p(x)，那么必须满足： ，那么必须满足： 如果要求 pn ( x ) 能够收敛到
n →∞
lim Vn = 0
n →∞
lim kn = ∞
lim kn / n = 0
n →∞
选择V 选择 n
选择k 选择 n
概率密度估计
理论结果： 理论结果：
设有一系列包含x 的区域R1， ， 设有一系列包含 的区域 ，R2，…,Rn,…，对 ， R1采用 个样本进行估计，对R2用2 个，…， Rn 采用1个样本进行估计 采用 个样本进行估计， 用 ， 包含kn个样本 个样本。 为 的体积 的体积。 包含 个样本。Vn为Rn的体积。
2
hN = h1 N
V N = hN
hN:窗长度，N为样本数，h1为选定可调节的参数。
1 PN ( x) = N
∑V
i =1
N
1
N
ϕ(
| x − xi | hN
)= h1
1
∑ N
i =1
N
1 1 | x − xi | N exp[− 2 2π h1
(
)
2
]
10 . 0
h 1 = 0 . 25
h1 = 1
缺点
要求样本足够多，才能有较好的估计。因此使计算量， 存储量增大。 窗宽在整个样本空间固定不变，难以获得区域自适应的 密度估计。
识别方法
1. 2.
3.
保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选 择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待 识别样本x的类条件概率密度：
10 . 0
h 1 = 0 . 25
h1 = 1
h1 = 4
用
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001 10 . 0
Parzen 窗 法 估 计 两 个 均 匀 分 布 的 实 验
1 .0 0 .1 0 . 01 0 . 001 10 . 0 1 .0 0 .1 0 . 01 0 . 001
此方法的有效性取决于样本数量的多少， 此方法的有效性取决于样本数量的多少，以 及区域体积选择的合适。 及区域体积选择的合适。
概率密度估计
收敛性问题：样本数量 无穷大是 无穷大是， 收敛性问题：样本数量N无穷大是，估计的概率函 数是否收敛到真实值？ 数是否收敛到真实值？
N →∞
ˆ lim pN ( x ) = p ( x )
例：待估的密度函数为二项分布 解：此为多峰情况的估计 设窗函数为正态
-2.5<x<-2 1 P(x) = 0.25 0<x<2 0 x为其它
-2.5 -2
P(x)
1
0.25
0
2 x
解：此为多峰情况的估计 1 设窗函数为正态 ϕ (u ) =
1 2 h1 exp[ − u ], hN = 2 2π N
ϕ (u ) ≥ 0
∫ ϕ ( u ) du = 1
窗函数的形式
方窗函数
1 1 , | u |≤ ϕ (u ) = 2 0 .其他
正态窗函数
指数窗函数
ϕ (u ) =
1 exp{− u 2} 2 2π
1
ϕ ( u ) = exp{ − | u |}
x − xi 其中： 其中：u = hn
实际中，ˆ 越精确，要求： 实际中，p ( x ) 越精确，要求： R → 0 实际中， 是有限的 是有限的： 实际中，N是有限的： 绝大部分区间没有样本： ˆ 当 R → 0 时，绝大部分区间没有样本： p ( x ) = 0
ˆ 如果侥幸存在一个样本， 如果侥幸存在一个样本，则： p ( x ) = ∞
主要内容
概率密度估计 Parzen窗估计 窗估计 k-NN估计 估计 最近邻分类器（ ） 最近邻分类器（NN） k-近邻分类器（k-NN） 近邻分类器（ 近邻分类器 ）
概率密度估计
概率密度估计问题： 概率密度估计问题：
给定i.i.d.样本集： X = {x1 , x 2 ,L , xl } 样本集： 给定 样本集 估计概率分布： 估计概率分布：