第3章 概率密度函数的估计_非参数估计

考虑无限多样本情况
构造一串包括x的区域序列R1,R2,…RN. 对R1采用1个样本进行估计， 对R2采用2个样本进行估计， ……
VN是RN的体积，KN是N个样本落入VN的样本数则
密度的第N次估计：
pˆ N
(x)
kN / N VN
总体分布的非参数估计
p(x)估计值的收敛性讨论
若p^N(x)收敛于p(x)应满足三个条件：
需要计算^p(x|ωi)的每个点的值 方法
① 用样本直接去估计类概率密度p(x|ωi)以此来设 计分类器, 如窗口估计
② 用学习样本直接估计后验概率p(ωi|x)作为分类 准则来设计分类器如k近邻法. 本章只考虑第一种方法
总体分布的非参数估计
概率密度函数估计的基本思想
一个随机变量x落在区域R的概率为P
lim V N 0
N
lim k N
N
lim k N 0 N N
总体分布的非参数估计
两种非参数估计方法
Parzen窗口估计
使得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，
确保估计值的收敛
例如: VN 1/ N kN近邻估计
让kN为N的某个函数，而VN的选取是使相应的RN 正好包含x的kN个邻域
∴超立方体体积为：
VN
h
d N
定义窗函数
(u)
1,|
u
|
1 2
0.其他
Parzen窗口估计
落入超立方体的样本数为:
k N N (| x xi |)
i 1
hN
代入，得Parzen窗法的基本估计公式
pˆ N (x)
KN N VN
1 N
N 1 (| x xi |)
V i1 N
hN
Parzen窗口估计
lim
N
2 N
[
pˆ N
(
x)]
0
Parzen窗口估计
估计量^pN(x)的性质
限制条件
(1) pN(x)在x点连续 (2)窗函数满足
(u) 0
(u)du 1 sup(u)
u
(3)窗宽受下列条件约束
lim
N
VN
0
lim
N
NVN
Parzen窗口估计
kN近邻估计
窗函数法问题(对hN的选择问题)
例如: kN N
Parzen窗口估计 使得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，确保估 计值的收敛
KN近邻估计 让kN为N的某个函数，而VN的选取是使相应的RN正好包 含x的kN个邻域
Parzen窗口估计
pˆ N
(x)
kN / N VN
假设RN为一个d维的超立方体，hN为超立方体的 长度
Pk
C源自文库
k N
pk
1 P
N k
其中P是样本x落入R内的概率 Pk是k个样本落入R内的概率
总体分布的非参数估计
估计概率P 则随机变量k的数学期望: E(k)=NP
k可以直接从训练样本估计得到 根据N个训练样本中落入区域R的样本数k,可
得到概率P的一种估计，为:
Pˆ k N
总体分布的非参数估计
P
P R p(x)dx Prx R
R
p(x)是要求的x的概率密度
概率P是p(x)在区域R上平滑或平均后得到的概率
我们可以通过估计P来估计p(x)的平滑值
总体分布的非参数估计
估计概率P
假 分设 布有 的，N个概样率本密X度=(函x1数, x2是,…p(xxN)。)T都是独立同
N个样本中有k个落入在R内的概率符合二项 分布，即:
V
(V足够小)
上式就是对x点概率密度p(x)的估计值
真实概率是 0.7 横坐标是k/N 纵坐标是概率分布
总体分布的非参数估计
p(x)估计值的收敛性讨论
当V固定的时候
N增加, k也增加,
当 N 时， k
则k/N在概率上收敛
但我们只能得到p(x)的空间平均估计，
即 Pˆ R pˆ (x)dx V Rdx
而不是^p(x)。
必须让体积V趋于零。
总体分布的非参数估计
p(x)估计值的收敛性讨论
N固定,体积V变小
当 V 0 时,如果k=0
k pˆ (x) N 0
V
当 V 0 时,如果k≠0 k
pˆ (x) N V
所以如果样本有限，则估计值一定有方差。
总体分布的非参数估计
p(x)估计值的收敛性讨论
估计概率p(x)
设p(x)在R内连续变化 当R逐渐减小的时候,小到使p(x)在其上 几乎没 有变化时，则:
P R p(x)dx p(x)V Pˆ R pˆ(x)dx pˆ(x)V
V Rdx是R包围的体积
k N
总体分布的非参数估计
估计概率p(x)
密度p(x)的估计:
k pˆ (x) N
K=5
若hN选太小，则大部分体积将是空的（即不 包含样本），从而使PN(x)估计不稳定。
若hN选太大，则PN(x)估计较平坦，反映不出 总体分布的变化
kN近邻法的思想
体积是数据的函数，而不是样本数N的函数
根据KN选择hN KN是N的函数
kN近邻估计
kN对估计结果的影响
导数不连续
kN近邻估计
窗函数越宽，幅度越小
Parzen窗口估计
窗函数宽度对估计结果的影响
二维正态对称Parzen窗口
训练样本数为5
窗函数宽度对分类器边界的影响
窗函数宽度较窄， 决策边界复杂
窗函数宽度较宽， 决策边界平滑
Parzen窗口估计
估计量^pN(x)的性质
希望达到
(1)
lim
N
pˆ N
(x)
p(x)
(2)
保证估计量p^N(x)为密度函数而对窗口函 数的限制
(1) (u) 0
(2) (u)du 1
Parzen窗口估计
窗函数
d=1，窗口为一线段 d=3，窗口为一立方体
窗函数选择
d=2，窗口为一平面 d>3，窗口为一超立方体
Parzen窗口估计
窗函数宽度对幅度的影响
二维正态对称Parzen窗口
模式识别
第3章 概率密度函数的估计
总体分布的非参数估计
前面的方法
密度函数的形式已知
存在问题
密度函数的形式常常未知 一些函数形式很难拟合实际的概率密度
经典的密度函数都是单峰的，而在许多实际情况 中却是多峰的
因此用非参数估计
总体分布的非参数估计
非参数估计
处理问题
直接用已知类别样本去估计总体密度分布p(x|ωi)