模式识别课件总顺序No5第二章NO4陈艳071021非参数估计

N kp'Rp'(x)dxp'(x)V
于是可得：
p '(x) k N V
上式就wenku.baidu.comX点概率密度P(x)的估计值，它与k、N、V有关。
可编辑ppt
7
说明：
① 从理论上讲，要使P’(x)趋于P(x)，就须让积分域R无限小 （即让其V近于零），同时让N、k无穷大，但实际估计时体 积V不是任意的小，且样本总数也是有限的，所以P’(x) 总是 存在误差。
① 随机向量X落入到区域R的概率P
为:
PRP(x)dx
P(X)
这表示概率P是概密函数P(X)的一 种平均,对P作估计就是估计出P(X)的 这个平均值。
可编辑ppt
X R
4
② 设N个样本x1,x2,…,xn是从概密为P(x)的总体中独立抽取 的，则N个样本中有k个样本落在区域R中的概率Pk自然服从 二项分布，即
hN为边／棱长的超立方体，用变量
Xi（此Xi可作样本）刻划下的通用
窗函数的形式如下：
(
x xi hN
1当 )0其他
xxi
j
hN,j1, .d 2
X2
窗口
边长为1
X1 X-1 1 X1 hN 2 hN
此φ函数被称为Parzen窗函数，其含义为如果一个样本
Xi落入窗口，则φ=1（即计数为1），否则φ=0（即计数为0）。
可编辑ppt
12
(2) Parzen窗法
1) Parzen窗估计的概念
• 要估计d维空间中某点X的概率密度时，可以以X为中心，
作一边／棱长为hN的d维超立方体VN，则其体积为：
VN hNd
此立方体被视为一个窗口。
现在的问题是要求出落入VN中的样本数kN。
可编辑ppt
13
• 为能用函数描述区域RN和对落入RN的样本计数，定义窗 函数的基本形式为：
可编辑ppt
9
3) 理论上的解决方案
为了提高X处的概密P(x)的估计精度，据极限理论，采 取如下步骤以尽量满足理论要求。
① 构造一包含样本X的区域序列R1、R2 、…、RN 、…各区 域RN(N=1，2，…)的体积VN满足：
NlimVN 0
② 在RN域中取N个样本进行估计实验，并设有kN个样本落入 RN中，样本数目应满足：
5 总体分布的非参数估计方法
可编辑ppt
1
(1) 基本方法
前述都设已知总体分布（即已知概密），但实际不然。 因此如何用样本来估计总体分布的问题，就是本节的目 的—即非参数估计。 含有p(x)，p(x|wi)，p(wi|x) 等的估计。 而p(wi|x)的估计的一种基本方法是绕过概率的估计而直接 求决策函数的方法—即近邻法则。
② 如果把体积V固定，样本取得足够多，则K/N将在概率上收 敛，但这时得到的是一个R区域上P(x)的平均估计。
即 P ' R P '( x ) d x
V
R dx
而要想得到P’(x)，而不是P(x)在R上的平均，则须让V趋于零。
可编辑ppt
8
③ 如果把样本数目固定，而令V趋于零，由于样本数目总是有限 的，所以当V趋于零时，会使区域R不断缩小以致于可能不包 含任何样本，这就会得出P’(x)=0(无价值的估计）； 如果恰巧有一个或几个样本同X（点）重合的出现在R中， 则会使估计发散到无穷大（这也是无价值的估计）。
可编辑ppt
2
1) 本节所述估计的目的
▪ 从样本集æ 估计样本空间任何一点X的概率密度 P’(X); ▪ 如果æ 来自某一类别（如wi类），则估计结果为类条件概
密P’(X|wi)； ▪ 如果æ 来自c个类别，但不具体涉及类别，则估计结果为
混合密度P’(X)。
可编辑ppt
3
2) 非参数估计的基本思想
(u){1
当|uj
|1, 2
j
1,2,...,d
0
其它
U2
1/2
u = {u1 ,…, ud}T
Φ(u)是一个以原点为中心，边 -1/2 ／棱长为1的d维超立方体函数，其 函数值为1（可用于计样本数）。
1/2
U1
-1/2
可编辑ppt
14
• 由于通过坐标的平移和尺度的
缩放可以改变超立方体的位置和大
小。所以对于一个以X为中心，以
PkCN kPk(1P)Nk
其中,P为样本X落入R的概率,Pk为k个样本落入R的概率。
CN k
N!
k!(N k)!
可编辑ppt
5
使Pk取最大的k值称为众数（记为m）， 即
Pm maPxk
（众数的意义是：在抽出的N个样本中有m个样本落入 区域R的概率最大。）
对二项分布，众数m为(N+1)P的整数部分，即
可编辑ppt
15
换句话说，就是检查d维空间中的每一个样本Xi，如果向 量X-Xi中的每一分量都小于hN/2，则该样本必在VN以内（且计 数为1），否则就在VN以外（且不计数）。
故落入VN内的样本数为：
kN
N i1
xhNxi
这样可得X点处概率估计为
P’ N(x)kN VNNN 1iN 1V 1Nxh Nxi
NlimkN
可编辑ppt
10
③
应满足：
lim
kN
0
N N
则估计序列
P 'N
(x)
kN N VN
处处收敛于P(x)。
（N=1，2，…）
说明：
在区域平滑地缩小，且P(x)在X点连续的情况下，则：
条件①可使空间平均密度P / V收敛于真实的密度P(x)；
条件②仅对P(x)≠0的点才有意义，即当P(x)≠0时，使
m[N ( 1)P]
这样，在Pm处，就有 m = k (N+1) P’ N P’
即
P’ k / N
式中P’是P的估计，即P’是总可体编辑密pp度t P(x)在区域R上的一个估计6。
③ 设P(x)连续，且区域R的体积V足够小，则
PRP(x)d xP(x)V
设P’(x)是P(x)的估计，由上面二式得：
这就是Parzen窗法估计的基本公式。
可编辑ppt
16
讨论：
① 上式实际上是一个迭加函数，窗函数作迭加基函数，每个样 本点处作为迭加节点，使用kN个以样本Xi为中心的窗函数迭 加对X处的密度进行估计；
② 自然，样本较密集的区域上概密估计（迭加函数）值较大；
③ 上式说明每一样本Xi对密度函数的贡献只在一个窗口范围内；
P’(x)≠0，可使频率在概率意义上收敛于概率；
可编辑ppt
11
条件③是式
P'N
(x)
kN N VN
收敛的必要条件，它描述了N
的增长速度要大于kN的增长速度，使kN/N为无穷小，而kN/N和
VN为同阶的无穷小，使 k N N VN
P '( x )
为非无穷大的有界数，避免
凡满足上述三个条件的区域序列和样本选取都可以。