3. 概率密度函数估计(3学时)

2
ˆ] p( | x) d 2 [ E ( | x)][ E ( | x)





ˆ] p( | x)d [ E ( | x) ˆ] [ E ( | x )][ E ( | x )

[ E ( | x)]p( | x)d [ E ( | x) ˆ][ E( | x) E( | x)] 0
k n p x V
• 相当于用R区域内的平均性质来作为一点x的估 计，是一种数据的平滑。
• 当n固定时，V的大小对估计的效果影响很大，过 大则平滑过多，不够精确；过小则可能导致在此 区域内无样本点，k=0。
• 此方法的有效性取决于样本数量的多少，以及区 域体积选择的合适。
• 构造一系列包含x的区域R1, R2, …，对应n=1,2,… ，则对p(x)有一系列的估计：
kn n pn x Vn
• 当满足下列条件时，pn(x)收敛于p (x)：
limVn 0
n
lim kn n kn lim 0 n n
【 Parzen窗法和K-近邻法】
• Parzen窗法：区域体积V是样本数n的函数，如：
1 Vn n
• K-近邻法：落在区域内的样本数k是总样本数n的 函数，如：
j 1 c
【贝叶斯估计】
R
E
d


ˆ, ) p( x, )d dx (
p( x | ) p( ) p ( x)
p( | x)
p( x | ) p( )
p( x | ) p( )d
p( , x) p( | x) p( x) p( x | ) p( )
R
E
d


ˆ, ) p( | x) p( x)d dx (

ˆ, ) p( | x)d dx d p( x) (
E E
ˆ | x) p( x)dx d R(
ˆ | x) ( ˆ, ) p( | x)d R(

【举例】
假设
ˆ, ) ( ˆ)2 (
不成功！
1 x ' x x '' 2
2 x '',1 x '
1 x ',2 x ''
【贝叶斯估计】
采用最小风险贝叶斯决策
R(i | x) E (i , j ) ( i , j ) P( j | x), i 1, 2,..., a
kn n
【 Parzen窗法和K-近邻法】
【 Parzen窗法】 • 定义窗函数
1, u j 1 2 u 其它 0,
x - xi 1, hn 0, x j xij hn 2 其它
Vn h
d n
j 1,
1 N p( x1 , x2 ,..., xN | 1 , 2 ) l ( ) 2 1 0
H( ) Nln 2 1
H( ) 1 N 1 2 1
, 1 x 2 其它
H( ) 1 N 2 2 1
参数估计的分类
【引言】
参数估计的基本概念
参数估计
【参数估计】
最大似然估计
贝叶斯估计
贝叶斯学习
【最大似然估计】
基本假设
【最大似然估计】
基本概念
【最大似然估计】
基本原理
【最大似然估计】
估计量
估计值
【最大似然估计】
一元参数
【最大似然估计】
多元参数
【最大似然估计】
例子（梯度法不适合）：
1 p( x | ) 2 1 0 ,1 x 2 其它
x
k 1
N
k
多元正态分布：
1 ˆ N
x
k 1
N
k
1 N ˆ ( xk ˆ )2 N k 1
1 N ˆ ˆ )( xk ˆ )T ( xk N k 1
【贝叶斯估计】
【贝叶斯估计】
非参数估计
【基本思想】
【基本思想】
• 令R是包含样本点x的一个区域，其体积为V， 设有n个训练样本，其中有k个落在区域R中，则 可对概率密度作出一个估计：
,d
【 Parzen窗法】 • 超立方体中的样本数：
x - xi kn i 1 hn
n
• 概率密度估计：
1 n 1 x - xi pn x n i1 Vn hn
【 Parzen窗法】
• 上述过程是一个内插过程，样本xi距离x越近， 对概率密度估计的贡献越大，越远贡献越小。 • 只要满足如下条件，就可以作为窗函数：
u 0
u d u 1
【 Parzen窗法】
窗函数
【 Parzen窗法】 • hn称为窗的宽度
【 Parzen窗法】
【 Parzen窗法】
1. 保存每个类别所有的训练样本； 2. 选择窗函数的形式，根据训练样本数n选择窗函 数的h宽度； 3. 识别时，利用每个类别的训练样本计算待识别 样本x的类条件概率密度：

ˆ | x ( ˆ, ) p( | x)d ( ˆ)2 p( | x)d R
ˆ) 2 p( | x)d R ˆ | x E ( | x) E ( | x) ˆ p( | x)d ( ˆ]2 p( | x) d [ E ( | x)]2 p( | x) d [ E ( | x)
第3章 概率密度函数估计
主讲人：李君宝
哈尔滨工业大学
引言
参数估计 正态分布的参数估计 非参数估计
本章小结
引言
【引言】
贝叶斯决策公式
P i x P x i P i P x
【引言】
算法基本步骤
【引言】
存在的问题：
【引言】
问题的解决
【引言】
i 1 ni 1 x - x j pn x i ni j 1 Vn h
4. 采用Bayes判别准则进行分类。
本章结束
ˆ | x) [ E ( | x)]2 p( | x)d [ E( | x) ˆ]2 p( | x)d R(

ˆ E | x p( | x)d 结论：

【贝叶斯估计】
【贝叶斯学习】
【三种方法总结】
【三种方法总结】
1
1
1 ( x ) 2 k 1 ln p( xk | ) 2 N 1 ( xk 1 ) 2 ˆ 2 2 k 1 2 2
1 ˆ 来自百度文库 N
2
N 1 ˆ)0 ( xk 1 ˆ k 1 2 N N ˆ 2 1 ( xk 1 ) 0 ˆ ˆ2 k 1 k 1 2 2
正态分布的参数估计
【最大似然估计】
单元正态分布： p( x | )
1 (2 )
N
1 2
1 x 2 exp[ ( ) ] 2
[1 ,2 ] [ , 2 ]
最大似然估计方程： H ( ) ln p( xk | ) 0
k 1
2 其中 ln p( xk | ) 2 ln(22 ) 2 ( xk 1 ) 2