第3章-概率密度函数的估计

是VN：
pˆ
N
(
x)
1 VN
kN N
第三章概率密度函数的估计
60
kN-近邻法举例
非参数 估计
kN的选择：
• 渐进收敛容易保证；
• 有限样本性质、最 小平方误差与 Parzen窗几乎相同
第三章概率密度函数的估计
61
3.4 讨论
概率密度函数包含了随机变量的全部信息， 是导致估计困难的重要原因。
高维概率分布的估计无论在理论上还是实际 操作中都是一个十分困难的问题。
第三章概率密度函数的估计
5
概率密度估计的方法
类的先验概率的估计：
• 用训练数据中各类出现的频率估计 • 依靠经验
类条件概率密度估计的两种主要方法：
• 参数估计：概率密度函数的形式已知，而表征函数的参 数未知，通过训练数据来估计
➢ 最大似然估计 ➢ Bayes估计
• 非参数估计：密度函数的形式未知，也不作假设，利用 训练数据直接对概率密度进行估计
p( | K ) p(K | ) p( )
p(K | ) p( )d
4、计算贝叶斯估计
ˆBE
p( | K )d
26
一元正态分布例解
贝叶斯 估计
总体分布密度为：
p(x | ) ~ N (, 2)
均值μ未知，μ的先验分布为：
p()
~
N
(
0
,
2 0
)
样本集： K={x1, x2 ,…, xN}
i
i
,
2 i
,
di
T
采用迭代法进行参数估计
第三章概率密度函数的估计
34
3.3 非参数估计
非参数估计：密度函数的形式未知，也不作假设， 利用训练数据直接对概率密度进行估计。又称作
模型无关方法。 参数估计需要事先假定一种分布函数，利用样本数
据估计其参数。又称作基于模型的方法
两种主要非参数估计方法：
用贝叶斯估计方法求μ的估计量
第三章概率密度函数的估计
27
一元正态分布例解(II)
贝叶斯 估计
计算μ的后验分布：
p( | K) p(K | ) p()
p( K )
N
p( xk
|
) p()
~
N
(
N
,
2 N
)
k 1
N
N
2 0
N
2 0
2
mN
2
N
2 0
2
0
2 N
02 2
N
2 0
2
计算μ的贝
叶斯估计： ˆ p( | K )d N
第三章概率密度函数的估计
最大似 然估计
20
最大似然估计
求θ1， θ2
最大似 然估计
第三章概率密度函数的估计
21
3.2.2 贝叶斯估计-最大后验概率
用一组样本集K={x1, x2 ,…, xN}估计未知参数θ 未知参数θ视为随机变量，先验分布为 p(θ)，而
在已知样本集K出现的条件下的后验概率为p(θ|K)
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
1
ln
p( xk
| 1,2 )
1
2
( xk
1)
代入前式,得
ˆ ML
1 N
N
xk
k 1
第三章概率密度函数的估计
18
一元正态分布方差的估计
最大似 然估计
2
ln
p( xk
| 1,2 )
1
22
( xk 1)2 222
代入前式,得
最大后验概率估计-Maximum a posteriori (MAP)
ˆMAP argmax p( | K )
argmax p(K | ) p( )
p(K )
argmax p(K | ) p( )
第三章概率密度函数的估计
22
决策问题与估计问题
贝叶斯 估计
决策问题: 样本x 决策ai 真实状态wj 状态空间A是离散空间 先验概率P(wj)
第三章概率密度函数的估计
28
贝叶斯学习
i贝叶斯学习的本质：参数值随着样本增多趋近于真实值的 过程
3.2.3 混合高斯模型
参数 估计
Mixed gaussian distribution
密度函数具有如下形式：正态模型的线性组合
D
p(x | i )
dij
N
(ij
,
2 ij
)
j 1
需估计的参数：
R R(ˆ | x)p(x)dx Ed
贝叶斯估计：使风险最小的估计
ˆBE argmax R(ˆ | x) ˆ
第三章概率密度函数的估计
24
贝叶斯估计(II)
贝叶斯 估计
损失函数定义为误差平方： (ˆ, ) ( ˆ)2
R(ˆ | x)
(ˆ, )p( | x)d [ E( | x)]2 p( | x)d
θ
n
argmax ln
θ
k 1
p(xk
| θ)
dH ( ) 0 d
第三章概率密度函数的估计
14
最大似然估计示意图
最大似 然估计
第三章概率密度函数的估计
15
计算方法
最大似 然估计
最大似然估计量使似然函数的梯度为 0 ：
N
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
12
似然函数
最大似然估计
似然函数：
l(θ) p(K | θ) p(x1, x2,..., xN | θ)
N
p(xk | θ)
k 1
对数(loglarized)似然函数：
N
H (θ) ln p(xk | θ)
k 1
第三章概率密度函数的估计
13
最大似然估计
最大似 然估计
θˆ ML argmax l (θ)
56
有限样本的影响
非参数 估计
均方误差最小(MSE)准则
4
MSE(E( pˆ N (x) p(x))2 ) O(N d 4 )
维数灾难(Curse of Dimensionality): 当维 数较高时，样本数量 无法达到精确估计的 要求。
N 16 32 178 3162
d
N4/(d+4)
lim P( ˆ ) 0
N
第三章概率密度函数的估计
11
3.2.1 最大似然估计 (ML)
独立地按概率密度p(x|θ)抽取样本集
K={x1, x2 ,…, xN}，用K估计未知参数θ
参数未知，为了描述概率密度函数p(x|ωi)与参数θ的依赖
关系，用p(x|ωi,θ)表示。
第三章概率密度函数的估计
1
0.1
2
0.1
5
0.1
10
0.1
3E+13 50
0.1
59
3.3.3 kN-近邻法
非参数 估计
均匀核函数Parzen窗估计，窗宽固定，不 同位置落在窗内的样本点的数目是变化的。
kN-近邻估计：把窗扩大到刚好覆盖kN个点。 落在窗内的样本点的数目固定，窗宽是变化
的。kN根据样本总数N选择。
概率密度估计表达式：点x处窗的“体积”
3.3.2 Parzen窗法
非参数 估计
样本集KN= {x1, x2,…, xN} 区域RN是一个d维超立方体，棱长hN，体积VN= hNd 定义窗函数：
(u)
1
uj
1, 2
j 1,2,
d
0 otherwise
超立方体内样本数： kN 某点概率密度p(x)的估计
N
i 1
(
X
X hN
模式识别
Pattern Recognition
第三章 概率密度函数的估计
第三章 概率密度函数的估计
3.1 引言 3.2 参数估计 3.3 非参数估计 3.4 讨论
3.1 引言
分类器
x1
g1
功能结构
x2
g2
.
.
.
.
.
.
xn
gc
MAX
a(x)
基于样本的Bayes分类器：通过估计类条件概 率密度函数，设计相应的判别函数
[E( | x) ˆ]2 p( | x)d
定理 3.1: 如果定义损失函数为误差平方函数，则有：
ˆBE E[ | x]
p( | x)d
第三章概率密度函数的估计
25
贝叶斯估计的步骤
贝叶斯 估计
1、确定θ的先验分布 p(θ) 2、由样本集K={x1, x2 ,…, xN}求出样本联合分
布：p(K|θ) 3、计算θ的后验分布
基于样本的直接确定判别函数方法
第三章概率密度函数的估计
3
基于样本的Bayes分类器设计
Bayes决策需要已知两种知识：
• 各类的先验概率P(ωi)
• 各类的条件概率密度函数p(x|ωi)
P(i | x)
p(x | i )P(i ) p(x | j )P(j )
j
知识的来源：对问题的一般性认识或一些训练数据
为保证估计依概率渐进收敛到真实的概率密度，即：
pˆ N (x) P p(x)
p( x)
估计收敛的充要条件：
lim
N
hN
0
lim
N
NhNd
hN
h1 d 1 N
第三章概率密度函数的估计
53
不同窗宽的估计效果
非参数 估计