概率密度估计及近邻法

k 1
从 q H (q ) 0 的s个方程
得到的解qˆ，就是极大似然估计值。
有时上式可能没有唯一解，如图中有5个解，
• 只有qˆ 使似然函数最大。
Exceltek Electronics (HK) Ltd Confidential
⑵ 正态分布的极大似然估计
从总体中抽取N个样本 xk，观察下列不同情况：
• 概率密度函数含参数和形式两方面内容，分别称 为参数估计和非参数估计。其估计方法：
1. 监督参数估计
已知样本类别wi及其p(x|wi)形式，而参数未知， 需从训练样本x估计参数q，如一元正态分布的m 、s 2等参数。
Exceltek Electronics (HK) Ltd Confidential
第三章
概率密度函数估计及近邻法 Estimation of Probability Density Function and The Nearest Neighbor
Rule
Exceltek Electronics (HK) Ltd Confidential
§1 引言 §2 总体分布的参数估计
极大似然估计 贝叶斯估计参数 §3 总体分布的非参数估计 Parzen窗法 kN近邻法 §4 近邻法则
• p(μ|x)是μ的二次函数的指数函数，仍是正态密度, 写成
p(m
|
x)
~
N
(m
N
,s
2 N
)
p(m | x) 1 exp[ 1 ( m mN )2 ]
2s N
2 sN
Exceltek Electronics (HK) Ltd Confidential
1
比较后得到smNN2 s N 2
N
s2
q q ③ 为随机变量, 已知其先验概密函数p( Exceltek Electronics (HK) Ltd Confidential ) 。
贝叶斯估计和最小风险贝叶斯决策可统一： • Bayes估计：有一个样本集x，用来估计所属总
体分布的某个参数，使带来的贝叶斯风险最小 。
• BRa(yqˆexs)估 计Θ 最(qˆ小,q )风p(q险x)dq
p(m | x)
N
a
k 1
1
2
s
exp
1 2
(xk m)2 s2
1
2
s
0
exp
1 2
(m
s
m0
2
0
)2
a,
exp
1 2
N
(
k 1
m
s
xk
)2
(
m
m0 s0
)2
a,,
exp
1 2
n
(s 2
1
s2 0
)m 2
1 2(
s2
N
xk
k 1
m0 s2
0
)m
与m无关项并入a"
N a
k 1
p( xk
| m) p(m)
a 1/ p(x | m) p(m)dm a－比例因子与μ无
Exceltek Electronics (HK) Ltd Confidential
• 根据上述假设：p(xk | m) ~ N (m,s 2 )
p(m)
~
N
(m0
,s
2 0
)
• 代入计算后验概密 p(μ|x)
k 1
mˆ
1 N
N k 1
xk
• 未知均值的极大似然估计正是样本的算术平均。
Exceltek Electronics (HK) Ltd Confidential
② 一维正态情况，两个参数均未知，设q1＝m， q2＝s 2 , q＝[q1,q2 ]T 。
分布形式 p(xq )
1
2 s
exp
1 2
N个样本的概率。 • 极大似然估计值定义：
令l(q) 为样本集x的似然函数，在Θ的参数空间 中能使l(q) 极大化的那个qˆ 值。
Exceltek Electronics (HK) Ltd Confidential
• 极大似然法的主要思想：如果在一次观察中一个 事件出现了，则这个事件出现的可能性最大。事 件x＝{x1,x2,…xN}在一次观察中(即从总体中抽取
2. 非监督参数估计
未知样本类别wi ，已知概率密度函数p(x|wi)的形
式，但参数未知，需从样本x估计参数。 上述两种均可用极(最)大似然法和Bayes估计法来 估计参数。
3. 非参数估计－即估计p(x|wi)形式
已知样本类别，但未知概率密度函数的形式，要
从样本推断p(x|wi)属于哪种分来自百度文库。
可用Parzen窗法和kN近邻法。 4. 近邻法则－不属于估计内容
计算方法和形式完全类似，只是复杂些，计算结
果：
mˆ
1 N
N
xk
k 1
ˆ
1 N
N
(xk
k 1
mˆ )(xk
mˆ )T
其 中xk 为 第k个 抽 样 ， 是d维 向 量 。
• 均值向量的极大似然估计是样本的均值，而协方 差的极大似然估计是N个矩阵 ( xk mˆ )( xk mˆ )的T 算 术平均。这是一致估计。
6
p(x |q ) p(xk |q ) 有不同值, k 1
A点和B点时较小,在C点时p(x |q )达极大,对应qˆ为均值。
Exceltek Electronics (HK) Ltd Confidential
• 假设似然函数p(x|q) 对未知参数q 是连续可微的
，则 可qˆ 由典型的求极值的方法求得。
⑵参数空间：概率密度形式已知，参数q 未知, q
可取值的集合称为参数空间，记为Θ。 ⑶点估计、估计量和估计值：构造一个统计量
f(x1,···,xn) 作为参数q 的估计量qˆ 。如果
x1,···,xn属于某类，代入统计量f，就可得到该类 具体的估计值。本章参数估计属于点估计。
⑷区间估计－要求用区间(d1, d2)作为q 可能取值范
• 求极大值的必要条件
单个q 的情况下：dl(q ) 0
dq
若q 是向量，有s个分量q =[q1,···,qs ]T，则多变量
的梯度算子
q
q1
qs
• 对数似然函数H(q)是单调的增函数，为计算方
便，一般用对数似然函数。
Exceltek Electronics (HK) Ltd Confidential
N
s2
1
s0
2
mN
m0 s 02
,
mN
1 N
N
xk
k 1
样本的均值
解得
m
N
s
2 N
Ns 02
Ns
2 0
s
2
s 02s 2
Ns
2 0
s
2
mN
s2
Ns
2 0
s
2
m0
由样本集得到m的后验概密p(m
①∑已知，均值向量m未知，即q m。
p( x
|q)
2
1
d
2
1 2
exp[
1 2
(x
m)T
1 ( x
m)]
ln
p( xk
|q)
1 2
ln(2 )d | |
1 2 (xk
m)T
1( xk
m)
m ln p( xk | q ) 1( xk m)
m的极大似然估计必须满足方程：
N
1(xk mˆ ) 0,
⑴Bayes估计
基本原理：把参数q当作具有某种先验分布p(q) 的随机变量, 对样本x观察使先验分布qˆ转化为后验 分布p(q|x)，据此再修正原先的估计 。
假设：
①把所有的样本按类别分成c个子集。每个子集有 N个样本 x = {x1,x2,…,xN}。每类可单独处理。
②已知样本的分布形式p(x|q) ，而参数q 未知。
•
协方差矩阵的无偏估计为
1 N 1
N k 1
( xk
mˆ )( xk
mˆ )T
Exceltek Electronics (HK) Ltd Confidential
2. Bayes估计和Bayes学习
Bayes估计：根据样本集 x 确定总体某个参数q
Bayes学习：利用样本集 x 确定概率密度函数 p(x)
N个样本)出现了，就可认为 p(x|q)达到极大值， 即在参数空间中使似然函数极大化的qˆ 值。
• 一个简单的例子：
设一维样本服从正态分布p(x |q ) ~ N (m,s 2 )，现方差
已知，通过抽出的样本集x {x1, x2, , x6}, 用极大
似然法估计m。此时q m。 当q自左向右取不同值时，计算x的概密
N
p( x q ) p( x1, x2, xN q ) p( xk q ) k 1
• 统计学中称p(x|q)为相对于样本集x的q 的似然 函数l(q )
l(q) p(x1, x2 xN q) p(x1 q) p(x2 q) p(xN q)
似然函数l(q) 给出了从总体中抽取的x1,x2,···,xN这
围的一种估计。该区间称为置信区间。
Exceltek Electronics (HK) Ltd Confidential
§2 总体分布的参数估计 1. 极(最)大似然估计 ⑴基本原理
把参数q 看成确定的(非随机) 但取值未知，最
好估计值是在样本x概率为最大条件下得到的 。
假设：
①按类别把样本集分成c个子集 x1, x2,…xc，其
直接利用样本设计分类器。非参数(即分类中不 需要估计概率密度函数) 方法之一。
Exceltek Electronics (HK) Ltd Confidential
5. 参数估计的几个基本术语 ⑴统计量：每个训练样本都包含总体信息。根据
从总体中抽取的样本集构造某种函数, 该函数统 计学中称为统计量。
• Bayes参数估计步骤：
①确定q 的先验概率密度函数p(q)；
②由样本集 x = {x1,x2,…,xN}计算样本的联合分
布
p(x
|q
)
N
p( xk
|
q
)
，它是
q
的函数
；
③用Bayes公k式1 求后验分布p(q | x)
p(q | x) p(x |q ) p(q | x)
p(x |q ) p(q | x)dq
②m是随机的，其先验概密 p(m)～N(m0,s02)
③N个样本构成样本集 x={x1, x2,… xN}
• 求m的估计量
• 解：qˆ qp(q | x)dq
mˆ mp(m | x)dm
用Bayes公式求m的后验分布：
p(m | x)
p(x | m) p(m) p( x | m) p(m)dm
• 对数似然函数H (q )
H (q ) ln[l(q )] ln p( x |q )
ln p( x1, , xN | q1, ,qs )
在N个样本独立抽取的条件下
N
N
H (q ) ln p( xk |q ) ln p( xk |q )
k 1
k 1
N
而 q H (q ) q ln p( xk |q )
Exceltek Electronics (HK) Ltd Confidential
§1 引言 • 基于样本的两步贝叶斯决策：
①估计类条件概率密度pˆ(xwi )和先验概率Pˆ(wi ) ； ②利用 pˆ(xwi )和Pˆ(wi )完成分类器设计。(第二章)
• 本章讨论从样本集推断总体概率分布p(x|wi) 。而 样本的先验概率P(wi)的估计较易实现。
损失函数 (qˆ,q ) (qˆ q )2
R为给定条件下某个估计量的期望损失，常称
为条件风险。使条件风险最小的估计量q，也
就是贝叶斯估计。
• 经推导(P.52定理3.1)使用平方误差损失函数时
，得到估qˆ计 量E(q为|条x)件 期Θq望p(q：| x)dq
Exceltek Electronics (HK) Ltd Confidential
④求样本的估计量q
损失函数为二次函数时，贝叶斯估计量qˆ是在
给定x条件下的条件期望：
qˆ＝E[q | x] Θqp(q | x)dq
Exceltek Electronics (HK) Ltd Confidential
⑵正态分布情况的Bayes估计举例
①样本为一维正态分布 p(x|m)～N(m,s 2)，m未知
中xj中的样本是从概率密度为p(x|wj)的总体中
独立抽取的。
②p(x|wj)形式已知, 参数qj未知, 可写成p(x|wj,qj)
。
q ③不同类的参数独立，即x 不包含 Exceltek Electronics (HK) Ltd iConfidential j信息(i≠j)这
• 设某类有N个样本组成了样本集 x＝{x1,x2,···,xN} 样本是独立从该类抽取的，因此N个随机变量 的联合概率密度
(
x
s
m
)2
似然函数
ln
p( xk
q)
1 2
ln
2q 2
1
2q 2
( xk
q1 ) 2
两个变量的梯度
q
ln
p( xk
q)
q121( 2q2
xk
q1 )
(xk
2q
q1
2 2
)
2
Exceltek Electronics (HK) Ltd Confidential
求极大似然估计qˆ1、qˆ2 需满足下列条件
N 1
k1kNq1ˆ2q1ˆ(2xk
qˆ1) 0
N ( xk qˆ1)2
k 1
qˆ22
0
解方程，得到一维的均值mˆ和方差s 2
qˆ1
qˆ2
mˆ s
1 N
N k 1
xk
2
1 N
N
( xk
k 1
mˆ )2
Exceltek Electronics (HK) Ltd Confidential
③多维正态密度的情况。