6-第四章_1 最近邻法

.第四章 用距离函数进行模式识别
§1 最小距离分类器 1] 单中心点情况
2
()(21)2
()i j i
T
T
T
T i i
i i i i i j i x x Z x D D D x Z x Z x x Z Z Z ω∀≠<=----⇒∈=-=‖‖
决策函数：)1(2
T
T i i i i Z Z Z d x x =-是x 的线性函数。

()()i j i d x x d j i x ω>∀≠⇒∈
分界面：()()i j d x d x =
2] 多中心点情况
i ω:
i N 个中心，12...i N
i i i Z Z Z ，，
， x 到i ω的距离min ,1,2...l
i l i i x Z D l N -==‖‖
,1()max ()()1,2,...2){()}(i j i
T
l
l T l
i l i
i i i
i j i
j i x x Z z z l N D D d x x d x j x d i ωω∀≠⇒∈=-=>∀≠⇒∈<
3] 最近邻分类器（NNC ）
非参数分类器
()(|)(|)()i i i i x p p x p d x ωωω==
【结论】当样本数趋近于无穷大的时候，X 的最近邻将无限趋近于X ，即：+∞→N ，有：('|)(')lim N N N P X X X X δ→+∞
=-
证明：当+∞→N 时，X 的最近邻'N X 落在以X 为中心的球Ps 内的概率为： (')'0N N Ps P X dX =>⎰
一个样本在球Ps 外的概率为：(1)Ps - N 个独立样本在球Ps 外的概率为：(1)N
Ps - 当N +∞→时，则0)1(→-Ps N
则结论成立。

NCC 错误率
*
*
*(2)
1
M P P P P M ≤≤-- 其中：*
P 为最小错误率Bayes 分类器的平均错误率； P 为最近邻分类器的平均错误率；
M 为类别数。

证明：(1) Bayes 分类器的平均错误率：
对于单个样本X ，若P(ωb |X )=max P(ωi |X ) i=1,2,…,m 则x ∈ωb 则：P*(e |X)=1- P(ωb |X)
P*=*(|)()[1(|)]()b P e X P X dx P X P X dX ω=-⎰⎰
(2) 最近邻分类器的平均错误率：
(|)(){lim (|)}()N N N P P e X P X dx P e X P X dx ⎰⎰→+∞
==
(|)(|,')('|)'N N N N
N e X e X X P X X dX P
P =⎰
1
(|,')1(|)(|')M N N i i N i P e X X P X P X ωω==-∑
1
11
21
lim (|)lim [1(|)(|')]('|)'
[1(|)(|')]{lim ('|)}'
[1(|)(|')](')'
1(|)
lim ('|)(')
()()M
N i i N N N N N i M
i i N N N N i M
i i N N N i M
i i N N N P e X P X P X P X X dX P X P X P X X dX P X P X X X dX P X P X X X X f x x x dx ωωωωωωδωδδ→+∞
→+∞
=→+∞
===→+∞
=-=-=--=-=--∑⎰∑⎰∑⎰∑0
0()
'N f x x X x X
===⎰
21
[1(|)]()M
i i P P X P X dX ω==-∑⎰
(3) 最近邻分类器的平均错误率一定大于Bayes 分类器的平均错误
率，但有相等的时候。

即：P ≥P* “=”
[A 最容易的情况]
当P(ωb |x)=1 P(ωi |x)=0 i ≠b
Bayes P*=[11]()0P X dX -=⎰
NNC P= 2
[11]()0P X dX -=⎰
[B 最难的情况] 当P(ωi |x)=
M
1
Bayes P*=11[1]()1P X dX M M
-
=-⎰ NNC P=⎰∑-=-M
dx x P M 1
1)(])1(1[2
最容易和最困难的情况，用Bayes 分类器和NNC 分类器具有相同的结果。

(4) 证明
*
*
(2)1
M P P P M ≤-- 21
[1(|)]()M
i i P P X P X dX ω=↑=-∑⎰
即： 222
1
(|)(|)(|)M
i b i i i b
P X P X P X ωωω=≠↓=+↓∑
∑ 约束条件*(|)1(|)(|)b i i b
P e X P X P X ωω≠=-=∑
2(|)[(|)*(|)]
2(|)0
(|)
i i i b
i b
i i J P X P X P e X J P X i b
P X ωλωωλω≠≠↓=--∂=-=≠∂∑∑
当(|)2
i P X i b λ
ω=
≠时 2
(|)i i b
P X ω≠∑↓
(|)(1)
*(|)
2
2*(|)
1
i i b
P X M P e X P e X M λ
ωλ≠=-==
-∑约束条件：得：
2
2222
2
2*(|)
(|)21
(|)(|)(|)*(|)[1*(|)](1)12*(|)*(|)1
i i b
i i b
i b P e X P X i b M P X P X P X P e X P e X M M
P e X P e X M λ
ωωωω≠≠==≠-=+=-+-=-+-∑∑∑当时
取得最小值
21
222
[1(|)]()[2*(|)*(|)]()1
2**(|)()2**
11
M
i i P P X P X dx
M
P e X P e X P X dX
M M M P P e X P X dX P P M M ω==-≤--=-≤---∑⎰⎰⎰ 22
2
**(|)()[*(|)][*(|)*]()*(|)()*0
P P e x P x dx
Var P e x P e x P P x dx P e x P x dx P ==-=-≥⎰⎰⎰
得到：**(2*)1
N M
P P P P M →+∞
≤
≤--
4] K 近邻法(KNNC ，qNNC)
K 个最近邻，K 个近邻中距哪一类样本多，就把X 分到哪一类
5]最近邻点的改进
缺点：存贮量大，计算量大
1． 剪辑（Editing ）
(1) N NR NT χχχ=⋃
(2) 以NR χ中样本为标准，对NT χ中样本进行测试，得到NTE χ。

(3) 以NTE χ为样本做NNC 好处：（1）')()(E N N P e P e <
（2）TE N N ↓<↓计算量存储量 2. 凝聚 （Condensing ）。