最近邻方法与KNN

剪辑最近邻法可以推广至k—近邻法中，具体的 做法是：第一步用k—NN 法进行剪辑，第二步用 1—NN 法进行分类。
如果样本足够多，就可以重复地执行剪辑程序， 以进一步提高分类性能。称为重复剪辑最近邻法。
6
7
实例： 以现金识别的数据作为模式样本进行最近邻法分类。
8
集 X (中NR)的样本 y1, y2 ,, yN采R 用最近邻规则对已Hale Waihona Puke Baidu知类别的测试集 X (N中T )的每个样本 x1, x2 ,, x进NT行
分类，剪辑掉 X (N中T )被错误分类的样本。
若 y0 (x) X (NR)是 x X (NT )的最近邻元，剪辑掉不 与 y0 (x)同类的 x ，余下的判决正确的样本组成剪辑样 本集 X (NTE ) ，这一操作称为剪辑。
第六章 最近邻方法
6.1 最近邻决策规则 6.2 剪辑最近邻法 6.3 实例
最近邻方法
最近邻决策规则—1-NN
2
最近邻方法
最近邻决策规则—k-NN
c
对于一个待识别模式x, 分别计算它与 N Ni
个已知类别的样本
x(i) j
的距离,
取k个最近邻样本i,1
这k个样本中哪一类最多, 就判属哪一类。即：
di (x) ki
i 1,2,,c
显然
c
ki k
i1
如果
dm (x) max di (x) i 1, 2 ,,c
则 x m
3
剪辑最近邻方法
剪辑最近邻法
对于两类问题，设将已知类别的样本集 X (N)分成参照 集 X (NR)和测试集 X (NT )两部分，这两部分没有公共元素，
它们的样本数各为NR和NT，NR+NT=N。利用参照
4
剪辑最近邻方法
剪辑最近邻法
获得剪辑样本集 X (NTE) 后，对待识模式 x 采用最近
邻规则进行分类。
di (x)
min
x
x(i) j
j1,2,,Ni
i 1,2,,c
如果
dm (x) min di (x) 则 x m i 1, 2 ,,c
这里 x j X (NTE )
5
剪辑最近邻方法
剪辑k-NN 最近邻法