最近邻法

实验三 基于K 最近邻法的IRIS 分类

实验目的：

1. 进一步了解K 最近邻分类法的设计概念，能够根据自己的设计对线性分类器有更深刻地认识；

2. 理解最近邻分类的原理及其算法步骤，运用该方法对iris 数据进行分类，熟悉其MATLAB 编程。

一、 实验条件：

1. PC 微机一台和MATLAB 软件。

二、 实验原理：

KNN(k Nearest Neighbors)算法又叫k 最近邻方法。假设每一个类包含多个样本数据，而且每个数据都有一个唯一的类标记表示这些样本是属于哪一个分类， KNN 就是计算每个样本数据到待分类数据的距离。如果一个样本在特征空间中的k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN 方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。因此，采用这种方法可以较好地避免样本的不平衡问题。另外，由于KNN 方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN 方法较其他方法更为适合。该方法的不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K 个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

K-最临近分类方法存放所有的训练样本，在接受待分类的新样本之前不需构造模型，并且直到新的（未标记的）样本需要分类时才建立分类。K-最临近分类基于类比学习，其训练样本由N 维数值属性描述，每个样本代表N 维空间的一个点。这样，所有训练样本都存放在N 维模式空间中。给定一个未知样本，k-最临近分类法搜索模式空间，找出最接近未知样本的K 个训练样本。这K 个训练样本是未知样本的K 个“近邻”。“临近性”又称为相异度（Dissimilarity ），由欧几里德距离定义，其中两个点 X （,...

,21x x n x ）和Y （,...,21y y …,n y ）的

欧几里德距离是： 2222211)(...)()(),(n n y x y x y x y x D -++-+-= 未知样本被分配到K 个最临近者中最公共的类。在最简单的情况下，也就是当K=1时，未知样本被指定到模式空间中与之最临近的训练样本的类。

三、实验内容：

算法步骤：

step.1---初始化距离为最大值；

step.2---计算未知样本和每个训练样本的距离dist；

step.3---得到目前K个最临近样本中的最大距离maxdist；

step.4---如果dist小于maxdist，则将该训练样本作为K-最近邻样本；step.5---重复步骤2、3、4，直到未知样本和所有训练样本的距离都算完；step.6---统计K-最近邻样本中每个类标号出现的次数；

step.7---选择出现频率最大的类标号作为未知样本的类标号。

四、实验程序及结果：

(iris数据见附件)

data=importdata('C:\Users\Administrator\Desktop\iris.data.txt');

data1=data.data;

data2=bel;

sample1=data1(1:25,:);

sample2=data1(51:75,:);

sample=[sample1

sample2];

sp_l=data2(26:75);

test1=data1(26:50,:);

test2=data1(76:100,:);

test=[test1

test2];

% plot(test(:,1),test(:,2),'.');

lth=zeros(50,50);

for n=1:50

for i=1:50

lth(n,i)=((test(n,1)-sample(i,1))^2+(test(n,2)-sample(i,2))^2)^(1/2); end

end

lth=lth';

[a,b]=min(lth);

c1=0;c2=0;

for k=1:25

if b(k)<=25

c1=c1+1;

else

k;

end

if b(k+25)>25

c2=c2+1;

else

k+25;

end

end

class1_rate=c1/25

class2_rate=c2/25

figure

plot(sample(1:25,1),sample(1:25,2),'r.');

hold on ;

plot(test(1:25,1),test(1:25,2),'b.');

plot(sample(26:50,1),sample(26:50,2),'m.');

plot(test(26:50,1),test(26:50,2),'g.');

运行结果如下图

class1_rate =

0.9600

class2_rate =

0.8800

五、实验总结

通过此次实验，了解了K最近邻分类法的设计概念及其原理和应用等方面的知识。刚开始看书的时候一头雾水，完全看不懂。后来在网上查找了一些资料才渐渐明白了一点。IRIS数据也是相当有代表性的一组数据，对其做的K-NN 分类的精度也是高达96%和88%，算是比较合适的分类方法。