1.简述k最近邻算法的原理、算法流程以及优缺点

1.简述k最近邻算法的原理、算法流程以及优缺点
一、什么是K近邻算法
k近邻算法又称knn算法、最近邻算法，是一种用于分类和回归的非参数统计方法。

在这两种情况下，输入包含特征空间中的k个最接近的训练样本，这个k可以由你自己进行设置。

在knn分类中，输出是一个分类族群。

一个对象的分类是由其邻居的“多数表决”确定的，k个最近邻居（k为正整数，通常较小），所谓的多数表决指的是，在k个最近邻中，取与输入的类别相同最多的类别，作为输入的输出类别。

简而言之，k近邻算法采用测量不同特征值之间的距离方法进行分类。

knn算法还可以运用在回归预测中，这里的运用主要是指分类。

二、k近邻算法的优缺点和运用范围
优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用范围：数值型和标称型、如手写数字的分类等。

三、k近邻算法的工作原理
假定存在一个样本数据集合，并且样本集中的数据每个都存在标签，也就是说，我们知道每一个样本数据和标签的对应关系。

输入一个需要分类的标签，判断输入的数据属于那个标签，我们提取出输入数据的特征与样本集的特征进行比较，然后通过算法计算出与输入数据最相似的k个样本，取k个样本中，出现次数最多的标签，作为输入数据的标签。

四、k近邻算法的一般流程
（1）收集数据：可以使用任何方法，可以去一些数据集的网站进行下载数据。

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式
（3）分析数据：可以使用任何方法
（4）训练算法：此步骤不适用于k近邻算法
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和结构化的输出结构（统一数据格式），然后运行k近邻算法判定输入数据属于哪一种类别。

五、k近邻算法的实现
前言：在使用python实现k近邻算法的时候，需要使用到Numpy科学计算包。

如果想要在python中使用它，可以按照anaconda，这里包含了需要python需要经常使用到的科学计算库，如何安装。

在使用k近邻算法最好，先将样本数据集进行归一化处理，避免属性值中的数据差值大的对数据差值小的属性产生影响，因为我们使用的是距离进行判断的，要保证每一个特征的权重相等。

比如，样本数据为(x1,x2,x3,x4),输入的数据为(a1,a2,a3,a4)，它们之间的距离为
√(x1−a1)2+(x2−a2)2+(x3−a3)2+(x4−a4)2
如果，第二个属性值中的数值差相差比较大，会影响到其他属性所占到的权重。

数据归一化
def autoNorm(dataSet):
#找出数据集中的最小值
minVals = dataSet.min(0)
#找出数据集中的最大值
maxVals = dataSet.max(0)
ranges = maxVals - minVals;
#初始化一个与数据集一样大小的mat
normDataSet = zeros(shape(dataSet))
#获取数据集的大小
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals,(m,1))
normDataSet = normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals
k近邻算法实现代码
'''
k近邻算法，定义一个算法的分类器
分类器的输入为，inX输入向量，dataSet为输入的训练样本,labels为输入样本所对应的标签k为设置几个最近邻
'''
def classify0(inX,dataSet,labels,k):
#获取dataSet有多少个数据
dataSetSize = dataSet.shape[0]
#求输入向量与数据集之间的差,tile是把inX输入向量扩展成与dataSet的行数相同
diffMat = tile(inX,(dataSetSize,1)) - dataSet
#求输入向量与数据集之间的欧氏距离
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
#排序，由小到大进行排序,排序所记录的是dataSet的下标
sortedDistIndicies = distances.argsort()
#新建一个空的字典对象，用来存放分类的结果
classCount = {}
for i in range(k):
#根据dataSet的下标来获取，数据所对应的标签
voteIlabel = labels[sortedDistIndicies[i]]
#字典存放的是，以标签为键，标签在k近邻中出现的次数为值
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#classCount.items()以遍历的形式获取函数所有的键
#operator.itemgetter(1)按照键出现的次数，以降序的形式进行排序
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),
reverse=True)
return sortedClassCount[0][0]
六、部分代码详解
Numpy中的tile函数，当tile(a,2)中只有两个参数时，表示在列的方向上重复a两次,当tile(a,(2,1))时其中的2表示的是行方向上，1表示的是列方向上，title(3,1,2)中的1表示行的重复次数，2表示列的重复次数，3表示将整个a扩展之后的重复次数。