第6章-k近邻算法--机器学习与应用第二版
k近邻算法应用
k近邻算法应用
k近邻算法是一种常用的机器学习算法，其应用广泛。
本文将介绍k近邻算法的基本原理及其应用。
k近邻算法基本原理
k近邻算法的基本思想是将数据集中每个样本点看作一个向量，通过计算不同向量之间的距离来判断它们之间的相似程度。
在分类问题中，我们需要根据已知类别的样本来预测未知样本的类别。
具体方法是，对于一个未知样本，找到与其最近的k个已知样本，然后通过这k个样本的类别来预测未知样本的类别。
k近邻算法的应用
1. 图像识别
k近邻算法可以用于图像识别。
例如，我们可以将一幅图像看作一个向量，然后通过计算不同向量之间的距离来判断它们之间的相似程度。
在这个过程中，k近邻算法可以帮助我们找到与目标图像最相似的图像。
2. 推荐系统
k近邻算法也可以用于推荐系统。
例如，在购物网站上，我们可以根据用户购买的商品来推荐与其相似的商品。
具体方法是，对于一个用户，找到与其购买历史最相似的k个用户，然后通过这k个用户购买的商品来推荐给当前用户。
3. 医学诊断
k近邻算法可以用于医学诊断。
例如，在诊断某种疾病时，我们
可以将患者的病情看作一个向量，然后通过计算不同患者之间的距离来判断他们之间的相似程度。
在这个过程中，k近邻算法可以帮助医生找到与患者最相似的病例，从而提高诊断的准确性。
总结
k近邻算法是一种简单而有效的机器学习算法，其应用广泛。
通过计算不同向量之间的距离来判断它们之间的相似程度，我们可以在图像识别、推荐系统、医学诊断等领域中取得良好的效果。
k近邻算法笔记
k近邻算法笔记K近邻算法（K-Nearest Neighbors，简称KNN）是一种基本的分类和回归算法，常用于模式识别。
该算法的核心思想是：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。
以下是关于K近邻算法的一些笔记：1. 基本原理-根据给定的距离度量，找出训练集中与新样本距离最近的k个样本。
-统计这k个样本的类别分布。
-将新样本分类为在k个样本中占比最多的类别。
2. 距离度量-常用的距离度量包括欧氏距离、曼哈顿距离、闵可夫斯基距离等。
-选择合适的距离度量通常取决于数据的特点和问题的要求。
3. 确定k值- k的选择会影响算法的性能，通常通过交叉验证等方法确定。
-较小的k值容易受到噪声的影响，较大的k值则可能忽略了样本局部的特性。
4. 优缺点-优点：-简单、易于理解和实现。
-适用于小规模数据集。
-缺点：-随着样本数量的增加，计算量会显著增加。
-对异常值敏感。
5. 应用领域- K近邻算法在模式识别、图像识别、语音识别等领域有广泛应用。
-也可以用于推荐系统、回归分析等问题。
6. 实现步骤-选择合适的距离度量和k值。
-计算新样本与训练集中所有样本的距离。
-根据距离递增的顺序，找到k个最近邻的样本。
-统计k个样本的类别分布，将新样本分类。
7. 代码示例```pythonfrom sklearn.neighbors import KNeighborsClassifier# 创建K近邻分类器knn = KNeighborsClassifier(n_neighbors=3)# 训练模型knn.fit(X_train, y_train)# 预测新样本的类别y_pred = knn.predict(X_test)```这些笔记提供了K近邻算法的基本概念和实现步骤。
在实际应用中，根据具体问题的特点和数据的性质，可能需要进一步调整参数和优化模型。
K-近邻算法（KNN）
K-近邻算法（KNN） ⽂本分类算法、简单的机器学习算法、基本要素、距离度量、类别判定、k取值、改进策略 kNN算法是著名的模式识别统计学⽅法，是最好的⽂本分类算法之⼀，在机器学习分类算法中占有相当⼤的地位，是最简单的机器学习算法之⼀。
外⽂名：k-Nearest Neighbor(简称kNN) 中⽂名：k最邻近分类算法 应⽤：⽂本分类、模式识别、图像及空间分类 典型：懒惰学习 训练时间开销：0 提出时间：1968年 作者：Cover和Hart提出 关键字：kNN算法、k近邻算法、机器学习、⽂本分类思想： 官⽅：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个"邻居"的信息来进⾏预测。
通俗点说：就是计算⼀个点与样本空间所有点之间的距离，取出与该点最近的k个点，然后统计这k个点⾥⾯所属分类⽐例最⼤的（“回归”⾥⾯使⽤平均法），则点A属于该分类。
k邻近法实际上利⽤训练数据集对特征向量空间进⾏划分，并作为其分类的“模型”。
三个基本要素：k值的选择、距离度量、分类决策规则图例说明：上图中，绿⾊圆要被决定赋予哪个类，是红⾊三⾓形还是蓝⾊四⽅形？如果K=3，由于红⾊三⾓形所占⽐例为2/3，绿⾊圆将被赋予红⾊三⾓形那个类，如果K=5，由于蓝⾊四⽅形⽐例为3/5，因此绿⾊圆被赋予蓝⾊四⽅形类。
算法计算步骤 1、算距离：给定测试对象，计算它与训练集中的每个对象的距离； 2、找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻； 3、做分类：根据这k个近邻归属的主要类别，来对测试对象分类；距离的计算⽅式（相似性度量）： 欧式距离： 曼哈顿距离：类别的判定： 投票法：少数服从多数，近邻中哪个类别的点最多就分为该类。
加权投票法：根据距离的远近，对邻近的投票进⾏加权，距离越近则权重越⼤（权重为距离平⽅的倒数）。
优点： 1、简单，易于理解，易于实现，⽆需估计参数，⽆需训练； 2、适合对稀有事件进⾏分类； 3、特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN⽐SVM的表现要好。
机器学习经典分类算法——k-近邻算法（附python实现代码及数据集）
机器学习经典分类算法——k-近邻算法（附python实现代码及数据集）⽬录⼯作原理存在⼀个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每⼀数据与所属分类的对应关系。
输⼊没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进⾏⽐较，然后算法提取样本集中特征最相似数据（最近邻）的分类特征。
⼀般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不⼤于20的整数。
最后选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
举个例⼦，现在我们⽤k-近邻算法来分类⼀部电影，判断它属于爱情⽚还是动作⽚。
现在已知六部电影的打⽃镜头、接吻镜头以及电影评估类型，如下图所⽰。
现在我们有⼀部电影，它有18个打⽃镜头、90个接吻镜头，想知道这部电影属于什么类型。
根据k-近邻算法，我们可以这么算。
⾸先计算未知电影与样本集中其他电影的距离（先不管这个距离如何算，后⾯会提到）。
现在我们得到了样本集中所有电影与未知电影的距离。
按照距离递增排序，可以找到k个距离最近的电影。
现在假定k=3，则三个最靠近的电影依次是He's Not Really into Dudes、Beautiful Woman、California Man。
python实现⾸先编写⼀个⽤于创建数据集和标签的函数，要注意的是该函数在实际⽤途上没有多⼤意义，仅⽤于测试代码。
def createDataSet():group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])labels = ['A','A','B','B']return group, labels然后是函数classify0()，该函数的功能是使⽤k-近邻算法将每组数据划分到某个类中，其伪代码如下：对未知类别属性的数据集中的每个点依次执⾏以下操作：（1）计算已知类别数据集中的点与当前点之间的距离；（2）按照距离递增次序排序；（3）选取与当前点距离最⼩的k个点；（4）确定前k个点所在类别的出现频率；（5）返回前k个点出现频率最⾼的类别作为当前点的预测分类。
机器学习：K-近邻算法（KNN）
机器学习：K-近邻算法（KNN）机器学习：K-近邻算法（KNN）⼀、KNN算法概述KNN作为⼀种有监督分类算法，是最简单的机器学习算法之⼀，顾名思义，其算法主体思想就是根据距离相近的邻居类别，来判定⾃⼰的所属类别。
算法的前提是需要有⼀个已被标记类别的训练数据集，具体的计算步骤分为⼀下三步：1、计算测试对象与训练集中所有对象的距离，可以是欧式距离、余弦距离等，⽐较常⽤的是较为简单的欧式距离；2、找出上步计算的距离中最近的K个对象，作为测试对象的邻居；3、找出K个对象中出现频率最⾼的对象，其所属的类别就是该测试对象所属的类别。
⼆、算法优缺点1、优点思想简单，易于理解，易于实现，⽆需估计参数，⽆需训练；适合对稀有事物进⾏分类；特别适合于多分类问题。
2、缺点懒惰算法，进⾏分类时计算量⼤，要扫描全部训练样本计算距离，内存开销⼤，评分慢；当样本不平衡时，如其中⼀个类别的样本较⼤，可能会导致对新样本计算近邻时，⼤容量样本占⼤多数，影响分类效果；可解释性较差，⽆法给出决策树那样的规则。
三、注意问题1、K值的设定K值设置过⼩会降低分类精度；若设置过⼤，且测试样本属于训练集中包含数据较少的类，则会增加噪声，降低分类效果。
通常，K值的设定采⽤交叉检验的⽅式（以K=1为基准）经验规则：K⼀般低于训练样本数的平⽅根。
2、优化问题压缩训练样本；确定最终的类别时，不是简单的采⽤投票法，⽽是进⾏加权投票，距离越近权重越⾼。
四、python中scikit-learn对KNN算法的应⽤#KNN调⽤import numpy as npfrom sklearn import datasetsiris = datasets.load_iris()iris_X = iris.datairis_y = iris.targetnp.unique(iris_y)# Split iris data in train and test data# A random permutation, to split the data randomlynp.random.seed(0)# permutation随机⽣成⼀个范围内的序列indices = np.random.permutation(len(iris_X))# 通过随机序列将数据随机进⾏测试集和训练集的划分iris_X_train = iris_X[indices[:-10]]iris_y_train = iris_y[indices[:-10]]iris_X_test = iris_X[indices[-10:]]iris_y_test = iris_y[indices[-10:]]# Create and fit a nearest-neighbor classifierfrom sklearn.neighbors import KNeighborsClassifierknn = KNeighborsClassifier()knn.fit(iris_X_train, iris_y_train)KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',metric_params=None, n_jobs=1, n_neighbors=5, p=2,weights='uniform')knn.predict(iris_X_test)print iris_y_testKNeighborsClassifier⽅法中含有8个参数（以下前两个常⽤）：n_neighbors : int, optional (default = 5)：K的取值，默认的邻居数量是5；weights：确定近邻的权重，“uniform”权重⼀样，“distance”指权重为距离的倒数，默认情况下是权重相等。
k近邻算法的应用
k近邻算法的应用首先，k近邻算法在推荐系统中的应用非常广泛。
通过分析用户的历史行为和偏好，可以将用户划分为不同的群体，然后根据用户所属群体的偏好，推荐相似的产品或服务。
例如，可以根据用户的浏览历史和购买记录，找出与用户兴趣相似的其他用户，然后为用户推荐这些用户感兴趣的产品。
其次，k近邻算法在图像识别领域也有重要的应用。
图像识别的目标是将输入的图像分为不同的类别，例如识别手写数字、人脸识别等。
k近邻算法可以通过比较待识别图像与训练集中的图像之间的相似性，将待识别图像分到与之最相似的类别中。
例如，对于手写数字识别，可以把待识别图像中的每个像素点与训练集中的图像像素点进行比较，找出与之最相似的几个图像进行分类。
此外，k近邻算法在文本分类中也有广泛的应用。
文本分类的目标是将文本分为不同的类别，例如新闻分类、情感分析等。
k近邻算法可以通过计算待分类文本与训练集中的文本之间的相似性，将待分类文本分到与之最相似的类别中。
例如，在情感分析中，可以根据待分类文本中包含的关键词与训练集中的关键词进行对比，找出与之最相似的几个文本进行分类。
最后，k近邻算法在数据挖掘领域也得到了广泛的应用。
数据挖掘的目标是从大量的数据中发现隐藏的模式和知识。
k近邻算法可以根据样本之间的相似性，发现数据中的规律和关联。
例如，在市场篮子分析中，可以根据顾客购买商品的历史记录，找出与之最相似的顾客群体，从而预测顾客可能感兴趣的其他商品。
又例如，在异常检测中，可以根据待检测数据与训练集中的数据之间的相似性，判断待检测数据是否为异常数据。
综上所述，k近邻算法在推荐系统、图像识别、文本分类、数据挖掘等领域都有着广泛的应用。
通过比较样本之间的相似性，可以进行预测、分类和挖掘隐藏的模式和知识。
随着机器学习和大数据的发展，k近邻算法在实际应用中的前景将更加广阔。
k-近邻分类算法
k-近邻分类算法K近邻分类算法是一种基于实例的分类算法，它的主要思想是通过计算每个样本点与其周围的k个最近邻点的距离来确定该点的类别。
该算法主要应用于分类问题中，并且在实际应用过程中具有很好的可用性、易实现性和理解性。
算法原理算法首先通过确定k值来确定分类的邻域大小，以及根据k值的选择来确定分类的准确性和鲁棒性。
之后通过计算每个样本点与其邻域内k个最近邻点之间的距离来确定该样本点所属的分类。
具体流程如下：1.确定数据集中的k值和距离度量标准；2.对于每个待分类的样本点，计算与其邻域中k个最近邻点之间的距离；3.根据邻域中k个最近邻点的类别来确定该样本点所属的类别；4.重复步骤2和3，直到所有待分类的样本点均被分类完毕；5.给出分类结果。
距离度量标准在k-近邻分类算法中，距离度量标准是非常重要的，因为它决定了样本点之间距离的计算方式。
目前常见的距离度量标准有欧式距离、曼哈顿距离和切比雪夫距离。
欧式距离：$d=\sqrt{{\sum_{i=1}^{n}{(x_i-y_i)^2}}}$优缺点1.基于实例，不需要对数据进行任何假设和理论分析；2.算法的可预测性高，具有很好的分类性能；3.没有过拟合的现象，可以对复杂的数据集进行分类；4.整体而言，k-近邻分类算法非常容易理解和实现。
1.计算量比较大，对于大型数据集而言，算法的效率较低；2.对于高维数据集而言，容易出现维数灾难问题，即算法的效果会逐渐降低；3.容易受到异常值的影响，且在分类决策区域方面可能存在不连续的问题。
应用场景k-近邻分类算法广泛应用于模式识别、数据挖掘和生物信息学等领域，特别适合处理较小的数据集。
目前该算法已被应用于医疗诊断、电子商务、物联网等领域，既可以用于分类问题，也可以用于回归问题。
同时，对于分类问题而言，该算法并不适用于类别数比较多或类别间存在相互交叉的情况。
因此，在实际应用过程中，应根据具体情况来选择算法，以达到最佳的分类效果。
机器学习--K近邻（KNN）算法的原理及优缺点
机器学习--K近邻（KNN）算法的原理及优缺点⼀、KNN算法原理 K近邻法(k-nearst neighbors,KNN)是⼀种很基本的机器学习⽅法。
它的基本思想是：在训练集中数据和标签已知的情况下，输⼊测试数据，将测试数据的特征与训练集中对应的特征进⾏相互⽐较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。
由于KNN⽅法主要靠周围有限的邻近的样本，⽽不是靠判别类域的⽅法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN⽅法较其他⽅法更为适合。
KNN算法不仅可以⽤于分类，还可以⽤于回归。
通过找出⼀个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。
更有⽤的⽅法是将不同距离的邻居对该样本产⽣的影响给予不同的权值(weight)，如权值与距离成反⽐。
KNN算法的描述： （1）计算测试数据与各个训练数据之间的距离； （2）按照距离的递增关系进⾏排序； （3）选取距离最⼩的K个点； （4）确定前K个点所在类别的出现频率 (5）返回前K个点中出现频率最⾼的类别作为测试数据的预测分类。
算法流程： （1）准备数据，对数据进⾏预处理。
（2）选⽤合适的数据结构存储训练数据和测试元组。
（3）设定参数，如k。
（4）维护⼀个⼤⼩为k的的按距离由⼤到⼩的优先级队列，⽤于存储最近邻训练元组。
随机从训练元组中选取k个元组作为初始的最近邻元组，分别计算测试元组到这k个元组的距离，将训练元组标号和距离存⼊优先级队列。
（5）遍历训练元组集，计算当前训练元组与测试。
元组的距离，将所得距离L 与优先级队列中的最⼤距离Lmax。
（6）进⾏⽐较。
若L>=Lmax，则舍弃该元组，遍历下⼀个元组。
若L < Lmax，删除优先级队列中最⼤距离的元组，将当前训练元组存⼊优先级队列。
（7）遍历完毕，计算优先级队列中k 个元组的多数类，并将其作为测试元组的类别。
k近邻算法应用
k近邻算法应用k近邻算法应用于现代机器学习的领域广泛。
它可以用于解决分类问题和回归问题。
本文将会对k近邻算法进行详细介绍，并探讨它的应用。
一、什么是k近邻算法？k近邻算法是一种非参数算法，它基于实例进行学习。
在k近邻算法中，分类标记给实例是依据一个特征空间中邻近的k个训练实例的多数分类。
在回归问题中，输出值是邻近的k个实例的平均值。
二、k近邻算法的应用1. 图像分类k近邻算法可用于图像分类中。
基于这种算法，先对对待测图像计算特征向量，然后找到一个能最小化距离度量的簇分类该向量。
这种分类器能够对图像的种类进行非常准确的分类。
2. 疾病预测k近邻算法也是一种用于预测疾病的方法。
它可以根据患者的特征和疾病的症状，找到临床数据库中其他病例的最相似的病例，从而制定出最佳的治疗方案。
3. 个性化推荐k近邻算法可用于实现个性化推荐系统。
它能够通过分析用户的购买历史，找到与之最相似的消费者，然后建议类似的产品给他们。
三、k近邻算法的优点和缺点1. 优点- k近邻算法简单有效，精度高。
- k近邻算法无需假设数据分布模型，因此适用性很广。
- k近邻算法的训练过程快速简单，通常只需存储数据即可。
2. 缺点- k近邻算法的复杂度随着样本增长而增长很快。
- k近邻算法对训练数据中的噪声敏感。
- k近邻算法在处理高维数据时效率较低。
四、结论总的来说，k近邻算法是一种很重要的机器学习方法，它经常被应用于分类、回归和其他任务中。
在实际应用时，根据具体情况选择一个合适的k值是很重要的，因为k值的选择直接影响到算法的准确度和性能。
机器学习（MachineLearning）算法总结-K临近算法
机器学习（MachineLearning）算法总结-K临近算法⼀、算法详解1.什么是K临近算法Cover 和 Hart在1968年提出了最初的临近算法属于分类（classification）算法邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的⽅法之⼀。
所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以⽤它最接近的k个邻居来代表。
kNN算法的核⼼思想是如果⼀个样本在特征空间中的k个最相邻的样本中的⼤多数属于某⼀个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
该⽅法在确定分类决策上只依据最邻近的⼀个或者⼏个样本的类别来决定待分样本所属的类别。
kNN⽅法在类别决策时，只与极少量的相邻样本有关。
由于kNN⽅法主要靠周围有限的邻近的样本，⽽不是靠判别类域的⽅法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN⽅法较其他⽅法更为适合。
输⼊基于实例的学习（instance-based learning），懒惰学习（lazy learning）2.算法流程对每⼀个未知点执⾏：(为了判断未知实例的类别，以所有已知类别的实例作为参照)选择参数 K计算未知点到所有已知类别点的距离按距离排序（升序）选取与未知点离得最近的K个的点统计k个点中各个类别的个数根据少数服从多数的投票法则，上述k个点⾥类别出现频率最⾼的作为未知点的类别3. 算法细节-关于K的计算K：临近数，即在预测⽬标点时取⼏个临近的点来预测。
K值得选取⾮常重要，因为：如果当K的取值过⼩时，⼀旦有噪声得成分存在们将会对预测产⽣⽐较⼤影响，例如取K值为1时，⼀旦最近的⼀个点是噪声，那么就会出现偏差，K值的减⼩就意味着整体模型变得复杂，容易发⽣过拟合；如果K的值取的过⼤时，就相当于⽤较⼤邻域中的训练实例进⾏预测，学习的近似误差会增⼤。
这时与输⼊⽬标点较远实例也会对预测起作⽤，使预测发⽣错误。
K-近邻算法
K-近邻算法⼀、概述k-近邻算法（k-Nearest Neighbour algorithm），⼜称为KNN算法，是数据挖掘技术中原理最简单的算法。
KNN 的⼯作原理：给定⼀个已知标签类别的训练数据集，输⼊没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。
可以简单理解为：由那些离X最近的k个点来投票决定X归为哪⼀类。
图1 图1中有红⾊三⾓和蓝⾊⽅块两种类别，我们现在需要判断绿⾊圆点属于哪种类别当k=3时，绿⾊圆点属于红⾊三⾓这种类别；当k=5时，绿⾊圆点属于蓝⾊⽅块这种类别。
举个简单的例⼦，可以⽤k-近邻算法分类⼀个电影是爱情⽚还是动作⽚。
（打⽃镜头和接吻镜头数量为虚构）电影名称打⽃镜头接吻镜头电影类型⽆问西东1101爱情⽚后来的我们589爱情⽚前任31297爱情⽚红海⾏动1085动作⽚唐⼈街探案1129动作⽚战狼21158动作⽚新电影2467？表1 每部电影的打⽃镜头数、接吻镜头数和电影分类表1就是我们已有的数据集合，也就是训练样本集。
这个数据集有两个特征——打⽃镜头数和接吻镜头数。
除此之外，我们也知道每部电影的所属类型，即分类标签。
粗略看来，接吻镜头多的就是爱情⽚，打⽃镜头多的就是动作⽚。
以我们多年的经验来看，这个分类还算合理。
如果现在给我⼀部新的电影，告诉我电影中的打⽃镜头和接吻镜头分别是多少，那么我可以根据你给出的信息进⾏判断，这部电影是属于爱情⽚还是动作⽚。
⽽k-近邻算法也可以像我们⼈⼀样做到这⼀点。
但是，这仅仅是两个特征，如果把特征扩⼤到N个呢？我们⼈类还能凭经验“⼀眼看出”电影的所属类别吗？想想就知道这是⼀个⾮常困难的事情，但算法可以，这就是算法的魅⼒所在。
我们已经知道k-近邻算法的⼯作原理，根据特征⽐较，然后提取样本集中特征最相似数据（最近邻）的分类标签。
那么如何进⾏⽐较呢？⽐如表1中新出的电影，我们该如何判断他所属的电影类别呢？如图2所⽰。
k- 最近邻算法
k- 最近邻算法摘要：1.K-最近邻算法的定义和原理2.K-最近邻算法的计算方法3.K-最近邻算法的应用场景4.K-最近邻算法的优缺点正文：1.K-最近邻算法的定义和原理K-最近邻（K-Nearest Neighbors，简称KNN）算法是一种基于相似度度量的聚类分析方法。
该算法的基本思想是：在数据集中，每个数据点都与距离它最近的K 个数据点属于同一类别。
这里的K 是一个超参数，可以根据实际问题和数据情况进行调整。
KNN 算法的主要步骤包括数据预处理、计算距离、确定最近邻和进行分类等。
2.K-最近邻算法的计算方法计算K-最近邻算法的过程可以分为以下几个步骤：（1）数据预处理：将原始数据转换为适用于计算距离的格式，如数值型数据。
（2）计算距离：采用欧氏距离、曼哈顿距离等方法计算数据点之间的距离。
（3）确定最近邻：对每个数据点，找到距离最近的K 个数据点。
（4）进行分类：根据最近邻的数据点所属的类别，对目标数据点进行分类。
3.K-最近邻算法的应用场景K-最近邻算法广泛应用于数据挖掘、机器学习、模式识别等领域。
常见的应用场景包括：（1）分类：将数据点划分到不同的类别中。
（2）回归：根据特征值预测目标值。
（3）降维：通过将高维数据映射到低维空间，减少计算复杂度和噪声干扰。
4.K-最近邻算法的优缺点K-最近邻算法具有以下优缺点：优点：（1）简单易懂，易于实现。
（2）对数据规模和分布没有特殊要求。
（3）对噪声不敏感，具有较好的鲁棒性。
缺点：（1）计算复杂度高，尤其是大规模数据集。
（2）对离群点和噪声敏感。
k-近邻算法基本概念
k-近邻算法基本概念
k最近邻（K-nearest neighbor，缩写为KNN）是一种基本的监督学习算法。
它能够根据其他样本已知的特征和目标值，来预测给定样本的目标值。
KNN是一种基于实例的学习方法，它将潜在的函数和目标变量映射在输入空间，输入空间中近似的实例就被聚焦，根据它的类标签分类结果一般取用占多数的类标签得到最终的结果。
KNN算法简单易懂，能够有效的运用如何确定最邻近的K个实例，以及如何根据K实例得到预测结果来执行分类预测，但实现KNN算法需要大量计算量。
KNN算法可以用于互联网环境中的数据挖掘。
例如，在商业应用中，它可用于
识别消费者的网络购买偏好，可帮助企业设计定制化和个性化的销售模式并提高顾客的满意度。
KNN算法也可以用于多元化垃圾邮件识别，它能够有效地检测出垃圾
邮件，以确保用户可以收到有用的信息，而避免收到垃圾邮件。
因此，k最近邻算法具有准确性高、模型简单、功能强大，常用于数据挖掘领
域中的分类和回归预测等操作，广泛应用于智能家居、电话市场分析、决策支持系统等诸多领域。
机器学习算法之-K-近邻
所谓“K 近邻（K-nearest neighbor，K-NN）”，顾名思义，指的是“K 个最近的邻居”，属于一种监督学习的方法。
简单地介绍一下 K 近邻算法的工作机制：首先给定一组训练集，作为算法的参照；然后给出特定的测试对象，也就是不带标签的测试数据，算法会在训练集中找到某种意义上与之最接近的 K 个训练数据，并根据这 K 个训练数据的标签来判定测试数据的类型（分类问题）或数值（回归问题）。
从 K 近邻算法的原理可以看出，得到训练数据之后其实并不存在所谓的“训练过程”，我们只需要“守株待兔”，等待外部输入一个测试数据，再与训练数据进行比较即可。
这也是 K 近邻算法被称作“懒惰学习（lazy learning）”算法的原因。
1.1 距离度量这里我们说的“某种意义上”，其实指的就是某种距离度量的方法。
所谓“距离”，可以简单地理解为两个数据之间的差别，我们使用距离度量的方法可以定量地求出两个数据之间的差别到底有多大。
其中我们最熟悉的一种距离度量方法就是“欧氏距离”，也就是我们最熟悉的“直线距离”。
在二维平面上，欧氏距离就表现为勾股定理。
对于任意 N 维数据和，欧氏距离的通用计算公式为：使用这个公式，我们可以用数值精确地衡量任意给定数据之间的差异程度。
此外还有诸如曼哈顿距离、（国际象棋）棋盘距离等各种距离度量方式。
曼哈顿距离其实就是两点间各维度距离之差的和，就像在一个规划整齐的街区开车一样。
1.2 直观解释通俗地讲，K 近邻算法的中心思想就是一种我们人人都明白、大家都认可的生活经验：人以类聚，物以群分。
对于特定的某个人，要尽快地对他有一个全面的认识，我们通常习惯观察他的朋友圈（咳，注意不是指微信朋友圈），与他交往最多的几个人基本上就能够反映他本人的大部分特质。
对于现实世界的其他对象也一样，这些对象的抽象——数据——当然也不例外。
对于给定的测试数据，我们可以考察与之相似度最高的几个数据，这些数据普遍具有的特征，我们自然而然地认为也会是这个测试数据的特征。
模式识别(6)近邻法
§6.2 k－近邻法
从样本点x开始生长，不断扩大区域，直到包含进k个训练 样本点为止，并且把测试样本点x的类别归为这最近的k个 训练样本点中出现频率最大的类别。
k－近邻法的错误率
最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝 叶斯决策方法的错误率范围内。
在k →∞的条件下，k-近邻法的错误率要低于最近邻法。 在k →∞的条件下，k-近邻法的错误率等于贝叶斯误差率。
1按近邻法分类这两类最多有多少个分界面2画出实际用到的分界面b2a2b3b4b1a3a1?按最近邻法对任意两个由不同类别的训练样本构成的样本对如果它们有可能成为测试样本的近邻则它们构成一组最小距离分类器它们之间的中垂面就是分界面因此由三个a类与四个b类训练样本可能构成的分界面最大数量为3412
模式识别
➢从以上讨论可以看出，当N→∞时，最近邻法的渐近平均错 误率的下界是贝叶斯错误率，这发生在样本对某类别后验概率 处处为1的情况或各类后验概率相等的情况。
最近邻法的错误率
最近邻法的错误率
最近邻法的错误率高于贝叶斯错误率，可以证明
以下关系式成立：
P* P P*(2 C P*) C 1
最近邻法的错误率
有以下两种例外情况△P＝0：
P(ω1|X)＝1 P(ω1|X)＝P(ω2|X)＝1/2。
最近邻法的错误率
请想一下，什么情况下P(ω1|X)＝1或P(ω2|X)=1? P(ω1|X)= P(ω2|X)会出现什么什么情况？
➢一般来说，在某一类样本分布密集区，某一类的后验概率接 近或等于1。此时，基于最小错误率贝叶斯决策基本没错，而 近邻法出错可能也很小。 ➢而后验概率近似相等一般出现在两类分布的交界处，此时分 类没有依据，因此基于最小错误率的贝叶斯决策也无能为力了， 近邻法也就与贝叶斯决策平起平坐了。
【机器学习】一文搞懂K近邻算法（KNN），附带多个实现案例
【机器学习】⼀⽂搞懂K近邻算法（KNN），附带多个实现案例【机器学习】⼀⽂搞懂K近邻算法(KNN)，附带多个实现案例⼀、KNN回顾kk k 近邻学习是⼀种常⽤的监督学习⽅法，⽐如：判断⼀个⼈的⼈品，只需要观察与他来往最密切的⼏个⼈的⼈品好坏就可以得出，即“近朱者⾚，近墨者⿊”。
⼆、KNN三要素1、K值的选择对于K值的选择，⼀般根据样本分布选择⼀个较⼩的值，然后通过交叉验证来选择⼀个⽐较合适的最终值；当选择⽐较⼩的K值的时候，表⽰使⽤较⼩领域中的样本进⾏预测，训练误差会减⼩，但是会导致模型变得复杂，容易导致过拟合；当选择较⼤的K值的时候，表⽰使⽤较⼤领域中的样本进⾏预测，训练误差会增⼤，同时会使模型变得简单，容易导致⽋拟合；2、距离度量⼀般使⽤欧⼏⾥德距离关于距离度量，还有其他⽅式3、决策规则KNNKNN KNN在做回归和分类的主要区别在于最后做预测时的决策⽅式不同：（1）分类预测规则：⼀般采⽤多数表决法或者加权多数表决法假设图中 “？”表⽰待预测样本，红⾊圆表⽰⼀类，蓝⾊⽅块表⽰⼀类，2和3表⽰到待预测样本的距离1. 多数表决法：2. 加权多数表决法：（2）回归预测规则：⼀般采⽤平均值法或者加权平均值法假设上图中的2和3表⽰邻近样本的⽬标属性值（标签值），此时没有类别，只有属性值1. 平均值法1. 加权平均值法图中，双箭头线上的数表⽰到待预测样本的距离三、⼿写kk k近邻算法实现kNN分类算法的伪代码：对未知类别属性的数据集中的每个点依次执⾏⼀下操作：（1）计算已知类别数据集中的点与当前点之间的距离（2）按照距离递增次序排序（3）选取与当前点距离最⼩的k个点（4）确定前k个点所在类别的出现频数（5）返回当前k个点出现频数最⾼的类别作为当前点的预测分类欧⽒距离公式：d=∑mi=1(xi−yi)2−−−−−−−−−−−−√d = \sqrt{\sum_{i=1}^m(x_i - y_i)^2}d=i=1∑m(xi−yi)2例如求点(1,0,0,1)(1,0,0,1)(1,0,0,1)和(7,6,9,4)(7,6,9,4)(7,6,9,4)之间的距离：(7−1)2+(6−0)2+(9−0)2+(4−1)2−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−√\sqrt{(7-1)^2+(6-0)^2+(9-0)^2+(4-1)^2}(7−1)2+(6−0)2+(9−0)2+(4−1)2以上算法的实现是⽤于分类的，决策规则使⽤了多数表决法；此算法通过改变决策规则，同样可以⽤于回归。
k值近邻算法
k值近邻算法K值近邻算法是一种常用的机器学习算法，其主要用于分类和回归问题。
该算法是基于实例的学习方法，通过找到与新样本最相似的k个训练样本来预测新样本的类别或数值。
下面将从算法原理、应用场景、优缺点等方面对K值近邻算法进行详细介绍。
一、算法原理1.1 概念K值近邻算法是一种基于实例的学习方法，其基本思想是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中大多数属于某一个类别，则该样本也属于这个类别。
1.2 步骤K值近邻算法主要包括以下步骤：（1）计算测试样本与每个训练样本之间的距离（2）选取距离测试样本最近的k个训练样本（3）根据这k个训练样本所属类别，确定测试样本所属类别二、应用场景2.1 分类问题K值近邻算法主要应用于分类问题，如图像识别、文本分类等。
在这些问题中，我们需要将输入数据划分为不同的类别。
例如，在图像识别中，我们需要将一张图片划分为不同的类别，如人脸、动物、植物等。
2.2 回归问题K值近邻算法也可以应用于回归问题，如股票预测、房价预测等。
在这些问题中，我们需要根据输入数据来预测一个数值。
例如，在股票预测中，我们需要根据历史数据来预测未来股价的变化。
三、优缺点3.1 优点（1）K值近邻算法简单易懂，容易实现。
（2）K值近邻算法不需要事先对数据进行训练，可以直接使用训练数据进行分类或回归。
（3）K值近邻算法适用于高维度数据集，并且对异常值不敏感。
3.2 缺点（1）K值近邻算法计算量大，对于大规模数据集会消耗大量时间和空间资源。
（2）K值近邻算法对于样本不平衡的情况容易出现分类偏差。
（3）K值近邻算法对于特征空间中相似度高的样本容易出现过拟合现象。
四、总结综上所述，K值近邻算法是一种常见的机器学习算法，主要应用于分类和回归问题。
该算法简单易懂，容易实现，并且适用于高维度数据集。
但是该算法计算量大，对于大规模数据集会消耗大量时间和空间资源，并且对于样本不平衡的情况容易出现分类偏差，对于特征空间中相似度高的样本容易出现过拟合现象。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第6章k 近邻算法k 近邻算法（kNN 算法）由Thomas 等人在1967年提出[1]。
它基于以下朴素思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k 个样本，统计这些样本的类别进行投票，票数最多的那个类就是分类结果。
因为直接比较待预测样本和训练样本的距离，kNN 算法也被称为基于实例的算法。
6.1基本概念确定样本所属类别的一种最简单的方法是直接比较它和所有训练样本的相似度，然后将其归类为最相似的样本所属的那个类，这是一种模板匹配的思想。
k 近邻算法采用了这种思路，下图6.1是使用k 近邻思想进行分类的一个例子：图6.1k 近邻分类示意图在上图中有红色和绿色两类样本。
对于待分类样本即图中的黑色点，我们寻找离该样本最近的一部分训练样本，在图中是以这个矩形样本为圆心的某一圆范围内的所有样本。
然后统计这些样本所属的类别，在这里红色点有12个，绿色有2个，因此把这个样本判定为红色这一类。
上面的例子是二分类的情况，我们可以推广到多类，k 近邻算法天然支持多类分类问题。
6.2预测算法k 近邻算法没有要求解的模型参数，因此没有训练过程，参数k 由人工指定。
它在预测时才会计算待预测样本与训练样本的距离。
对于分类问题，给定l 个训练样本(),i i y x ，其中i x 为维特征向量，i y 为标签值，设定参数k ，假设类型数为c ，待分类样本的特征向量为x 。
预测算法的流程为：1.在训练样本集中找出离x 最近的k 个样本，假设这些样本的集合为N 。
2.统计集合N 中每一类样本的个数,1,...,i C i c =。
3.最终的分类结果为arg max i i C 。
在这里arg max i i C 表示最大的i C 值对应的那个类i 。
如果1k =，k 近邻算法退化成最近邻算法。
k 近邻算法实现简单，缺点是当训练样本数大、特征向量维数很高时计算复杂度高。
因为每次预测时要计算待预测样本和每一个训练样本的距离，而且要对距离进行排序找到最近的k 个样本。
我们可以使用高效的部分排序算法，只找出最小的k 个数；另外一种加速手段是k-d 树实现快速的近邻样本查找。
一个需要解决的问题是参数k 的取值。
它需要根据问题和数据的特点来确定。
在实现时可以考虑样本的权重，即每个样本有不同的投票权重，这称方法称为为带权重的k 近邻算法。
另外还其他改进措施，如模糊k 近邻算法[2]。
kNN 算法也可以用于回归问题。
假设离测试样本最近的k 个训练样本的标签值为i y ，则对样本的回归预测输出值为：1/k i i y y k =⎛⎫= ⎪⎝⎭∑即所有邻居的标签均值，在这里最近的k 个邻居的贡献被认为是相等的。
同样的也可以采用带权重的方案。
带样本权重的回归预测函数为：1/k i i i y w y k =⎛⎫= ⎪⎝⎭∑其中i w 为第i 个样本的权重。
权重值可以人工设定，或者用其他方法来确定，例如设置为与距离成反比。
6.3距离定义kNN 算法的实现依赖于样本之间的距离值，因此需要定义距离的计算方式。
本节介绍几种常用的距离定义，它们适用于不同特点的数据。
两个向量之间的距离为(),i j d x x ，这是一个将两个维数相同的向量映射为一个实数的函数。
距离函数必须满足以下条件，第一个条件是三角不等式：()()(),,,i k k j i j d d d +≥x x x x x x 这与几何中的三角不等式吻合。
第二个条件是非负性，即距离不能是一个负数：(),0i j d ≥x x 第三个条件是对称性，即A 到B 的距离和B 到A 的距离必须相等：()(),,i j j i d d =x x x x 第四个条件是区分性，如果两点间的距离为0，则两个点必须相同：(),0i j i jd =⇒=x x x x 满足上面四个条件的函数都可以用作距离定义。
6.3.1常用距离定义常用的距离函数有欧氏距离，Mahalanobis 距离等。
欧氏距离就是n 维欧氏空间中两点之间的距离。
对于n空间中有两个点x 和y ，它们之间的距离定义为：(),d =x y 这是我们最熟知的距离定义。
在使用欧氏距离时应将特征向量的每个分量归一化，以减少因为特征值的尺度范围不同所带来的干扰。
否则数值小的特征分量会被数值大的特征分量淹没。
例如，特征向量包含两个分量，分别为身高和肺活量，身高的范围是150-200厘米，肺活量为2000-9000，如果不进行归一化，身高的差异对距离的贡献显然为被肺活量淹没。
欧氏距离只是将特征向量看做空间中的点，没有考虑这些样本特征向量的概率分布规律。
Mahalanobis 距离是一种概率意义上的距离，给定两个向量x 和y 以及矩阵S ，它定义为：(),d =x y 要保证根号内的值非负，即矩阵S 必须是半正定的。
这种距离度量的是两个随机向量的相似度。
当矩阵S 为阶单位矩阵I 时，Mahalanobis 距离退化为欧氏距离。
矩阵可以通过计算训练样本集的协方差矩阵得到，也可以通过训练样本学习得到。
对于矩阵如何确定的问题有不少的研究，代表性的有文献[9-12]，其中文献[9]提出的方法具有很强的指导意义和应用价值。
文献[9]指出，kNN 算法的精度在很大程度上依赖于所使用的距离度量标准，为此他们提出了一种从带标签的样本集中学习得到距离度量矩阵的方法，称为距离度量学习（Distance Metric Learning ），我们将在下一节中介绍。
Bhattacharyya距离定义了两个离散型或连续型概率分布的相似性。
对于离散型随机变量的分布，它的定义为：()1,ln n i d =⎛=- ⎝x y 其中,i i x y 为可以看作两个随机变量取某一值的概率，它们是向量x 和y 的分量，它们的值必须非负。
两个向量越相似，这个距离值越小。
6.3.2距离度量学习Mahalanobis 距离中的矩阵S 可以通过对样本的学习得到，这称为距离度量学习。
距离度量学习通过样本集学习到一种线性或非线性变换，目前有多种实现。
下面介绍文献[9]的方法，它使得变换后每个样本的k 个最近邻居都和它是同一个类，而不同类型的样本通过一个大的间隔被分开，这和第8章将要介绍的线性判别分析的思想类似。
如果原始的样本点为x ，变换之后的点为y ，在这里要寻找的是如下线性变换：=y Lx其中L 为线性变换矩阵。
首先定义目标邻居的概念。
一个样本的目标邻居是和该样本同类型的样本。
我们希望通过学习得到的线性变换让样本最接近的邻居就是它的目标邻居：j i→ 表示训练样本j x 是样本i x 的目标邻居。
这个概念不是对称的，j x 是i x 的目标邻居不等于i x 是j x 的目标邻居。
为了保证kNN 算法能准确的分类，任意一个样本的目标邻居样本要比其他类别的样本更接近于该样本。
对每个样本，我们可以将目标邻居想象成为这个样本建立起了一个边界，使得和本样本标签值不同的样本无法入侵进来。
训练样本集中，侵入这个边界并且和该样本不同标签值的样本称为冒充者（impostors ），这里的目标是最小化冒充者的数量。
为了增强kNN 分类的泛化性能，要让冒充者离由目标邻居估计出的边界的距离尽可能的远。
通过在kNN 决策边界周围加上一个大的安全间隔（margin ），可以有效的提高算法的鲁棒性。
接下来定义冒充者的概念。
对于训练样本i x ，其标签值为i y ，目标邻居为j x ，冒充者是指那些和i x 有不同的标签值并且满足如下不等式的样本l x ：()()22L L 1i l i j -≤-+x x x x 其中L 为线性变换矩阵，左乘这个矩阵相当于对向量进行线性变换。
根据上面的定义，冒充者就是闯入了一个样本的分类间隔区域并且和该样本标签值不同的样本。
这个线性变换实际上确定了一种距离定义：()i j -L x x 其中，T L L 就是Mahalanobis 距离中的矩阵。
训练时优化的损失函数由推损失函数和拉损失函数两部分构成。
拉损失函数的作用是让和样本标签相同的样本尽可能与它接近：()()2pull i j j i ε→=-∑L L x x 推损失函数的作用是把不同类型的样本推开：()()()()22,11push il i j i l i j i l y ε→+⎡⎤=-+---⎢⎥⎣⎦∑∑L L x x L x x 如果i j y y =，则1ij y =，否则0ij y =。
函数[]z +定义为：[]()max ,0z z +=如果两个样本类型相同，则有：10il y -=因此推损失函数只对不同类型的样本起作用。
总损失函数由这两部分的加权和构成：()()()()1pull push εμεμε=-+L L L 在这里μ是人工设定的参数。
求解该最小化问题即可得到线性变换矩阵。
通过这个线性变换，同类样本尽量都成为最近的邻居节点；而不同类型的样本会拉开距离。
这会有效的提高kNN 算法的分类精度。
6.4实验程序下面通过实验程序介绍kNN 算法的使用。
程序基于sklearn ，使用iris 数据集。
具体思路与贝叶斯分类器、决策树相同，不再重复介绍。
kNN 算法在预测时需要指定参数k ，这里使用了默认值。
程序原代码如下import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsfrom sklearn.neighbors import KNeighborsClassifierimport matplotlib%matplotlib inline#生成所有测试样本点def make_meshgrid(x,y,h=.02):x_min,x_max =x.min()-1,x.max()+1y_min,y_max =y.min()-1,y.max()+1xx,yy =np.meshgrid(np.arange(x_min,x_max,h),np.arange(y_min,y_max,h))return xx,yy#对测试样本进行预测，并显示def plot_test_results(ax,clf,xx,yy,**params):Z =clf.predict(np.c_[xx.ravel(),yy.ravel()])Z =Z.reshape(xx.shape)ax.contourf(xx,yy,Z,**params)#载入iris 数据集iris =datasets.load_iris()#只使用前面连个特征X =iris.data[:,:2]#样本标签值y =iris.target#创建kNN 分类器knn =KNeighborsClassifier()knn.fit(X,y)title=('KNNClassifier')fig,ax=plt.subplots(figsize=(5,5))plt.subplots_adjust(wspace=0.4,hspace=0.4)X0,X1=X[:,0],X[:,1]#生成所有测试样本点xx,yy=make_meshgrid(X0,X1)#显示测试样本的分类结果plot_test_results(ax,knn,xx,yy,cmap=plt.cm.coolwarm,alpha=0.8) #显示训练样本ax.scatter(X0,X1,c=y,cmap=plt.cm.coolwarm,s=20,edgecolors='k') ax.set_xlim(xx.min(),xx.max())ax.set_ylim(yy.min(),yy.max())ax.set_xlabel('x1')ax.set_ylabel('x2')ax.set_xticks(())ax.set_yticks(())ax.set_title(title)plt.show()程序运行结果如下图所6.2示。