数据挖掘实验报告

大数据理论与技术读书报告

—--—－K最近邻分类算法

指导老师：陈莉

学生姓名:李阳帆

学号：２01531４6７

专业：计算机技术

日期：２0１６年８月31日

摘要

数据挖掘就是机器学习领域内广泛研究得知识领域，就是将人工智能技术与数据库技术紧密结合,让计算机帮助人们从庞大得数据中智能地、自动地提取出有价值得知识模式，以满足人们不同应用得需要。

Ｋ近邻算法（ＫNN）就是基于统计得分类方法，就是大数据理论与分析得分类算法中比较常用得一种方法。该算法具有直观、无需先验统计知识、无师学习等特点，目前已经成为数据挖掘技术得理论与应用研究方法之一。本文主要研究了Ｋ近邻分类算法,首先简要地介绍了数据挖掘中得各种分类算法，详细地阐述了K 近邻算法得基本原理与应用领域，最后在matｌａb环境里仿真实现，并对实验结果进行分析，提出了改进得方法。

关键词：K近邻，聚类算法，权重，复杂度，准确度

1、引言 0

2、研究目得与意义ﻩ错误!未定义书签。

3、算法思想ﻩ错误!未定义书签。

4、算法实现ﻩ1

４、1参数设置ﻩ错误!未定义书签。

４、2数据集ﻩ1

4、３实验步骤ﻩ错误!未定义书签。

4、4实验结果与分析ﻩ错误!未定义书签。

5、总结与反思ﻩ错误!未定义书签。

附件１ﻩ错误!未定义书签。

1、引言

随着数据库技术得飞速发展，人工智能领域得一个分支——

机器学习得研究自 20 世纪 50 年代开始以来也取得了很大进展。用数据库管理系统来存储数据，用机器学习得方法来分析数据,挖掘大量数据背后得知识,这两者得结合促成了数据库中得知识发现（Knowlｅdｇe Discoverｙ in Ｄａｔabａｓes，简记 KDD)得产生,也称作数据挖掘(Daｔa Ｍｉng，简记 DM）。

数据挖掘就是信息技术自然演化得结果。信息技术得发展大致可以描述为如下得过程:初期得就是简单得数据收集与数据库得构造;后来发展到对数据得管理，包括：数据存储、检索以及数据库事务处理；再后来发展到对数据得分析与理解，

这时候出现了数据仓库技术与数据挖掘技术。数据挖掘就是涉及数据库与人工智能等学科得一门当前相当活跃得研究领域。

数据挖掘就是机器学习领域内广泛研究得知识领域，就是将人工智能技术与数据库技术紧密结合,让计算机帮助人们从庞大得数据中智能地、自动地抽取出有价值得知识模式,以满足人们不同应用得需要[1］.目前，数据挖掘已经成为一个具有迫切实现需要得很有前途得热点研究课题。

2、研究目得与意义

近邻方法就是在一组历史数据记录中寻找一个或者若干个与当前记录最相似得历史纪录得已知特征值来预测当前记录得未知或遗失特征值[１4]。近邻方法就是数据挖掘分类算法中比较常用得一种方法。Ｋ近邻算法(简称KNN)就是基于统计得分类方法［15]。KNN 分类算法根据待识样本在特征空间中K 个最近邻样本中得多数样本得类别来进行分类，因此具有直观、无需先验统计知识、无师学习等特点,从而成为非参数分类得一种重要方法。

大多数分类方法就是基于向量空间模型得。当前在分类方法中，对任意两个向量：x＝与存在３种最通用得距离度量：欧氏距离、余弦距离[1６］与内积[1７]。有两种常用得分类策略：一种就是计算待分类向量到所有训练集中得向量间得距离：如K 近邻选择K个距离最小得向量然后进行综合，以决定其类别。另一种就是用训练集中得向量构成类别向量，仅计算待分类向量到所有类别向量得距离，选择一个距离最小得类别向量决定类别得归属。很明显,距离计算在分类中起关键作用。由于以上 3 种距离度量不涉及向量得特征之间得关系,这使得距离得计算不精确，从而影响分类得效果。

3、算法思想

K最近邻（K-Ｎeａresｔ Nｅighbor,ＫＮN）算法，就是著名得模式识别统计学方法，

在机器学习分类算法中占有相当大得地位.它就是一个理论上比较成熟得方法。既就是最简单得机器学习算法之一，也就是基于实例得学习方法中最基本得，又就是最好得文本分类算法之一.

其基本思想就是：假设每一个类包含多个样本数据，而且每个数据都有一个唯一得类标记表示这些样本就是属于哪一个分类， KNＮ就就是计算每个样本数据到待分类数据得距离,如果一个样本在特征空间中得k个最相似（即特征空间中最邻近）得样本中得大多数属于某一个类别,则该样本也属于这个类别。该方法在定类决策上只依据最邻近得一个或者几个样本得类别来决定待分样本所属得类别.

K—最临近分类方法存放所有得训练样本,在接受待分类得新样本之前不需构造模型，并且直到新得（未标记得)样本需要分类时才建立分类.K－最临近分类基于类比学习,其训练样本由Ｎ维数值属性描述，每个样本代表N维空间得一个点。这样，所有训练样本都存放在N 维模式空间中.给定一个未知样本,k—最临近分类法搜索模式空间，找出最接近未知样本得K个训练样本。这K个训练样本就是未知样本得K个“近邻”.“临近性”又称为相异度（D ｉssimiｌarity）,由欧几里德距离定义，其中两个点Ｘ（x１，x2,…ｘn）与Y(y1,y2，…y ｎ)得欧几里德距离就是:

未知样本被分配到K个最临近者中最公共得类.在最简单得情况下,也就就是当Ｋ＝1时,未知样本被指定到模式空间中与之最临近得训练样本得类.

4、算法实现

4、１参数设置

K值得设定

K值设置过小会降低分类精度;若设置过大，且测试样本属于训练集中包含数据较少得类,则会增加噪声，降低分类效果。通常，Ｋ值得设定采用交叉检验得方式（以K=１为基准），通过查找相关资料，Ｋ一般低于训练样本数得平方根,本实验中得训练样本数为10０个,因此选取k=7。

4、2数据集

本文得实验数据采用软木塞得数据集，软木塞得样本可分为三类，分别用１,2，３代表，共1５0个样本，我们选取其中得100个样本为训练集，其余得50个样本为测试集。每个样本均包含１0维特征,由于用10维特征计算量太大，本实验得目得主要就是明白K-最近邻算法得思想，重点不在计算，因此我们选取其中得两个属性作为