【最新】KNN分类算法PPT 课件教案讲义(获奖作品) 图文
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
k 近邻算法(knn, k nearest neighbor)
算法基本介绍
• k近邻的非正式描述，就是给定一个样本集 exset，样本数为M，每个样本点是N维向量， 对于给定目标点d，d也为N维向量，要从 exset中找出与d距离最近的k个点(k<=N)， 当k=1时，knn问题就变成了最近邻问题。 最原始的方法就是求出exset中所有样本与d 的距离，进行按出小到大排序，取前k个即 为所求，但这样的复杂度为O(N)，当样本 数大时，效率非常低下.
算法描述
• 算法分为以下几步：
一、:根据特征项集合重新描述训练文本向量 二、:在新文本到达后，根据特征词分词新文本， 确定新文本的向量表示 三、:在训练文本集中选出与新文本最相似的 K 个文本，计算公式为：
算法描述
• 其中，K 值的确定目前没有很好的方法，一般采用先定一 个初始值，然后根据实验测试的结果调整 K 值，一般初始 值定为几百到几千之间。（这里K采取随机取值） • 四、:在新文本的 K 个邻居中，依次计算每类的权重，计 算公式如下：
算法描述
• 该算法的基本思路是：在给定新文本后，考虑在训练文本 集中与该新文本距离最近（最相似）的 K 篇文本，根据这 K 篇文本所属的类别判定新文本所属的类别 • 右图中，绿色圆要被决定赋予哪个类， 是红色三角形还是蓝色四方形？如果 K=3，由于红色三角形所占比例为2/3， 绿色圆将被赋予红色三角形那个类， 如果K=5，由于蓝色四方形比例为3/5， 因此绿色圆被赋予蓝色四方形类。
• 其中， x为新文本的特征向量， Sim(x,di)为相似度计算公 式，与上一步骤的计算公式相同，而y(di,Cj)为类别属性函 数，即如果di 属于类Cj ，那么函数值为 1，否则为 0。 • 五、:比较类的权重，将文本分到权重最大的那个类别中。
运行结果
• 训练及测试样例
【原创】定制代写 r/python/spss/matlab/WEKA/s as/sql/C++/statቤተ መጻሕፍቲ ባይዱ/eviews 数据 挖掘和统计分析可视化调研报 告等服务（附代码数据）,咨 询邮箱： glttom@tecdat.cn 有问题到 淘宝找“大数据部落”就可以 了
算法基本介绍
• k近邻的非正式描述，就是给定一个样本集 exset，样本数为M，每个样本点是N维向量， 对于给定目标点d，d也为N维向量，要从 exset中找出与d距离最近的k个点(k<=N)， 当k=1时，knn问题就变成了最近邻问题。 最原始的方法就是求出exset中所有样本与d 的距离，进行按出小到大排序，取前k个即 为所求，但这样的复杂度为O(N)，当样本 数大时，效率非常低下.
算法描述
• 算法分为以下几步：
一、:根据特征项集合重新描述训练文本向量 二、:在新文本到达后，根据特征词分词新文本， 确定新文本的向量表示 三、:在训练文本集中选出与新文本最相似的 K 个文本，计算公式为：
算法描述
• 其中，K 值的确定目前没有很好的方法，一般采用先定一 个初始值，然后根据实验测试的结果调整 K 值，一般初始 值定为几百到几千之间。（这里K采取随机取值） • 四、:在新文本的 K 个邻居中，依次计算每类的权重，计 算公式如下：
算法描述
• 该算法的基本思路是：在给定新文本后，考虑在训练文本 集中与该新文本距离最近（最相似）的 K 篇文本，根据这 K 篇文本所属的类别判定新文本所属的类别 • 右图中，绿色圆要被决定赋予哪个类， 是红色三角形还是蓝色四方形？如果 K=3，由于红色三角形所占比例为2/3， 绿色圆将被赋予红色三角形那个类， 如果K=5，由于蓝色四方形比例为3/5， 因此绿色圆被赋予蓝色四方形类。
• 其中， x为新文本的特征向量， Sim(x,di)为相似度计算公 式，与上一步骤的计算公式相同，而y(di,Cj)为类别属性函 数，即如果di 属于类Cj ，那么函数值为 1，否则为 0。 • 五、:比较类的权重，将文本分到权重最大的那个类别中。
运行结果
• 训练及测试样例
【原创】定制代写 r/python/spss/matlab/WEKA/s as/sql/C++/statቤተ መጻሕፍቲ ባይዱ/eviews 数据 挖掘和统计分析可视化调研报 告等服务（附代码数据）,咨 询邮箱： glttom@tecdat.cn 有问题到 淘宝找“大数据部落”就可以 了