数据挖掘--分类ppt课件

预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬 行动物，阴性代表非爬行动物，请大家阐述 TP=10， TN=8，FN=3，FP=2是什么意义
2018/11/1
8
分类模型的评估

灵敏度(Sensitivity)： TP/(TP+FN)

也称为查全率(Recall) 数据集共有13只爬行动物，其中10只被正确预测为爬行动物， 灵敏度为10/13
数据挖掘--分类
分类的流程

根据现有的知识，我们得到了一些关于爬行动物和鸟类的信息， 我们能否对新发现的物种，比如动物A，动物B进行分类？
2018/11/1
2
分类的流程

步骤一：将样本转化为等维的数据特征（特征提取）。

所有样本必须具有相同数量的特征 兼顾特征的全面性和独立性
2018/11/1
2018/11/1
10
分类模型的评估


ROC曲线通过描述真阳性率(TPR)和假阳性率(FPR)来实 现，其中TPR=TP/(TP+FN), FPR=FP/(FP+TN)。 大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
2018/11/1
11
第三章 分类方法
3
分类的流程

步骤二：选择与类别相关的特征（特征选择）。

比如，绿色代表与类别非常相关，黑色代表部分相关，灰 色代表完全无关
2018/11/1
4
分类的流程
f ( x i 1 , x i 2 , x i 3 ,......, x in ) y i

步骤三：建立分类模型或分类器（分类）。

分类器通常可以看作一个函数，它把特征映射到类的空间 上
2018/11/1
7
分类模型的评估


真阳性(True Positive)： 实际为阳性 真阴性(True Negative)：实际为阴性 假阳性(False Positive)： 实际为阴性 假阴性(False Negative)：实际为阳性
预测为阳性 预测为阴性 预测为阳性 预测为阴性
算法 4-1 基于距离的分类算法 输入：每个类的中心C1，…，Cm；待分类的元组t。 输出：输出类别c。 （1）dist=∞；//距离初始化 （2）FOR i:=1 to m DO （3） IF dis(ci，t)<dist THEN BEGIN （4） c← i； （5） dist←dist(ci，t)； （6） END.
内容提要

分类的基本概念与步骤


基于距离的分类算法
决策树分类方法
贝叶斯分类
实值预测 与分类有关的问题
2018/11/1
12
基于距离的分类算法的思路

定义4-2 给定一个数据库 D={t1，t2，…，tn}和一 组类C={C1，…，Cm}。假定每个元组包括一些数 值型的属性值：ti={ti1，ti2，…，tik}，每个类也包 含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分 类问题是要分配每个ti到满足如下条件的类Cj：

特异度(Specificity):

TN/(TN+FP) TP/(TP+FP)
数据集有10只非爬行动物，其中8只被预测为非爬行动物，特 异度为8/10 分类器预测了12只动物为爬行动物，其中10只确实是爬行动 物，精度为10/12

精度(Precision):


准确率(Accuracy):

(TP+TN)/(TP+TN+FN+FP)
2018/11/1
5
如何避免过度训练



wk.baidu.com
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。 分类与聚类的最大区别在于，分类数据中的一 部分的类别是已知的，而聚类数据的类别未知。 建立分类模型需要学习一部分已知数据，如果 训练时间过长，或者预测模型参数太多而样本 较少，将导致过度训练(overfitting)。
sim(ti，Cj)>=sim(ti，Cl) ，Cl∈C，Cl≠Cj，
其中sim(ti，Cj)被称为相似性。 在实际的计算中往往用距离来表征，距离越近， 相似性越大，距离越远，相似性越小。 距离的计算方法有多种，最常用的是通过计算每 个类的中心来完成。
2018/11/1
13
基于距离的分类算法的一般性描述
数据集包含23只动物，其中18只预测为正确的分类，准确率 为18/23
2018/11/1
9
分类模型的评估




对于非平衡(unblanced)的数据集,以上指标并不能很好的 评估预测结果。 非平衡的数据集是指阳性数据在整个数据集中的比例很 小。比如，数据集包含10只爬行动物，990只爬行动物， 此时，是否预测正确爬行动物对准确率影响不大。 更平衡的评估标准包括马修斯相关性系数(Matthews correlation coefficient)和ROC曲线。 马修斯相关性系数定义为
2018/11/1
6
如何避免过度训练


避免过度训练最重要一点是，模型的参数量应 远小于样本的数量。 应建立训练集(training set)和测试集(test set)。

训练集应用于建立分类模型 测试集应用于评估分类模型

K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
2018/11/1
16
K-近邻分类算法

K-近邻分类算法（K Nearest Neighbors，简称KNN）通过 计算每个训练数据到待分类元组的距离，取和待分类元组 距离最近的K个训练数据，K个数据中哪个类别的训练数据 占多数，则待分类元组就属于哪个类别。

算法 4-1通过对每个样本和各个类的中心来比较， 从而可以找出他的最近的类中心，得到确定的类 别标记。
2018/11/1
14
基于距离的分类方法的直观解释
（a）类定义
（b）待分类样例
（c）分类结果
2018/11/1
15
距离分类例题

C1=(3,3,4,2), C2=(8,5,-1,-7), C3=(-5,-7,6,10); 请用基于距离的算法给以下样本分类： (5,5,0,0) (5,5,-5,-5) (-5,-5,5,5)