数据挖掘--分类课件ppt(可编辑)
合集下载
数据挖掘--分类课件ppt
性别 身高(米) 类别
1.6 矮
男 2高
女 1.83 高
女 1.88
高
女 1.7
矮
男 1.85 中等
女 1.6 矮
男 1.7 矮
男 2.2 高
男 2.1 高
女 1.8 高
男 1.82 中等
女 1.7 中等
女 1.75 中等
女 1.73 中等
00:07
KNN的例子
只使用身高做特征， K=3，对于样本 <kate,1.8,女>应 属于哪个类别？
训练集应用于建立分类模型 测试集应用于评估分类模型
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
00:07
1
分类的流程
动物种类 体型 翅膀数量 脚的只数 是否产蛋 是否有毛
狗
中
0
4
否
是
猪
大
0
4
否
是
牛
大
0
麻雀
小
2
4
否
是
2
是
是
天鹅 中
2
2
是
是
大雁
中
2
2
是
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
数据挖掘PPT-第3章分类
n
n
n
PCi log2 P Ci P t P Ci|t log2 P Ci|t P t P Ci|t log2 P Ci|t
i 1
i 1
i 1
18 of 56 18
*** 决策树
第三章 分类
3. C4.5算法
C4.5算法同样以“信息熵”作为核心，是ID3基础上的优化改进，同时，也保持了 分类准确率高、速度快的特点。
第三章 分类
上图表示了一个关心电子产品的用户是否会购买电脑，用它可以预测某条记录（某 个人）的购买意向。树中包含了三种节点： 根节点（root rode），它没有入边，但有两条或多条出边。 子节点（child node），恰有一条入边和两条或多条出边。 叶节点（leaf node ）或终节点（terminal node），恰有一条入边，但没有出边。
熵的计算公式，可得：
n
H C|t P Ci|t log2 P Ci|t
i 1
n
H C|t P Ci|t log2 P Ci|t
i 1
17 of 56 17
*** 决策树
第三章 分类
（3）信息增益 信息增益（Information Gain）表示得知特征X的信息后，而使得Y的不确定性减少 的程度。定义为：
*** 决策树
第三章 分类
*** 决策树构建步骤
决策树分类算法应用的完整流程应包含建树和应用。建树是从经验数据中获取知识， 进行机器学习，建立模型或者构造分类器，是决策树算法的工作重点，通常又将其分为 建树和剪枝两个部分。
决策树构建的基本步骤如下：
1.开始，所有记录看作一个节点。
2.遍历每个变量的每一种分割方式，找到最好的分割点。
数据挖掘--分类完整1ppt课件
2020/5/21
.
16
K-近邻分类算法
大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
2020/5/21
.
11
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/5/21
.
12
基于距离的分类算法的思路
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
2020/5/21
.
1
分类的流程
根据现有的知识，我们得到了一些关于爬行动物和鸟类的信息， 我们能否对新发现的物种，比如动物A，动物B进行分类？
2020/5/21
.
2
f(xi1 ,xi2 ,xi3 ,..x.i)n. .y.i ,
步骤三：建立分类模型或分类器（分类）。
分类器通常可以看作一个函数，它把特征映射到类的空间 上
2020/5/21
.
5
如何避免过度训练
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。
2020/5/21
.
7
分类模型的评估
真阳性(True Positive)： 实际为阳性 预测为阳性 真阴性(True Negative)：实际为阴性 预测为阴性 假阳性(False Positive)： 实际为阴性 预测为阳性 假阴性(False Negative)：实际为阳性 预测为阴性
预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬
生物医学数据挖掘-分类
例 ：P62 例4.5
计算学习样本集的熵：
Inf o( D)
9 14
log
2
(9) 14
5 14
log
2
(5) 14
0.940
计算特征属性的信息增益：
Infoage (D)
5 14
(
2 5
log 2
2 5
3 5
log 2
3) 5
4 14
(
4 4
log 2
4 40 4ຫໍສະໝຸດ log 20) 4
5 3 32 2
信息增益公式，P62 式4.10~12
类别Ci的熵
Info ( D)
m i 1
| Ci |D
| |
log
2
| Ci |D
| |
特征属性A的信息增益
InfoA (D)
v j 1
| Dj |D
| |
Inf
o(
D
j
)
Gain(A) Info(D) Info A (D)
18
二、分类的方法
❖ 决策树分类器
对数据敏感 表达知识的形式直观、易于理解 不同节点的选择，结果有差别 软件可实现繁复的计算（如信息增益）
25
二、分类的方法
❖ 基于统计的分类器（朴素贝叶斯分类器）
需满足某些条件，即朴素假设：属性独立 属性是分类型
计算条件概率，式4.14 属性是连续型
计算高斯密度函数，式4.15
26
二、分类的方法
15
❖ 决策树分类器
树结构 内部节点：属性 分支 叶结点：所属分类
❖ 决策树的生成过程
树的建构 树剪枝
二、分类的方法
数据挖掘精品PPT课件
ห้องสมุดไป่ตู้
（2）聚类分析 物以类聚，人以群分，聚类分析技术试图找出数据 集中的数据的共性和差异，并将具有共性对象聚合 在相应的簇中。聚类分析已广泛应用与客户细分、 定向营销、信息检索等领域。 聚类与分类是容易混淆的两个概念。聚类是一种无 指导的观察式学习，没有预先定义的类。 （3）关联分析 关联分析是发现特征之间的相互依赖关系，通常是 在给定的数据集中发现频繁出现的模式知识（又称 关联规则）。关联规则广泛用于市场营销、事务分 析等领域。
数据挖掘概念首次出现在1989年举行的第十一届 国际联合人工智能学术会议上，其思想主要来自 于机器学习、模式识别、统计和数据库系统。国 内对数据挖掘的研究起步较晚，1993年国家自然 科学基金首次支持该领域的研究。此后，国家、 各省自然科学基金委，国家社科基金，“863”、 “973”项目，国家、各省的科技计划，每年都 有相关项目支持。众多研究机构和大学都成立专 门的项目组。从事数据挖掘研究与应用的人员越 来越多。现今，数据挖掘的基本理论问题逐步得 到了解决，现在更多的是数据挖掘的应用。
7.2.2 基于规则的分类器 基于规则的分类器是使用一组“if...then...” 规则来对记录进行分类的技术。为了建立基于规则 的分类器，需要提取一组规则来识别数据集的属性 和类标号之间的关键联系。提取分类规则的方法有 两大类，直接方法和间接方法。直接方法是直接从 数据中提取分类规则，间接方法是从其他分类模型 中提取分类规则。
7.2 分类 分类任务就是确定对象属于哪个预定义的目标类。 分类问题是一个普遍存在的问题，有许多不同的 应用。例如，根据电子邮件的标题和内容检查出 垃圾邮件，对一大堆照片区分出哪些是猫哪些是 狗。分类任务就是通过学习得到一个目标函数， 把每个属性集x映射到一个预先定义的类标号y。 目标函数也称分类模型。
（2）聚类分析 物以类聚，人以群分，聚类分析技术试图找出数据 集中的数据的共性和差异，并将具有共性对象聚合 在相应的簇中。聚类分析已广泛应用与客户细分、 定向营销、信息检索等领域。 聚类与分类是容易混淆的两个概念。聚类是一种无 指导的观察式学习，没有预先定义的类。 （3）关联分析 关联分析是发现特征之间的相互依赖关系，通常是 在给定的数据集中发现频繁出现的模式知识（又称 关联规则）。关联规则广泛用于市场营销、事务分 析等领域。
数据挖掘概念首次出现在1989年举行的第十一届 国际联合人工智能学术会议上，其思想主要来自 于机器学习、模式识别、统计和数据库系统。国 内对数据挖掘的研究起步较晚，1993年国家自然 科学基金首次支持该领域的研究。此后，国家、 各省自然科学基金委，国家社科基金，“863”、 “973”项目，国家、各省的科技计划，每年都 有相关项目支持。众多研究机构和大学都成立专 门的项目组。从事数据挖掘研究与应用的人员越 来越多。现今，数据挖掘的基本理论问题逐步得 到了解决，现在更多的是数据挖掘的应用。
7.2.2 基于规则的分类器 基于规则的分类器是使用一组“if...then...” 规则来对记录进行分类的技术。为了建立基于规则 的分类器，需要提取一组规则来识别数据集的属性 和类标号之间的关键联系。提取分类规则的方法有 两大类，直接方法和间接方法。直接方法是直接从 数据中提取分类规则，间接方法是从其他分类模型 中提取分类规则。
7.2 分类 分类任务就是确定对象属于哪个预定义的目标类。 分类问题是一个普遍存在的问题，有许多不同的 应用。例如，根据电子邮件的标题和内容检查出 垃圾邮件，对一大堆照片区分出哪些是猫哪些是 狗。分类任务就是通过学习得到一个目标函数， 把每个属性集x映射到一个预先定义的类标号y。 目标函数也称分类模型。
数据挖掘PPT-第3章分类
应用市场：医疗诊断、人脸检测、故障诊断和故障预警 ······
2 of 56
More
高级大数据人才培养丛书之一，大数据挖掘技术与应用
第三章 分类
3.1 基本概念 3.2 决策树 3.3 贝叶斯分类 3.4 支持向量机 3.5 实战：决策树算法在Weka中的实现 习题
3 of 56
*** 基本概念
6 of 56
高级大数据人才培养丛书之一，大数据挖掘技术与应用
第三章 分类
3.1 基本概念 3.2 决策树 3.3 贝叶斯分类 3.4 支持向量机 3.5 实战：决策树算法在Weka中的实现 习题
7 of 56 7
*** 决策树
第三章 分类
决策树是数据挖掘的有力工具之一，决策树学习算法是从一组样本数据集（一个样 本数据也可以称为实例）为基础的一种归纳学习算法，它着眼于从一组无次序、无规则 的样本数据（概念）中推理出决策树表示形式的分类规则。
E
X ，a
g X，a H X，a
第三章 分类
*** 分类的基本概念
分类（Classification）是一种重要的数据分析形式，它提取刻画重要数据类的模型。 这种模型称为分类器，预测分类的（离散的、无序的）类标号。这些类别可以用离散值 表示，其中值之间的次序没有意义。
分类也可定义为： 分类的任务就是通过学习得到一个目标函数(Target Function)ƒ ，把每个属性集x映 射到一个预先定义的类标号y 。
11
No Small 55K ？
12 Yes Medium 80K ？
13 Yes Large 110K ？
14
No Small 95K ？
15
No Large 67K ？
数据挖掘ppt课件(2024)
医疗数据类型及特点
电子病历、医学影像、基因测序等 。
数据预处理与特征提取
针对不同类型的医疗数据进行预处 理和特征提取，如文本处理、图像 识别、基因表达谱分析等。
2024/1/29
模型评估与应用
通过准确率、灵敏度、特异度等指 标评估模型性能，将模型应用于实 际医疗场景中，提高医生诊断效率 和准确性。
疾病预测与辅助诊断模型构建
贝叶斯分类器应用案例
03
如垃圾邮件识别、新闻分类、情感分析等。
17
神经网络在分类预测中应用
1 2
神经网络基本概念
模拟人脑神经元连接方式的计算模型，通过训练 学习输入与输出之间的映射关系。
神经网络在分类预测中的应用
通过构建多层感知机、卷积神经网络等模型，对 输入数据进行自动特征提取和分类预测。
3
神经网络应用案例
5
数据挖掘与机器学习关系
机器学习是数据挖掘的重 要工具之一。
2024/1/29
数据挖掘包括数据预处理 、特征提取、模型构建等 步骤，其中模型构建可以 使用机器学习算法。
机器学习算法如决策树、 神经网络、支持向量机等 在数据挖掘中有广泛应用 。
6
2024/1/29
02
数据预处理技术
7
数据清洗与去重
推荐模型构建
利用机器学习、深度学习等技 术构建推荐模型，如逻辑回归 、神经网络等。
模型评估与优化
通过准确率、召回率、F1值等 指标评估模型性能，采用交叉 验证、网格搜索等方法优化模
型参数。
32
金融欺诈检测模型构建与优化
金融欺诈类型及特点
信用卡欺诈、贷款欺诈、洗钱等。
2024/1/29
数据来源与处理
数据挖掘课件-分类分析Classification
predicting
Unknown Objects （Without Class Labels）
2
Example: Learning (Training)
3
Example: Testing & Predicting
4
评价指标
预测准确度 计算效率: 建立分类器及预测 对噪音的敏感度 可解读性
5
数据准备
A decision tree is a flowchart-like tree structure, where each internal node (non-leaf node) denotes a test on an attribute, each branch represents an outcome of the test, and each leaf node (or terminal node) holds a class label.
True False
True False
[21+, 5-]
[8+, 30-]
[18+, 33-] [11+, 2-]
16
Entropy
S is a sample of training examples p+ is the proportion of positive examples p- is the proportion of negative examples Entropy measures the impurity of S
分类分析 Classification
1
监督式学习:预测对象的类标签
Training/building
Known Objects （With Class Labels）
《数据挖掘》课程PPT-聚类分析
图像处理
1 2 3
图像分割
在图像处理中，聚类分析可以用于将图像分割成 多个区域或对象，以便进行更细致的分析和处理。
特征提取
通过聚类分析，可以提取图像中的关键特征，如 颜色、形状、纹理等，以实现图像分类、识别和 检索。
图像压缩
通过聚类分析，可以将图像中的像素进行聚类， 从而减少图像数据的维度和复杂度，实现图像压 缩。
03 推荐系统
利用聚类分析对用户和物品进行分类，为用户推 荐相似或相关的物品或服务。
02
聚类分析的常用算法
K-means算法
• 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
• · 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
03 基于模型的聚类
根据某种模型对数据进行拟合，将数据点分配给 不同的模型，常见的算法有EM算法、高斯混合模 型等。
聚类分析的应用场景
01 客户细分
将客户按照其特征和行为划分为不同的细分市场， 以便更好地了解客户需求并提供定制化服务。
02 异常检测
通过聚类分析发现数据中的异常值或离群点，以 便及时发现潜在的问题或风险。
生物信息学
基因表达分析
在生物信息学中，聚类分析可以用于分析基因表达数据， 将相似的基因聚类在一起，以揭示基因之间的功能关联和 调控机制。
蛋白质组学分析
通过聚类分析，可以研究蛋白质之间的相互作用和功能模 块，以深入了解生物系统的复杂性和动态性。
个性化医疗
通过聚类分析，可以根据个体的基因型、表型等特征进行 分类，为个性化医疗提供依据和支持。
数据挖掘-西安电子科技大学软件学院ppt课件
Hair_color={黑色，棕色，金色，红色，红褐色，灰色，白色}
婚姻状况，职业，身份证号码，邮政编码 二进制
只有2个状态（0和1）的属性 对称二进制两种结果重要
例如，性别
不对称的二进制结果同样重要。
例如，医疗测试（正面与负面）
公约：将1至最重要的成果（例如，HIV阳性）
序数词
价值观有一个有意义的顺序（排名），但不知道连续值之间的 大小。
大小={小，中，大}，等级，军队排名
精选编辑ppt
6
2.2数据质量
被广泛接受的数据质量测量标准
准确性 完整性 一致性 合时性 可信度 解释性
精选编辑ppt
7
2.3数据预处理
数据预处理：概述
数据预处理主要任务
数据清洗 数据集成 数据缩减 数据转换和数据离散化 总结
精选编辑ppt
10
不完整（缺少）数据
数据并不总是可用的
例如，许多元组没有属性，如客户收入、销售 数据的记录值
丢失的数据，可能是由于
设备故障
与其他记录的数据不一致，从而删除
因误会而未读入
在读入的时候，某些数据可能不会被认为是重 要的
不是历史或更改的数据注册
丢失的数据可精能选编辑需ppt 要被推断
2
season
timeout
lost wi n game
score
ball pla y coach
team
2.1数据类型
记录数据
关系记录 数据矩阵，例如，数值矩阵，交叉 文档数据：文本文件：词频向量 交易数据
图形和网络
万维网 社会或信息网络 分子结构 有序 时间数据：时间序列 顺序数据：交易序列 基因序列数据
婚姻状况，职业，身份证号码，邮政编码 二进制
只有2个状态（0和1）的属性 对称二进制两种结果重要
例如，性别
不对称的二进制结果同样重要。
例如，医疗测试（正面与负面）
公约：将1至最重要的成果（例如，HIV阳性）
序数词
价值观有一个有意义的顺序（排名），但不知道连续值之间的 大小。
大小={小，中，大}，等级，军队排名
精选编辑ppt
6
2.2数据质量
被广泛接受的数据质量测量标准
准确性 完整性 一致性 合时性 可信度 解释性
精选编辑ppt
7
2.3数据预处理
数据预处理：概述
数据预处理主要任务
数据清洗 数据集成 数据缩减 数据转换和数据离散化 总结
精选编辑ppt
10
不完整（缺少）数据
数据并不总是可用的
例如，许多元组没有属性，如客户收入、销售 数据的记录值
丢失的数据，可能是由于
设备故障
与其他记录的数据不一致，从而删除
因误会而未读入
在读入的时候，某些数据可能不会被认为是重 要的
不是历史或更改的数据注册
丢失的数据可精能选编辑需ppt 要被推断
2
season
timeout
lost wi n game
score
ball pla y coach
team
2.1数据类型
记录数据
关系记录 数据矩阵，例如，数值矩阵，交叉 文档数据：文本文件：词频向量 交易数据
图形和网络
万维网 社会或信息网络 分子结构 有序 时间数据：时间序列 顺序数据：交易序列 基因序列数据
清华大学大数据课程数据挖掘技术PPT课件
什么是数据挖掘（Data Mining）？
Extraction of interesting (non-trivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data
空缺值要经过推断而补上
第14页/共145页
如何补充缺失值
忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属 性缺少值的百分比变化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低
使用一个全局变量填充空缺值：比如使用unknown或-∞ 使用属性的平均值填充空缺值
使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法
第11页/共145页
数据挖掘预处理的主要任务
数据清理
填写空缺的值，平滑噪声数据，识别、删除孤立点，解决 不一致性
数据集成
集成多个数据库、数据立方体或文件
数据变换
规范化和聚集
数据归约
得到数据集的压缩表示，它小得多，但可以得到相同或相 近的结果
数据离散化
数据归约的一部分，通过概念分层和数据的离散化来规约 数据，对数字型数据特别重要
第12页/共145页
数据清洗
脏数据：例如设备错误，人或者机器错误，传输错误等
不完整性：属性值缺失或者只有聚集数据 例如：phone=“”;
噪音：包含噪声、错误或者异常值 例如：salary=-10
不一致性: 例如：age=42，birthday=03-07-2010
假值： 例如：使用某一值填补缺失属性
数据挖掘PPT全套课件
记录数据
记录（数据对象）的汇集，每个记录包含固定的数 据字段（属性）集
Tid Refund Marital Taxable Status Income Cheat
1 Yes 2 No 3 No 4 Yes 5 No 6 No 7 Yes 8 No 9 No 10 No
10
Single 125K No
和三维结构的DNA数据）
数据库技术、 并行技术、分 布式技术
数据挖掘的任务
预测 – 使用已知变量预测未知变量的值.
描述 – 导出潜在联系的模式（相关、趋势、聚类、异
常）.
数据挖掘的任务
分类 [预测] 聚类 [描述] 关联分析 [描述] 异常检测 [预测]
分类 例子
Tid Refund Marital Taxable Status Income Cheat
矿石硬度、{好， 较好，最好}、 成绩
中值、百分位、 秩相关、游程 检验、符号检 验
日历日期、摄氏、 均值、标准差、
华氏温度
皮尔逊相关、
t和F检验
绝对温度、货币 量、计数、年龄 、质量、长度、 电流
几何平均、调 和平均、百分 比变差
属性类 型
标称
变换 任何一对一变换
序数
值的保序变换
新值 = f(旧值)
– (１)统计学的抽样、估计、假设检验
– (２)人工智能、模式识别、机器学习
的搜索算法／建摸技术、学习理论
– (３)最优化、进化算法、
信息论、信号处理、 可视化、信息检索
统计学
人工智能、 机器学习
– (４)数据库技术、并行计算
和模式识别
、分布式计算
传统的方法可能不适合
数据挖掘
【精品PPT】数据挖掘--分类课件ppt
16:06
9
分类模型的评估
对于非平衡(unblanced)的数据集,以上指标并不能很好的 评估预测结果。
非平衡的数据集是指阳性数据在整个数据集中的比例很 小。比如，数据集包含10只爬行动物，990只爬行动物， 此时，是否预测正确爬行动物对准确率影响不大。
更平衡的评估标准包括马修斯相关性系数(Matthews correlation coefficient)和ROC曲线。
数据集有10只非爬行动物，其中8只被预测为非爬行动物，特 异度为8/10
精度(Precision):
TP/(TP+FP)
分类器预测了12只动物为爬行动物，其中10只确实是爬行动 物，精度为10/12
准确率(Accuracy): (TP+TN)/(TP+TN+FN+FP)
数据集包含23只动物，其中18只预测为正确的分类，准确率 为18/23
训练集应用于建立分类模型 测试集应用于评估分类模型
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
16:06
16
K-近邻分类算法
K-近邻分类算法（K Nearest Neighbors，简称KNN）通过 计算每个训练数据到待分类元组的距离，取和待分类元组 距离最近的K个训练数据，K个数据中哪个类别的训练数据 占多数，则待分类元组就属于哪个类别。
算法 4-2 K-近邻分类算法
输入： 训练数据T；近邻数目K；待分类的元组t。
数据挖掘分类精品PPT课件
Unsupervised learning (clustering) The class labels of training data is unknown Given a set of measurements, observations, etc. with the aim of establishing the existence of classes or clusters in the data
主要内容
分类和预测 贝叶斯分类、神经网络分类 预测
2020/10/17
Data Mining: Concepts and Techniques
1
Classification vs. Prediction
Classification 主要用于对离散的数据进行预测 分为两步：
根据训练集，构造分类模型（训练集中每个元组的分类标号事先已经 知道）
2020/10/17
Data Mining: Concepts and Techniques
3
Classification Process (1): Model Construction
Training Data
Classification Algorithms
NAME RANK
YEARS TENURED
模型使用阶段: for classifying future or unknown objects 估计模型的准确性 用一些已知分类标号的测试集和由模型进行分类的 结果进行比较 两个结果相同所占的比率称为准确率 测试集和训练集必须不相关 如果准确性可以接受的话, 使用模型来对那些不知道分 类标号的数据进行分类。
IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’
主要内容
分类和预测 贝叶斯分类、神经网络分类 预测
2020/10/17
Data Mining: Concepts and Techniques
1
Classification vs. Prediction
Classification 主要用于对离散的数据进行预测 分为两步：
根据训练集，构造分类模型（训练集中每个元组的分类标号事先已经 知道）
2020/10/17
Data Mining: Concepts and Techniques
3
Classification Process (1): Model Construction
Training Data
Classification Algorithms
NAME RANK
YEARS TENURED
模型使用阶段: for classifying future or unknown objects 估计模型的准确性 用一些已知分类标号的测试集和由模型进行分类的 结果进行比较 两个结果相同所占的比率称为准确率 测试集和训练集必须不相关 如果准确性可以接受的话, 使用模型来对那些不知道分 类标号的数据进行分类。
IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’
数据挖掘第8章-分类：基本概念PPT课件
不纯度降低为: G (A ) i G n( D i) i G nA ( iD i)ni
最大化不纯度降低（或等价地，具有最小基尼指数）的属性选为分裂 属性。（需要枚举所有可能的分裂情况）
CHENLI
19
属性选择度量对比
三种度量通常会得到好的结果，但这些度量并非无偏的
信息增益
➢ 偏向于多值属性
增益率
yes
Dave Assistant Prof 6
no
Anne Associate Prof 3
no
分类规则
IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’
CHENLI
6
第二步——用模型进行分类
分类规则
测试集
未知数据
(Jeff, Professor, 4)
✓ 使用属性选择度量来选择将元组最好的划分为不同的类的属性 ✓ 递归的通过选定的属性（必须是离散值）来划分样本
➢ 树剪枝
✓ 决策树建立时，许多分枝反映的是训练数据中的噪声或离群点，树剪枝试图识别并剪 去这种分枝，以提高对未知数据分类的准确性
CHENLI
11
决策树归纳策略
输入
➢ 数据分区D，训练元组和他们对应类标号的集合 ➢ attribute_list,候选属性的集合 ➢ Attribute_selection_method，指定选择属性的启发式过程
no
yes
no
yes
决策树：Buys_computer
CHENLI
10
用决策树归纳分类
使用决策树分类
➢ 给定一个类标号未知的元组X，在决策树上测试元组的属性值，跟踪一条由根到 叶节点的路径，叶节点存放该元组的类预测。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
建立分类模型需要学习一部分已知数据，如果 训练时间过长，或者预测模型参数太多而样本 较少，将导致过度训练(overfitting)。
11:29
6
如何避免过度训练
避免过度训练最重要一点是，模型的参数量应 远小于样本的数量。
应建立训练集(training set)和测试集(test set)。
训练集应用于建立分类模型 测试集应用于评估分类模型
sim(ti，Cj)>=sim(ti，Cl) ，Cl∈C，Cl≠Cj，
其中sim(ti，Cj)被称为相似性。
在实际的计算中往往用距离来表征，距离越近， 相似性越大，距离越远，相似性越小。
距离的计算方法有多种，最常用的是通过计算每 个类的中心来完成。
11:29
13
基于距离的分类算法的一般性描述
算法 4-1 基于距离的分类算法
特异度(Specificity): TN/(TN+FP)
数据集有10只非爬行动物，其中8只被预测为非爬行动物，特 异度为8/10
精度(Precision):
TP/(TP+FP)
分类器预测了12只动物为爬行动物，其中10只确实是爬行动 物，精度为10/12
准确率(Accuracy): (TP+TN)/(TP+TN+FN+FP)
更平衡的评估标准包括马修斯相关性系数(Matthews correlation coefficient)和ROC曲线。
马修斯相关性系数定义为
11:29
10
分类模型的评估
ROC曲线通过描述真阳性率(TPR)和假阳性率(FPR)来实 现，其中TPR=TP/(TP+FN), FPR=FP/(FP+TN)。
数据集包含23只动物，其中18只预测为正确的分类，准确率 为18/23
11:29
9
分类模型的评估
对于非平衡(unblanced)的数据集,以上指标并不能很好的 评估预测结果。
非平衡的数据集是指阳性数据在整个数据集中的比例很 小。比如，数据集包含10只爬行动物，990只爬行动物， 此时，是否预测正确爬行动物对准确率影响不大。
预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬
行动物，阴性代表非爬行动物，请大家阐述 TP=10， TN=8，FN=3，FP=2是什么意义
11:29
8
分类模型的评估
灵敏度(Sensitivity)： TP/(TP+FN)
也称为查全率(Recall)
数据集共有13只爬行动物，其中10只被正确预测为爬行动物， 灵敏度为10/13
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
11:29
7
分类模型的评估
真阳性(True Positive)： 实际为阳性 预测为阳性 真阴性(True Negative)：实际为阴性 预测为阴性 假阳性(False Positive)： 实际为阴性 预测为阳性 假阴性(False Negative)：实际为阳性 预测为阴性
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
动物A 大
0
2
是
无
？
动根物据B 现有中的知识，2我们得到了2 一些关于否爬行动物和是鸟类的信息？， 我们能否对新发现的物种，比如动物A，动物B进行分类？
11:29
2
分类的流程
动物种 体型 翅膀数量 脚的只数 是否产 是否有毛
类
蛋
类别
狗中
0
4
否
是 爬行动物
猪大
0
4
否
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
11:29
1
分类的流程
动物种 类
狗
体型 翅膀数量 脚的只数
中
0
4
是否产 蛋
否
是否有毛 是
类别 爬行动物
猪
大
0
4
否
是
爬行动物
牛
大
0
麻雀 小
2
4
否
是
爬行动物
2
是
是
鸟类
天鹅 中
是 爬行动物
牛大
0
4
否
是 爬行动物
麻雀 小
2
2
是
是
鸟类
天鹅 中
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
步骤一：将样本转化为等维的数据特征（特征提取）。
所有样本必须具有相同数量的特征 兼顾特征的全面性和独立性
11:29
3
分类的流程
动物种 体型 翅膀数量 脚的只数 是否产 是否有毛
类
蛋
类别
狗中
0
4
否
是 爬行动物
步骤三：建立分类模型或分类器（分类）。
分类器通常可以看作一个函数，它把特征映射到类的空间 上
11:29
5
如何避免过度训练
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。
分类与聚类的最大区别在于，分类数据中的一 部分的类别是已知的，而聚类数据的类别未知。
大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
11:29
Байду номын сангаас11
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
11:29
12
基于距离的分类算法的思路
定义4-2 给定一个数据库 D={t1，t2，…，tn}和一 组类C={C1，…，Cm}。假定每个元组包括一些数 值型的属性值：ti={ti1，ti2，…，tik}，每个类也包 含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分 类问题是要分配每个ti到满足如下条件的类Cj：
猪大
0
4
否
是 爬行动物
牛大
0
4
否
是 爬行动物
麻雀 小
2
2
是
是
鸟类
天鹅 中
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
步骤二：选择与类别相关的特征（特征选择）。
比如，绿色代表与类别非常相关，黑色代表部分相关，灰 色代表完全无关
11:29
4
分类的流程
f (xi1, xi2, xi3,......,xin) yi
输入：每个类的中心C1，…，Cm；待分类的元组t。 输出：输出类别c。
（1）dist=∞；//距离初始化
（2）FOR i:=1 to m DO
（3） （4）
IF dis(ci，t)<dist THEN BEGIN c← i；
（5） （6）
dist←dist(ci，t)；
END.
算法 4-1通过对每个样本和各个类的中心来比较， 从而可以找出他的最近的类中心，得到确定的类 别标记。
11:29
6
如何避免过度训练
避免过度训练最重要一点是，模型的参数量应 远小于样本的数量。
应建立训练集(training set)和测试集(test set)。
训练集应用于建立分类模型 测试集应用于评估分类模型
sim(ti，Cj)>=sim(ti，Cl) ，Cl∈C，Cl≠Cj，
其中sim(ti，Cj)被称为相似性。
在实际的计算中往往用距离来表征，距离越近， 相似性越大，距离越远，相似性越小。
距离的计算方法有多种，最常用的是通过计算每 个类的中心来完成。
11:29
13
基于距离的分类算法的一般性描述
算法 4-1 基于距离的分类算法
特异度(Specificity): TN/(TN+FP)
数据集有10只非爬行动物，其中8只被预测为非爬行动物，特 异度为8/10
精度(Precision):
TP/(TP+FP)
分类器预测了12只动物为爬行动物，其中10只确实是爬行动 物，精度为10/12
准确率(Accuracy): (TP+TN)/(TP+TN+FN+FP)
更平衡的评估标准包括马修斯相关性系数(Matthews correlation coefficient)和ROC曲线。
马修斯相关性系数定义为
11:29
10
分类模型的评估
ROC曲线通过描述真阳性率(TPR)和假阳性率(FPR)来实 现，其中TPR=TP/(TP+FN), FPR=FP/(FP+TN)。
数据集包含23只动物，其中18只预测为正确的分类，准确率 为18/23
11:29
9
分类模型的评估
对于非平衡(unblanced)的数据集,以上指标并不能很好的 评估预测结果。
非平衡的数据集是指阳性数据在整个数据集中的比例很 小。比如，数据集包含10只爬行动物，990只爬行动物， 此时，是否预测正确爬行动物对准确率影响不大。
预测是否正确 预测结果 比如预测未知动物是鸟类还是爬行动物，阳性代表爬
行动物，阴性代表非爬行动物，请大家阐述 TP=10， TN=8，FN=3，FP=2是什么意义
11:29
8
分类模型的评估
灵敏度(Sensitivity)： TP/(TP+FN)
也称为查全率(Recall)
数据集共有13只爬行动物，其中10只被正确预测为爬行动物， 灵敏度为10/13
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
11:29
7
分类模型的评估
真阳性(True Positive)： 实际为阳性 预测为阳性 真阴性(True Negative)：实际为阴性 预测为阴性 假阳性(False Positive)： 实际为阴性 预测为阳性 假阴性(False Negative)：实际为阳性 预测为阴性
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
动物A 大
0
2
是
无
？
动根物据B 现有中的知识，2我们得到了2 一些关于否爬行动物和是鸟类的信息？， 我们能否对新发现的物种，比如动物A，动物B进行分类？
11:29
2
分类的流程
动物种 体型 翅膀数量 脚的只数 是否产 是否有毛
类
蛋
类别
狗中
0
4
否
是 爬行动物
猪大
0
4
否
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
11:29
1
分类的流程
动物种 类
狗
体型 翅膀数量 脚的只数
中
0
4
是否产 蛋
否
是否有毛 是
类别 爬行动物
猪
大
0
4
否
是
爬行动物
牛
大
0
麻雀 小
2
4
否
是
爬行动物
2
是
是
鸟类
天鹅 中
是 爬行动物
牛大
0
4
否
是 爬行动物
麻雀 小
2
2
是
是
鸟类
天鹅 中
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
步骤一：将样本转化为等维的数据特征（特征提取）。
所有样本必须具有相同数量的特征 兼顾特征的全面性和独立性
11:29
3
分类的流程
动物种 体型 翅膀数量 脚的只数 是否产 是否有毛
类
蛋
类别
狗中
0
4
否
是 爬行动物
步骤三：建立分类模型或分类器（分类）。
分类器通常可以看作一个函数，它把特征映射到类的空间 上
11:29
5
如何避免过度训练
分类也称为有监督学习(supervised learning), 与之相对于的是无监督学习(unsupervised learning),比如聚类。
分类与聚类的最大区别在于，分类数据中的一 部分的类别是已知的，而聚类数据的类别未知。
大部分分类器都输出一个实数值(可以看作概率),通过变 换阈值可以得到多组TPR与FPR的值。
11:29
Байду номын сангаас11
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
11:29
12
基于距离的分类算法的思路
定义4-2 给定一个数据库 D={t1，t2，…，tn}和一 组类C={C1，…，Cm}。假定每个元组包括一些数 值型的属性值：ti={ti1，ti2，…，tik}，每个类也包 含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分 类问题是要分配每个ti到满足如下条件的类Cj：
猪大
0
4
否
是 爬行动物
牛大
0
4
否
是 爬行动物
麻雀 小
2
2
是
是
鸟类
天鹅 中
2
2
是
是
鸟类
大雁 中
2
2
是
是
鸟类
步骤二：选择与类别相关的特征（特征选择）。
比如，绿色代表与类别非常相关，黑色代表部分相关，灰 色代表完全无关
11:29
4
分类的流程
f (xi1, xi2, xi3,......,xin) yi
输入：每个类的中心C1，…，Cm；待分类的元组t。 输出：输出类别c。
（1）dist=∞；//距离初始化
（2）FOR i:=1 to m DO
（3） （4）
IF dis(ci，t)<dist THEN BEGIN c← i；
（5） （6）
dist←dist(ci，t)；
END.
算法 4-1通过对每个样本和各个类的中心来比较， 从而可以找出他的最近的类中心，得到确定的类 别标记。