数据挖掘算法决策树算法及应用扩展
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n 例：啤酒——尿布
n 阻止/延缓不利变化的发生
n 例：金融危机——银行的信贷策略
n 差异挖掘算法的主要思想：
n 合理比较新/旧数据的挖掘结果，并清晰的 描述其变化部分
数据挖掘算法决策树算法及应用扩展
预备知识一(Building Tree)
n 基本思想： n 用途：提取分类规则，进行分类预测
input 判定树分类算法 output 训练集
数据挖掘算法决策树算法及应用扩展
Cost of Encoding Tree
n 编码树结构本身的代价 n 编码每个分裂节点的代价
n 确定分类属性的代价 n 确定分类属性值的代价
&
其中，v是该节点上不同属性值的个数
n 编码每个树叶上的记录分类的代价
数据挖掘算法决策树算法及应用扩展
剪枝算法
n 设N为欲计算其最小代价的节点 n 两种情形：
训练集(举例)
ID3算法
数据挖掘算法决策树算法及应用扩展
使用信息增益进行属性选择
Class P: buys_computer = “yes”
Class N: buys_computer
= “no”
Hence
I(p, n) = I(9, 5) =0.940
Compute the entropy for
数据挖掘算法决策树算 法及应用扩展
2020/11/21
数据挖掘算法决策树算法及应用扩展
概述(一)
n 传统挖掘方法的局限性
n 只重视从数据库中提取规则，忽视了库中 数据的变化
n 挖掘所用的数据来自稳定的环境，人为干 预较少
数据挖掘算法决策树算法及应用扩展
概述(二)
n 捕捉新旧数据变化的目的：
n 挖掘出变化的趋势
age:
Similarly
数据挖掘算法决策树算法及应用扩展
Decision Tree (结果输出)
age?
<=30 ov30e.r.c4a0st
student?
yes
>40 credit rating?
no
yes
no
yes
excellent fair
no
yes
数据挖掘算法决策树算法及应用扩展
基尼指数 Gini Index (IBM
编码所需二进位最少的树即为“最佳剪枝 树”
n 期望错误率最小原则
n 思想：选择期望错误率最小的子树进行剪 枝
n 对树中的内部节点计算其剪枝/不剪枝可能 数据挖掘算法决策树算法及应用扩展
Cost of Encoding Data Records
n 对n条记录进行分类编码的代价(2种方法)
n n ——记录数，k ——类数目，ni——属于 类i的记录数
n Ci为某分类标号，Pi为任意样本属于Ci的概率，Biblioteka Baidu
si为分类Ci上的样本数 n 由A划分为子集的熵：
n E(A)= ∑(s1j+ ……+smj)/s * I(s1j+ ……+smj)
n A为属性，具有V个不同的取值 n 信息增益：Gain(A)= I(s1,s2,……,sm) － E(A)
数据挖掘算法决策树算法及应用扩展
预备知识二(Pruning Tree)
n 目的：
n 消除决策树的过适应(OverFitting)问题 n 实质：消除训练集中的异常和噪声
n 两种方法：
n 先剪枝法(Public 算法) n 后剪枝法(Sprint 算法)
数据挖掘算法决策树算法及应用扩展
两种剪枝标准
n 最小描述长度原则(MDL)
n 思想：最简单的解释最期望的 n 做法：对Decision-Tree 进行二进位编码，
(如, information gain)
n 停止分割的条件
n 一个节点上的数据都是属于同一个类别 n 没有属性可以再用于对数据进行分割
数据挖掘算法决策树算法及应用扩展
伪代码(Building Tree)
Procedure BuildTree(S)
用数据集S初始化根节点R
用根结点R初始化队列Q
While Q is not Empty do {
决策树
数据挖掘算法决策树算法及应用扩展
使用决策树进行分类
n 决策树
n 一个树性的结构 n 内部节点上选用一个属性进行分割 n 每个分叉都是分割的一个部分 n 叶子节点表示一个分布
n 决策树生成算法分成两个步骤
n 树的生成 n 开始，数据都在根节点 n 递归的进行数据分片
n 树的修剪 n 去掉一些可能是噪音或者异常的数据
IntelligentMiner)
n 集合T包含N个类别的记录，那么其Gini指标就是 pj 类别j出现的频率
n 如果集合T分成两部分 N1 and N2 。那么这个分割的 Gini就是
n 提供最小Ginisplit 就被选择作为分割的标准(对于每个 属性都要遍历所有可以的分割方法).
数据挖掘算法决策树算法及应用扩展
n N是叶结点——C(S)+1 ——Cost1 n N是内部节点，有两个子节点N1、N2
n 已剪去N1、N2，N成为叶子节点 ——Cost1 n 计算N节点及其子树的代价，使用递归过程
Csplit(N)+1+minCost1+minCost2 ——Cost2 比较Cost1和Cost2，选取代价较小者作为返回 值
n 决策树使用: 对未知数据进行分割
n 按照决策树上采用的分割属性逐层往下，直到一个叶子节点
数据挖掘算法决策树算法及应用扩展
决策树算法
n 基本算法（贪心算法）
n 自上而下分而治之的方法 n 开始时，所有的数据都在根节点 n 属性都是种类字段 (如果是连续的，将其离散化) n 所有记录用所选属性递归的进行分割 n 属性的选择是基于一个启发式规则或者一个统计的度量
取出队列Q中的第一个节点N
if N 不纯 (Pure) {
for 每一个属性 A
估计该节点在A上的信息增益
选出最佳的属性，将N分裂为N1、N2
}
}
数据挖掘算法决策树算法及应用扩展
属性选择的统计度量
n 信息增益——Information gain (ID3/C4.5)
n 所有属性假设都是种类字段 n 经过修改之后可以适用于数值字段
n 基尼指数——Gini index (IBM IntelligentMiner)
n 能够适用于种类和数值字段
数据挖掘算法决策树算法及应用扩展
信息增益度度量(ID3/C4.5)
n 任意样本分类的期望信息：
n I(s1,s2,……,sm)=－∑Pi log2(pi) (i=1..m)
n 其中，数据集为S，m为S的分类数目， Pi
n 阻止/延缓不利变化的发生
n 例：金融危机——银行的信贷策略
n 差异挖掘算法的主要思想：
n 合理比较新/旧数据的挖掘结果，并清晰的 描述其变化部分
数据挖掘算法决策树算法及应用扩展
预备知识一(Building Tree)
n 基本思想： n 用途：提取分类规则，进行分类预测
input 判定树分类算法 output 训练集
数据挖掘算法决策树算法及应用扩展
Cost of Encoding Tree
n 编码树结构本身的代价 n 编码每个分裂节点的代价
n 确定分类属性的代价 n 确定分类属性值的代价
&
其中，v是该节点上不同属性值的个数
n 编码每个树叶上的记录分类的代价
数据挖掘算法决策树算法及应用扩展
剪枝算法
n 设N为欲计算其最小代价的节点 n 两种情形：
训练集(举例)
ID3算法
数据挖掘算法决策树算法及应用扩展
使用信息增益进行属性选择
Class P: buys_computer = “yes”
Class N: buys_computer
= “no”
Hence
I(p, n) = I(9, 5) =0.940
Compute the entropy for
数据挖掘算法决策树算 法及应用扩展
2020/11/21
数据挖掘算法决策树算法及应用扩展
概述(一)
n 传统挖掘方法的局限性
n 只重视从数据库中提取规则，忽视了库中 数据的变化
n 挖掘所用的数据来自稳定的环境，人为干 预较少
数据挖掘算法决策树算法及应用扩展
概述(二)
n 捕捉新旧数据变化的目的：
n 挖掘出变化的趋势
age:
Similarly
数据挖掘算法决策树算法及应用扩展
Decision Tree (结果输出)
age?
<=30 ov30e.r.c4a0st
student?
yes
>40 credit rating?
no
yes
no
yes
excellent fair
no
yes
数据挖掘算法决策树算法及应用扩展
基尼指数 Gini Index (IBM
编码所需二进位最少的树即为“最佳剪枝 树”
n 期望错误率最小原则
n 思想：选择期望错误率最小的子树进行剪 枝
n 对树中的内部节点计算其剪枝/不剪枝可能 数据挖掘算法决策树算法及应用扩展
Cost of Encoding Data Records
n 对n条记录进行分类编码的代价(2种方法)
n n ——记录数，k ——类数目，ni——属于 类i的记录数
n Ci为某分类标号，Pi为任意样本属于Ci的概率，Biblioteka Baidu
si为分类Ci上的样本数 n 由A划分为子集的熵：
n E(A)= ∑(s1j+ ……+smj)/s * I(s1j+ ……+smj)
n A为属性，具有V个不同的取值 n 信息增益：Gain(A)= I(s1,s2,……,sm) － E(A)
数据挖掘算法决策树算法及应用扩展
预备知识二(Pruning Tree)
n 目的：
n 消除决策树的过适应(OverFitting)问题 n 实质：消除训练集中的异常和噪声
n 两种方法：
n 先剪枝法(Public 算法) n 后剪枝法(Sprint 算法)
数据挖掘算法决策树算法及应用扩展
两种剪枝标准
n 最小描述长度原则(MDL)
n 思想：最简单的解释最期望的 n 做法：对Decision-Tree 进行二进位编码，
(如, information gain)
n 停止分割的条件
n 一个节点上的数据都是属于同一个类别 n 没有属性可以再用于对数据进行分割
数据挖掘算法决策树算法及应用扩展
伪代码(Building Tree)
Procedure BuildTree(S)
用数据集S初始化根节点R
用根结点R初始化队列Q
While Q is not Empty do {
决策树
数据挖掘算法决策树算法及应用扩展
使用决策树进行分类
n 决策树
n 一个树性的结构 n 内部节点上选用一个属性进行分割 n 每个分叉都是分割的一个部分 n 叶子节点表示一个分布
n 决策树生成算法分成两个步骤
n 树的生成 n 开始，数据都在根节点 n 递归的进行数据分片
n 树的修剪 n 去掉一些可能是噪音或者异常的数据
IntelligentMiner)
n 集合T包含N个类别的记录，那么其Gini指标就是 pj 类别j出现的频率
n 如果集合T分成两部分 N1 and N2 。那么这个分割的 Gini就是
n 提供最小Ginisplit 就被选择作为分割的标准(对于每个 属性都要遍历所有可以的分割方法).
数据挖掘算法决策树算法及应用扩展
n N是叶结点——C(S)+1 ——Cost1 n N是内部节点，有两个子节点N1、N2
n 已剪去N1、N2，N成为叶子节点 ——Cost1 n 计算N节点及其子树的代价，使用递归过程
Csplit(N)+1+minCost1+minCost2 ——Cost2 比较Cost1和Cost2，选取代价较小者作为返回 值
n 决策树使用: 对未知数据进行分割
n 按照决策树上采用的分割属性逐层往下，直到一个叶子节点
数据挖掘算法决策树算法及应用扩展
决策树算法
n 基本算法（贪心算法）
n 自上而下分而治之的方法 n 开始时，所有的数据都在根节点 n 属性都是种类字段 (如果是连续的，将其离散化) n 所有记录用所选属性递归的进行分割 n 属性的选择是基于一个启发式规则或者一个统计的度量
取出队列Q中的第一个节点N
if N 不纯 (Pure) {
for 每一个属性 A
估计该节点在A上的信息增益
选出最佳的属性，将N分裂为N1、N2
}
}
数据挖掘算法决策树算法及应用扩展
属性选择的统计度量
n 信息增益——Information gain (ID3/C4.5)
n 所有属性假设都是种类字段 n 经过修改之后可以适用于数值字段
n 基尼指数——Gini index (IBM IntelligentMiner)
n 能够适用于种类和数值字段
数据挖掘算法决策树算法及应用扩展
信息增益度度量(ID3/C4.5)
n 任意样本分类的期望信息：
n I(s1,s2,……,sm)=－∑Pi log2(pi) (i=1..m)
n 其中，数据集为S，m为S的分类数目， Pi