决策树--[优质ppt]
合集下载
决策树--PPT
母亲：26。 女儿：长的帅不帅？ (长相) 母亲：挺帅的。 女儿：收入高不？ (收入情况) 母亲：不算很高，中等情况。 女儿：是公务员不？ (是否公务员) 母亲：是，在税务局上班呢。 女儿：那好，我去见见。
1.1.2 决策树与if-then规则
• 由决策树的根结点到叶结点的每一条路径构建一条规则； • 路径上内部结点的特征对应着规则的条件，而叶结点的类对应着 规则的结论。 • If-then规则集合的一重要性质：互斥并且完备
• （3）否则，计算A中各特征对D的信息增益，选择信息增益最大的特征������������ ;
• （4）如果������������ 的信息增益小于阈值ε，则置T为单结点树，并将D中实例数最大的类������������ 作为该 结点的类标记，返回T; • （5）否则，对������������ 的每一个可能值������������ , 依������������ =������������ 将D分割为若干个非空子集������������ , 将������������ 中实例数最 大的类作为标记，构建子结点，由结点及其子结点构成树T，返回T; • （6）对第������ 个子结点，以������������ 为训练集，以������ − {������������ }为特征集，递归地调用步(1)~(5),得到子树 ������������ , 返回������������ .
决策树学习算法的特点
决策树学习算法的最大优点是，它可以自学习。 在学习的过程中，不需要使用者了解过多背景知识， 只需要对训练实例进行较好的标注，就能够进行学习。 显然，它属于有监督学习。 从一类无序、无规则的事物(概念)中推理出决策树 表示的分类规则。
决策树学习的主要算法
建立决策树的关键，即在当前状态下选择哪个
1.1.2 决策树与if-then规则
• 由决策树的根结点到叶结点的每一条路径构建一条规则； • 路径上内部结点的特征对应着规则的条件，而叶结点的类对应着 规则的结论。 • If-then规则集合的一重要性质：互斥并且完备
• （3）否则，计算A中各特征对D的信息增益，选择信息增益最大的特征������������ ;
• （4）如果������������ 的信息增益小于阈值ε，则置T为单结点树，并将D中实例数最大的类������������ 作为该 结点的类标记，返回T; • （5）否则，对������������ 的每一个可能值������������ , 依������������ =������������ 将D分割为若干个非空子集������������ , 将������������ 中实例数最 大的类作为标记，构建子结点，由结点及其子结点构成树T，返回T; • （6）对第������ 个子结点，以������������ 为训练集，以������ − {������������ }为特征集，递归地调用步(1)~(5),得到子树 ������������ , 返回������������ .
决策树学习算法的特点
决策树学习算法的最大优点是，它可以自学习。 在学习的过程中，不需要使用者了解过多背景知识， 只需要对训练实例进行较好的标注，就能够进行学习。 显然，它属于有监督学习。 从一类无序、无规则的事物(概念)中推理出决策树 表示的分类规则。
决策树学习的主要算法
建立决策树的关键，即在当前状态下选择哪个
人工智能之决策树ppt课件
分支
连接节点之间的路径，代表不同 的决策路径。
决策树学习算法分类
ID3算法
基于信息增益进行特征选择，适用于离散型特征。
C4.5算法
在ID3算法基础上进行改进，支持连续型特征处理， 引入剪枝技术防止过拟合。
CART算法
既可用于分类也可用于回归任务，基于基尼指数 进行特征选择，生成二叉树结构。
应用场景举例
提高泛化能力
02
剪枝后的决策树更加简洁，能够更好地适应新数据，提高模型
的泛化能力。
减少计算资源消耗
03
简化决策树结构可以降低模型训练和预测的计算复杂度，节省
计算资源。
预剪枝策略及实现方法
设定决策树生长的最大深度
在决策树生长过程中，限制其最大深度，防止 过深导致过拟合。
设定叶节点最小样本数
当某个节点的样本数小于设定值时，停止对该 节点的划分，将其作为叶节点。
利用统计学方法进行剪枝
基于统计学原理，对决策树节点进行假设检验，判断是否需要继续划分。
后剪枝策略及实现方法
错误率降低剪枝（Reduced-Error Prun…
自下而上地对决策树进行剪枝，如果剪去某个子树后，整体错误率降低，则进行剪枝。
代价复杂度剪枝（Cost-Complexity Pr…
引入代价复杂度参数，通过最小化整体代价（错误率与复杂度之和）来进行剪枝。
THANKS
感谢观看
集成学习方法在决策树中应用
Bagging方法
通过自助采样法生成多个数据集， 分别训练决策树模型，再对多个 模型的结果进行投票或平均，降 低模型方差。
Boosting方法
通过迭代训练多个弱分类器，将 每个弱分类器的结果加权求和， 得到强分类器，提高模型性能。
连接节点之间的路径，代表不同 的决策路径。
决策树学习算法分类
ID3算法
基于信息增益进行特征选择，适用于离散型特征。
C4.5算法
在ID3算法基础上进行改进，支持连续型特征处理， 引入剪枝技术防止过拟合。
CART算法
既可用于分类也可用于回归任务，基于基尼指数 进行特征选择，生成二叉树结构。
应用场景举例
提高泛化能力
02
剪枝后的决策树更加简洁，能够更好地适应新数据，提高模型
的泛化能力。
减少计算资源消耗
03
简化决策树结构可以降低模型训练和预测的计算复杂度，节省
计算资源。
预剪枝策略及实现方法
设定决策树生长的最大深度
在决策树生长过程中，限制其最大深度，防止 过深导致过拟合。
设定叶节点最小样本数
当某个节点的样本数小于设定值时，停止对该 节点的划分，将其作为叶节点。
利用统计学方法进行剪枝
基于统计学原理，对决策树节点进行假设检验，判断是否需要继续划分。
后剪枝策略及实现方法
错误率降低剪枝（Reduced-Error Prun…
自下而上地对决策树进行剪枝，如果剪去某个子树后，整体错误率降低，则进行剪枝。
代价复杂度剪枝（Cost-Complexity Pr…
引入代价复杂度参数，通过最小化整体代价（错误率与复杂度之和）来进行剪枝。
THANKS
感谢观看
集成学习方法在决策树中应用
Bagging方法
通过自助采样法生成多个数据集， 分别训练决策树模型，再对多个 模型的结果进行投票或平均，降 低模型方差。
Boosting方法
通过迭代训练多个弱分类器，将 每个弱分类器的结果加权求和， 得到强分类器，提高模型性能。
高中信息技术浙教版：决策树教学课件(共27张PPT)
第五步：使用Python库测试结果可视化
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
决策树ppt课件
建设小工厂投资280万元，如销路好，3年后扩建，扩 建需要投资400万元，可使用7年，每年赢利190万元。 不扩建则每年赢利80万元。如销路不好则每年赢利60 万元。
试用决策树法选出合理的决策方案。 经过市场调查， 市场销路好的概率为0.7，销路不好的概率为0.3。
15
680万元 2
建大厂
该承包商过去也承包过与A、B类似的工程，根 据统计资料，每种方案的利润和出现的概率如 下表所示。投标不中时，则对A损失50万元， 对B损失100万元。根据上述情况，试画出决 策树
11
方案 A高 A低 B高 B低
效果
优 一般 赔 优 一般 赔 优 一般 赔 优 一般 赔
可能的利润(万元)
5000 1000 -3000 4000 500 -4000 7000 2000 -3000 6000 1000 -1000
10
例2
某承包商拥有的资源有限，只能在A和B两个工 程中选A或B进行投标，或者对这两项工程都不 参加投标。
但根据过去该承包商投标经验资料，他对A或B 投标又有两种策略:一种是投高标，中标的机会 是0.3；另一种是投低标，中标的机会是0.5。 这样共有A高、A低、不投、B高和B低五种方 案。
叫做方案枝； C、在每个方案枝的末端画一个圆圈，这个圆
圈称为概率分叉点，或自然状态点； D、从自然状态点引出代表各自然状态的分枝，
称为概率分枝； E、如果问题只需要一级决策，则概率分枝末
端画三角形，表示终点 。
3
1
决策 结点
概率分叉点
(自然状态点) 概率枝
方案分枝 2
概率枝
方案分枝
概率枝
益期望值分别为125、0、620和1100。 至此，承包商可做出决策，如投A工程，
试用决策树法选出合理的决策方案。 经过市场调查， 市场销路好的概率为0.7，销路不好的概率为0.3。
15
680万元 2
建大厂
该承包商过去也承包过与A、B类似的工程，根 据统计资料，每种方案的利润和出现的概率如 下表所示。投标不中时，则对A损失50万元， 对B损失100万元。根据上述情况，试画出决 策树
11
方案 A高 A低 B高 B低
效果
优 一般 赔 优 一般 赔 优 一般 赔 优 一般 赔
可能的利润(万元)
5000 1000 -3000 4000 500 -4000 7000 2000 -3000 6000 1000 -1000
10
例2
某承包商拥有的资源有限，只能在A和B两个工 程中选A或B进行投标，或者对这两项工程都不 参加投标。
但根据过去该承包商投标经验资料，他对A或B 投标又有两种策略:一种是投高标，中标的机会 是0.3；另一种是投低标，中标的机会是0.5。 这样共有A高、A低、不投、B高和B低五种方 案。
叫做方案枝； C、在每个方案枝的末端画一个圆圈，这个圆
圈称为概率分叉点，或自然状态点； D、从自然状态点引出代表各自然状态的分枝，
称为概率分枝； E、如果问题只需要一级决策，则概率分枝末
端画三角形，表示终点 。
3
1
决策 结点
概率分叉点
(自然状态点) 概率枝
方案分枝 2
概率枝
方案分枝
概率枝
益期望值分别为125、0、620和1100。 至此，承包商可做出决策，如投A工程，
决策树介绍ppt-Decision Tree
Lorem ipsum dolor sit amet?
Lorem ipsum dolor sit
YES
amet, consectetuer adipiscing elit.
Lorem ipsum dolor sit
NO
amet, consectetuer
adipiscing elit.
Lorem ipsum dolor sit
lectus malesuada libero.
NO
Lorem ipsum dolor
sit amet, consec
tetuer
YES
Lorem ipsum dolor
NO
Lorem ipsum dolor sit amet, consectetuer
adipiscing elit. Maecenas
Lorem ipsum
Lorem ipsum dolor sit amet, consectetuer adipiscing elit.
Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Maecenas porttitor congue massa. Fusce posuere, magna sed pulvinar ultricies, purus lectus malesuada libero, sit amet commodo.
porttitor congue massa.
Lorem ipsum dolor
Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Maecenas porttitor congue massa.
决策树ppt课件
决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
决策树培训讲义(PPT 49页)
Married 100K No
Single 70K
No
Married 120K No
Divorced 95K
Yes
Married 60K
No
Divorced 220K No
Single 85K
Yes
Married 75K
No
Single 90K
Yes
3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
选择TaxInc为最优分割属性：
Refund
Yes
No
NO < 80K
Single TaxInc
MarSt
Married Divorced
>= 80K
NO
YES
▪ 问题1：分类从哪个属性开始？
——选择分裂变量的标准
▪ 问题2：为什么工资以80为界限？
——找到被选择的变量的分裂点的标准（ 连续变量情况）
分类划分的优劣用不纯性度量来分析。如果对于所有
分支，划分后选择相同分支的所有实例都属于相同的类，
则这个划分是纯的。对于节点m，令 N m 为到达节点m的训练
实例数，
个实例中
N
i m
个属于Ci
类，而
N
i m
Nm 。如果一
个实例到节点m，则它属于 类的概率估i 计为：
pˆ (Ci
|
x, m)
pmi
N
i m
10
Single 125K No
Married 100K No
Single 70K
No
Married 120K No
决策树学习培训讲义(PPT38张)
Attrib2 Large Medium Small Medium Large Medium Large Small Medium Small
Attrib3 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
Class No No No No Yes No No Yes No Yes
Attrib2 Small Medium Large Small Large
Attrib3 55K 80K 110K 95K 67K
Class ? ? ? ? ?
演绎
测试集
9
决策树应用
测试数据 从根节点开始
R e f u n d M a r it a l S t a t u s N o M a r r ie d T a x a b le h e a t In c o m e C 8 0 K ?
T a x a b le In c o m e 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
C heat No No No No Yes No No Yes No Yes
基本算法
Don’t Cheat
1 2 3 4
Yes No No Yes No No Yes No No No
i 1
其中p是在S中正例的比例，pΘ是在S中负例的比例。在有关熵的所 有计算中我们定义0log0为0。
22
例子
C 1 C 2
C1 C2
0 6
1 5
Entropy = -(0/6)log(0/6)-(6/6)log(6/6)=0
Entropy = 1-(1/6)log(1/6)-(5/6)log(5/6)=0.650
决策树(完整)ppt课件
Gain(D,密度,0.381)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)
决策树课件PPT精品文档61页
Clementine的决策树
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
第四章-决策树PPT课件
34
可解释性
➢ 决策边界是平行坐标轴的 ➢ 对于过于复杂的问题，会导致很多小的划分
35
总结
优点
生成可理解的规则
分类时计算代价很小
能够选出对分类比较重要的属性
对长方形分布的样本处理很好
缺点
+++----------------+++----------------+++--------+++-------- ++++++++---++++++++------++++++++------+++++++++++++++----+++----++++----+++----+++++++----++++
纹理(15个样本) :{1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13, 14, 15, 16, 17} 稍糊(5个样本): {7,9,13,14,17} 清晰(7个样本): {1,2,3,4,5,6,15} 模糊(3个样本): {11,12,16} 缺失纹理属性取值的样本：{8,10}
• Wikipedia page for decision tree: /wiki/Decision_tree_learning
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 现实中决策树学习通常采用启发式方法，即局部最优。
• 具体做法：每次选择feature时，都挑选择当前条件下最优的那个 feature作为划分规则，即局部最优的feature。
1.2 特征选择
1.2.1 特征选择问题
•特征选择在于选取对训练数据具有分类能力的特征。
•如何判断一个特征对于当前数据集的分类效果？ 也即确定选择特征的准则。
有工作
否 否 是 是 否 否 否 是 否 否 否 否 是 是 否
有自己 的房子
否 否 否 是 否 否 否 是 是 是 是 是 否 否 否
信贷情 况 一般 好 好 一般 一般 一般 好 好
非常好 非常好 非常好
好 好 非常好 一般
类别
否 否 是 是 否 否 否 是 是 是 是 是 是 是 否
1.2.3 信息增益比
1.1.1 决策树模型
• 什么是决策树？ • 定义1.1（决策树） 分类决策树模型是一种描述对
实例进行分类的树形结构。决策树由结点和有向边 组成。结点有两种类型：内部结点和叶节点。内部 结点表示一个特征或属性，叶节点表示一个类。
决策树学习算法的特点
决策树学习算法的最大优点是，它可以自学习。 在学习的过程中，不需要使用者了解过多背景知识， 只需要对训练实例进行较好的标注，就能够进行学习。
各叶结点(单元)上的条件概率往往偏向某一个类，即属于某一类的概率较大， 决策树分类时将该结点的实例强行分到条件概率大的那一类去。
1.1.4 决策树学习
•
1.1.4 决策树学习
• 目标：我们需要的是一个与训练数据矛盾较小的决策树，同时具 有很好的泛化能力。
• 决策树学习的损失函数：（通常是）正则化的极大似然函数。但 是基于损失函数找到全局最优决策树是NP-完全问题。
例1. 找对象
• 决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这 个女孩介绍男朋友，于是有了下面的对话：
• 女儿：多大年纪了？ (年龄)
母亲：26。 女儿：长的帅不帅？ (长相) 母亲：挺帅的。 女儿：收入高不？ (收入情况) 母亲：不算很高，中等情况。 女儿：是公务员不？ (是否公务员) 母亲：是，在税务局上班呢。 女儿：那好，我去见见。
•
1.3 决策树的生成
1.3.1 ID3算法
•
例1.4 对表1.1的训练数据集，利用ID3算法建立决策树
有自己的房子(A3)
是
ID 年龄 有工作 信贷情况 类 别
4 青年 是
一般 是
8 中年 是
好是
9 中年 否
非常好 是
10 中年 否
非常好 是
11 老年 否
非常好 是
12 老年 都
好是
表1
否
ID 年龄 有工作 信贷情况 类别
显然，它属于有监督学习。 从一类无序、无规则的事物(概念)中推理出决策树 表示的分类规则。
决策树学习的主要算法
建立决策树的关键，即在当前状态下选择哪个 属性作为分类依据。根据不同的目标函数，建立 决策树主要有一下三种算法。
ID3 （J. Ross Quinlan-1975）核心：信息熵 C4.5—ID3的改进，核心：信息增益比 CART（Breiman-1984），核心：基尼指数
决策树
根据李峰等人的PPT改编
决策树
• 1.1 决策树模型与学习 • 1.2 特征选择 • 1.3 决策树的生成 • 1.4 决策树的剪枝 • 1.5 CART算法
1.1 决策树模型与学习
• 1.1.1 决策树模型 • 1.1.2 决策树与if-then规则 • 1.1.3 决策树与条件概率分布 • 1.1.4 决策树学习
房子
1
青年
否
否
一般
否
2
青年
否
否
好
否
3
青年
是
否
好
是
4
青年
是
是
一般
是
5
青年
否
否
一般
否
6
中年
否
否
一般
否
7
中年
否
否
好
否
8
中年
是
是
好
是
9
中年
否
是
非常好
是
10
中年
否
是
非常好
是
11
老年
否
是
非常好
是
12
老年
否
是
好
是
13
老年
是
否
好
是
14
老年
是
否
非常好
是
15
老年
.2.2 信息增益
•
熵-就分类而言，所有成员都属于一类，熵为零；不同类别
数目相等，则熵等于1，类别数目不等，则熵介于0,1之间。
•
条件熵
•
信息增益
•
信息增益的具体公式
•
信息增益算法
•
ID
例1.3 对表1.1所给的训练数据集D, 根据信息增益准则选择最优特征。 1
2 3 4 5 6 7 8 9 10 11 12 13 14 15
年龄
青年 青年 青年 青年 青年 中年 中年 中年 中年 中年 老年 老年 老年 老年 老年
1.1.2 决策树与if-then规则
• 由决策树的根结点到叶结点的每一条路径构建一条规则； • 路径上内部结点的特征对应着规则的条件，而叶结点的类对应着
规则的结论。 • If-then规则集合的一重要性质：互斥并且完备
1.1.3 决策树与条件概率分布
将特征空间划分为互不相交的单元或区域，并在每个单元定义一个类的概 率分布就构成了一个条件概率分布。
ID 年龄 信贷情况 类别
1 青年 一般 否
2 青年
好
否
5 青年 一般 否
6 中年 一般 否
7 中年
好
否
15 老年 一般 否
表4
补充：如何解决决策树的过拟合问题
概念
什么是过度拟合数据
原因
过度拟合数据是怎么产生的
解决
怎么去解决这个问题
补充：如何解决决策树的过拟合问题——概念
过度拟合（overfitting）：如果决策树对训练样本的特征描 述得“过于精确”，无法实现对新样本的合理分析，所以此时它不 是一棵分析新数据的最佳决策树。一棵完全决策树能非常准确地反 映训练集中数据的特征，但因失去了一般代表性而无法用于对新数 据的分类或预测，这种现象一般称为“过拟合”。
1 青年 否
一般
否
2 青年 否
好
否
3 青年 是
好
是
5 青年 否
一般
否
6 中年 否
一般
否
7 中年 否
好
否
13 老年 是
好
是
14 老年 是 非常好 是
15 老年 否
一般
否
表2
•
有自己的房子
是
否
有工作
是
是
否
ID 年龄 信贷情况 类别
3 青年
好
是
13 老年
好
是
14 老年 非常好 是
表3
这里生成的决策树只用到两个特征 （两个内节点），ID3算法容易存在过拟 合问题。
例1.2 右表是一个由15个样本组成的贷 款申请训练数据。数据包括贷款申请人 的四个特征。表的最后一列是类别，是 否同意贷款，取2个值：是、否。
希望通过所给的训练数据学习一个贷款 申请的决策树，用以对未来的贷款申请 进行分类。
特征选择是决定用哪个特征来划分特征 空间。
ID
年龄
有工作 有自己的 信贷情况 类别
• 具体做法：每次选择feature时，都挑选择当前条件下最优的那个 feature作为划分规则，即局部最优的feature。
1.2 特征选择
1.2.1 特征选择问题
•特征选择在于选取对训练数据具有分类能力的特征。
•如何判断一个特征对于当前数据集的分类效果？ 也即确定选择特征的准则。
有工作
否 否 是 是 否 否 否 是 否 否 否 否 是 是 否
有自己 的房子
否 否 否 是 否 否 否 是 是 是 是 是 否 否 否
信贷情 况 一般 好 好 一般 一般 一般 好 好
非常好 非常好 非常好
好 好 非常好 一般
类别
否 否 是 是 否 否 否 是 是 是 是 是 是 是 否
1.2.3 信息增益比
1.1.1 决策树模型
• 什么是决策树？ • 定义1.1（决策树） 分类决策树模型是一种描述对
实例进行分类的树形结构。决策树由结点和有向边 组成。结点有两种类型：内部结点和叶节点。内部 结点表示一个特征或属性，叶节点表示一个类。
决策树学习算法的特点
决策树学习算法的最大优点是，它可以自学习。 在学习的过程中，不需要使用者了解过多背景知识， 只需要对训练实例进行较好的标注，就能够进行学习。
各叶结点(单元)上的条件概率往往偏向某一个类，即属于某一类的概率较大， 决策树分类时将该结点的实例强行分到条件概率大的那一类去。
1.1.4 决策树学习
•
1.1.4 决策树学习
• 目标：我们需要的是一个与训练数据矛盾较小的决策树，同时具 有很好的泛化能力。
• 决策树学习的损失函数：（通常是）正则化的极大似然函数。但 是基于损失函数找到全局最优决策树是NP-完全问题。
例1. 找对象
• 决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这 个女孩介绍男朋友，于是有了下面的对话：
• 女儿：多大年纪了？ (年龄)
母亲：26。 女儿：长的帅不帅？ (长相) 母亲：挺帅的。 女儿：收入高不？ (收入情况) 母亲：不算很高，中等情况。 女儿：是公务员不？ (是否公务员) 母亲：是，在税务局上班呢。 女儿：那好，我去见见。
•
1.3 决策树的生成
1.3.1 ID3算法
•
例1.4 对表1.1的训练数据集，利用ID3算法建立决策树
有自己的房子(A3)
是
ID 年龄 有工作 信贷情况 类 别
4 青年 是
一般 是
8 中年 是
好是
9 中年 否
非常好 是
10 中年 否
非常好 是
11 老年 否
非常好 是
12 老年 都
好是
表1
否
ID 年龄 有工作 信贷情况 类别
显然，它属于有监督学习。 从一类无序、无规则的事物(概念)中推理出决策树 表示的分类规则。
决策树学习的主要算法
建立决策树的关键，即在当前状态下选择哪个 属性作为分类依据。根据不同的目标函数，建立 决策树主要有一下三种算法。
ID3 （J. Ross Quinlan-1975）核心：信息熵 C4.5—ID3的改进，核心：信息增益比 CART（Breiman-1984），核心：基尼指数
决策树
根据李峰等人的PPT改编
决策树
• 1.1 决策树模型与学习 • 1.2 特征选择 • 1.3 决策树的生成 • 1.4 决策树的剪枝 • 1.5 CART算法
1.1 决策树模型与学习
• 1.1.1 决策树模型 • 1.1.2 决策树与if-then规则 • 1.1.3 决策树与条件概率分布 • 1.1.4 决策树学习
房子
1
青年
否
否
一般
否
2
青年
否
否
好
否
3
青年
是
否
好
是
4
青年
是
是
一般
是
5
青年
否
否
一般
否
6
中年
否
否
一般
否
7
中年
否
否
好
否
8
中年
是
是
好
是
9
中年
否
是
非常好
是
10
中年
否
是
非常好
是
11
老年
否
是
非常好
是
12
老年
否
是
好
是
13
老年
是
否
好
是
14
老年
是
否
非常好
是
15
老年
.2.2 信息增益
•
熵-就分类而言，所有成员都属于一类，熵为零；不同类别
数目相等，则熵等于1，类别数目不等，则熵介于0,1之间。
•
条件熵
•
信息增益
•
信息增益的具体公式
•
信息增益算法
•
ID
例1.3 对表1.1所给的训练数据集D, 根据信息增益准则选择最优特征。 1
2 3 4 5 6 7 8 9 10 11 12 13 14 15
年龄
青年 青年 青年 青年 青年 中年 中年 中年 中年 中年 老年 老年 老年 老年 老年
1.1.2 决策树与if-then规则
• 由决策树的根结点到叶结点的每一条路径构建一条规则； • 路径上内部结点的特征对应着规则的条件，而叶结点的类对应着
规则的结论。 • If-then规则集合的一重要性质：互斥并且完备
1.1.3 决策树与条件概率分布
将特征空间划分为互不相交的单元或区域，并在每个单元定义一个类的概 率分布就构成了一个条件概率分布。
ID 年龄 信贷情况 类别
1 青年 一般 否
2 青年
好
否
5 青年 一般 否
6 中年 一般 否
7 中年
好
否
15 老年 一般 否
表4
补充：如何解决决策树的过拟合问题
概念
什么是过度拟合数据
原因
过度拟合数据是怎么产生的
解决
怎么去解决这个问题
补充：如何解决决策树的过拟合问题——概念
过度拟合（overfitting）：如果决策树对训练样本的特征描 述得“过于精确”，无法实现对新样本的合理分析，所以此时它不 是一棵分析新数据的最佳决策树。一棵完全决策树能非常准确地反 映训练集中数据的特征，但因失去了一般代表性而无法用于对新数 据的分类或预测，这种现象一般称为“过拟合”。
1 青年 否
一般
否
2 青年 否
好
否
3 青年 是
好
是
5 青年 否
一般
否
6 中年 否
一般
否
7 中年 否
好
否
13 老年 是
好
是
14 老年 是 非常好 是
15 老年 否
一般
否
表2
•
有自己的房子
是
否
有工作
是
是
否
ID 年龄 信贷情况 类别
3 青年
好
是
13 老年
好
是
14 老年 非常好 是
表3
这里生成的决策树只用到两个特征 （两个内节点），ID3算法容易存在过拟 合问题。
例1.2 右表是一个由15个样本组成的贷 款申请训练数据。数据包括贷款申请人 的四个特征。表的最后一列是类别，是 否同意贷款，取2个值：是、否。
希望通过所给的训练数据学习一个贷款 申请的决策树，用以对未来的贷款申请 进行分类。
特征选择是决定用哪个特征来划分特征 空间。
ID
年龄
有工作 有自己的 信贷情况 类别