决策树(完整).
(完整word版)管理学决策树习题及答案.docx
注意答卷要求：1．统一代号： P 为利润， C 为成本， Q为收入， EP为期望利润2．画决策树时一定按照标准的决策树图形画，不要自创图形3．决策点和状态点做好数字编号4．决策树上要标出损益值某企业似开发新产品，现在有两个可行性方案需要决策。
I 开发新产品 A ，需要追加投资 180 万元，经营期限为 5 年。
此间，产品销路好可获利 170 万元；销路一般可获利 90 万元；销路差可获利 -6 万元。
三种情况的概率分别为 30%，50%， 20%。
II.开发新产品 B，需要追加投资 60 万元，经营期限为 4 年。
此间，产品销路好可获利100 万元；销路一般可获利50 万元；销路差可获利20 万元。
三种情况的概率分别为 60%，30%， 10%。
（ 1）画出决策树销路好0.3170销路一般0.5290销路差0.1-6开发产品A1销路好0.6100开发产品B销路一般0.3350销路差0.120（ 2）计算各点的期望值，并做出最优决策求出各方案的期望值：方案 A=170×0.3 ×5+90×0.5 ×5+(-6) ×0.2×5=770(万元 ) 方案 B=100×0.6 ×4+50×0.3×4+20×0.1 ×4=308(万元 ) 求出各方案的净收益值：方案 A=770-180=590(万元 )方案 B=308-60=248(万元 )因为 590 大于 248 大于 0所以方案 A 最优。
某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（ 1）公司组织技术人员逐渐改进技术，使用期是 10 年；（ 2）购买先进技术，这样前期投入相对较大，使用期是 10 年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。
决策树构成的基本要素
决策树构成的基本要素决策树是一种用于分类和回归分析的非参数有监督学习方法。
它是一种基于树状结构的模型，用于将一连串的决策和可能的结果表示为一个树形图。
决策树分类器基于对数据集属性的连续划分，通过对数据集中的特征进行选择，按照不同的规则分裂数据集，直到达到预定的终止条件为止。
决策树的基本要素包括：根节点、内部节点和叶子节点。
1.根节点：根节点是决策树的起始节点，是决策树的顶层节点。
它代表了整个数据集，并通过一个属性将数据集划分为不同的分支。
2.内部节点：内部节点是根节点之外的节点，它代表了一个属性测试。
在决策树的构建过程中，根据选择的属性和属性值，数据集可以被分割成多个子集。
每个子集对应于一个分支，通过内部节点将数据集划分到相应的子集中。
3.叶子节点：叶子节点是决策树的最末端节点，代表了一个类别或回归输出。
当决策树无法继续划分数据集时，即满足一些终止条件（如达到最大深度、样本数不足等）时，将会生成一个叶子节点。
除了基本要素，还有一些决策树构建中的关键概念和操作：1.划分准则：决策树的构建过程中需要选择一个划分准则，用于评估每个属性的重要性以及使用哪个属性来划分数据集。
常用的划分准则有信息增益、基尼系数和误差率等。
2.属性选择度量：属性选择度量是用来衡量属性划分后分类的纯度或不纯度的指标。
常用的度量指标有信息增益、信息增益比、基尼指数等。
3.剪枝法：决策树的构建过程容易出现过拟合现象，为了避免过拟合，需要通过剪枝法对生成的决策树进行修剪。
剪枝法根据一些准则来确定剪掉哪些叶子节点的子树，并将其替换为一个叶子节点。
4.缺失值处理：在实际应用中，数据可能存在缺失值。
为了处理缺失值，可以使用不同的方法，如众数替代、平均值替代、最可能的值替代等。
决策树是一种直观且易于解释的机器学习模型。
它具有自动特征选择、高可解释性、可处理离散和连续型数据等特点，广泛应用于各个领域，如金融、医疗、市场营销等。
但是决策树也存在一些局限性，比如容易过拟合、对噪声敏感等。
决策树计算公式
决策树计算公式
决策树是一种监督学习算法，用于解决分类问题。
其计算公式如下：
1.特征选择：根据某个特征的信息增益、信息增益比、基尼系数等指标，选择最优的特征进行划分。
2.划分节点：根据选择的最优特征，将数据集划分成多个子集或子节点。
3.递归构建：对每个子节点，重复步骤1和步骤2，直到满足终止条件（例如，节点只含有一类样本，或者达到最大深度等）。
4.终止条件：可以是以下情况之一：
-节点只包含一类样本，无需继续划分；
-达到预设的最大深度；
-无法选择一个特征进行划分。
5.样本分类：根据叶子节点的类别标签进行分类。
需要注意的是，决策树的计算过程是一个递归的过程，通过选择最优特征进行划分，将数据集分成更小的子集，最终得到树形结构的分类模型。
决策树还有其他一些拓展形式，例如随机森林、梯度提升树等。
这些拓展形式在计算公式上可能会有一些差异，但核心的思想和基本的计算过程与原始决策树相似。
(完整版)决策树决策表练习题与参考答案
1.某厂对一部分职工重新分配工作，分配原则是：⑴年龄不满20岁，文化程度是小学者脱产学习，文化程度是中学者当电工；⑵年龄满20岁但不足50岁，文化程度是小学或中学者，男性当钳工，女性当车工；文化程度是大专者，当技术员。
⑶年龄满50岁及50岁以上，文化程度是小学或中学者当材料员，文化程度是大专者当技术员。
要求：做出决策表。
123456789101112条件及行动说明年龄≤20≤20≤20≤20≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]文化程度小学小学中学中学大专大专小学小学中学中学大专大专性别男女男女男女男女男女男女脱产学习√√电工√√钳工√√车工√√材料员技术员√√131415161718条件及行动说明年龄≥50≥50≥50≥50≥50≥50文化程度小学小学中学中学大专大专性别男女男女男女脱产学习电工钳工车工材料员√√√√技术员√√优化后的决策表如下：12345789101112条件及行动说明年龄≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]≥50≥50≥50文化程度小学中学小学小学中学中学大专大专小学中学大专性别--男女男女男女---脱产学习√√电工钳工√√车工√√材料员√√技术员√√√2、试画出某企业库存量监控处理的判断树。
若库存量≤0，按缺货处理；若库存量≤库存下限，按下限报警处理；若库存量＞库存下限，而又≤储备定额，则按订货处理；若库存量＞库存下限，而又＞储备定额，则按正常处理；若库存量≥库存上限，又＞储备定额，则按上限报警处理。
3某货运站收费标准如下：若收件地点在本省，则快件6元／公斤，慢件4元／公斤；若收件地点在外省，则在25公斤以内（包括25公斤），快件8元／公斤，慢件6元／公斤；而超过25公斤时，快件10元／公斤，慢件8元／公斤；画出决策表和决策树：决策表：条件组合条件活动说明12345678地点本省本省本省本省外省外省外省外省重量25公斤以内25公斤以内25公斤以外25公斤以外25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件快件慢件4元/公斤√√6元/公斤√√√8元/公斤√√10元/公斤√优化后的结果如下所示：条件组合条件活动说明123456地点本省本省外省外省外省外省重量--25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件4元/公斤√6元/公斤√√8元/公斤√√10元/公斤√决策树：收费本省外省快件慢件快件慢件≤25斤>25斤≤25斤>25斤6元4元8元10元6元8元地点规格重量收费金额。
分类分析--决策树（经典决策树、条件推断树）
分类分析--决策树（经典决策树、条件推断树）分类分析--决策树决策树是数据挖掘领域中的常⽤模型。
其基本思想是对预测变量进⾏⼆元分离，从⽽构造⼀棵可⽤于预测新样本单元所属类别的树。
两类决策树：经典树和条件推断树。
1 经典决策树经典决策树以⼀个⼆元输出变量（对应威斯康星州乳腺癌数据集中的良性/恶性）和⼀组预测变量（对应九个细胞特征）为基础。
具体算法如下：(1) 选定⼀个最佳预测变量将全部样本单元分为两类，实现两类中的纯度最⼤化（即⼀类中良性样本单元尽可能多，另⼀类中恶性样本单元尽可能多）。
如果预测变量连续，则选定⼀个分割点进⾏分类，使得两类纯度最⼤化；如果预测变量为分类变量（本例中未体现），则对各类别进⾏合并再分类。
(2) 对每⼀个⼦类别继续执⾏步骤(1)。
(3) 重复步骤(1)~(2)，直到⼦类别中所含的样本单元数过少，或者没有分类法能将不纯度下降到⼀个给定阈值以下。
最终集中的⼦类别即终端节点（terminal node）。
根据每⼀个终端节点中样本单元的类别数众数来判别这⼀终端节点的所属类别。
(4) 对任⼀样本单元执⾏决策树，得到其终端节点，即可根据步骤3得到模型预测的所属类别。
上述算法通常会得到⼀棵过⼤的树，从⽽出现过拟合现象。
结果就是，对于训练集外单元的分类性能较差。
为解决这⼀问题，可采⽤10折交叉验证法选择预测误差最⼩的树。
这⼀剪枝后的树即可⽤于预测。
R中的rpart包⽀持rpart()函数构造决策树，prune()函数对决策树进⾏剪枝。
下⾯给出判别细胞为良性或恶性的决策树算法实现。
（1）使⽤rpart()函数创建分类决策树：#⽣成树：rpart()函数可⽤于⽣成决策树library(rpart)set.seed(1234)dtree <- rpart(class ~ ., data=df.train, method="class",parms=list(split="information"))#rpart() 返回的cptable值中包括不同⼤⼩的树对应的预测误差，因此可⽤于辅助设定最终的树的⼤⼩。
运筹学 -- 决策树
--2--
--第15章 决策分析--
☆决策分类： 按内容与层次：战略决策、战术决策 按重复程度：程序决策、非程序决策 按决策条件：确定型、不确定型、风险型、竞争型 按决策时间：长期决策、中期决策、短期决策 按决策目标：单目标决策、多目标决策 ※ 本章只对不确定型和风险型决策问题讨论。
99/12
--3--
4. 树梢：序贯决策引起的最后结果，以表示。
99/12
--20--
--第15章 决策分析--
决策树示例：
从事石油钻探工作的B企业与某石油公司签订了一份合 同，在一片估计含油的荒地上钻井探测储油状况。它可以采 用先做地震试验，然后决定钻井或者不钻井的方案；也可以 不用地震试验法，只凭自己的经验来决定钻井或者不钻井。 做地震试验的费用每次为3,000元，钻井的费用为10,000元。 若钻井后采出石油，则可获得40,000元的收入；若钻井后采 不出石油，那么则无任何收入。各种情况下出油的概率及有 关数据如图中所示。问企业应如何决策，可使收入的期望值 最大？
99/12 --6--
--第15章 决策分析--
一、悲观主义准则 （ max--min）
决策依据：从决策的最坏结果考虑，取其中结果相对较好 者，即对各种决策最坏可能的结果分析，判别方案的优劣， 通常以 max {min (aij) } 来表示。
i j
aij -------第i种方案第j种需求下收益值 悲观主义决策属于保守型决策，或称谨慎型决策， 其 处事的原则是“未思进，先思退”。
事件 决策 0 产 1000 2000 量 3000 4000 0 0 -10 -20 -30 -40 1000 0 20 10 0 -10 需求量 2000 3000 0 0 20 40 30 20 20 40 60 50 4000 0 20 40 60 80 max 0 20 40 60 (80)max
决策树名词解释
决策树名词解释决策树（DecisionTree）是一种常见的数据挖掘技术，也称为决策树分类（Decision Tree Classification）。
决策树是一种以树状结构表示数据的模型，它可以用来描述一组数据集的概念，它可以用来作出决策。
策树是一种数据挖掘的常用算法，它可以用于分类、回归任务，以及关联规则建模，它可以帮助智能系统理解数据，从而实现更好的决策。
决策树的基本原理很简单，它是一种将每个属性值与实例的关联转换成树形结构的方法。
在这种树形结构中，每个节点存储关联属性的值，从而决定一个决策。
策树通常用于研究一组已知数据，它可以用来预测未知数据的结果，也可以用来归类数据，从而发现数据的规律性。
决策树的建立有很多步骤，但是大致可以分为以下几个步骤：（1）数据集准备：首先，需要对数据集进行预处理，将数据分成训练集和测试集。
（2）决策树划分：根据训练集中的特征属性，将数据集划分为不同的分支，并且不断划分，直到达到决策树模型所需要的精度或停止条件为止。
（3）估属性：根据训练集中的数据，选择最优的划分属性，用于对训练集进行划分。
（4）决策树剪枝：新建的决策树可能过度拟合训练数据，这会使训练出来的决策树在测试数据上的表现变差，因此，需要使用剪枝算法，来减少决策树的过拟合现象。
（5）测试：根据训练好的决策树，对测试集数据进行分类，统计测试集分类正确率，从而对决策树进行评估。
决策树在实际应用中可以用于社会决策分析、企业决策分析、关联规则挖掘等应用场景，但是决策树也有若干缺点。
其一，决策树生成过程中属性之间的关系可能非线性，而决策树假设属性之间的关系是线性的，因此可能导致决策树模型的准确性不足。
其二，决策树的剪枝操作可能会过度剪枝，也影响模型的准确性。
总之，决策树是一种常用的数据挖掘技术，它可以用于推理和预测数据，它可以用来帮助智能系统理解数据，从而改善决策效率。
但是，因为决策树的局限性，仍然需要其他的数据挖掘技术来提高决策的准确性。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
决策树ppt课件
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
决策树法
决策树法(Decision Tree）决策树(decision tree)一般都是自上而下的来生成的。
每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。
决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图，我们可以用下图来表示。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：1) 通过该节点的记录数2) 如果是叶子节点的话，分类的路径3) 对叶子节点正确分类的比例有些规则的效果可以比其他的一些规则要好。
决策树的构成要素[1]决策树的构成有四个要素：(1)决策结点；(2)方案枝；(3)状态结点；(4)概率枝。
如图所示：总之，决策树一般由方块结点、圆形结点、方案枝、概率枝等组成，方块结点称为决策结点，由结点引出若干条细支，每条细支代表一个方案，称为方案枝；圆形结点称为状态结点，由状态结点引出若干条细支，表示不同的自然状态，称为概率枝。
每条概率枝代表一种自然状态。
在每条细枝上标明客观状态的内容和其出现概率。
在概率枝的最末稍标明该方案在该自然状态下所达到的结果(收益值或损失值)。
这样树形图由左向右，由简到繁展开，组成一个树状网络图。
决策树对于常规统计方法的优缺点优点：1)可以生成可以理解的规则；2)计算量相对来说不是很大；3) 可以处理连续和种类字段；4) 决策树可以清晰的显示哪些字段比较重要。
缺点：1) 对连续性的字段比较难预测；2) 对有时间顺序的数据，需要很多预处理的工作；3) 当类别太多时，错误可能就会增加的比较快；4) 一般的算法分类的时候，只是根据一个字段来分类。
决策树的适用范围[1]科学的决策是现代管理者的一项重要职责。
我们在企业管理实践中，常遇到的情景是：若干个可行性方案制订出来了，分析一下企业内、外部环境，大部分条件是己知的，但还存在一定的不确定因素。
决策树(文献翻译-节选)
本科毕业设计（论文）外文参考文献译文及原文学院管理学院专业信息管理与信息系统年级班别2008级（6）班学号**********学生姓名张钟权指导教师胡凤2012年5月目录（一）外文文献译文 (1)4 决策树 (1)4.1 介绍 (1)4.2 决策和模式分类 (2)4.2.1 统计模式分类 (2)4.2.2使用逻辑相互关系 (3)4.3 决策域 (5)……4.6决策树实例 (6)（二）外文文献原文 (11)4 Decision Trees (11)4.1 Introduction (11)4.2 Decision-Making and Pattern Classification (14)4.2.1 Statistical Pattern Classification (14)4.2.2 Use of Logical Inter-relationships (15)4.3 Decision Regions (17)……4.6 Decision Tree Examples (19)（一）外文文献译文4 决策树4.1 介绍统计决策广泛应用于实验地球科学，它在环境科学中扮演着更重要的角色，由于环境系统随时间不断改变，需要根据观测系统和可能情况不断地矫正行动（采取不同的行动策略）。
一组可能的矫正措施通常在一个决策环境中，称为决策集。
一些物理属性（或变量）的观测值是潜在有用的，这也是可采取的矫正措施的一种情况。
在系统中根据新的情况不断地矫正措施，目的是为了减少损失，或成本或为了最大利益。
考虑到成本是一个负收益，对一个给定的决策问题，科学家和企业人员看法了一个综合单一标准——成本最小。
一个好的决策应该满足：一、综合成本最小，二、最优决策。
获取和收集物理变量值的过程也被称为特征提取（特征变量）、变量测定，这些变量有时候也被称为特征、特征变量、测量。
这些特征变量中的一些变量可能会对决策有影响，确定这些变量是一个挑战。
(完整版)ENVI决策树分类
遥感专题讲座——影像信息提取（三、基于专家知识的决策树分类）基于专家知识的决策树分类可以将多源数据用于影像分类当中，这就是专家知识的决策树分类器，本专题以ENVI中Decision Tree为例来叙述这一分类器。
本专题包括以下内容：∙ ∙●专家知识分类器概述∙ ∙●知识（规则）定义∙ ∙●ENVI中Decision Tree的使用概述基于知识的决策树分类是基于遥感影像数据及其他空间数据，通过专家经验总结、简单的数学统计和归纳方法等，获得分类规则并进行遥感分类。
分类规则易于理解，分类过程也符合人的认知过程，最大的特点是利用的多源数据。
如图1所示，影像+DEM就能区分缓坡和陡坡的植被信息，如果添加其他数据，如区域图、道路图土地利用图等，就能进一步划分出那些是自然生长的植被，那些是公园植被。
图1 专家知识决策树分类器说明图专家知识决策树分类的步骤大体上可分为四步：知识（规则）定义、规则输入、决策树运行和分类后处理。
1.知识（规则）定义规则的定义是讲知识用数学语言表达的过程，可以通过一些算法获取，也可以通过经验总结获得。
2.规则输入将分类规则录入分类器中，不同的平台有着不同规则录入界面。
3.决策树运行运行分类器或者是算法程序。
4.分类后处理这步骤与监督/非监督分类的分类后处理类似。
知识（规则）定义分类规则获取的途径比较灵活，如从经验中获得，坡度小于20度，就认为是缓坡，等等。
也可以从样本中利用算法来获取，这里要讲述的就是C4.5算法。
利用C4.5算法获取规则可分为以下几个步骤：（1）多元文件的的构建：遥感数据经过几何校正、辐射校正处理后，进行波段运算，得到一些植被指数，连同影像一起输入空间数据库；其他空间数据经过矢量化、格式转换、地理配准，组成一个或多个多波段文件。
（2）提取样本，构建样本库：在遥感图像处理软件或者GIS软件支持下，选取合适的图层，采用计算机自动选点、人工解译影像选点等方法采集样本。
（3）分类规则挖掘与评价：在样本库的基础上采用适当的数据挖掘方法挖掘分类规则，后基于评价样本集对分类规则进行评价，并对分类规则做出适当的调整和筛选。
决策树公式和原理
决策树公式和原理宝子，今天咱来唠唠决策树这个超酷的东西。
决策树呢，就像是一棵倒着长的树，不过这棵树可神奇啦。
它有根节点、分支和叶节点。
根节点就是最开始的那个点，就像树的根一样，所有的决策都是从这儿开始发芽的呢。
比如说你在纠结今天是出去逛街还是在家看剧，这纠结的开始就是根节点啦。
那分支是啥呢？分支就像是从根节点伸出去的小树枝。
还是拿刚刚的例子说，如果你选择出去逛街，那关于去哪儿逛街，是去商场还是去小商业街，这不同的选择就像是不同的分支。
每个分支都代表着一种可能的决策方向。
叶节点就是这些树枝的尽头啦。
比如说你最后决定去商场逛街，然后在商场里选择了一家店，买了一件超好看的衣服，这个买衣服的结果就是一个叶节点。
它的原理其实就像是我们平时做决策的思路。
我们在生活中做决定的时候，也是一个一个问题去想的。
决策树就是把这个过程给整理得清清楚楚。
从数学公式的角度看，决策树主要是通过计算信息增益或者基尼指数这些东西来确定怎么分支的。
听起来有点复杂，咱简单说。
信息增益就像是在看哪个分支能够让我们对结果了解得更多。
比如说你有一堆水果，有苹果、香蕉和橙子。
你想把它们分类，那你可能会先看颜色这个属性，因为按照颜色来分，能让你更快地把这些水果分开，这个颜色属性就有比较大的信息增益。
基尼指数呢，也是类似的作用。
它是用来衡量一个节点里的数据有多“纯”。
如果一个节点里的数据都是一样的，那基尼指数就很小，就说明这个节点很“纯”啦。
就像一盒子里都是苹果，没有其他水果，那这个盒子里的数据就很“纯”。
决策树在好多地方都能用呢。
就像在预测天气的时候，如果我们要决定今天出门要不要带伞。
根节点可能就是看天气预报怎么说。
如果天气预报说可能有雨，那一个分支就是带伞出门，另一个分支就是不带伞赌一把。
然后再根据其他的因素，像是天空的云量啊，风的方向啊，继续分更多的分支。
最后得出一个比较靠谱的决策。
还有在商业里也很有用。
比如说一个公司要决定要不要推出一款新产品。
决策树
• （3）通过比较各期望收益，选择方案。
• E（3）=302.3> E（1）246.3 > E（2）155.3 • 方案3为最佳方案。
E（4）=0.9×100×7+0.1×（-30）×7=609（万元
前三年的期望收入= 0.7×100×3+0.3×（-30）×3=183
销路好0.7
E（4）=0.9×100×7+0.1×（-30）×7=609
销路好0.9
100
E（1）=183+0.7×609+0.3×（-210）-300=246.3 销路差0.1
4 1
新建
销路差0.3
-30
E（5）=1.0×（-30）×7= -210
销路差1.0
5
-30
前三年的期望收入 销路好0.7 =0.7×40×3+0.3×10×3=93 0
改建
0.9 E（6）销路好 =0.9 ×40×7+0.1×10×7=259
40
6
销路差0.1
E（7）=1.0×10×7=70
10
2
• • • • •
后七年的期望收入=0.7×E（4）+0.3×E（5） E（4）=0.9×100×7+0.1×（-30）×7=609（万元） E（5）=1.0×（-30）×7= -210 （万元） 前三年的期望收入=0.7×100×3+0.3×（-30）×3=183（万元） E（1）=183+0.7×609+0.3×（-210）-300=246.3 （万元）
销路好（0.7） 680万元 2 建大厂 销路差（0.3）
200万元
-40万元
1
719万元
决策树的规则
决策树的规则
以下是 6 条关于决策树的规则：
1. 一定要明确你的目标啊，就好比你要去一个地方，你得知道自己到底要去哪儿呀！比如说你决定周末去爬山，那你的目标就是爬到山顶，这就是明确的方向。
2. 把可能的选择都列出来呀，这就像摆在你面前有好多条路，你得看看都通向哪里呗！比如你纠结是坐公交还是打车去上班，这就是不同的选择。
3. 仔细考虑每个选择的后果呀，这多重要啊！就跟你选择走不同的路会遇到不同的风景一样。
比如你选了坐公交可能会慢点但省钱，打车快但贵，这后果得好好想想。
4. 别忘记考虑不确定性因素呀，生活中总会有意外情况的嘛，就像天气突然变化影响你爬山的计划一样。
5. 要根据重要性来权衡呀，有的因素特别关键，可得重视！比如说你找工作，薪资和发展前景就是很重要的因素呀。
6. 随时准备根据新情况调整决策呀，可不能一条道走到黑呀！像你原本计划去公园野餐，结果下雨了，那你就得赶紧调整计划呀。
我的观点结论就是：决策树的这些规则能帮我们更好地做出决定，让我们的生活更有序、更明智！。
决策树
分类树（决策树）是一种十分常用的分类方法。它是一种监督学习，所谓监督学习就是给定一堆样本，每个 样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出 现的对象给出正确的分类。这样的机器学习就被称之为监督学习。
各点期望： 决策树分析 点②：0.7×200×10+0.3×（-40）×10-600（投资）=680（万元） 点⑤：1.0×190×7-400=930（万元） 点⑥：1.0×80×7=560（万元） 比较决策点4的情况可以看到，由于点⑤（930万元）与点⑥（560万元）相比，点⑤的期望利润值较大，因 此应采用扩建的方案，而舍弃不扩建的方案。把点⑤的930万元移到点4来，可计算出点③的期望利润值。 点③：0.7×80×3+0.7×930+0.3×60×（3+7）-280 = 719（万元） 最后比较决策点1的情况。
定义：
分类和回归首先利用已知的多变量数据构建预测准则,进而根据其它变量值对一个变量进行预测。在分类中, 人们往往先对某一客体进行各种测量,然后利用一定的分类准则确定该客体归属那一类。例如,给定某一化石的鉴 定特征,预测该化石属那一科、那一属,甚至那一种。另外一个例子是,已知某一地区的地质和物化探信息,预测该 区是否有矿。回归则与分类不同,它被用来预测客体的某一数值,而不是客体的归类。例如,给定某一地区的矿产 资源特征,预测该区的资源量。
决策树
预测学模型
01 组成
03 的剪枝 05 算法
目录
02 画法 04 优点 06 实例
基本信息
决策树（Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大 于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种 决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属 性与对象值之间的一种映射关系。Entropy =系统的凌乱程度，使用算法ID3, C4.5和C5.0生成树算法使用熵。 这一度量是基于信息学理论中熵的概念。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
过拟合无法彻底避免，只能做到“缓解”。
剪枝，即通过主动去掉一些分支来降低过拟合的风险。 预剪枝 决策树的剪枝策略 后剪枝 预剪枝：在决策树生成过程中，对每个结点在划分前先进行估计， 若当前结点的划分不能带来决策树泛化性能提升，则停止划分并 将当前结点标记为叶结点 后剪枝：先从训练集生成一棵完整的决策树，然后自底向上地对 非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来 决策树泛化性能提升，则将该子树替换为叶结点。 留出法：将数据集D划分为两个互斥的集合：训练集S和测试集T
E[ log pi ] pi log pi
i 1
n
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得 的“纯度提升”越大。 决策树算法第8行选择属性
著名的ID3决策树算法
举例：求解划分根结点的最优划分属性 数据集包含17个训练样例：
8 p1 17 9 p 2 9个反例（坏瓜）占 17
二分类学习任务 属性 属性值
• 根结点：包含全部样本 • 叶结点：对应决策结果 “好瓜” “坏瓜” • 内部结点：对应属性测试
决策树学习的目的：为了产生一颗泛化能力强的决策树， 即处理未见示例能力强。
Hunt算法：
无需划分
无法划分 无法划分
不能划分 不能划分
1,2,3,4,5,6,8,10,15
f ( p1 p2 ) f ( p1 ) f ( p2 ) f 同时满足这三个条件的函数 是负的对数函数，即 1 f ( pi ) log log pi pi
一个事件的信息量就是这个事件发生的概率的负对数。 信息熵是跟所有事件的可能性有关的，是平均而言发生一个事件得到 的信息量大小。所以信息熵其实是信息量的期望。
三种度量结点“纯度”的指标： 1.信息增益 2.增益率 3.基尼指数
1. 信息增益 信息熵
香农提出了“信息熵”的概念，解决了对信息的量化 度量问题。
香农用“信息熵”的概念来描述信源的不确定性。
对于二分类任务
y 2
假设我们已经知道衡量不确定性大小的这个量已经存在了，不妨就叫 做“信息量”
• 不会是负数 p 的单调递减函数； • 不确定性函数 f 是概率 • 可加性：两个独立符号所产生的不确定性应等于各自不确定性之和， 即
强化学习(reinforcement learning)
半监督学习：输入数据部分被标识，部分没有被标识，介于监督学习与非监督 学习之间。
决策树（decision tree）模型常常用来解决分类和回归问 题。常见的算法包括 CART (Classification And Regression Tree)、ID3、C4.5等。
《机器学习》周志华
第4章 决策树 第5章 神经网络和深度学习 第6章 支持向量机 第8章 集成学习 第9章 聚类 关联规则学习
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
( xi , yi )
分类、回归 聚类
无监督学习(unsupervised learning) 半监督学习(semi-supervised learning)
验证集：4,5,8,9,11,12
训练集：好瓜 坏瓜 1,2,3,6,7,10,14,15,16,17
6,7,15,17
11,12 (T,T)
减去结点⑥ 4 验证集变为： 7 考察结点顺序： ⑥⑤②③①
1,2,3,4,5
6,8,15
Байду номын сангаас10
6
8,15
第（2）种情形：设定为该结点所含样本 最多的类别 利用当前结点的后验分布
15 第（3）种情形：设定为其父结点所含样 本最多的类别 把父结点的样本分布作为当前结点的先验 分布
8
决策树学习的关键是算法的第8行：选择最优划分属性
什么样的划分属性是最优的？
我们希望决策树的分支结点所包含的样本尽可能属于同一 类别，即结点的“纯度”越来越高，可以高效地从根结点 到达叶结点，得到决策结果。
8个正例（好瓜）占
对于二分类任务
y 2
以属性“色泽”为例计算其信息增益
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息 增益为：
根结点的信息熵仍为： Ent ( D) 0.998 用“编号”将根结点划分后获 得17个分支结点的信息熵均为：
预剪枝使得决策树的很 多分支都没有“展开”
优点： •降低过拟合的风险 •减少了训练时间开销和 测试时间开销
不足： •基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
后剪枝
先从训练集生成一棵完整的决策树，然后自底向上地 对非叶结点进行考察，若将该结点对应的子树替换为叶结 点能带来决策树泛化性能提升，则将该子树替换为叶结点。
Ent ( D )
1
1 1 0 0 Ent ( D ) ( log 2 log 2 ) 0 1 1 1 1
17
则“编号”的信息增益为：
1 Gain( D, 编号) Ent ( D) Ent ( Dv ) 0.998 v 1 17
远大于其他候选属性 信息增益准则对可取值数目较多的属性有所偏好
17
2. 增益率
增益率准则对可取值数目较少的属性有所偏好
著名的C4.5决策树算法综合了信息增益准则和信息率准则的特 点：先从候选划分属性中找出信息增益高于平均水平的属性，再从 中选择增益率最高的。
3. 基尼指数 基尼值
基尼指数
著名的CART决策树算法
• 过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了 所有潜在样本都会具有的一般性质，导致泛化性能下降。 • 欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
D S T
且
S T
预剪枝
训练集：好瓜 坏瓜 1,2,3,6,7,10,14,15,16,17
精度：正确分类的样本占所有 样本的比例 验证集：4,5,8,9,11,12,13
3 = 7 5 = 7
1,2,3,14 4,5,13 (T,T,F)
6,7,15,17 8,9 (T,F)
10,16 11,12 (T,T)