决策树(完整)
(完整word版)管理学决策树习题及答案.docx
注意答卷要求：1．统一代号： P 为利润， C 为成本， Q为收入， EP为期望利润2．画决策树时一定按照标准的决策树图形画，不要自创图形3．决策点和状态点做好数字编号4．决策树上要标出损益值某企业似开发新产品，现在有两个可行性方案需要决策。
I 开发新产品 A ，需要追加投资 180 万元，经营期限为 5 年。
此间，产品销路好可获利 170 万元；销路一般可获利 90 万元；销路差可获利 -6 万元。
三种情况的概率分别为 30%，50%， 20%。
II.开发新产品 B，需要追加投资 60 万元，经营期限为 4 年。
此间，产品销路好可获利100 万元；销路一般可获利50 万元；销路差可获利20 万元。
三种情况的概率分别为 60%，30%， 10%。
（ 1）画出决策树销路好0.3170销路一般0.5290销路差0.1-6开发产品A1销路好0.6100开发产品B销路一般0.3350销路差0.120（ 2）计算各点的期望值，并做出最优决策求出各方案的期望值：方案 A=170×0.3 ×5+90×0.5 ×5+(-6) ×0.2×5=770(万元 ) 方案 B=100×0.6 ×4+50×0.3×4+20×0.1 ×4=308(万元 ) 求出各方案的净收益值：方案 A=770-180=590(万元 )方案 B=308-60=248(万元 )因为 590 大于 248 大于 0所以方案 A 最优。
某企业为提高其产品在市场上的竞争力，现拟定三种改革方案：（ 1）公司组织技术人员逐渐改进技术，使用期是 10 年；（ 2）购买先进技术，这样前期投入相对较大，使用期是 10 年；（3）前四年先组织技术人员逐渐改进，四年后再决定是否需要购买先进技术，四年后买入技术相对第一年便宜一些，收益与前四年一样。
管理学决策树方法
管理学决策树方法一、决策树方法的基本概念。
1.1 啥是决策树呢？简单来说，这就像是咱们在森林里找路一样。
决策树是一种树形结构，它有一个根节点，就像大树的根，从这个根节点开始，会分出好多枝干，这些枝干就是不同的决策选项。
比如说，一个企业要决定是否推出一款新产品，这就是根节点的决策。
1.2 然后每个枝干又会根据不同的情况继续分叉。
就好比这新产品推向市场，可能会遇到市场反应好和市场反应不好这两种大的情况，这就像是枝干又分叉了。
这每一个分叉点都代表着一个事件或者决策的不同结果。
二、决策树方法在管理学中的重要性。
2.1 在管理里啊，决策树可太有用了。
就像那句老话说的“三思而后行”，决策树就是帮咱们管理者好好思考的工具。
它能把复杂的决策过程清晰地展现出来。
比如说，一个公司要扩大业务，是选择开拓新市场呢，还是在现有市场深耕呢？这时候决策树就能列出各种可能的结果。
如果开拓新市场，可能会面临新的竞争对手，就像进入了一片未知的丛林，充满了风险；如果在现有市场深耕，可能会面临市场饱和的问题，就像在一块已经耕种很久的土地上，肥力可能不足了。
2.2 决策树还能让咱们量化风险。
咱们不能总是靠感觉来做决策啊，那可就成了“盲人摸象”了。
通过决策树，我们可以给不同的结果赋予概率，就像给每个岔路标上成功或者失败的可能性。
这样管理者就能清楚地看到每个决策背后的风险和收益。
比如说，一个项目有60%的成功概率，但是成功后的收益很大；另一个项目有80%的成功概率，但是收益比较小。
这时候决策树就能帮我们权衡利弊。
2.3 而且啊，决策树有助于团队沟通。
大家都能看着这个树形结构，一目了然。
就像大家一起看一张地图一样，都清楚要往哪里走。
团队成员可以针对决策树上的每个节点、每个分支进行讨论。
这样就不会出现“各说各话”的情况，大家都在同一个框架下思考问题。
三、如何构建决策树。
3.1 首先要确定决策的目标。
这就像确定大树的根一样重要。
比如说，我们的目标是提高公司的利润，那所有的决策分支都要围绕这个目标来展开。
决策树计算公式
决策树计算公式摘要：一、决策树的定义与特点1.决策树的定义2.决策树的特点二、决策树计算公式1.信息增益公式2.基尼指数公式3.剪枝策略三、决策树在实际应用中的优势与局限性1.优势2.局限性四、决策树与其他机器学习算法的比较1.对比算法2.优缺点分析五、决策树在机器学习领域的发展趋势1.发展现状2.未来趋势正文：一、决策树的定义与特点决策树是一种基本的分类和回归方法，它通过一系列的问题对数据进行分类或预测。
决策树具有以下特点：1.树形结构：以层次化的方式组织数据和规则；2.易于理解：通过颜色和图示表示不同类别的数据；3.可扩展性：可以很容易地添加新数据和规则；4.能够处理连续和离散数据。
二、决策树计算公式1.信息增益公式信息增益（IG）用于选择最佳的属性进行分割，公式为：IG(A) = H(A) - H(A|B)其中，H(A) 表示属性的熵，H(A|B) 表示在已知属性B 的情况下，属性的熵。
2.基尼指数公式基尼指数（Gini）用于度量数据集中类别的混乱程度，公式为：Gini(A) = 1 - (ΣP(Ai) * P(Ai))其中，P(Ai) 表示属于第i 个类别的概率。
3.剪枝策略为了防止过拟合，需要对决策树进行剪枝。
常见的剪枝策略有：a) 预剪枝：在构建完整决策树之前，根据验证集的表现停止树的生长；b) 后剪枝：在构建完整决策树后，根据验证集的表现修剪树的结构。
三、决策树在实际应用中的优势与局限性1.优势a) 易于理解和解释：决策树的结构直观，可以方便地解释数据分类或预测的过程；b) 计算简单：只需要计算熵和基尼指数，不需要进行复杂的矩阵运算；c) 适用于多种数据类型：可以处理连续和离散数据，同时适用于分类和回归问题。
2.局限性a) 容易过拟合：当决策树过于复杂时，可能对训练集的表现很好，但对测试集的表现较差；b) 对噪声敏感：如果数据集中存在噪声，决策树可能会选择错误的属性进行分割，导致预测结果不准确；c) 无法处理缺失值：如果数据集中存在缺失值，决策树可能无法正确处理这些数据。
(完整版)决策树决策表练习题与参考答案
1.某厂对一部分职工重新分配工作，分配原则是：⑴年龄不满20岁，文化程度是小学者脱产学习，文化程度是中学者当电工；⑵年龄满20岁但不足50岁，文化程度是小学或中学者，男性当钳工，女性当车工；文化程度是大专者，当技术员。
⑶年龄满50岁及50岁以上，文化程度是小学或中学者当材料员，文化程度是大专者当技术员。
要求：做出决策表。
123456789101112条件及行动说明年龄≤20≤20≤20≤20≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]文化程度小学小学中学中学大专大专小学小学中学中学大专大专性别男女男女男女男女男女男女脱产学习√√电工√√钳工√√车工√√材料员技术员√√131415161718条件及行动说明年龄≥50≥50≥50≥50≥50≥50文化程度小学小学中学中学大专大专性别男女男女男女脱产学习电工钳工车工材料员√√√√技术员√√优化后的决策表如下：12345789101112条件及行动说明年龄≤20≤20(20,50](20,50](20,50](20,50](20,50](20,50]≥50≥50≥50文化程度小学中学小学小学中学中学大专大专小学中学大专性别--男女男女男女---脱产学习√√电工钳工√√车工√√材料员√√技术员√√√2、试画出某企业库存量监控处理的判断树。
若库存量≤0，按缺货处理；若库存量≤库存下限，按下限报警处理；若库存量＞库存下限，而又≤储备定额，则按订货处理；若库存量＞库存下限，而又＞储备定额，则按正常处理；若库存量≥库存上限，又＞储备定额，则按上限报警处理。
3某货运站收费标准如下：若收件地点在本省，则快件6元／公斤，慢件4元／公斤；若收件地点在外省，则在25公斤以内（包括25公斤），快件8元／公斤，慢件6元／公斤；而超过25公斤时，快件10元／公斤，慢件8元／公斤；画出决策表和决策树：决策表：条件组合条件活动说明12345678地点本省本省本省本省外省外省外省外省重量25公斤以内25公斤以内25公斤以外25公斤以外25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件快件慢件4元/公斤√√6元/公斤√√√8元/公斤√√10元/公斤√优化后的结果如下所示：条件组合条件活动说明123456地点本省本省外省外省外省外省重量--25公斤以内25公斤以内25公斤以外25公斤以外邮寄方式快件慢件快件慢件快件慢件4元/公斤√6元/公斤√√8元/公斤√√10元/公斤√决策树：收费本省外省快件慢件快件慢件≤25斤>25斤≤25斤>25斤6元4元8元10元6元8元地点规格重量收费金额。
分类分析--决策树（经典决策树、条件推断树）
分类分析--决策树（经典决策树、条件推断树）分类分析--决策树决策树是数据挖掘领域中的常⽤模型。
其基本思想是对预测变量进⾏⼆元分离，从⽽构造⼀棵可⽤于预测新样本单元所属类别的树。
两类决策树：经典树和条件推断树。
1 经典决策树经典决策树以⼀个⼆元输出变量（对应威斯康星州乳腺癌数据集中的良性/恶性）和⼀组预测变量（对应九个细胞特征）为基础。
具体算法如下：(1) 选定⼀个最佳预测变量将全部样本单元分为两类，实现两类中的纯度最⼤化（即⼀类中良性样本单元尽可能多，另⼀类中恶性样本单元尽可能多）。
如果预测变量连续，则选定⼀个分割点进⾏分类，使得两类纯度最⼤化；如果预测变量为分类变量（本例中未体现），则对各类别进⾏合并再分类。
(2) 对每⼀个⼦类别继续执⾏步骤(1)。
(3) 重复步骤(1)~(2)，直到⼦类别中所含的样本单元数过少，或者没有分类法能将不纯度下降到⼀个给定阈值以下。
最终集中的⼦类别即终端节点（terminal node）。
根据每⼀个终端节点中样本单元的类别数众数来判别这⼀终端节点的所属类别。
(4) 对任⼀样本单元执⾏决策树，得到其终端节点，即可根据步骤3得到模型预测的所属类别。
上述算法通常会得到⼀棵过⼤的树，从⽽出现过拟合现象。
结果就是，对于训练集外单元的分类性能较差。
为解决这⼀问题，可采⽤10折交叉验证法选择预测误差最⼩的树。
这⼀剪枝后的树即可⽤于预测。
R中的rpart包⽀持rpart()函数构造决策树，prune()函数对决策树进⾏剪枝。
下⾯给出判别细胞为良性或恶性的决策树算法实现。
（1）使⽤rpart()函数创建分类决策树：#⽣成树：rpart()函数可⽤于⽣成决策树library(rpart)set.seed(1234)dtree <- rpart(class ~ ., data=df.train, method="class",parms=list(split="information"))#rpart() 返回的cptable值中包括不同⼤⼩的树对应的预测误差，因此可⽤于辅助设定最终的树的⼤⼩。
决策树的构建步骤
决策树的构建步骤决策树算法应用的完整流程应包含建树和应用。
建树是从经验数据中获取知识，进行机器学习，建立模型或者构造分类器，是决策树算法的工作重点，通常又将其分为建树和剪枝两个部分。
而应用则比较简单，利用建好的决策树模型分类或者预测新数据即可。
先介绍一下建树。
建树也就是决策树算法建模的主体过程，或者说，建树便是主要规则的产生过程。
决策树构建的基本步骤如表3-3所示。
表3-3 决策树构建的基本步骤决策树的变量可以有两种：数字型(Numeric)和名称型(Nominal)。
(1)数字型：变量类型是整数或浮点数，如前面例子中的“年龄”。
用“>”“＜”等作为分割条件（排序后，利用已有的分割情况，可以优化分割算法的时间复杂度）。
(2)名称型：类似编程语言中的枚举类型，变量只能从有限的选项中选取。
如何评估分割点的好坏？如果一个分割点可以将当前的所有节点分为两类，使得每一类都很“纯”，也就是同一类的记录较多，那么就是一个好分割点。
树的主体建好后，接下来便是对其剪枝。
所谓剪枝，就是在树的主体上删除过多的条件或者直接删除一些不必要的子树，提高树的性能，确保精确度，提高其可理解性。
同时，在剪枝过程中还要克服训练样本集的数据噪声，尽可能地消除噪声造成的影响。
决策树的剪枝一般通过极小化决策树整体的损失函数或代价函数来实现。
决策树剪枝常用的方法有两种：预剪枝(Pre-Pruning)和后剪枝(Post-Pruning)。
预剪枝是指根据一些原则尽早地停止树的增长，如树的深度达到用户所要的深度、节点中样本个数少于用户指定个数等。
预剪枝在建树的过程中决定是否需要继续划分或分裂训练样本来实现提前停止树的构造，一旦决定停止分支，就将当前节点标记为叶节点。
这样可以有效减少建立某些子树的计算代价。
运用这一策略的代表性算法有PUBLIC算法。
预剪枝的核心问题是，如何事先指定树的最大深度，如果设置的最大深度不恰当，那么将会导致过于限制树的生长，使决策树的表达式规则趋于一般，不能更好地对新数据集进行分类和预测。
决策树id3算法例题
决策树id3算法例题决策树ID3算法是一种常用的分类算法，用于根据已知的一组特征和标签数据，构建一个决策树模型来进行分类预测。
下面我将以一个示例来介绍决策树ID3算法的基本步骤和过程。
假设我们想要构建一个决策树模型来帮助我们判断一个人是否会购买一款新的智能手机。
我们已经收集了一些关于个体的特征数据和对应的购买结果数据，包括性别、年龄、收入和是否购买。
首先，我们需要计算每个特征对于分类结果的信息增益。
信息增益是指通过使用某个特征来对数据进行分类，所能获得的关于数据的新的信息量。
计算信息增益的公式如下：信息增益 = 熵(D) - ∑(Dv/D) * 熵(Dv)其中，熵(D)表示数据集D的混乱程度，熵的计算公式为：熵(D) = - ∑(pi * log2(pi))Dv表示特征A的某个取值，D表示数据集D的标签集合，pi表示标签i在数据集D中的比例。
我们首先计算整个数据集的熵D，然后计算每个特征的条件熵，最后将它们相加得到信息增益。
选择信息增益最大的特征作为当前节点的划分特征。
接下来，我们根据选择的特征将数据集划分成不同的子集。
每个子集都对应一个特征值的取值，例如性别特征可能有男和女两个取值。
我们对每个子集重复上述过程，以递归的方式构建子树。
在每个子树中，我们需要选择一个特征进行划分。
如果所有的特征都已经使用完毕，或者剩余的数据集已经完全属于同一类别，那么我们停止划分，将当前节点标记为叶节点，并将最常见的类别作为该节点的预测结果。
否则，我们选择信息增益最大的特征作为当前节点的划分特征，并继续递归构建子树。
最终，我们得到了一个完整的决策树模型。
我们可以使用该模型来对新的个体进行分类预测。
从根节点开始，根据个体的特征值选择相应的子节点，直到到达叶节点，将叶节点的预测结果作为最终的分类结果。
在本示例中，决策树模型可能会根据最佳特征先根据性别划分，接着根据年龄划分，最后根据收入划分。
我们可以根据决策树模型将一个新的个体划分到某个叶节点，并预测其是否会购买手机。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
决策树分类原理
决策树分类原理
决策树分类是一种数据挖掘和机器学习算法，它可以用来将一组
数据划分成多个类别。
它以树状图形表示，每个节点代表一个决策，
每个分支代表每个决策的后果，每个叶子节点代表一个类别。
决策树分类的核心原理如下：首先选择输入特征（数据集的属性），然后应用某种算法对输入特征进行划分，比如信息熵，互信息，C4.5算法等，根据信息增益（或者减少信息增益）来选择某一个特征
值来进行划分，接着选择该划分特征值的最优拆分点，并将该特征值
划分成两个样本，比如说“<=”和“>”，然后对这两个样本重复上述
过程，直到每个样本都分类完毕即可，即为一棵完整的决策树。
决策树分类的优点很多，首先它的模型容易理解，看一棵决策树，就可以直观地了解模型的决策路径是什么；其次，它不受数据量大小
的限制，只要构建一棵完整的决策树，就可以用来处理任意数量的数据；最后，决策树分类可以使用连续性和非连续性特征，所以它不仅
能够处理离散型特征，还能处理连续性特征，使用更加灵活。
总之，决策树分类是一种经典的数据挖掘和机器学习算法，它可
以帮助用户将一组数据划分成多个类别，同时也具有良好的可解释性、不受数据量大小的限制、可处理连续性特征等优点，是一种非常有效
的分类算法。
决策树的构建步骤与技巧(四)
决策树的构建步骤与技巧决策树是一种常用的数据挖掘和机器学习算法，它可以用来解决分类和回归问题。
在构建一个有效的决策树模型时，需要经过一系列的步骤和技巧。
本文将介绍决策树的构建步骤与技巧，希望能帮助读者更好地理解和运用这一算法。
数据预处理在构建决策树之前，首先需要进行数据预处理。
这包括数据清洗、缺失值处理、特征选择等步骤。
数据清洗是指对数据中的异常值进行处理，以确保数据的准确性和完整性。
缺失值处理是指对数据中的缺失值进行填充或删除，以确保数据的完整性和可用性。
特征选择是指从所有特征中选择出对目标变量有较大影响的特征，以提高模型的准确性和泛化能力。
选择划分属性在构建决策树时，需要选择一个划分属性作为节点。
划分属性的选择对决策树的构建和预测性能有很大影响。
常用的划分属性选择指标包括信息增益、信息增益比、基尼指数等。
信息增益是指在已知划分属性的条件下，得到的信息量减少的程度；信息增益比是指信息增益除以划分属性的固有信息量，用来解决信息增益偏向于选择取值多的属性的问题；基尼指数是指在随机抽取一个样本的情况下，其类别标记被错误分类的概率。
构建决策树在选择划分属性之后，就可以开始构建决策树了。
决策树的构建过程是一个递归的过程，主要包括节点的选择和划分。
节点的选择是指在所有的特征中选择出对目标变量有较大影响的特征作为划分属性；划分是指根据划分属性的取值对数据集进行划分，生成子节点。
剪枝处理决策树的构建可能会导致过拟合问题，为了防止过拟合，需要对决策树进行剪枝处理。
决策树的剪枝包括预剪枝和后剪枝两种方式。
预剪枝是指在构建决策树的过程中，提前停止节点的划分；后剪枝是指先构建完整的决策树，然后通过剪枝来减小决策树的复杂度。
交叉验证在构建决策树模型时，需要对模型进行评估和优化。
交叉验证是一种常用的模型评估方法，可以更准确地评估模型的泛化能力。
常用的交叉验证方法包括简单交叉验证、k折交叉验证、留一交叉验证等。
通过交叉验证可以选择最优的模型参数，提高模型的预测性能。
决策树的构建步骤与技巧(六)
决策树的构建步骤与技巧决策树是一种常见的机器学习算法，它可以用于分类和回归问题。
决策树通过一系列的条件判断来对样本进行分类或者预测，它的构建步骤和技巧对于算法的性能和效果有着重要的影响。
在本文中，将探讨决策树的构建步骤和技巧，帮助读者更好地理解和应用这一算法。
数据收集和准备决策树的构建首先需要准备训练数据集。
数据集应包括特征和标签，在决策树的构建过程中，特征用于做出决策，标签用于训练和评估模型的性能。
在准备数据集时，需要确保数据的质量和完整性，包括处理缺失值、异常值和重复值等。
此外，还需要进行特征选择和特征编码等预处理工作，以便让数据集适用于决策树的构建。
特征选择和划分在决策树的构建中，需要选择合适的特征来进行划分。
特征选择的好坏直接影响了决策树的性能和泛化能力。
一般来说，可以使用信息增益、基尼系数或者卡方检验等方法来评估特征的重要性，选择对分类或回归有较大影响的特征作为划分依据。
同时，需要合理地划分数据集，可以采用随机划分、交叉验证等方法来确保训练集和测试集的合理性和充分性。
树的构建和剪枝决策树的构建是一个递归的过程，通过选择合适的特征和划分数据集来构建树的节点。
在每个节点上，需要选择最优的划分特征和划分点来最大化信息增益或者最小化基尼系数等指标。
在构建完整的决策树后，需要进行剪枝操作来防止过拟合。
剪枝可以通过预剪枝或者后剪枝来实现，它可以提高决策树的泛化能力和性能。
模型评估和调参构建完决策树后，需要对模型进行评估和调参。
评估可以使用准确率、精确率、召回率、F1值等指标来衡量模型的性能。
同时，可以通过交叉验证、网格搜索等方法来调整模型的超参数，以找到最优的模型参数组合。
这一步骤对于提高决策树的性能和泛化能力至关重要。
应用和优化决策树在实际应用中有着广泛的用途，可以用于金融、医疗、电商等领域。
在应用决策树时，需要根据具体的问题场景和数据特点来选择合适的算法和技巧。
同时，还可以通过集成学习、随机森林、梯度提升树等方法来优化决策树模型，以进一步提高模型的性能和鲁棒性。
决策树(文献翻译-节选)
本科毕业设计（论文）外文参考文献译文及原文学院管理学院专业信息管理与信息系统年级班别2008级（6）班学号**********学生姓名张钟权指导教师胡凤2012年5月目录（一）外文文献译文 (1)4 决策树 (1)4.1 介绍 (1)4.2 决策和模式分类 (2)4.2.1 统计模式分类 (2)4.2.2使用逻辑相互关系 (3)4.3 决策域 (5)……4.6决策树实例 (6)（二）外文文献原文 (11)4 Decision Trees (11)4.1 Introduction (11)4.2 Decision-Making and Pattern Classification (14)4.2.1 Statistical Pattern Classification (14)4.2.2 Use of Logical Inter-relationships (15)4.3 Decision Regions (17)……4.6 Decision Tree Examples (19)（一）外文文献译文4 决策树4.1 介绍统计决策广泛应用于实验地球科学，它在环境科学中扮演着更重要的角色，由于环境系统随时间不断改变，需要根据观测系统和可能情况不断地矫正行动（采取不同的行动策略）。
一组可能的矫正措施通常在一个决策环境中，称为决策集。
一些物理属性（或变量）的观测值是潜在有用的，这也是可采取的矫正措施的一种情况。
在系统中根据新的情况不断地矫正措施，目的是为了减少损失，或成本或为了最大利益。
考虑到成本是一个负收益，对一个给定的决策问题，科学家和企业人员看法了一个综合单一标准——成本最小。
一个好的决策应该满足：一、综合成本最小，二、最优决策。
获取和收集物理变量值的过程也被称为特征提取（特征变量）、变量测定，这些变量有时候也被称为特征、特征变量、测量。
这些特征变量中的一些变量可能会对决策有影响，确定这些变量是一个挑战。
(完整版)ENVI决策树分类
遥感专题讲座——影像信息提取（三、基于专家知识的决策树分类）基于专家知识的决策树分类可以将多源数据用于影像分类当中，这就是专家知识的决策树分类器，本专题以ENVI中Decision Tree为例来叙述这一分类器。
本专题包括以下内容：∙ ∙●专家知识分类器概述∙ ∙●知识（规则）定义∙ ∙●ENVI中Decision Tree的使用概述基于知识的决策树分类是基于遥感影像数据及其他空间数据，通过专家经验总结、简单的数学统计和归纳方法等，获得分类规则并进行遥感分类。
分类规则易于理解，分类过程也符合人的认知过程，最大的特点是利用的多源数据。
如图1所示，影像+DEM就能区分缓坡和陡坡的植被信息，如果添加其他数据，如区域图、道路图土地利用图等，就能进一步划分出那些是自然生长的植被，那些是公园植被。
图1 专家知识决策树分类器说明图专家知识决策树分类的步骤大体上可分为四步：知识（规则）定义、规则输入、决策树运行和分类后处理。
1.知识（规则）定义规则的定义是讲知识用数学语言表达的过程，可以通过一些算法获取，也可以通过经验总结获得。
2.规则输入将分类规则录入分类器中，不同的平台有着不同规则录入界面。
3.决策树运行运行分类器或者是算法程序。
4.分类后处理这步骤与监督/非监督分类的分类后处理类似。
知识（规则）定义分类规则获取的途径比较灵活，如从经验中获得，坡度小于20度，就认为是缓坡，等等。
也可以从样本中利用算法来获取，这里要讲述的就是C4.5算法。
利用C4.5算法获取规则可分为以下几个步骤：（1）多元文件的的构建：遥感数据经过几何校正、辐射校正处理后，进行波段运算，得到一些植被指数，连同影像一起输入空间数据库；其他空间数据经过矢量化、格式转换、地理配准，组成一个或多个多波段文件。
（2）提取样本，构建样本库：在遥感图像处理软件或者GIS软件支持下，选取合适的图层，采用计算机自动选点、人工解译影像选点等方法采集样本。
（3）分类规则挖掘与评价：在样本库的基础上采用适当的数据挖掘方法挖掘分类规则，后基于评价样本集对分类规则进行评价，并对分类规则做出适当的调整和筛选。
决策树模型结构
决策树模型结构决策树模型结构是一种常用的机器学习算法，主要用于分类和回归问题。
它通过构建一棵树形结构来进行决策，每个节点表示一个特征或属性，每个分支表示一个决策规则，每个叶子节点表示一个预测结果。
决策树模型结构具有易于理解和解释、可处理非线性关系、能够处理缺失值等优点，但同时也存在过拟合、对特征选择敏感等缺点。
决策树模型结构主要包括以下几个部分：1. 根节点：决策树的起始节点，包含所有样本数据。
2. 内部节点：决策树中的非叶子节点，表示一个特征或属性。
内部节点将数据集划分为若干个子集，每个子集对应一个分支。
3. 分支：从内部节点出发的有向边，表示一个决策规则。
分支上的标签表示该规则对应的预测结果。
4. 叶子节点：决策树的终止节点，表示一个预测结果。
叶子节点通常包含该子集中所有样本的预测结果，如类别标签或数值。
5. 剪枝：为了防止过拟合，可以对决策树进行剪枝操作。
剪枝分为预剪枝和后剪枝两种方法。
预剪枝是在构建决策树的过程中，提前停止树的生长；后剪枝是在构建完整的决策树后，删除一些子树以减小模型复杂度。
决策树模型结构的构建过程主要包括以下几个步骤：1. 特征选择：从所有特征中选择一个最优特征作为当前节点的特征。
常用的特征选择方法有信息增益、基尼指数、均方误差等。
2. 划分数据集：根据选定的特征，将数据集划分为若干个子集。
划分方法可以是二分法、多叉树法等。
3. 递归构建子树：对每个子集递归地执行上述步骤，构建子树。
当满足停止条件（如子集中所有样本属于同一类别、达到预设的最大深度等）时，停止递归。
4. 合并子树：将构建好的子树合并为一个完整的决策树模型。
在实际应用中，决策树模型结构可以通过各种编程语言和机器学习库实现，如Python的scikit-learn库、R语言的rpart包等。
此外，还有一些优化算法可以提高决策树的性能，如随机森林、梯度提升树等。
运筹学决策树方法的具体步骤
运筹学决策树方法的具体步骤第一步：明确问题和决策目标这是最开始的一步，也是非常关键的一步哦！你得清楚自己到底要解决什么问题，想要达到什么样的决策目标。
比如说，是关于投资决策，还是产品生产方案的选择之类的。
这一步看起来很基础，但我跟你说可千万不能含糊，要是这一步没搞清楚，后面就像没头的苍蝇一样乱撞啦！我每次做决策树的时候都会在这上面花不少时间，反复琢磨这个问题到底是什么，目标明确了后面才好进行嘛。
第二步：确定可能的决策方案第三步：列出影响决策的各种因素以及可能的状态这一步有点复杂啦。
就拿刚刚开小店的例子来说，影响决策的因素可能有租金、人流量、竞争对手数量这些。
每个因素还有不同的状态呢，像租金可能是高、中、低三种状态；人流量可能是多、中、少。
这一步需要我们静下心来好好思考，我有时候也会觉得想得脑壳疼呢，但这步不做好，决策树就不完整啦。
真的，这一点很重要，要尽可能全面地考虑各种因素及其状态哦！第四步：构建决策树框架现在我们要开始构建决策树的框架啦。
先从根节点开始，根节点就是我们的决策目标。
然后根据之前确定的决策方案，从根节点引出分支，每个分支代表一个决策方案。
接着，针对每个决策方案，再根据影响因素的不同状态继续往下分杈。
这个过程就像是在画一棵大树，一点点地添枝加叶。
不过在构建的时候，要注意层次分明，别把自己都搞糊涂了。
我通常会边画边检查，确保逻辑是清晰的呢。
第五步：评估每个结果的收益或者成本在决策树的每个末梢，也就是最终的结果那里，我们要评估它的收益或者成本。
这可需要一些数据支持或者你的经验判断啦。
比如说开在商业街的小店，如果人流量多租金高，收益会是多少；如果人流量少租金高，又会是多少。
这一步要特别小心哦！因为这个数据不准确的话，整个决策树的分析就可能出偏差呢。
我经常会多找些资料或者参考类似的案例，让这个评估尽可能准确。
第六步：计算每个决策方案的期望收益或期望成本第七步：选择最优决策方案最后一步啦，根据前面计算出来的期望收益或者期望成本，选择那个数值最好（收益最高或者成本最低）的决策方案。
决策树法的实施步骤
决策树法的实施步骤1. 理解决策树法决策树是一种常用的机器学习算法，用于预测和分类问题。
它是一棵树状结构，其中每个内部节点表示一个特征，每个分支表示一个特征的取值，而每个叶节点表示一个预测的结果。
决策树法通过对数据进行划分，选择最佳的特征来构建树，并根据树的结构进行预测。
2. 收集和准备数据在实施决策树法之前，需要收集和准备数据。
这包括获取相关数据集，并进行数据清洗和预处理。
确保数据集中的数据完整、准确且适用于决策树算法的实施。
3. 划分数据集划分数据集是用于训练和测试决策树模型的重要步骤。
通常将数据集分为训练集和测试集两部分。
训练集用于构建决策树模型，而测试集用于评估决策树的性能和准确度。
4. 选择特征选择最佳的特征来构建决策树是决策树法的关键步骤。
通常使用特征选择算法，如信息增益、增益率或基尼指数等，来评估每个特征的重要性并选择最佳的划分特征。
5. 构建决策树通过递归的方式构建决策树。
从根节点开始，根据选择的特征进行划分，将数据集分成子集。
然后对每个子集递归进行子树的构建，直到满足停止条件，例如子集中的所有实例属于同一类别或子集中的特征已被完全使用。
6. 剪枝决策树的剪枝是为了避免过度拟合训练数据，提高决策树模型的泛化能力。
剪枝可以通过预剪枝或后剪枝来实现。
预剪枝是在构建树的过程中进行剪枝，而后剪枝是在构建完整树之后再进行剪枝。
7. 预测和评估构建完成决策树后，使用测试集对模型进行预测。
将测试集的特征输入决策树模型，根据决策树的判定规则得到预测结果。
然后与测试集的真实结果进行比较，评估决策树模型的准确度和性能。
8. 优化决策树模型通过评估决策树模型的性能，可以发现模型的不足之处。
根据评估结果，对决策树模型进行优化，如调整参数、增加特征等，提高决策树模型的准确度和泛化能力。
9. 应用决策树模型在完成决策树模型的优化后，可以将其应用于实际问题中。
利用已构建的决策树模型进行预测和分类，帮助解决具体的决策问题。
基尼系数决策树
基尼系数决策树1. 简介在机器学习领域中，决策树是一种常用的分类和回归算法。
它通过构建树形的决策模型来对数据进行预测和分析。
基尼系数决策树是决策树中的一种重要算法，它使用基尼系数来评估数据集的纯度，从而进行决策树的划分。
2. 基本原理基尼系数是指衡量数据集纯度的一个指标。
对于一个给定的数据集，假设有C个类别，其中第i个类别的概率为Pi。
那么基尼系数可以通过以下公式计算得到：CGini=1−∑P i2i=1基尼系数的取值范围为0到1，数值越小表示数据集的纯度越高。
在基尼系数决策树中，通过计算每个特征的基尼系数，选择具有最小基尼系数的特征作为决策树的划分节点。
这样可以使得每次划分后的子数据集的纯度最高，从而提高决策树的准确性。
3. 构建基尼系数决策树的步骤3.1 数据集准备首先，我们需要准备一个用于构建决策树的数据集。
数据集应包括特征和对应的类别标签。
特征可以是连续型或离散型的，而类别标签一般是离散型的。
确保数据集中每个样本的特征和类别标签都是完整的。
3.2 计算基尼系数对于每个特征，需要计算其对应的基尼系数。
针对每个特征的每个取值，将数据集划分为若干个子数据集。
然后，根据子数据集的类别标签，计算基尼系数。
3.3 选择最佳划分特征在计算完所有特征的基尼系数后，选择基尼系数最小的特征作为当前的划分特征。
基尼系数越小，表示特征划分后子数据集的纯度越高。
3.4 递归构建决策树根据选择的划分特征，将数据集划分为多个子数据集。
对于每个子数据集，重复步骤3.2和3.3，直到满足终止条件。
终止条件可以是数据集的纯度达到一定阈值，或者达到树的最大深度。
3.5 决策树的预测通过构建好的决策树，可以对新的样本进行预测。
根据样本的特征值，沿着决策树的分支进行判断，直到到达叶子节点。
叶子节点对应的类别标签就是样本的预测结果。
4. 优缺点分析4.1 优点•简单直观：决策树的构建和理解相对简单，可以用可视化的方式呈现。
•高效：决策树在训练和预测时的计算复杂度较低，适用于大规模数据集。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
离散属性：脐部 根蒂 色泽··· 连续属性：密度 含糖率···
连续属性离散化技术：二分法 C4.5决策树算法
样本集
连续属性 ：
，有n个不同的取值，将n个取值从小到大排序
划分点t（数值）将 划分为两个子集
• 欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
剪枝，即通过主动去掉一些分支来降低过拟合的风险。 预剪枝
决策树的剪枝策略 后剪枝
预剪枝：在决策树生成过程中，对每个结点在划分前先进行估计 ，若当前结点的划分不能带来决策树泛化性能提升，则停止划分 并将当前结点标记为叶结点
• 不确定性函数
是概率
的单调递减函数；
• 可加性：两个独立符号所产生的不确定性应等于各自不确定性之和，
即
同时满足这三个条件的函数
是负的对数函数，即
一个事件的信息量就是这个事件发生的概率的负对数。 信息熵是跟所有事件的可能性有关的，是平均而言发生一个事件得到 的信息量大小。所以信息熵其实是信息量的期望。
决策树
• 训练时间开销比未减 枝和预剪枝决策树大 得多
1. 生产完全决策树 2. 所有非叶节点逐一考察
知识回顾：
1. 四类学习任务
2. Hunt算法3种递归返回情形、第8行
3. 3种度量结点“纯度”的指标：
4. 信息增益 ID3
5. 增益率
C4.5
6. 基尼指数 CART
7. 过拟合、欠拟合
8. 决策树剪枝 9. 预剪枝 10.后剪枝
半监督学习：输入数据部分被标识，部分没有被标识，介于监督学习与非监督学 习之间。
决策树（decision tree）模型常常用来解决分类和回归问 题。常见的算法包括 CART (Classification And Regression Tree)、ID3、C4.5等。
二分类学习任务 属性 属性值
三种度量结点“纯度”的指标： 1. 信息增益 2. 增益率 3. 基尼指数
1. 信息增益 信息熵
香农提出了“信息熵”的概念，解决了对信息的量化度量 问题。
香农用“信息熵”的概念来描述信源的不确定性。
对于二分类任务
假设我们已经知道衡量不确定性大小的这个量已经存在了，不妨就叫 做“信息量”
• 不会是负数
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得 的“纯度提升”越大。
决策树算法第8行选择属性 著名的ID3决策树算法
举例：求解划分根结点的最优划分属性
数据集包含17个训练样例： 8个正例（好瓜）占
9个反例（坏瓜）占
对于二分类任务
以属性“色泽”为例计算其信息增益
根结点的信息熵：
决策树(完整)
2020年5月23日星期六
第4章 决策树
根据训练数据是否拥有标记信息
监督学习(supervised learning)
分类、回归
无监督学习(unsupervised learning)
聚类
学习任务
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)
精度：正确分类的样本占所有 样本的比例
验证集：4,5,8,9,11,12,13
1,2,3,14
4,5,13 (T,T,F)
6,7,15,17
8,9 (T,F)
10,16
11,12 (T,T)
预剪枝使得决策树的很 多分支都没有“展开”
优点： • 降低过拟合的风险 • 减少了训练时间开销
和测试时间开销
不足： • 基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
后剪枝
先从训练集生成一棵完整的决策树，然后自底向上地
对非叶结点进行考察，若将该结点对应的子树替换为叶结
点能带来决策树泛化性能提升，则将该子树替换为叶结点
训练集：好瓜 。坏瓜
验证集：4,5,8,9,11,12
1,2,3,6,7,10,14,15,16,17
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为： 属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益 为：
根结点的信息熵仍为
：
用“编号”将根结点划分后获得 17个分支结点的信息熵均为：
则“编号”的信息增益为：
远大于其他候选属性 信息增益准则对可取值数目较多的属性有所偏好
6,7,15,17
4,13 (T,F)
5 (F 6 )
7 9 (F )
6,7,15 17
7,15
15 8 (F )
11,12 (T,T)
减去结点⑥ 验证集变为：
考察结点顺序： ⑥⑤②③①
8,9 (T,F)
验证集精度：
后剪枝决策树 预剪枝决策树
• 保留了更多的分支 • 欠拟合风险很小 • 泛化能力优于预剪枝
• 根结点：包含全部样本 • 叶结点：对应决策结果 “好瓜” “坏瓜” • 内部结点：对应属性测试
决策树学习的目的：为了产生一颗泛化能力强的决策树， 即处理未见示例能力强。
Hunt算法 ：
无需划分
无法划分 无法划分
不能划分 不能划分
1,2,3,4,5,6,8,10,15
1,2,3,4,5 6,8,15
后剪枝：先从训练集生成一棵完整的决策树，然后自底向上地对 非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来 决策树泛化性能提升，则将该子树替换为叶结点。 留出法：将数据集D划分为两个互斥的集合：训练集S和测试集T
且
预剪枝
训,16,17
10
6
8,15
8
15
第（2）种情形：设定为该结点所含样本 最多的类别 利用当前结点的后验分布
第（3）种情形：设定为其父结点所含样 本最多的类别 把父结点的样本分布作为当前结点的先验 分布
决策树学习的关键是算法的第8行：选择最优划分属性
什么样的划分属性是最优的？
我们希望决策树的分支结点所包含的样本尽可能属于 同一类别，即结点的“纯度”越来越高，可以高效地从根结 点到达叶结点，得到决策结果。
2. 增益率
增益率准则对可取值数目较少的属性有所偏好 著名的C4.5决策树算法综合了信息增益准则和信息率准则的特 点：先从候选划分属性中找出信息增益高于平均水平的属性，再从 中选择增益率最高的。
3. 基尼指数 基尼值
基尼指数
著名的CART决策树算法
• 过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了 所有潜在样本都会具有的一般性质，导致泛化性能下降。