决策树例题分析及解答 (1).ppt
合集下载
决策树例题(共10张PPT)
现采用决策树方法进行决策 第二步：画决策树图形，根据第一步所列的表格，再绘制决策树，如下图；
【例题8】
【解】第一步：将题意表格化
自然状态
概率
天气好
0.3
天气坏
0.7
行动方案
开工
不开工
40000
-1000
-10000
-1000
【例题8】
❖ 第二步：画决策树图形，根据第一步所列的表格， 再绘制决策树，如下图；
【例题8】
• 假设有一项工程，施工管理人员需要决定 下月是否开工。如果开工后天气好，则可 投标不中时，则对A损失50万元，对B损失100万元。
现采用决策树方法进行决策 3,天气坏的概率是0.
为国家创收4万元，若开工后天气坏，将给 若考虑的是损失时，则取最小期望值。
B、从出发点向右引出若干条直线，这些直线叫做方案枝； 3,天气坏的概率是0.
国家造成损失1万元，不开工则损失1000元。 某承包商拥有的资源有限，只能在A和B两个工程中选A或B进行投标，或者对这两项工程都不参加投标。
该承包商过去也承包过与A、B类似的工程，根据统计资料，每种方案的利润和出现的概率如下表所示。 一般按反向的时间程序逐步计算，将各方案的几种可能结果的数值和它们各自的概率相乘，并汇总所得之和，其和就是该方案的期望值。
概率
0.3 0.5 0.2 0.2 0.6 0.2 0.3 0.5 0.2 0.3 0.6 0.1
【例题9】
【解】第一步：将题意表格化
概率分叉点
3,天气坏的概率是0.
(自 然 状 态 点 )
投标不中时，则对A损失50万元，对B损失100万元。
损益值
但根据过去该承包商投标经验资料，他对A或B投标又有两种策略:一种是投高标，中标的机会是0.
【例题8】
【解】第一步：将题意表格化
自然状态
概率
天气好
0.3
天气坏
0.7
行动方案
开工
不开工
40000
-1000
-10000
-1000
【例题8】
❖ 第二步：画决策树图形，根据第一步所列的表格， 再绘制决策树，如下图；
【例题8】
• 假设有一项工程，施工管理人员需要决定 下月是否开工。如果开工后天气好，则可 投标不中时，则对A损失50万元，对B损失100万元。
现采用决策树方法进行决策 3,天气坏的概率是0.
为国家创收4万元，若开工后天气坏，将给 若考虑的是损失时，则取最小期望值。
B、从出发点向右引出若干条直线，这些直线叫做方案枝； 3,天气坏的概率是0.
国家造成损失1万元，不开工则损失1000元。 某承包商拥有的资源有限，只能在A和B两个工程中选A或B进行投标，或者对这两项工程都不参加投标。
该承包商过去也承包过与A、B类似的工程，根据统计资料，每种方案的利润和出现的概率如下表所示。 一般按反向的时间程序逐步计算，将各方案的几种可能结果的数值和它们各自的概率相乘，并汇总所得之和，其和就是该方案的期望值。
概率
0.3 0.5 0.2 0.2 0.6 0.2 0.3 0.5 0.2 0.3 0.6 0.1
【例题9】
【解】第一步：将题意表格化
概率分叉点
3,天气坏的概率是0.
(自 然 状 态 点 )
投标不中时，则对A损失50万元，对B损失100万元。
损益值
但根据过去该承包商投标经验资料，他对A或B投标又有两种策略:一种是投高标，中标的机会是0.
《决策树例题》课件(2024)
基于信息增益的决策树
通过计算每个特征的信息增益来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用ID3算法 来构建决策树。
基于基尼指数的决策树
通过计算每个特征的基尼指数来选择 最佳划分特征，构建决策树。例如， 在二分类问题中，可以使用CART算 法来构建决策树。
剪枝策略
针对决策树过拟合问题，可以采用预 剪枝或后剪枝策略来优化决策树性能 。
输入 欠标采题样
从多数类样本中随机选择一部分样本，减少其样本数 量，使得正负样本数量平衡。例如Random UnderSampler算法。
过采样
代价敏感学 习
通过集成多个基分类器的结果来提高整体性能。例如 Bagging和Boosting方法。
集成学习方 法
为不同类别的样本设置不同的误分类代价，使得模型 在训练过程中更加关注少数类样本。例如AdaCost算 法。
剪枝策略
通过预剪枝或后剪枝策略，可以优化决策 树的性能，减少过拟合。
19
过拟合问题解决方案讨论
增加训练数据
更多的训练数据可以让模型学习 到更多的模式，减少过拟合。
使用集成学习方法
去除不相关或冗余的特征，可以 减少模型的复杂度，降低过拟合
风险。
2024/1/30
特征选择
通过添加正则化项，可以惩罚模 型的复杂度，防止过拟合。
模型构建：选择合适的 模型优化：针对不平衡
决策树算法（如ID3、 数据集问题，可以采用
C4.5、CART等）构建分 过采样、欠采样或代价
类模型，并采用交叉验 敏感学习等方法优化模
证等方法评估模型性能 型性能。同时，也可以
。
通过调整决策树参数（
如最大深度、最小样本
决策树例题分析及解答_(1)分解共32页
45、法律的制定是为了保的才能 。—— 罗伯斯 庇尔
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
决策树例题分析及解答_(1) 分解
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
44、卓越的人一大优点是：在不利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
决策树例题分析及解答_(1) 分解
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
一个决策树算法案例分析ppt课件共22页
市场调研，综合楼被市场接受的程度如何?亦即市场的需求如何?
对此问题，公司管理者通过调研认为，只有两种市场接受状态，称为决策 者无法控制的自然
S1——高的市场接受程度，
S2——低的市场接受程度，对楼房需求有限。
(2)要根据工程设计与造价核算以及销售价格计算出不同方案，不同自然状 态时，楼房的盈
4.2 常用决策分析方法
按照问题面临的自然状态出现的概率无法知道，抑或可以通过调研统计得 到，常用决策方法划分为不确定性决策方法与风险决策方法。
一、不确定性决策方法(自然状态出现的概率不知道)
1 对各方案先从不同状态的Vij
最大值
中取一最大值者，得：
小型楼d1→800 中型楼d2→1400 大型楼d3→2000万←Max·Max 再从不同方案的最大值中取一最大值，为2000万，所对应的方案——大型 楼方案d3为决策的最佳方案。
d1 →1200 d2 →600万←Min d3 →1600
然后从各方案的最大后悔值中选取一最小者，为600万，则它对应的方案 6 d2为最佳方案。
二、风险决策方法(自然状态出现的概率已知)
既然各种可能的自然状态出现的概率已经通过调研获得，则可以以此求 各方案的期望益损值。
令n——
P(Sj)——自然状态Sj的概率。 则有nP(Sj)≥0，(j=1,2,…,n)
d1
1
d2
d3
780 2
1220 3
1420 4
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
800 700
对此问题，公司管理者通过调研认为，只有两种市场接受状态，称为决策 者无法控制的自然
S1——高的市场接受程度，
S2——低的市场接受程度，对楼房需求有限。
(2)要根据工程设计与造价核算以及销售价格计算出不同方案，不同自然状 态时，楼房的盈
4.2 常用决策分析方法
按照问题面临的自然状态出现的概率无法知道，抑或可以通过调研统计得 到，常用决策方法划分为不确定性决策方法与风险决策方法。
一、不确定性决策方法(自然状态出现的概率不知道)
1 对各方案先从不同状态的Vij
最大值
中取一最大值者，得：
小型楼d1→800 中型楼d2→1400 大型楼d3→2000万←Max·Max 再从不同方案的最大值中取一最大值，为2000万，所对应的方案——大型 楼方案d3为决策的最佳方案。
d1 →1200 d2 →600万←Min d3 →1600
然后从各方案的最大后悔值中选取一最小者，为600万，则它对应的方案 6 d2为最佳方案。
二、风险决策方法(自然状态出现的概率已知)
既然各种可能的自然状态出现的概率已经通过调研获得，则可以以此求 各方案的期望益损值。
令n——
P(Sj)——自然状态Sj的概率。 则有nP(Sj)≥0，(j=1,2,…,n)
d1
1
d2
d3
780 2
1220 3
1420 4
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
s1 , P(S1 ) 0.8 s2 , P(S 2 ) 0.2
800 700
决策树例题分析及解答1
23
悲观原则
需求量 需求量 需求量
较高 一般
较低
需求量 很低
min
甲
600 400 -150 -350 -350
乙
800 350 -350 -700 -700
丙
350 220 50 -100 -100
丁
400 250 90 -50 -50
24
3、最小后悔准则（最小机会损失准则）
用益损值表计算出后悔值（同一状态下各 方案的最大益损值与已采用方案的益损 值之差），取后悔值最小的方案
自然状态 概率 建大厂（投资25 建小厂（投资10
万元）
万元）
原料800担 0.8 原料2000担 0.2
13.5 25.5
15.0 15.0
4
补充： 风险型决策方法——决策树方法
• 风险决策问题的直观表示方法的图示法。因为图的形状 像树，所以被称为决策树。
• 决策树的结构如下图所示。图中的方块代表决策节点， 从它引出的分枝叫方案分枝。每条分枝代表一个方案， 分枝数就是可能的相当方案数。圆圈代表方案的节点， 从它引出的概率分枝，每条概率分枝上标明了自然状态 及其发生的概率。概率分枝数反映了该方案面对的可能 的状态数。末端的三角形叫结果点，注有各方案在相应 状态下的结果值。
240 300 300
乙
0
50 440 650 650
丙
450 180 40
50 450
丁
400 150 0
0
400
26
平均主义决策（折衷决策）
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。 a在0～1之间，a＝0则为悲观决策，a ＝1则为乐观决策。将各个方案在各种自然 状态下可能取得的最大收益值找出，用它 乘以a，再加上最小收益值乘以1－a，即为 各方案折中后的收益值，从中找折中后收 益值最大的方案。
悲观原则
需求量 需求量 需求量
较高 一般
较低
需求量 很低
min
甲
600 400 -150 -350 -350
乙
800 350 -350 -700 -700
丙
350 220 50 -100 -100
丁
400 250 90 -50 -50
24
3、最小后悔准则（最小机会损失准则）
用益损值表计算出后悔值（同一状态下各 方案的最大益损值与已采用方案的益损 值之差），取后悔值最小的方案
自然状态 概率 建大厂（投资25 建小厂（投资10
万元）
万元）
原料800担 0.8 原料2000担 0.2
13.5 25.5
15.0 15.0
4
补充： 风险型决策方法——决策树方法
• 风险决策问题的直观表示方法的图示法。因为图的形状 像树，所以被称为决策树。
• 决策树的结构如下图所示。图中的方块代表决策节点， 从它引出的分枝叫方案分枝。每条分枝代表一个方案， 分枝数就是可能的相当方案数。圆圈代表方案的节点， 从它引出的概率分枝，每条概率分枝上标明了自然状态 及其发生的概率。概率分枝数反映了该方案面对的可能 的状态数。末端的三角形叫结果点，注有各方案在相应 状态下的结果值。
240 300 300
乙
0
50 440 650 650
丙
450 180 40
50 450
丁
400 150 0
0
400
26
平均主义决策（折衷决策）
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。 a在0～1之间，a＝0则为悲观决策，a ＝1则为乐观决策。将各个方案在各种自然 状态下可能取得的最大收益值找出，用它 乘以a，再加上最小收益值乘以1－a，即为 各方案折中后的收益值，从中找折中后收 益值最大的方案。
决策树例题分析及解答1
11
680万元 2
建大厂
销路好（0.7） 销路差（0.3）
200万元 -40万元
1 719万元
扩建 5 销路好（0.7）
建小厂
930万元
销路好（0.7） 4 不扩建
930万元
6 销路好（0.7）
3
560万元
719万元
销路差（0.3）
前3年，第一次决策
后7年，第二次决策
190万元
80万元 60万元
12
23
悲观原则
需求量 需求量 需求量
较高 一般
较低
需求量 很低
min
甲
600 400 -150 -350 -350
乙
800 350 -350 -700 -700
丙
350 220 50 -100 -100
丁
400 250 90 -50 -50
Hale Waihona Puke 243、最小后悔准则（最小机会损失准则）
用益损值表计算出后悔值（同一状态下各 方案的最大益损值与已采用方案的益损 值之差），取后悔值最小的方案
240 300 300
乙
0
50 440 650 650
丙
450 180 40
50 450
丁
400 150 0
0
400
26
平均主义决策（折衷决策）
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。 a在0～1之间，a＝0则为悲观决策，a ＝1则为乐观决策。将各个方案在各种自然 状态下可能取得的最大收益值找出，用它 乘以a，再加上最小收益值乘以1－a，即为 各方案折中后的收益值，从中找折中后收 益值最大的方案。
25
680万元 2
建大厂
销路好（0.7） 销路差（0.3）
200万元 -40万元
1 719万元
扩建 5 销路好（0.7）
建小厂
930万元
销路好（0.7） 4 不扩建
930万元
6 销路好（0.7）
3
560万元
719万元
销路差（0.3）
前3年，第一次决策
后7年，第二次决策
190万元
80万元 60万元
12
23
悲观原则
需求量 需求量 需求量
较高 一般
较低
需求量 很低
min
甲
600 400 -150 -350 -350
乙
800 350 -350 -700 -700
丙
350 220 50 -100 -100
丁
400 250 90 -50 -50
Hale Waihona Puke 243、最小后悔准则（最小机会损失准则）
用益损值表计算出后悔值（同一状态下各 方案的最大益损值与已采用方案的益损 值之差），取后悔值最小的方案
240 300 300
乙
0
50 440 650 650
丙
450 180 40
50 450
丁
400 150 0
0
400
26
平均主义决策（折衷决策）
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。 a在0～1之间，a＝0则为悲观决策，a ＝1则为乐观决策。将各个方案在各种自然 状态下可能取得的最大收益值找出，用它 乘以a，再加上最小收益值乘以1－a，即为 各方案折中后的收益值，从中找折中后收 益值最大的方案。
25
决策树例题分析及解答分解课件
决策树例题分析及解 答分解课件
目录
CONTENTS
• 决策树与其他机器学习算法的比 • 决策树未来发展方向
01
决策树简 介
决策树的定义
决策树是一种监督学习算法，用于解决分类和回归问题。
它通过递归地将数据集划分成更纯的子集来构建决策树，每个内部节点表示一个 特征属性上的判断条件，每个分支代表一个可能的属性值，每个叶子节点表示一 个类别。
03
决策树例题分析
题目描述
题目
预测一个学生是否能够被大学录 取
数据集
包含学生的个人信息、成绩、活动 参与情况等
目标变量
是否被大学录取（0表示未录取，1 表示录取）
数据预处理
01
02
03
数据清洗
处理缺失值、异常值和重 复值
数据转换
将分类变量转换为虚拟变 量，将连续变量进行分箱 处理
数据归一化
将特征值缩放到0-1之间， 以便更好地进行模型训练
结果解读与优化建议
结果解读
根据模型输出的结果，分析决策树 的构建情况，理解各节点的划分依据。
优化建议
根据模型评估结果和业务需求，提出 针对性的优化建议，如调整特征选择、 调整模型参数等。
05
决策树与其他机器
学习算法的比 较
与逻辑回归的比较
总结词
逻辑回归适用于连续和二元分类问题，而决策树适用于多元分类问题。
建立决策树模型
选择合适的决策树算 法：ID3、C4.5、 CART等
构建决策树模型并进 行训练
确定决策树的深度和 分裂准则
模型评估与优化
使用准确率、召回率、F1分数等指标 评估模型性能
对模型进行优化：剪枝、调整参数等
进行交叉验证，评估模型的泛化能力
目录
CONTENTS
• 决策树与其他机器学习算法的比 • 决策树未来发展方向
01
决策树简 介
决策树的定义
决策树是一种监督学习算法，用于解决分类和回归问题。
它通过递归地将数据集划分成更纯的子集来构建决策树，每个内部节点表示一个 特征属性上的判断条件，每个分支代表一个可能的属性值，每个叶子节点表示一 个类别。
03
决策树例题分析
题目描述
题目
预测一个学生是否能够被大学录 取
数据集
包含学生的个人信息、成绩、活动 参与情况等
目标变量
是否被大学录取（0表示未录取，1 表示录取）
数据预处理
01
02
03
数据清洗
处理缺失值、异常值和重 复值
数据转换
将分类变量转换为虚拟变 量，将连续变量进行分箱 处理
数据归一化
将特征值缩放到0-1之间， 以便更好地进行模型训练
结果解读与优化建议
结果解读
根据模型输出的结果，分析决策树 的构建情况，理解各节点的划分依据。
优化建议
根据模型评估结果和业务需求，提出 针对性的优化建议，如调整特征选择、 调整模型参数等。
05
决策树与其他机器
学习算法的比 较
与逻辑回归的比较
总结词
逻辑回归适用于连续和二元分类问题，而决策树适用于多元分类问题。
建立决策树模型
选择合适的决策树算 法：ID3、C4.5、 CART等
构建决策树模型并进 行训练
确定决策树的深度和 分裂准则
模型评估与优化
使用准确率、召回率、F1分数等指标 评估模型性能
对模型进行优化：剪枝、调整参数等
进行交叉验证，评估模型的泛化能力
决策树例题分析及解答_(1)学习课件
X1=20公顷 X2=5.333公顷 X3=8公顷
优选
2
决策方案评价
在生产出16.5万公顷玉米的前提下，将获得 5.28万元的利润，在忙劳动力资源尚剩余680 个工日可用于其他产品生产。
优选
3
例：设某茶厂方案创立精制茶厂，开场有两个方案，方案 一是建年加工能力为800担的小厂，方案二是建年加工能 力为2000担的大厂。两个厂的使用期均为10年，大厂投 资25万元，小厂投资10万元。产品销路没有问题，原料来 源有两种可能(两种自然状态)：一种为800担，另一种为 2000担。两个方案每年损益及两种自然状态的概率估计值 见下表
优选
15
建小厂的方案在经济上是比较合理的
优选
16
• 例：随着茶叶生产的开展，三年后的原 料供给可望增加，两个行动方案每年损益及 两种自然状态的概率估计如表
三年后两种收益估计值
单位： 万元
优选
17
优选
18
各点效益值计算过程是：
点2：13.5×0.8×3＋172.9×0.8＋25.5×0.2×3＋ 206.5×0.2－25(投资)=202.3万元 点3：15×0.8×3＋105×0.8＋15×0.2×3＋105×0.2－ 10〔投资〕=140万元 点4：21.5×0.6×7年＋29.5×0.4×7年=172.9万元 点5：29.5×1.0×7=206.5 点6：15×0.6×7＋15×0.4×7=105万元 通过以上计算。可知建小厂的效益期望值为140万元，而 建大厂的效益期望值为202.3万元，所以应选择建大厂的 方案。
益损值 状态 方案
益损值 方案
状态
优选
26
平均主义决策〔折衷决策〕
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。
优选
2
决策方案评价
在生产出16.5万公顷玉米的前提下，将获得 5.28万元的利润，在忙劳动力资源尚剩余680 个工日可用于其他产品生产。
优选
3
例：设某茶厂方案创立精制茶厂，开场有两个方案，方案 一是建年加工能力为800担的小厂，方案二是建年加工能 力为2000担的大厂。两个厂的使用期均为10年，大厂投 资25万元，小厂投资10万元。产品销路没有问题，原料来 源有两种可能(两种自然状态)：一种为800担，另一种为 2000担。两个方案每年损益及两种自然状态的概率估计值 见下表
优选
15
建小厂的方案在经济上是比较合理的
优选
16
• 例：随着茶叶生产的开展，三年后的原 料供给可望增加，两个行动方案每年损益及 两种自然状态的概率估计如表
三年后两种收益估计值
单位： 万元
优选
17
优选
18
各点效益值计算过程是：
点2：13.5×0.8×3＋172.9×0.8＋25.5×0.2×3＋ 206.5×0.2－25(投资)=202.3万元 点3：15×0.8×3＋105×0.8＋15×0.2×3＋105×0.2－ 10〔投资〕=140万元 点4：21.5×0.6×7年＋29.5×0.4×7年=172.9万元 点5：29.5×1.0×7=206.5 点6：15×0.6×7＋15×0.4×7=105万元 通过以上计算。可知建小厂的效益期望值为140万元，而 建大厂的效益期望值为202.3万元，所以应选择建大厂的 方案。
益损值 状态 方案
益损值 方案
状态
优选
26
平均主义决策〔折衷决策〕
在悲观与乐观中取折中值，既不过于冒险， 也不过于保守，先确定折中系数a。