决策树分析及SPSS实现 PPT
合集下载
决策树分析方法ppt
全局最优
通过剪枝等技术来优化决 策树，以获得全局最优解 （最小损失函数值）。
决策树的预测原理
特征选择
使用训练好的决策树模型对新 的样本进行预测时，需要根据 模型中保存的特征选择规则进
行预测。
路径搜索
从根节点开始，根据模型中保存 的分裂准则和分裂点信息，沿着 树结构向下搜索，直到到达叶子 节点或无法继续分裂的节点。
CART算法步骤
划分数据集、对每个属性计算其划分能力、选择划分能力最大的属性、生成决策 节点、递归生成决策树。
随机森林算法
随机森林算法原理
基于多棵决策树的投票策略，通过训练多棵决策树，然后对 结果进行投票，以得到更加准确的结果。
随机森林算法步骤
数据集随机化、生成多棵决策树、对结果进行投票、选择票 数最多的结果作为输出。
01
02
03
04
总结词：差异对比、应用场景
线性回归是一种基于因变量和 一个或多个自变量之间关系的 预测模型，通常适用于连续目 标变量。
决策树是一种基于自上而下的 贪心搜索算法，将数据集划分 成若干个不相交的子集，每个 子集对应一个决策节点，从而 形成一棵树状结构。
在回归问题上，决策树不如线 性回归表现稳定，但在分类问 题上，决策树表现更优秀，可 以很好地处理非线性关系和异 常值。
C4.5算法
C4.5算法原理
在ID3算法的基础上，增加了剪枝、处理缺失值和连续属性等处理，以得到 更加准确的决策树。
C4.5算法步骤
计算各个属性的信息增益率、选择信息增益率最大的属性、生成决策节点、 递归生成决策树、剪枝处理。
CART算法
CART算法原理
基于二叉树的贪心策略，将数据集划分为两个子集，然后对每个子集递归生成决 策树。
决策树法ppt课件
返回
重点内容网络图
计划职能及程序
环境分析与问题
培
界定
养
：
计
创新与运筹
划
与
决策
决
策
能
力
计划职能实务
环境分析
管理问题界定 思维与创意 管理方案运筹 决策与分类 决策程序 定性决策方法 定量决策方法 目标制定 战略与政策
返回
计划编制
计划程序 SWOT法、五力法
价值链分析
基本模型
创造技法 时空与活动运筹 按重复程度分类 按确定程度分类
返回11
任务执行
某公司计划未来3年生产某种产品，需要确定 产品批量。根据预测估计，这种产品的市场状 况的概率是：畅销为0.2；一般为0.5；滞销为 0.3。现提出大、中、小三种批量的生产方案， 求取得最大经济效益的方案。
Glxjcx3-3.swf
决策树法
返回12
决策树法
决策树法的基本模型
返回
任务评价
定量决策方法 —决策树法
定量决策方法 —决策树法
教学目标 主要内容 重点内容网络图
2
学习目标
1．理解决策树法的涵义； 2．掌握决策树法的模型； 3．掌握决策树法的基本步骤。
1．能够运用决策树法计算方案中的损益值； 2．能够从备选方案中选择出最佳决策方案； 3．能够在实际生活中运用决策树法定量分析。
考评内容
考评 标准
决策树分析法训练
内容
分值 教师评价 （70%）
有较强的分析能力，分析过程准 30 确无误。
决策树画法准确、相关概念清楚 20 、解决问题思路清晰。
计算结果准确、结论正确
20
小组成员配合好、体现良好的团 15 队精神。
高中信息技术浙教版：决策树教学课件(共27张PPT)
第五步：使用Python库测试结果可视化
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
第一步：收集数 据
第三步：向Python导入 数据
第四步：使用Python库sklearn训练
第二步：分割数据
课堂小结
一、2017年度重点工作项目完成情况
1 决策树分类概念 2 构建决策树
3 举例说明：鸢尾花分类
备未用来：的深深度度学学习习：人工智能
展望与挑战
“温度”是多余的特点
如何判断某一天游客是否会来游乐场游玩？
天气、温度、湿度
2.4.1决策树分类概念
建立决策树的过程 选择一个属性值，基于这个属性对样本集进行划分，得到子集划分结果。
再选择其他属性，对得到的划分结果进行划分，直至最后所得划分结果中每 个样本为同一个类别。
2.4.2构建决策树
构建决策树来解决实际生活中的问题时，需按照一定的顺序选择划分属 性。通常，性能好的决策树随着划分不断进行，决策树分支节点的“纯度” 会越来越高，即其所包含样本尽可能属于相同类别。为了逐次选出最优属 性，可以采用信息增益(informationgain)这一指标。
2.4.2构建决策树
练一练： 1.计算表2.4.1中温度高低、湿度大小、风力强弱三个气象特点的信息增益。
思考： 将天气状况、温度高低、湿度大小、风力强弱作为分支点来构造图2.4.1决策
树时，是否信息增益大的气象特点离根节点越近?
【练一练】： 如下表所示，每朵鸢尾花有萼片长度、萼片宽度、花瓣长度、花瓣宽度四个
4个属性 1个标签 1 Label 4 Features 用来标记种类
序号 Index 0-149， 一共150个样本
基于鸢尾花数据集
例：鸢尾花数据集是常用的分类实验数据集，由Fisher1936收集整理。 Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含 150个数据样本，分为3类，每类50个数据，每个数据包含4个属性。可通 过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于 （Sentosa 0，Versicolor 1，Virginia 2）三个种类中的哪一类。
决策树分析及SPSS实现ppt课件
當然在醫療診斷上，一個錯誤的陰性診斷（negative）也許會比錯誤的陽 性診斷（positive）傷害更大。在進行癌症抹片檢查時，誤診為性也許只會帶 來更多的檢查，但誤診為陰性卻可能讓病情惡化。我們可以把問題列入考量， 以一個使用加權方式將錯誤分類的機率加倍的代價函數，來取代錯誤率。
38
C4.5
葉部的路徑來向這個目標走出第一步。下圖的決策 樹部分得出以下的規則：
•看球賽加上地主隊獲勝加上跟朋友出門，就會得出啤酒。 •看球賽加上地主隊獲勝加上待在家裡，就會得出健怡汽水。 •看球賽加上地主隊輸球加上跟朋友出門，就會得出啤酒。 •看球賽加上地主隊輸球加上待在家裡，就會得出牛奶。
12
13
決策樹的根部擴大成資料箱：
●資料箱的寬度可以有變化，以顯示一筆資料落 在特定箱中的相對可能性。
●這個圖形可以換成一個直條圖（histogram）， 每一個直條的高度顯示落在對應箱中的資料數 目。這類直條圖可以使用直條的頻色或形狀來 顯示對應規則的錯誤率。
●單一資料可以根據輸出變數的數值，用有色的 球形或點狀來代表。這樣可以立即顯示這套分 類系統的表現。
33
分類與迴歸樹（CART）
34
分類與迴歸樹（CART）
35
分類與迴歸樹（CART）
評估分支樹： 最後工作是從入選的分支樹中選出最能分類
新資料的決策樹。為達到此目的，我們使用第二 個預先分好的資料組，即『測試組資料』（test set）。測試組和訓練組來自同一群母體，但包含 的資料不同。入選分支樹中每一個都被用來分類 測試組資，得出最低的整體錯誤率的就是勝利者。
C4.5是最新出現的決策樹演算法的速成法， 是澳州研究者昆蘭（J. Ross Quinlan）多年努力成 果。與CART差異：
38
C4.5
葉部的路徑來向這個目標走出第一步。下圖的決策 樹部分得出以下的規則：
•看球賽加上地主隊獲勝加上跟朋友出門，就會得出啤酒。 •看球賽加上地主隊獲勝加上待在家裡，就會得出健怡汽水。 •看球賽加上地主隊輸球加上跟朋友出門，就會得出啤酒。 •看球賽加上地主隊輸球加上待在家裡，就會得出牛奶。
12
13
決策樹的根部擴大成資料箱：
●資料箱的寬度可以有變化，以顯示一筆資料落 在特定箱中的相對可能性。
●這個圖形可以換成一個直條圖（histogram）， 每一個直條的高度顯示落在對應箱中的資料數 目。這類直條圖可以使用直條的頻色或形狀來 顯示對應規則的錯誤率。
●單一資料可以根據輸出變數的數值，用有色的 球形或點狀來代表。這樣可以立即顯示這套分 類系統的表現。
33
分類與迴歸樹（CART）
34
分類與迴歸樹（CART）
35
分類與迴歸樹（CART）
評估分支樹： 最後工作是從入選的分支樹中選出最能分類
新資料的決策樹。為達到此目的，我們使用第二 個預先分好的資料組，即『測試組資料』（test set）。測試組和訓練組來自同一群母體，但包含 的資料不同。入選分支樹中每一個都被用來分類 測試組資，得出最低的整體錯誤率的就是勝利者。
C4.5是最新出現的決策樹演算法的速成法， 是澳州研究者昆蘭（J. Ross Quinlan）多年努力成 果。與CART差異：
决策树分析及SPSS实现
• 從根部到每一個葉部都有一套獨特的路 徑，這個路徑就是用來分類資料規則的一種 表達方式。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
•決策樹的多種形式:
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
•某些規則比其他規則好:
• 我們將一個決策樹應用在一個前所未 有的資料集合上，並觀察其分類正確的比率， 來衡量這個決策樹的有效程度。
• 在遊戲中，第一個問題的答案決定了下 一個問題。如果謹慎選擇問題，只要短短幾次 詢問就可以將後來的資料正確分類。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 以『二十個問題』的方法顯示樂器的分類。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 一筆資料從根部的節點進入決策樹。在 根部，應用一項測驗來決定這筆資料該進入 下一層的哪一個子節點（child node）。選擇 一開始的測驗有不同的演算法，但目的都是 一樣的：這個過程一再重複，直到資料到達 葉部節點（leaf node）。
• 對決策樹的每一個節點，我們可以如 此衡量：
•●進入這個節點的資料數目。 •●如果是一個葉部節點，可觀察資料分類的方式。 •●這個節點將資料正確分類的比率。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 藉由將資料分到正確類別的情況，我們可以 驗證出建構決策樹的最佳演算法。第四章中的 電影迷資料庫。受測者被要求回答他們的年齡， 性別，最常看的電影，以及最近看過的電影片 名。然後我們使用決策樹程式來創造規則，以 受測者在問卷中其他問題的答案來找出該名受 測者的性別。
place 4 2 2 1 1 1 1 2 3 1 2
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
•決策樹的多種形式:
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
•某些規則比其他規則好:
• 我們將一個決策樹應用在一個前所未 有的資料集合上，並觀察其分類正確的比率， 來衡量這個決策樹的有效程度。
• 在遊戲中，第一個問題的答案決定了下 一個問題。如果謹慎選擇問題，只要短短幾次 詢問就可以將後來的資料正確分類。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 以『二十個問題』的方法顯示樂器的分類。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 一筆資料從根部的節點進入決策樹。在 根部，應用一項測驗來決定這筆資料該進入 下一層的哪一個子節點（child node）。選擇 一開始的測驗有不同的演算法，但目的都是 一樣的：這個過程一再重複，直到資料到達 葉部節點（leaf node）。
• 對決策樹的每一個節點，我們可以如 此衡量：
•●進入這個節點的資料數目。 •●如果是一個葉部節點，可觀察資料分類的方式。 •●這個節點將資料正確分類的比率。
PPT文档演模板
决策树分析及SPSS实现
決策樹基本觀念
• 藉由將資料分到正確類別的情況，我們可以 驗證出建構決策樹的最佳演算法。第四章中的 電影迷資料庫。受測者被要求回答他們的年齡， 性別，最常看的電影，以及最近看過的電影片 名。然後我們使用決策樹程式來創造規則，以 受測者在問卷中其他問題的答案來找出該名受 測者的性別。
place 4 2 2 1 1 1 1 2 3 1 2
决策树ppt课件
决策树在分类问题中应用
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
分类问题背景介绍
分类问题是机器学习中一类重要 的问题，旨在将数据划分为不同
的类别。
在现实世界中，分类问题广泛存 在，如垃圾邮件识别、疾病诊断、
信用评分等。
分类算法的目标是通过学习训练 数据中的特征与类别之间的关系， 从而对新的未知数据进行类别预
测。
决策树在分类问题中优势
直观易理解
决策树在处理缺失值和异常值时容易受到干扰，可能导致模型性能下降。可以通过数据 预处理等方法减少缺失值和异常值对模型的影响。
CART算法实例演示
实例背景
假设有一个关于信用卡欺诈的数据集，包含多个特征（如交 易金额、交易时间、交易地点等）和一个目标变量（是否欺 诈）。我们将使用CART算法构建一个分类模型来预测交易 是否属于欺诈行为。
构建决策树时间较长
C4.5算法在构建决策树时需要计算每 个特征的信息增益比，当数据集较大 或特征较多时，构建决策树的时间可 能会较长。
C4.5算法实例演示
数据集介绍
以经典的鸢尾花数据集为例，该数据集包含150个 样本，每个样本有4个特征（花萼长度、花萼宽度、 花瓣长度、花瓣宽度）和1个标签（鸢尾花的类 别）。
建造年份等特征。
选择合适的决策树算法 （如CART、ID3等），
对数据进行训练。
模型评估与优化
采用均方误差等指标评 估模型性能，通过调整 参数、集成学习等方法
优化模型。
结果展示与解读
展示决策树图形化结果， 解释每个节点含义及预
测逻辑。
08
CATALOGUE
总结与展望
决策树模型总结回顾
模型原理
决策树通过递归方式将数据集划分为若干个子集，每个子 集对应一个决策结果。通过构建树形结构，实现分类或回 归任务。
决策树分析及SPSS实现
业务应用
将决策树模型应用于实际业务场景，进行预 测或分类。
CHAPTER 05
案例分析：基于SPSS的决策 树应用
案例背景及数据介绍
案例背景
某电商公司希望通过分析用户行为数据，预测用户是否会在未来一周内购买商品，以便进行精准营销 。
数据介绍
数据集包含用户的浏览历史、购买历史、搜索关键词、点击率等信息，以及一个目标变量——用户是 否在未来一周内购买商品（是/否）。
等）。
优化方法
针对决策树模型可能出现的过拟合问题，可以采用一些优化方法进行改进。常用的优化 方法包括剪枝（如预剪枝和后剪枝）、调整模型参数（如最大深度、最小叶子节点样本 数等）以及集成学习方法（如随机森林、梯度提升决策树等）。这些方法可以降低模型
的复杂度，提高模型的泛化能力。
模型评估与验证方法
模型评估
使用训练好的决策树模型对测试数据集 进行预测，并计算相应的评估指标来评 价模型的性能。常用的评估指标包括准 确率、精确率、召回率、F1分数等。这 些指标可以帮助我们了解模型在未见过 的数据上的表现如何，以及模型是否存 在过拟合或欠拟合等问题。
VS
验证方法
为了确保模型评估结果的可靠性和稳定性 ，可以采用交叉验证等方法对模型进行评 估。交叉验证将原始数据集划分为多个子 集，每次使用其中一个子集作为测试集， 其余子集作为训练集进行模型训练和评估 。通过多次重复这个过程并计算平均评估 指标，可以得到更准确的模型性能估计。
02
数据清洗
对数据进行检查、筛选和处理， 以消除错误、异常值和重复数据
。
04
数据缩减
通过降维技术如主成分分析（ PCA）等方法简化数据结构，减
少变量数量。
CHAPTER 03
将决策树模型应用于实际业务场景，进行预 测或分类。
CHAPTER 05
案例分析：基于SPSS的决策 树应用
案例背景及数据介绍
案例背景
某电商公司希望通过分析用户行为数据，预测用户是否会在未来一周内购买商品，以便进行精准营销 。
数据介绍
数据集包含用户的浏览历史、购买历史、搜索关键词、点击率等信息，以及一个目标变量——用户是 否在未来一周内购买商品（是/否）。
等）。
优化方法
针对决策树模型可能出现的过拟合问题，可以采用一些优化方法进行改进。常用的优化 方法包括剪枝（如预剪枝和后剪枝）、调整模型参数（如最大深度、最小叶子节点样本 数等）以及集成学习方法（如随机森林、梯度提升决策树等）。这些方法可以降低模型
的复杂度，提高模型的泛化能力。
模型评估与验证方法
模型评估
使用训练好的决策树模型对测试数据集 进行预测，并计算相应的评估指标来评 价模型的性能。常用的评估指标包括准 确率、精确率、召回率、F1分数等。这 些指标可以帮助我们了解模型在未见过 的数据上的表现如何，以及模型是否存 在过拟合或欠拟合等问题。
VS
验证方法
为了确保模型评估结果的可靠性和稳定性 ，可以采用交叉验证等方法对模型进行评 估。交叉验证将原始数据集划分为多个子 集，每次使用其中一个子集作为测试集， 其余子集作为训练集进行模型训练和评估 。通过多次重复这个过程并计算平均评估 指标，可以得到更准确的模型性能估计。
02
数据清洗
对数据进行检查、筛选和处理， 以消除错误、异常值和重复数据
。
04
数据缩减
通过降维技术如主成分分析（ PCA）等方法简化数据结构，减
少变量数量。
CHAPTER 03
决策树法专题教育课件
易于通过静态测试来对模型进行评测， 可以测定模型可信度；如果给定一个观 察的模型，那么根据所产生的决策树很 容易推出相应的逻辑表达式。
小结
1)对连续性的字段比较难预测。
2)对有时间顺序的数据，需要很多 预处理的工作。
3)当类别太多时，错误可能就会增 加的比较快。
4)一般的算法分类的时候，只是根 据一个字段来分类。
决策树旳简介
决策树(Decision Tree）是在已知多种情况发生 概率旳基础上，经过构成决策树来求取净现值旳期 望值不小于等于零旳概率，评价项目风险，判断其 可行性旳决策分析措施，是直观利用概率分析旳一 种图解法。因为这种决策分支画成图形很像一棵树 旳枝干，故称决策树。
决策树旳构造
• 决策树是以实例为基础旳归纳学习算法。它从一组 无顺序、无规则旳元组中推理出决策树表达形式旳 分类规则；
小结
决策树易于理解和实现，人们在在学习 过程中不需要使用者了解很多的背景知 识，这同时是它的能够直接体现数据的 特点，只要通过解释后都有能力去理解 决策树所表达的意义。
对于决策树，数据的准备往往是简单或 者是不必要的，而且能够同时处理数据 型和常规型属性，在相对短的时间内能 够对大型数据源做出可行且效果良好的 结果。
点
决策者在这里对各
行动方案进行选择.
方案枝：由决策点引出旳代
表行动方案旳线段.
机会点：方案枝末端旳圆.
状态枝：由机会点引出旳代
表可能发生旳状态
旳线段.
后果点：状态枝末端旳三角
形.
决策树旳一般表达：
d1 d2
d3
P(h1) P(h2) P(h1) P(h2) P(h1) P(h2)
l(d1,h1)
l(d1,h2) l(h2)
小结
1)对连续性的字段比较难预测。
2)对有时间顺序的数据，需要很多 预处理的工作。
3)当类别太多时，错误可能就会增 加的比较快。
4)一般的算法分类的时候，只是根 据一个字段来分类。
决策树旳简介
决策树(Decision Tree）是在已知多种情况发生 概率旳基础上，经过构成决策树来求取净现值旳期 望值不小于等于零旳概率，评价项目风险，判断其 可行性旳决策分析措施，是直观利用概率分析旳一 种图解法。因为这种决策分支画成图形很像一棵树 旳枝干，故称决策树。
决策树旳构造
• 决策树是以实例为基础旳归纳学习算法。它从一组 无顺序、无规则旳元组中推理出决策树表达形式旳 分类规则；
小结
决策树易于理解和实现，人们在在学习 过程中不需要使用者了解很多的背景知 识，这同时是它的能够直接体现数据的 特点，只要通过解释后都有能力去理解 决策树所表达的意义。
对于决策树，数据的准备往往是简单或 者是不必要的，而且能够同时处理数据 型和常规型属性，在相对短的时间内能 够对大型数据源做出可行且效果良好的 结果。
点
决策者在这里对各
行动方案进行选择.
方案枝：由决策点引出旳代
表行动方案旳线段.
机会点：方案枝末端旳圆.
状态枝：由机会点引出旳代
表可能发生旳状态
旳线段.
后果点：状态枝末端旳三角
形.
决策树旳一般表达：
d1 d2
d3
P(h1) P(h2) P(h1) P(h2) P(h1) P(h2)
l(d1,h1)
l(d1,h2) l(h2)
决策树例题分析及解答分解课件
决策树例题分析及解 答分解课件
目录
CONTENTS
• 决策树与其他机器学习算法的比 • 决策树未来发展方向
01
决策树简 介
决策树的定义
决策树是一种监督学习算法，用于解决分类和回归问题。
它通过递归地将数据集划分成更纯的子集来构建决策树，每个内部节点表示一个 特征属性上的判断条件，每个分支代表一个可能的属性值，每个叶子节点表示一 个类别。
03
决策树例题分析
题目描述
题目
预测一个学生是否能够被大学录 取
数据集
包含学生的个人信息、成绩、活动 参与情况等
目标变量
是否被大学录取（0表示未录取，1 表示录取）
数据预处理
01
02
03
数据清洗
处理缺失值、异常值和重 复值
数据转换
将分类变量转换为虚拟变 量，将连续变量进行分箱 处理
数据归一化
将特征值缩放到0-1之间， 以便更好地进行模型训练
结果解读与优化建议
结果解读
根据模型输出的结果，分析决策树 的构建情况，理解各节点的划分依据。
优化建议
根据模型评估结果和业务需求，提出 针对性的优化建议，如调整特征选择、 调整模型参数等。
05
决策树与其他机器
学习算法的比 较
与逻辑回归的比较
总结词
逻辑回归适用于连续和二元分类问题，而决策树适用于多元分类问题。
建立决策树模型
选择合适的决策树算 法：ID3、C4.5、 CART等
构建决策树模型并进 行训练
确定决策树的深度和 分裂准则
模型评估与优化
使用准确率、召回率、F1分数等指标 评估模型性能
对模型进行优化：剪枝、调整参数等
进行交叉验证，评估模型的泛化能力
目录
CONTENTS
• 决策树与其他机器学习算法的比 • 决策树未来发展方向
01
决策树简 介
决策树的定义
决策树是一种监督学习算法，用于解决分类和回归问题。
它通过递归地将数据集划分成更纯的子集来构建决策树，每个内部节点表示一个 特征属性上的判断条件，每个分支代表一个可能的属性值，每个叶子节点表示一 个类别。
03
决策树例题分析
题目描述
题目
预测一个学生是否能够被大学录 取
数据集
包含学生的个人信息、成绩、活动 参与情况等
目标变量
是否被大学录取（0表示未录取，1 表示录取）
数据预处理
01
02
03
数据清洗
处理缺失值、异常值和重 复值
数据转换
将分类变量转换为虚拟变 量，将连续变量进行分箱 处理
数据归一化
将特征值缩放到0-1之间， 以便更好地进行模型训练
结果解读与优化建议
结果解读
根据模型输出的结果，分析决策树 的构建情况，理解各节点的划分依据。
优化建议
根据模型评估结果和业务需求，提出 针对性的优化建议，如调整特征选择、 调整模型参数等。
05
决策树与其他机器
学习算法的比 较
与逻辑回归的比较
总结词
逻辑回归适用于连续和二元分类问题，而决策树适用于多元分类问题。
建立决策树模型
选择合适的决策树算 法：ID3、C4.5、 CART等
构建决策树模型并进 行训练
确定决策树的深度和 分裂准则
模型评估与优化
使用准确率、召回率、F1分数等指标 评估模型性能
对模型进行优化：剪枝、调整参数等
进行交叉验证，评估模型的泛化能力
数据分类-决策树(PPT 71页)
no fair no excellent no fair no fair yes fair yes excellent yes excellent no fair yes fair yes fair yes excellent no excellent yes fair no excellent
属性
G a in (A ) I n fo (D ) I n fo A (D )
信息增益例子
类 P: buys_computer = “yes” 类 N: buys_computer = “no”
5
4
Infoage(D)
14
I(2,3)
14
I(4,0)
In fo (D ) 1 9 4 lo g 2 (1 9 4 ) 1 5 4 lo g 2 (1 5 4 ) 0 .9 4 0
16
分类的评价准则-约定和假设
给定测试集 X test {( xi , yi ) | i 1,2, , N }, 其中 N 表示测试集中的样本个 数； xi表示测试集中的数据样 本； yi表示数据样本 xi的类标号； 假设分类问题含有 m 个类别，则 yi {c1, c2 , , cm } 对于测试集的第 j个类别，设定： 被正确分类的样本数量 是 TP j 被错误分类的样本数量 是 FN j 其他类别被错误分类为 该类的样本数量是 FP j
适合的描述属性作为分支属性 ▪ 并根据该属性的不同取值向下建立分支
26
决策树示例-购买保险
A1-公司职员
否 否 否 否 是 是 是 否 是 是 是 否 是 否
A2-年龄
<=40 <=40 41~50 >50 >50 >50 41~50 <=40 <=40 >50 <=40 41~50 41~50 >50
决策树例题分析ppt课件
例 ： 设某茶厂计划创建精制茶厂，开始有两个方案，方案 一是建年加工能力为800担的小厂，方案二是建年加工能 力为2000担的大厂。两个厂的使用期均为10年，大厂投 资25万元，小厂投资10万元。产品销路没有问题，原料来 源有两种可能(两种自然状态)：一种为800担，另一种为 2000担。两个方案每年损益及两种自然状态的概率估计值 见下表
最新版整理ppt
3
状态节点
2 方案分枝
1 决策结点
方案分枝
3
状态节点
概率分枝 4 结果节点
概率分枝 5 结果节点
概率分枝 6
结果节点
概率分枝 7
结果节点
最新版整理ppt
4
• 应用决策树来作决策的过程，是从右向 左逐步后退进行分析。根据右端的损益
值和概率枝的概率，计算出期望值的大
小，确定方案的期望结果，然后根据不 同方案的期望结果作出选择。
最新版整理ppt
2
补充： 风险型决策方法——决策树方法
• 风险决策问题的直观表示方法的图示法。因为图的形状 像树，所以被称为决策树。
• 决策树的结构如下图所示。图中的方块代表决策节点， 从它引出的分枝叫方案分枝。每条分枝代表一个方案， 分枝数就是可能的相当方案数。圆圈代表方案的节点， 从它引出的概率分枝，每条概率分枝上标明了自然状态 及其发生的概率。概率分枝数反映了该方案面对的可能 的状态数。末端的三角形叫结果点，注有各方案在相应 状态下的结果值。
最新版整理ppt
7
决策过程如下:画图，即绘制决策树
• A1的净收益值=[300×0.7+（-60）×0.3] ×5-450=510 万
• A2的净收益值=（120×0.7+30×0.3）×5-240=225万
决策树(完整)ppt课件
Gain(D,密度,0.381)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)
是7 否
Ent(D)[147Ent(Dt)1173Ent(Dt)]
是8
0.263
;.
28
与离散属性不同，若当前结 点划分属性为连续属性，该连续属 性还可被再次选作后代结点的最优 划分属性。
选择“纹理”作为根结点划分属性
;.
29
现实任务中，尤其在属性数目较多时，存在大量样本出现缺失值。 出于成本和隐私的考虑
;.
30
1. 属性值缺失时，如何进行划分属性选择？（如何计算信息增益） 2. 给定划分属性，若样本在该属性上的值缺失，如何对样本进行划分？
（对于缺失属性值的样本如何将它从父结点划分到子结点中）
D : D : 训练集
训练集中在属性a上没有缺失值的样本子集
D D v :
被属性a划分后的样本子集
D D k :
{8}和{10}同时进入三个分支中，权值分别为：
7,5,3 15 15 15
;.
36
每个属性
~
d个属性描述的样本
~
对样本分类
~
坐标空间中的一个坐标轴 d维空间中的一个数据点 在坐标空间中寻找不同类样本之间的分类边界
决策树形成的分类边界的明显特点：轴平行，分类边界由若干个与坐标轴平行的分段组 成。
优点：学习结果解释性强，每个划分都对应一个属性取值
;.
1
第4章 决策树
根据训练数据是否拥有标记信息
学习任务
监督学习(supervised learning)
无监督学习(unsupervised learning)
半监督学习(semi-supervised learning)
强化学习(reinforcement learning)
机器学习之决策树学习ppt课件
23
信息增益（1）
• 上式中第二项的值应该越小越好，因为越小说明S相对于 属性A作分解以后而造成的熵下降越快（根据前面的解释， 熵下降越快就是不确定性减少越快），换句话说
Gain(S,A)越大越好
• 决策树建树算法的要点是——在构造决策树的每一层次
时，从尚未检测的属性中选择信息增益Gain(S,A)大的属
c
Entropy(S ) pi log 2 ( pi ) i 1
20
熵和决策树（4）
• 熵值计算举例：
例如：“PlayTennis”中S是一个关于某布尔概念的14个 样例的集合，包括9个正例和5个反例[9+，5-]。那么S 相对于这个布尔分类的熵为：训练数据集
Entropy([9,5]) (9 /14) log2 (9 /14) 5 /14 log2 (5 /14) 0.940
2
决策树学习示例
• 例子：星期六上午是否适合打网球
–属性={outlook，Temperature, humidity，wind} –属性值={sunny, overcast, rain, hot, mild, cool,
high, normal, strong, weak}
3
决策树学习示例——训练样例
S:[9+, 5] E=0.940
wind weak strong
[6+, 2] [3+, 3] E=0.811 E=1.00 Gain(S,Wind)
=0.940(8/14)0.811(6/14)1.0
–信息增益
Gain(S ,Wind )
Entropy(S)
v{weak , strong }
–熵刻画了任意样例集的纯度 –给定包含关于某个目标概念的正反样例的样例集S，那
决策树课件PPT精品文档61页
Clementine的决策树
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
主要内容
决策树算法概述 从学习角度看，决策树属有指导学习算法 目标：用于分类和回归
C5.0算法及应用 分类回归树及应用 CHAID算法及应用 QUEST算法及应用 模型的对比分析
决策树算法概述：基本概念
得名其分析结论的展示方式类似一棵倒置的树
C5.0算法：熵
例如：二元信道模型
P(u1|v1) P(u1|v2)
P P((u u2 2||vv12))P P 1 12 1P P 2 21 2
C5.0算法：熵
先验不确定性：通信发生前，信宿对信源的状态具 有不确定性
后验不确定性：通信发生后，信宿收到发自信源的 信息，先验不确定性部分被消除，信宿对信源仍有 一定程度的不确定性 后验不确定性等于先验不确定性，表示信宿没有 收到信息； 后验不确定性等于零，表示信宿收到了全部信息 信息是用来消除随机不确定性的，信息量的大小 可由所消除的不确定性大小来计量
C5.0算法：熵
信息熵是信息论(C.E.Shannon,1948)中的基本概 念。信息论主要用于解决信息传递过程中的问题 ，也称统计通信理论
信息论的基本出发点认为：
信息传递通过由信源、信道和信宿组成的传递 系统实现
信源(发送端) 信道
信宿(接收端)
C5.0算法：熵
信息论的基本出发点认为： 传递系统存在于一个随机干扰环境之中 将发送的信息记为U，接收的信息记为V，那么 信道可看作为信道模型，记为P(U|V)
决策树算法概述：核心问题
第一，决策树的生长 利用训练样本集完成决策树的建立过程
第二，决策树的剪枝 利用测试样本集对所形成的决策树进行精简
决策树算法概述：树生长
第四章-决策树PPT课件
34
可解释性
➢ 决策边界是平行坐标轴的 ➢ 对于过于复杂的问题，会导致很多小的划分
35
总结
优点
生成可理解的规则
分类时计算代价很小
能够选出对分类比较重要的属性
对长方形分布的样本处理很好
缺点
+++----------------+++----------------+++--------+++-------- ++++++++---++++++++------++++++++------+++++++++++++++----+++----++++----+++----+++++++----++++
纹理(15个样本) :{1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13, 14, 15, 16, 17} 稍糊(5个样本): {7,9,13,14,17} 清晰(7个样本): {1,2,3,4,5,6,15} 模糊(3个样本): {11,12,16} 缺失纹理属性取值的样本：{8,10}
• Wikipedia page for decision tree: /wiki/Decision_tree_learning
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一個決策樹創造一系列盒子或箱子，我們可 以將資料丟進去。任何樹狀圖的葉部節點形成一 個一維式箱形圖。和決策樹根部節點有關的測試 將下層分成兩個或更多部分。
決策樹基本觀念
決策樹基本觀念
決策樹的根部擴大成資料箱： ●資料箱的寬度可以有變化，以顯示一筆資料落
在特定箱中的相對可能性。 ●這個圖形可以換成一個直條圖（histogram），
分類與迴歸樹（CART）找出起始的分隔 : 源自好的分隔變數是能夠降低一個資料組的
分散度，而且降得最多。換言之，我們希望以 下這個式子最大化：
分散度（分隔前）－﹝分散度（分隔後左邊子集 合）＋分散度（分隔後右邊子集合）﹞
三分種分散度衡量法： • min{P(c1), P(c2) } • 2P(c1)P(c2 ) •〔P(c1)logP (c1)〕+〔P(c2)logP (c2)〕
下表顯示這個節點共有11筆資料被歸類其下， 其中九個是正確的（女性），還有兩個男性被 誤分到這裡。換言之，這項規則的錯誤率為 0.182
決策樹基本觀念
決策樹基本觀念
決策樹基本觀念
決策樹創造資料箱: 雖然樹狀圖和『二十個問題』類推法有助於
呈現決策樹方法的某些特質，但作者發現，在某 些情況下，基於不同表現方式的箱形圖（box diagram）更加清楚明白。
決策樹基本觀念
分類與迴歸樹（CART）
分類與迴歸樹（Classification And Regression Tree， CART）CART演算法是建構決策樹時最常用的 演算法之一。自從１９８４年布里曼（L. Brieman）與其同僚發表這種方法以來，就一直 機械學習實驗的要素。
分類與迴歸樹（CART）
對決策樹的每一個節點，我們可以如此 衡量：
●進入這個節點的資料數目。 ●如果是一個葉部節點，可觀察資料分類的方式。 ●這個節點將資料正確分類的比率。
決策樹基本觀念
藉由將資料分到正確類別的情況，我們可以 驗證出建構決策樹的最佳演算法。第四章中的 電影迷資料庫。受測者被要求回答他們的年齡， 性別，最常看的電影，以及最近看過的電影片 名。然後我們使用決策樹程式來創造規則，以 受測者在問卷中其他問題的答案來找出該名受 測者的性別。
從根部到每一個葉部都有一套獨特的路 徑，這個路徑就是用來分類資料規則的一種 表達方式。
決策樹基本觀念
決策樹的多種形式:
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交
決策樹基本觀念
某些規則比其他規則好: 我們將一個決策樹應用在一個前所未有
的資料集合上，並觀察其分類正確的比率， 來衡量這個決策樹的有效程度。
在本章中，我們先介紹決策樹運作的方式 及其如何應用在分類和預測問題。隨後我們進 一步介紹如何以CART、C4.5和CHAID演算法 建構決策樹。
決策樹基本觀念
決策樹如何運作:
『二十個問題』（Twenty Questions）這個 遊戲，一定可以輕易了解決策樹將資料分類的 方式。在遊戲中，一個玩家先想好所有參加者 都有知道的一個特定地點，人物或事物，其他 玩家藉著提出一堆『是或不是』的問題，來找 出答案。一個決策樹代表一系列這類問題。
決策樹基本觀念
決策樹基本觀念
這是一種基本上的差異：當一筆資料有多種非常不 同的方法使其成為目標類別的一部份時，使用單一線 條來找出類別間界線的統計方法效力會很弱。例如， 在信用卡產業，很多種持卡人都讓發卡根行有利可圖。 某些持卡人每次繳款的金額不高，但他們欠繳金額很 高時，卻又不會超過額度;還有一種持卡人每月都繳 清帳款，但他們交易金額很高，因此發卡銀行還是可 以賺到錢。這兩種非常不同的持卡人可能為發卡銀行 帶來同樣多的收益。在下圖中，我們將顥示在這種分 類問題上，決策樹超越純粹統計方法的優點。
分類與迴歸樹（CART）
numbers
分類與迴歸樹（CART）
找出起始的分隔 : 在過程中的一開始，我們有一個預先分類
好的訓練和資料。預先分類意味輸出變數，或 稱依變數，具備一個己知的類別。CART藉著 一個單一輸入變數函數，在每一個節點分隔資 料，以建構一個二分式決策樹。因此，第一的 任務是決定哪一個自變數可以成最好的分隔變 數。最好分隔的定義是能夠將資料最完善的分 配到一個單一類別支配的群體。
分類與迴歸樹（CART）
找出起始的分隔 : 用來評估一個分隔數的衡量標準是分散度
（diversity）。對於一組資料的『分散度指標』 （index of diversity）有多種計算方式。不論哪 一種，分散度指標很高，表示這個組合中包含 平均分配到多個類別，而分散度指標很低則表 示一個單一類別的成員居優勢。
每一個直條的高度顯示落在對應箱中的資料數 目。這類直條圖可以使用直條的頻色或形狀來 顯示對應規則的錯誤率。 ●單一資料可以根據輸出變數的數值，用有色的 球形或點狀來代表。這樣可以立即顯示這套分 類系統的表現。
決策樹基本觀念
決策樹基本觀念
表現多維度: 當我們將資料丟進格子中，它們落到特定的
層內並以此分類。一個層形圖讓我們一目了然的 見到數層資料的細節。在下圖，我們可以一眼看 出左下的格子清一色都是男性。仔細的看，我們 可以發現某些層在分類上表現很好，或是聚集了 大量資料。這和線性，邏輯性或二次差分等傳統 的統計分類方法試圖在資料空間中劃上一條直線 或弧線將資料分層的方式大不相同。
在遊戲中，第一個問題的答案決定了下一 個問題。如果謹慎選擇問題，只要短短幾次詢 問就可以將後來的資料正確分類。
決策樹基本觀念
以『二十個問題』的方法顯示樂器的分類。
決策樹基本觀念
一筆資料從根部的節點進入決策樹。在 根部，應用一項測驗來決定這筆資料該進入 下一層的哪一個子節點（child node）。選擇 一開始的測驗有不同的演算法，但目的都是 一樣的：這個過程一再重複，直到資料到達 葉部節點（leaf node）。
决策树分析及SPSS实现
決策樹分析
簡介 決策樹基本觀念 三種研究方法 其他決策樹的變化 決策樹的優、缺點
簡介
決策樹是功能強大且相當受歡迎的分類和 預測工具。這項以樹狀圖為基礎的方法，其吸 引人之處在於決策樹具有規則，和類神經網路 不同。規則可以用文字來表達，讓人類了解， 或是轉化為SQL之類的資料庫語言，讓落在特 定類別的資料紀錄可以被搜尋。
決策樹基本觀念
決策樹基本觀念
決策樹的根部擴大成資料箱： ●資料箱的寬度可以有變化，以顯示一筆資料落
在特定箱中的相對可能性。 ●這個圖形可以換成一個直條圖（histogram），
分類與迴歸樹（CART）找出起始的分隔 : 源自好的分隔變數是能夠降低一個資料組的
分散度，而且降得最多。換言之，我們希望以 下這個式子最大化：
分散度（分隔前）－﹝分散度（分隔後左邊子集 合）＋分散度（分隔後右邊子集合）﹞
三分種分散度衡量法： • min{P(c1), P(c2) } • 2P(c1)P(c2 ) •〔P(c1)logP (c1)〕+〔P(c2)logP (c2)〕
下表顯示這個節點共有11筆資料被歸類其下， 其中九個是正確的（女性），還有兩個男性被 誤分到這裡。換言之，這項規則的錯誤率為 0.182
決策樹基本觀念
決策樹基本觀念
決策樹基本觀念
決策樹創造資料箱: 雖然樹狀圖和『二十個問題』類推法有助於
呈現決策樹方法的某些特質，但作者發現，在某 些情況下，基於不同表現方式的箱形圖（box diagram）更加清楚明白。
決策樹基本觀念
分類與迴歸樹（CART）
分類與迴歸樹（Classification And Regression Tree， CART）CART演算法是建構決策樹時最常用的 演算法之一。自從１９８４年布里曼（L. Brieman）與其同僚發表這種方法以來，就一直 機械學習實驗的要素。
分類與迴歸樹（CART）
對決策樹的每一個節點，我們可以如此 衡量：
●進入這個節點的資料數目。 ●如果是一個葉部節點，可觀察資料分類的方式。 ●這個節點將資料正確分類的比率。
決策樹基本觀念
藉由將資料分到正確類別的情況，我們可以 驗證出建構決策樹的最佳演算法。第四章中的 電影迷資料庫。受測者被要求回答他們的年齡， 性別，最常看的電影，以及最近看過的電影片 名。然後我們使用決策樹程式來創造規則，以 受測者在問卷中其他問題的答案來找出該名受 測者的性別。
從根部到每一個葉部都有一套獨特的路 徑，這個路徑就是用來分類資料規則的一種 表達方式。
決策樹基本觀念
決策樹的多種形式:
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交
決策樹基本觀念
某些規則比其他規則好: 我們將一個決策樹應用在一個前所未有
的資料集合上，並觀察其分類正確的比率， 來衡量這個決策樹的有效程度。
在本章中，我們先介紹決策樹運作的方式 及其如何應用在分類和預測問題。隨後我們進 一步介紹如何以CART、C4.5和CHAID演算法 建構決策樹。
決策樹基本觀念
決策樹如何運作:
『二十個問題』（Twenty Questions）這個 遊戲，一定可以輕易了解決策樹將資料分類的 方式。在遊戲中，一個玩家先想好所有參加者 都有知道的一個特定地點，人物或事物，其他 玩家藉著提出一堆『是或不是』的問題，來找 出答案。一個決策樹代表一系列這類問題。
決策樹基本觀念
決策樹基本觀念
這是一種基本上的差異：當一筆資料有多種非常不 同的方法使其成為目標類別的一部份時，使用單一線 條來找出類別間界線的統計方法效力會很弱。例如， 在信用卡產業，很多種持卡人都讓發卡根行有利可圖。 某些持卡人每次繳款的金額不高，但他們欠繳金額很 高時，卻又不會超過額度;還有一種持卡人每月都繳 清帳款，但他們交易金額很高，因此發卡銀行還是可 以賺到錢。這兩種非常不同的持卡人可能為發卡銀行 帶來同樣多的收益。在下圖中，我們將顥示在這種分 類問題上，決策樹超越純粹統計方法的優點。
分類與迴歸樹（CART）
numbers
分類與迴歸樹（CART）
找出起始的分隔 : 在過程中的一開始，我們有一個預先分類
好的訓練和資料。預先分類意味輸出變數，或 稱依變數，具備一個己知的類別。CART藉著 一個單一輸入變數函數，在每一個節點分隔資 料，以建構一個二分式決策樹。因此，第一的 任務是決定哪一個自變數可以成最好的分隔變 數。最好分隔的定義是能夠將資料最完善的分 配到一個單一類別支配的群體。
分類與迴歸樹（CART）
找出起始的分隔 : 用來評估一個分隔數的衡量標準是分散度
（diversity）。對於一組資料的『分散度指標』 （index of diversity）有多種計算方式。不論哪 一種，分散度指標很高，表示這個組合中包含 平均分配到多個類別，而分散度指標很低則表 示一個單一類別的成員居優勢。
每一個直條的高度顯示落在對應箱中的資料數 目。這類直條圖可以使用直條的頻色或形狀來 顯示對應規則的錯誤率。 ●單一資料可以根據輸出變數的數值，用有色的 球形或點狀來代表。這樣可以立即顯示這套分 類系統的表現。
決策樹基本觀念
決策樹基本觀念
表現多維度: 當我們將資料丟進格子中，它們落到特定的
層內並以此分類。一個層形圖讓我們一目了然的 見到數層資料的細節。在下圖，我們可以一眼看 出左下的格子清一色都是男性。仔細的看，我們 可以發現某些層在分類上表現很好，或是聚集了 大量資料。這和線性，邏輯性或二次差分等傳統 的統計分類方法試圖在資料空間中劃上一條直線 或弧線將資料分層的方式大不相同。
在遊戲中，第一個問題的答案決定了下一 個問題。如果謹慎選擇問題，只要短短幾次詢 問就可以將後來的資料正確分類。
決策樹基本觀念
以『二十個問題』的方法顯示樂器的分類。
決策樹基本觀念
一筆資料從根部的節點進入決策樹。在 根部，應用一項測驗來決定這筆資料該進入 下一層的哪一個子節點（child node）。選擇 一開始的測驗有不同的演算法，但目的都是 一樣的：這個過程一再重複，直到資料到達 葉部節點（leaf node）。
决策树分析及SPSS实现
決策樹分析
簡介 決策樹基本觀念 三種研究方法 其他決策樹的變化 決策樹的優、缺點
簡介
決策樹是功能強大且相當受歡迎的分類和 預測工具。這項以樹狀圖為基礎的方法，其吸 引人之處在於決策樹具有規則，和類神經網路 不同。規則可以用文字來表達，讓人類了解， 或是轉化為SQL之類的資料庫語言，讓落在特 定類別的資料紀錄可以被搜尋。