完整word版,决策树算法总结
决策树很详细的算法介绍
决策树很详细的算法介绍决策树（Decision Tree）是一种常用的机器学习算法，它模拟人类决策过程的思维方式，能够通过学习已有数据集建立一个树状模型，来进行分类和回归的预测。
它可以处理具有离散和连续属性的数据，并具有较好的可解释性和易于理解的特点。
本文将对决策树算法进行详细介绍。
一、决策树算法的基本原理决策树算法基于“分而治之”的思想，将复杂的问题分解为一系列简单的决策判断，从而构建一个树状模型。
决策树的根节点表示最初的决策，内部节点代表决策的中间过程，叶节点表示最终的决策结果。
决策树的构建过程包括特征选择、树的生成和剪枝三个步骤。
特征选择是决策树算法中非常重要的一步，目的是选择对结果预测有最大分类能力的特征作为划分标准。
经典的特征选择方法有信息增益（ID3）、增益比（C4.5）和基尼指数（CART）等。
信息增益以信息熵的减少量作为特征选择的标准，增益比在信息增益的基础上，对特征本身的信息熵做出惩罚，而基尼指数则衡量数据集的不确定性。
树的生成是决策树算法的核心部分，它可以通过递归地将训练数据划分为不同的子集，直到子集中的数据属于同一类别为止。
生成过程中，通过计算选择的特征对数据集进行划分，并将数据集按照该特征的取值划分为若干子集。
重复这个划分过程，直到每个子集中的数据都属于同一类别，或者没有更多的特征可以选择。
决策树的剪枝是为了防止过拟合现象的发生，过拟合指的是决策树建立过于复杂，过多地考虑了数据集的特殊噪声和异常情况，导致模型在测试数据上表现较差。
剪枝的目标是通过去掉一些分支来简化树模型，提高模型的泛化能力。
决策树剪枝算法有预剪枝和后剪枝两种方式，预剪枝在生成树的过程中进行剪枝，后剪枝在生成树之后进行剪枝。
二、决策树的优势和不足决策树算法具有以下优势：1.决策树易于理解和解释，生成的规则形式直观，能够为决策提供明确的解释。
2.决策树算法是一种非参数方法，对数据的分布没有假设，适用于各种类型的数据。
决策树总结
决策树总结决策树是一种常用的机器学习算法，它在数据挖掘和预测分析中被广泛应用。
本文将对决策树进行总结，包括其基本原理、构造方法、优缺点以及应用场景。
1. 基本原理决策树基于一系列的决策规则来完成分类或回归任务。
它将数据集划分为不同的子集，并在每个子集上继续进行划分，直到得到满足某个条件的叶节点。
在每次划分时，决策树算法通过计算某个指标（如信息增益、基尼指数）来选择最优的划分属性。
最终得到的决策树可以被用于预测新样本的类别或者回归值。
2. 构造方法决策树的构造方法主要有以下几种：ID3、C4.5、CART等。
ID3算法通过计算信息增益来选择最优划分属性，但存在对取值数目较多的属性偏好的问题；C4.5算法在ID3的基础上引入了信息增益比，更好地处理了取值数目较多的属性；CART算法则根据最小化基尼指数来选择最优划分属性，适用于分类和回归问题。
3. 优缺点决策树的优点在于简单易懂、可解释性强、适用于处理多类别问题、能处理连续属性等。
此外，决策树不需要对数据进行过多的预处理，而且在构建过程中能够自动选择重要特征。
然而，决策树也存在一些缺点。
首先，决策树容易过拟合，特别是当树的深度过大时。
为了解决这个问题，可以通过剪枝操作或者限制决策树的最大深度来减少过拟合风险。
其次，决策树对于缺失值的处理不够灵活，常常需要进行数据填充。
最后，决策树算法对于噪声和异常值比较敏感，容易产生不稳定的结果。
4. 应用场景决策树广泛应用于各种领域，其中包括金融、医疗、市场营销等。
在金融领域，决策树可以用于信用评分、风险识别、投资决策等。
在医疗领域，决策树可以用于疾病诊断、药物治疗方案选择等。
在市场营销领域，决策树可以用于客户分群、推荐系统等。
总之，决策树是一种常用的机器学习算法，它通过一系列的决策规则来完成分类或回归任务。
决策树算法具有简单易懂、可解释性强、适用于多类别问题等优点。
然而，它也存在容易过拟合、对异常值敏感等缺点。
决策树在金融、医疗、市场营销等领域都有广泛应用，可以用于信用评分、疾病诊断、客户分群等任务。
决策树的算法
决策树的算法一、什么是决策树算法？决策树算法是一种常见的监督学习算法，用于解决分类和回归问题。
它基于树状图模型，通过将数据集分成不同的决策路径来预测目标变量的值。
二、决策树的构建过程决策树的构建过程可以分为以下几个步骤：1. 特征选择特征选择是决策树构建中的关键步骤。
常用的特征选择算法有信息增益、信息增益率、基尼指数等。
这些算法用于衡量一个特征对结果的重要程度，选择最优的特征作为划分标准。
2. 根据划分标准划分数据集根据选择的划分标准，将数据集划分为多个子集。
如果特征为离散型，则根据每个特征取值将数据集分成不同的子集；如果特征为连续型，则选择一个阈值将数据集分成两个子集。
3. 递归构建子树对每个子集递归执行上述两个步骤，直到满足终止条件。
终止条件通常有以下几个：子集中的样本属于同一类别、子集中的样本数小于预定阈值、特征集为空。
4. 剪枝剪枝是为了防止过拟合而对决策树进行修剪。
常用的剪枝策略有预剪枝和后剪枝两种。
预剪枝在构建过程中通过设置条件限制决策树的生长，后剪枝则是先构建完整的决策树，然后通过剪枝选择最优子树。
三、决策树的优缺点决策树算法具有以下优点：1.算法简单，易于理解和解释。
决策树的结构类似于人类的决策过程，易于理解和解释。
2.能够处理多类型的数据。
决策树可以处理离散型和连续型的特征，适用于各种类型的数据。
3.能够处理缺失值。
决策树算法可以直接处理缺失值，而不需要进行额外的处理。
4.能够处理多输出问题。
决策树可以处理多分类和回归问题，适用于多输出的情况。
决策树算法也存在一些缺点：1.容易过拟合。
决策树算法在处理复杂问题时容易产生过拟合现象，通过剪枝和设置合适的参数可以减少过拟合的风险。
2.对噪声和异常值敏感。
决策树算法对噪声和异常值比较敏感，容易产生不稳定的结果。
3.不适用于处理高维稀疏数据。
决策树算法在处理高维稀疏数据时效果较差，容易产生过拟合现象。
四、决策树的应用场景决策树算法在各个领域都有广泛的应用，例如：1.金融行业：决策树可以用于信用评估、风险评估和欺诈检测等。
决策树计算公式(一)
决策树计算公式(一)决策树的相关计算公式1. 信息增益（Information Gain）•信息增益是衡量使用某个属性对样本进行划分后，所得到的信息不确定性减少的程度。
信息增益越大，说明使用该属性进行划分能获得更多的信息。
•计算公式为：[信息增益](其中：–[信息熵]( 是数据集 D 的信息熵，衡量数据集的不确定性。
–[条件熵]( 是在特征 A 的条件下，数据集 D 的概率分布的熵，表示在已知特征 A 的情况下，数据集 D 的不确定性。
2. 基尼指数（Gini Index）•基尼指数是衡量样本集中元组的不确定性的度量方式。
基尼指数越小，说明样本集中的元组属于同一类别的概率越大。
•计算公式为：[基尼指数](其中：–[p_k]( 是样本集 D 中属于第 k 类样本的概率。
– c 是样本集的类别数。
3. 信息增益率（Gain Ratio）•信息增益率是在信息增益的基础上对属性划分进行了修正，避免因为某个属性取值较多而对信息增益造成偏好。
•计算公式为：[信息增益率](其中：–[IV(A)]( 是特征 A 的固有值，表示属性 A 取值的多样性。
示例说明：假设我们要构建一个决策树模型，希望利用年龄、性别和教育背景等特征来预测一个人是否会购买某种商品。
我们有以下样本数据集：ID | 年龄 | 性别 | 教育背景 | 是否购买 ||—-|——|——||| | 1 | 青年 | 男性 | 高中 | 否 | | 2 |中年 | 男性 | 大学 | 是 | | 3 | 老年 | 女性 | 大学 | 是 | | 4 | 老年 | 男性 | 大学 | 否 | | 5 | 青年 | 女性 | 高中 | 否 | |6 | 中年 | 女性 | 大学 | 是 | |7 | 青年 | 女性 | 大学 | 否 | |8 | 中年 | 男性 | 高中 | 是 |首先，我们计算数据集的信息熵 [H(D)]( [p_是]( 和 [p_否]( [H(D)=-(p_是_2(p_是)+p_否_2(p_否))](计算可得[H(D)]( ≈ 。
决策树算法算法介绍
决策树算法算法介绍⽬录1.2.3.4.5.⼀、概念决策树(decision tree)是⼀种基本的分类与回归⽅法。
决策树模型呈树形结构，在分类问题中，表⽰基于特征对实例进⾏分类的过程。
它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。
其主要优点是模型具有可读性，分类速度快。
学习时，利⽤训练数据，根据损失函数最⼩化的原则建⽴决策树模型。
预测时，对新的数据，利⽤决策树模型进⾏分类其中每个⾮叶节点表⽰⼀个特征属性上的测试，每个分⽀代表这个特征属性在某个值域上的输出，⽽每个叶节点存放⼀个类别。
使⽤决策树进⾏决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分⽀，直到到达叶⼦节点，将叶⼦节点存放的类别作为决策结果。
总结来说：决策树模型核⼼是下⾯⼏部分：节点和有向边组成节点有内部节点和叶节点俩种类型内部节点表⽰⼀个特征，叶节点表⽰⼀个类下图即为⼀个决策树的⽰意描述，内部节点⽤矩形表⽰，叶⼦节点⽤椭圆表⽰：⼆、决策树的学习过程⼀棵决策树的⽣成过程主要分为以下3个部分:特征选择：特征选择是指从训练数据中众多的特征中选择⼀个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从⽽衍⽣出不同的决策树算法。
决策树⽣成：根据选择的特征评估标准，从上⾄下递归地⽣成⼦节点，直到数据集不可分则停⽌决策树停⽌⽣长。
树结构来说，递归结构是最容易理解的⽅式。
剪枝：决策树容易过拟合，⼀般来需要剪枝，缩⼩树结构规模、缓解过拟合。
剪枝技术有预剪枝和后剪枝两种先了解⼀些基本概念（1）决策树节点的不纯度（impurity）不纯度⽤基尼系数（gini）表⽰:其中k代表y值的类别的个数，p k表⽰类别k样本数量占所有样本的⽐例，从该公式可以看出，当数据集中数据混合的程度越⾼，基尼指数也就越⾼。
当数据集只有⼀种数据类型，那么基尼指数的值为最低，纯度越⾼，基尼系数越⼩如果选取的属性为 A，那么分裂后的数据集 D 的基尼指数的计算公式为：其中 k 表⽰样本 D 被分为 k 个部分，数据集 D 分裂成为 k 个 Dj 数据集。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
决策树算法实验总结
决策树算法实验总结
决策树算法是一种常用的机器学习算法，它通过对数据集进行递归划分，构建出一棵树状的决策模型。
在实验中，我们使用了决策树算法进行分类任务，并对实验结果进行总结。
首先，我们需要准备一个带有标签的训练数据集，其中包含了多个特征和对应的类别标签。
然后，我们可以使用决策树算法对训练数据集进行训练，构建出一棵具有判断条件的决策树。
在实验中，我们可以使用不同的指标来评估决策树算法的性能，例如准确率、精确率、召回率等。
这些指标可以帮助我们了解决策树算法在分类任务中的表现。
此外，我们还可以通过调整决策树算法的参数来提高其性能。
例如，可以通过限制树的最大深度、设置叶子节点的最小样本数等来控制决策树的复杂度，避免过拟合问题。
在实验总结中，我们可以描述决策树算法在实验中的表现，比较其与其他算法的优劣势，并提出进一步改进的方向。
此外，还可以讨论决策树算法在不同数据集上的适用性，并分析其在实际应用中可能遇到的问题和局限性。
总而言之，决策树算法是一种简单而有效的机器学习算法，可以用于分类任务。
通过实验总结，我们可以更好地理解决策树算法的原理和性能，为进一步的应用和改进提供指导。
决策树 算法
决策树算法1. 简介决策树算法是一种广泛应用于分类和回归问题的机器学习算法。
它通过从一组特征中选择最佳划分方式来构建一个树形结构的决策模型，从而对新样本进行预测或分类。
决策树算法简单易懂，可解释性强，且能处理同时包含离散和连续特征的数据。
2. 决策树的基本原理决策树算法基于以下几个关键概念：2.1 特征选择在构建决策树的过程中，需要选择最佳的特征来进行划分。
特征选择的目标是通过划分使得每个子节点的纯度最大化（分类问题）或者均方差最小化（回归问题）。
常用的特征选择指标有信息增益、增益率、基尼指数等。
2.2 决策树的构建决策树是通过不断选择最佳特征来递归地构建的。
首先将整个数据集作为根节点，选择一个最佳特征进行划分，然后将数据集划分为多个子集，每个子集对应一个子节点。
递归地对每个子节点进行特征选择和划分，直到满足终止条件（如纯度达到一定阈值或树的深度达到限制）为止。
2.3 决策树的剪枝决策树的构建过程容易导致过拟合，即模型对训练数据过于敏感而无法很好地推广到新样本。
为了避免过拟合，需要对决策树进行剪枝。
剪枝根据一定的准则，去除一些子树或叶节点，从而简化模型。
3. 决策树算法的优缺点3.1 优点•决策树易于理解和解释，模型生成的决策规则可以直观地呈现。
•决策树可以处理离散和连续特征，无需对数据进行特殊处理。
•决策树能够自动选择特征，并通过特征选择来提高模型的性能。
•决策树不需要很大的训练数据集，可以处理小型数据集。
3.2 缺点•决策树容易过拟合，特别是在处理复杂问题时。
•决策树对输入数据的变化非常敏感，哪怕是微小的变化也可能导致完全不同的树结构。
•决策树很难处理包含有不同类别交叉的数据集。
4. 决策树算法的应用决策树算法被广泛应用于许多领域，以下是一些常见的应用场景：4.1 金融风险评估决策树可以根据客户的个人信息和历史数据，判断其信用风险等级。
通过构建一个决策树模型，银行或金融机构可以快速准确地评估客户的风险，从而做出相应的贷款决策。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
决策树研发二部目录1. 算法介绍 (1)1.1.分支节点选取 (1)1.2.构建树 (3)1.3.剪枝 (10)2. sk-learn中的使用 (12)3. sk-learn中源码分析 (13)1.算法介绍决策树算法是机器学习中的经典算法之一，既可以作为分类算法，也可以作为回归算法。
决策树算法又被发展出很多不同的版本，按照时间上分，目前主要包括，ID3、C4.5和CART版本算法。
其中ID3版本的决策树算法是最早出现的，可以用来做分类算法。
C4.5是针对ID3的不足出现的优化版本，也用来做分类。
CART也是针对ID3优化出现的，既可以做分类，可以做回归。
决策树算法的本质其实很类似我们的if-elseif-else语句，通过条件作为分支依据，最终的数学模型就是一颗树。
不过在决策树算法中我们需要重点考虑选取分支条件的理由，以及谁先判断谁后判断，包括最后对过拟合的处理，也就是剪枝。
这是我们之前写if语句时不会考虑的问题。
决策树算法主要分为以下3个步骤：1.分支节点选取2.构建树3.剪枝1.1.分支节点选取分支节点选取，也就是寻找分支节点的最优解。
既然要寻找最优，那么必须要有一个衡量标准，也就是需要量化这个优劣性。
常用的衡量指标有熵和基尼系数。
熵：熵用来表示信息的混乱程度，值越大表示越混乱，包含的信息量也就越多。
比如，A班有10个男生1个女生，B班有5个男生5个女生，那么B班的熵值就比A班大，也就是B班信息越混乱。
基尼系数：同上，也可以作为信息混乱程度的衡量指标。
有了量化指标后，就可以衡量使用某个分支条件前后，信息混乱程度的收敛效果了。
使用分支前的混乱程度，减去分支后的混乱程度，结果越大，表示效果越好。
#计算熵值def entropy(dataSet):tNum = len(dataSet)print(tNum)#用来保存标签对应的个数的，比如,男：6，女：5labels = {}for node in dataSet:curL = node[-1] #获取标签if curL not in labels.keys():labels[curL] = 0 #如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 #将标签记录个数加1#此时labels中保存了所有标签和对应的个数res = 0#计算公式为-p*logp，p为标签出现概率for node in labels:p = float(labels[node]) / tNumres -= p * log(p, 2)return res#计算基尼系数def gini(dataSet):tNum = len(dataSet)print(tNum)# 用来保存标签对应的个数的，比如,男：6，女：5labels = {}for node in dataSet:curL = node[-1] # 获取标签if curL not in labels.keys():labels[curL] = 0 # 如果没有记录过该种标签，就记录并初始化为0 labels[curL] += 1 # 将标签记录个数加1# 此时labels中保存了所有标签和对应的个数res = 1# 计算公式为-p*logp ，p 为标签出现概率 for node in labels:p = float (labels[node]) / tNum res -= p * p return res1.2. 构建树ID3算法：利用信息熵增益，决定选取哪个特征作为分支节点。
分支前的总样本熵值-分支后的熵值总和=信息熵增益。
T1的信息熵增益：1 – 13/20*0.961 - 7/20*0.863 = 0.073 T2的信息熵增益：1 – 12/20*0.812 - 8/20*0.544 = 0.295 所以使用T2作为分支特征更优。
ID3算法建树：依据前面的逻辑，递归寻找最优分支节点，直到下面情况结束 1. 叶节点已经属于同一标签2. 虽然叶节点不属于同一标签，但是特征已经用完了3. 熵小于预先设置的阈值4. 树的深度达到了预先设置的阈值ID3算法的不足：1.取值多的特征比取值少的特征更容易被选取。
2.不包含剪枝操作，过拟合严重3.特征取值必须是离散的，或者有限的区间的。
于是有了改进算法C4.5C4.5算法：基于ID3算法进行了改进，首先，针对ID3的不足1，采用信息增益率取代ID3中使用信息增益而造成的偏向于选取取值较多的特征作为分裂点的问题。
针对ID3的不足2，采用剪枝操作，缓解过拟合问题。
针对ID3的不足3，采用将连续值先排列，然后逐个尝试分裂，找到连续值中的最佳分裂点。
信息增益率的计算：先计算信息增益，然后除以spliteInfo。
spliteInfo为分裂后的子集合的函数，假设分裂后的子集合个数为sub1和sub2，total为分裂前的个数。
spliteInfo = -sub1 / total * log(sub1 / total) – sub2 / total * log(sub2 / total)#index:特征序号#value:特征值#该方法表示将index对应特征的值为value的集合返回，返回集合中不包含index对应的特征def spliteDataSet(dataSet, index, value):newDataSet = []for node in dataSet:if node[index] == value:#[0,index)列的数据newData = node[:index]#[index+1,最后]列的数据newData.extend(node[index + 1:])newDataSet.append(newData)return newDataSet;#选择最优分裂项def chooseBestFeature(dataSet):#特征个数featureNum = len(dataSet[0]) - 1#计算整体样本的熵值baseEntropy = entropy(dataSet)print("baseEntropy = %f"%(baseEntropy))#保存最大的信息增益率maxInfoGainRatio = 0.0bestFeatureId = -1for i in range(featureNum):#获取特征所有可能的值featureValues = []for node in dataSet:featureValues.append(node[i])print(featureValues)#将特征值去除重复uniqueFeatureValues = set(featureValues)print(uniqueFeatureValues)#按照i特征分裂之后的熵值newEntropy = 0.0#分裂信息spliteInfo = 0.0#按照i所表示的特征，开始分裂数据集for value in uniqueFeatureValues:#当i属性等于value时的分裂结果subDataSet = spliteDataSet(dataSet, i, value)print(subDataSet)#计算占比p = float(len(subDataSet)) / float(len(dataSet)) newEntropy += p * entropy(subDataSet)spliteInfo += -p * log(p, 2)#计算信息增益infoGain = baseEntropy - newEntropy#计算信息增益率if spliteInfo == 0:continueinfoGainRatio = infoGain / spliteInfoif infoGainRatio > maxInfoGainRatio:maxInfoGainRatio = infoGainRatiobestFeatureId = ireturn bestFeatureIdC4.5算法的不足：1.如果存在连续值的特征需要做排序等处理，计算比较耗时2. 只能用于分类使用于是有了CART算法CART算法：也是基于ID3算法优化而来，支持分类和回归，使用基尼系数（分类树）或者均方差（回归树）替代熵的作用，减少运算难度。
使用二叉树代替多叉树建模，降低复杂度。
基尼系数的计算：均方差的计算：计算举例，假设有如下数据源看电视时间婚姻情况职业年龄3 未婚学生124 未婚学生18 2 已婚老师265 已婚上班族472.5 已婚上班族363.5 未婚老师294 已婚学生21如果将婚否作为标签，该问题是一个分类问题，所以使用基尼系数假设使用职业作为特征分支，对于看电视和年龄，都是连续数据，需要按照C4.5的算法排序后处理，这里先分析简单的按照职业开始划分。
又因为，CART算法的建模是二叉树，所以，针对职业来说，有以下组合，学生|非学生，老师|非老师，上班族|非上班族，到底怎么划分，就要通过基尼系数来判断了。
gini = 3 / 7 * (1 – 2 / 3 * 2 /3 – 1 / 3 * 1 / 3) + 4 / 7 * (1 – 3 / 4 * 3 / 4 – 1 / 4 * 1 / 4) = 0.4gini = 2 / 7 * (1 – 1 / 2 * 1 / 2 – 1 / 2 * 1 / 2) + 5 / 7 * (1 – 2 / 5 * 2 / 5 – 3 / 5 * 3 / 5) = 0.49gini = 2 / 7 * (1 – 1 * 1) + 5 / 7 * (1 – 3 / 5 * 3 / 5 – 2 / 5 * 2 / 5) = 0.34所以，如果选择职业来划分，那么首先应该按照上班族|非上班族划分如果将年龄作为标签，该问题是一个回归问题，所以使用均方差同样，先考虑使用职业来划分mean = 开方(12 * 12 + 18 * 18 + 21 * 21 – 3 * 17 * 17) + 开方(26 * 26 + 47 * 47 + 36 * 36 + 29 * 29 – 5 * 32.5 * 32.5) = 34.71其他情况略。
可以看到选择分裂属性这一步骤会比较麻烦，首先要遍历所有特征，找到每一个特征的最优分裂方法，然后在选择最优的分裂特征。
功能树结构特征选取连续值处理缺失值处理剪枝ID3 分类多叉信息增益不支持不支持不支持C4.5 分类多叉信息增益率支持支持支持CART 分类/回归二叉基尼系数（分类），均方差（回归）支持支持支持1.3.剪枝CCP（Cost Complexity Pruning）代价复杂性剪枝法（CART常用）REP（Reduced Error Pruning）错误降低剪枝法PEP（Pessimistic Error Pruning）悲观错误剪枝法（C4.5使用）MEP（Minimum Error Pruning）最小错误剪枝法这里以CCP为例讲解其原理CCP选择节点表面误差率增益值最小的非叶子节点，删除该节点的子节点。