第4章 1_分类与决策树
数据挖掘-决策树PPT资料48页
0.247位 选择获得最大信息增益 的属性进行划分
划分过程的终止
当所有叶节点都是纯的。
因训练集包含两个具有相同属性集，但具有不同类 的实例。
ID3代表归纳决策树(induction decision—tree)版本 3，它是一种用来由数据构造决策树的递归过程。
lD3算法的步骤
1. 试探性地选择一个属性放置在根节点，并对该属 性的每个值产生一个分支。
2. 分裂根节点上的数据集，并移到子女节点，产生 一棵局部树(partial tree)。
决策树作用(2)
决策树的主要作用是揭示数据中的结构化信息。 决策树汇总了数据，并揭示了其中隐藏的结构：
规则：
如果血压高，则 采用药物A。
如果血压低，则 采用药物B。
如果血压正常。 年龄小于或等于 40，则采用药物 A，否则采用药 物B。
准确率、支持度、错误率
该例得到的规则和对应的准确率和支持度是：
如果血压高，则采用药物A(准确率100％，支持度 3／12)。
如果血压低，则采用药物B(准确率100％，支持度 3／12)。
如果血压正常并且年龄小于或等于40，则采用药 物A(准确率100％，支持度3／12)。
如果血压正常并且年龄大于40。则采用药物B(准 确率100％，支持度3／12)。
3. 对该划分的质量进行评估。 4. 对其他属性重复该过程。 5. 每个用于划分的属性产生一棵局部树。 6. 根据局部树的质量，选择一棵局部树。 7. 对选定的局部树的每个子女节点重复以上1-6步。 8. 这是一个递归过程。如果一个节点上的所有实例
第四章 环境分析与理性决策——管理学(马工程)
三、非理性决策
（三）领导集体决策模型
领导集体决策模型是认为政策选择是建立在领导者优秀的素质和管理经 验的基础上，由领导者或领导集体依据自己的应变能力和判断力进行决策。
其优点是决策迅速，但决策的质量同领导者个人的素质、经验密切相关 ，是决策是否成功的决定性因素。
“精英决策模型”：忽略公众对社会发展的影响，而把公共政策看成反 映精英们的价值和偏好，认为是他们决定了政策。
（二）活动方案评价方法
3. 动态评价方法与静态评价方法 决策评价指标体系在指标的内涵、指标的数量、体系的构成等方面均应有 相对的稳定性。 随着企业经营环境的变化，决策评价体系也应做相应的变更。因此，绩效 评价体系还具有明显的动态性特征。
三、选择活动方案的评价方法
（一）决策树方法
以树形图来辅助进行各方案期望收益的计算和比较。
对行业内部要分析主要竞争者的基本情况、对本企业构成威胁的原因以 及分析竞争对手的发展动向。
二、环境分析的常用方法
（三）内外部环境综合分析方法——SWOT分析法
SWOT 分析是最常用的内外部环境综合分析技术，是由哈佛大学的安德 鲁斯等人提出的一种分析方法。
二、环境分析的常用方法
（四）针对环境变化的分析方法——情境分析法
例（这里不考虑货币的时间价值）： 某公司为满足市场对某种新产品的需求，拟规划建设新厂。预计市场对这 种新产品的需求量比较大，但也存在销路差的可能性。公司有两种可行的扩大 生产规模方案：一是新建一个大厂，预计需投资30万元，销路好时可获利100万 元，销路不好时亏损20万元；二是新建一个小厂，需投资20万元，销路好时可 获利40万元，销路不好仍可获利30万元。假设市场预测结果显示，此种新产品 销路好的概率为0.7，销路不好的概率为0.3。根据这些情况，下面用决策树法 说明如何选择最佳的方案。
机器学习课后习题答案
第二章 模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取法应该是(C 500150)2。
2.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A 的F1值比学习器B 高，试析A 的BEP 值是否也比B 高。
4.试述真正例率（TPR ）、假正例率（FPR ）与查准率（P ）、查全率（R ）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
第一章 绪论（略）机器学习（周志华）参考答案9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
人工智能基础及应用(微课版) 习题及答案 第4章 机器学习
习题一、选择题1 .关于k-近邻算法说法错误的是OA是机器学习B是无监督学习Ck代表分类个数Dk的选择对分类结果没有影响2 .关于k-近邻算法说法错误的是OA一般使用投票法进行分类任务Bk-近邻算法属于懒惰学习C训练时间普遍偏长D距离计算方法不同，效果也可能显著不同3 .关于决策树算法说法错误的是OA受生物进化启发B属于归纳推理C用于分类和预测D自顶向下递推4 .利用信息增益来构造的决策树的算法是OAID3决策树B递归C归约DFIFO5 .决策树构成的顺序是（）A特征选择、决策树生成、决策树剪枝B决策树剪枝、特征选择、决策树生成C决策树生成、决策树剪枝、特征选择D特征选择、决策树剪枝、决策树生成6 .朴素贝叶斯分类器属于O假设A样本分布独立B属性条件独立C后验概率已知D先验概率已知7 .支持向量机是指OA对原始数据进行采样得到的采样点B决定分类平面可以平移的范围的数据点C位于分类面上的点D能够被正确分类的数据点8 .关于支持向量机的描述错误的是OA是一种监督学习的方式B可用于多分类问题C支持非线性核函数D是一种生成式模型9 .关于k-均值算法的描述错误的是OA算法开始时，k-means算法时需要指定中心点B算法效果不受初始中心点的影响C算法需要样本与中心点之间的距离D属于无监督学习10 .k-Medoids与k-means聚类最大的区别在于（）A中心点的选择规则B距离的计算法方法C应用层面D聚类效果二、简答题1 .k-近邻算的基本思想是什么？2 .决策树的叶结点和非叶结点分别表示什么？3 .朴素贝叶斯分类器为什么是“朴素”的？4 .线性可分支持向量机的基本思想是什么？5 .核技巧是如何使线性支持向量机生成非线性决策边界的？6 .什么是聚类？聚类和分类有什么区别？7 .试举例聚类分析的应用场景,参考答案一、选择题1.D2,C3.A4.A5.D6.B7.C8.D9.B 10.A二、简答题1.请简述k・近邻算法的思想答：给定一个训练样本集合D以及一个需要进行预测的样本X：对于分类问题，k-近邻算法从所有训练样本集合中找到与X最近的k个样本，然后通过投票法选择这k个样本中出现次数最多的类别作为X的预测结果;对于回归问题,k近邻算法同样找到与X最近的k个样本,然后对这k个样本的标签求平均值，得到X的预测结果。
机器学习课后习题答案(周志华)
第二章模型评估与选择1.数据集包含1000个样本，其中500个正例，500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式。
一个组合问题，从500500正反例中分别选出150150正反例用于留出法评估，所以可能取150)2。
法应该是(C5002.数据集包含100个样本，其中正反例各一半，假定学习算法所产生的模型是将新样本预测为训练样本数较多的类别（训练样本数相同时进行随机猜测），试给出用10折交叉验证法和留一法分别对错误率进行评估所得的结果。
10折交叉检验：由于每次训练样本中正反例数目一样，所以讲结果判断为正反例的概率也是一样的，所以错误率的期望是5050%。
留一法：如果留下的是正例，训练样本中反例的数目比正例多一个，所以留出的样本会被判断是反例；同理，留出的是反例，则会被判断成正例，所以错误率是100%。
3.若学习器A的F1值比学习器B高，试析A的BEP值是否也比B高。
4.试述真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）之间的联系。
查全率: 真实正例被预测为正例的比例真正例率: 真实正例被预测为正例的比例显然查全率与真正例率是相等的。
查准率:预测为正例的实例中真实正例的比例假正例率: 真实反例被预测为正例的比例两者并没有直接的数值关系。
9.试述卡方检验过程。
第三章线性模型2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
如果一个多元函数是凸的，那么它的Hessian矩阵是半正定的。
3.编程实现对率回归，并给出西瓜数据集3.0α上的结果/icefire_tyh/article/details/520688444.选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
/icefire_tyh/article/details/520689005.编程实现线性判别分析，并给出西瓜数据集3.0α上的结果。
《运筹学》第四章决策分析介绍
P(S2)=0.4时
一般： 般：
E(A1 )=α×500+(1500+(1 α)(-200)=700 )( 200)=700α-200 200 E(A2) )=α×( (-150)+(1150)+(1 α)(1000) )(1000)=-1150 1150α+1000 令E1 =E2 得α=0.65
决策步骤
30
(三)、折衷准则 选择加权系数α(0 α1) max{α(maxVij )+(1-α)(minVij )}
i j j
α=0.6
S1
S2
S3 Vi1 =max Vi2 =min 加权平均
A1 20 A2 9 A3 6
1 8 5
-6 0 4
20 9 6
-6 0 4
9.6 5.4 max=9.6
15
决策分析的主要内容
决策准则 决策树 用决策树分析系列决策问 用决策树分析系列决策问题 检查是否需要获得更多的信息 贝叶斯法 用更新的信息更好地决策 贝叶斯法——用更新的信息更好地决策 效用理论 用效用更好地反映收益的价值 效用理论——用效用更好地反映收益的价值
16
概率论基础
随机事件(实验，试验 实验 试验)
称α=0.65为转折概率 α>0.65 α<0.65 选 A1 选 A2
42
直接使用先验概率 决策步骤 –对于每一种备选方案，将每一个收益乘以 相应自然状态的先验概率，再把乘积相加 就得到收 的加权 均 这就是备选方案 就得到收益的加权平均，这就是备选方案 的期望收益 –选择具有最大期望收益的备选方案作为决 选择具有最大期 收益的备选方案作为决 策方案
34
2.3使用决策树进行分类教学设计人教中图版高中信息技术选择性必修4
3.拓展作业：针对对本章节内容感兴趣的同学，可以尝试以下拓展任务：
-了解决策树的其他变体，如随机森林、自适应提升（Adaboost）等，并比较它们之间的区别；
-探索决策树在现实生活中的应用，如金融风控、医疗诊断等，撰写一篇小论文，分享你的发现和体会；
-尝试参加在线编程挑战或数据挖掘竞赛，将所学知识应用于实际项目。
1.知识基础：学生在前序课程中学习了数据处理、数据可视化等知识，为本章节的学习奠定了基础。但对决策树的原理和构建方法，大部分学生可能较为陌生，需要从基本概念入手，逐步引导学生深入理解。
2.技能水平：学生在编程技能方面存在差异，部分学生对编程环境（如Python）较为熟悉，能较快掌握决策树算法的实现方法；而部分学生对编程较为陌生，需要加强个别辅导，帮助他们克服困难。
-实践阶段：布置小组任务，让学生在编程环境中独立构建决策树模型，并对其性能进行分析；
-评估阶段：组织学生展示成果，进行互评和自评，教师给予点评和建议。
3.教学评价设计：
-形成性评价：通过课堂提问、小组讨论、实践报告等方式，及时了解学生的学习进展和存在的问题；
-总结性评价：在章节结束时，通过闭卷考试或项目报告等形式，全面评估学生对决策树知识的掌握程度。
3.各小组在讨论过程中，互相交流意见，共同解决问题；
4.各小组展示讨论成果，其他小组给予评价和建议。
（四）课堂练习
课堂练习是检验学生对知识掌握程度的重要环节。我会设计以下练习：
1.编写Python代码，实现一个简单的决策树分类器；
2.使用决策树对给定的数据集进行分类，并分析分类结果；
3.修改决策树参数，观察分类结果的变化，探讨参数对模型性能的影响。
机器学习原理及应用练习题答案
第一章机器学习概述1.机器学习研究什么问题，构建一个完整的机器学习算法需要哪些要素？机器学习主要研究如何选择统计学习模型，从大量已有数据中学习特定经验。
构建一个完整的机器学习算法需要三个方面的要素，分别是数据，模型，性能度量准则。
2.可以生成新数据的模型是什么，请举出几个例子可以生成新数据的模型是生成模型，典型的生成模型有朴素贝叶斯分类器、高斯混合模型、隐马尔可夫模型、生成对抗网络等。
3.监督学习、半监督学习和无监督学习是什么，降维和聚类属于哪一种？监督学习是指样本集合中包含标签的机器学习，无监督学习是无标签的机器学习，而半监督学习介于二者之间。
降维和聚类是无监督学习。
4.过拟合和欠拟合会导致什么后果，应该怎样避免？过拟合导致模型泛化能力弱，发生明显的预测错误，往往是由于数据量太少或模型太复杂导致，通过增加训练数据量，对模型进行裁剪，正则化的方式来缓解。
而欠拟合则会导致模型不能对数据进行很好地拟合，通常是由于模型本身不能对训练集进行拟合或者训练迭代次数太少，解决方法是对模型进行改进，设计新的模型重新训练，增加训练过程的迭代次数。
5.什么是正则化，L1正则化与L2正则化有什么区别？正则化是一种抑制模型复杂度的方法。
L1正则化能够以较大概率获得稀疏解，起到特征选择的作用，并且可能得到不止一个最优解。
L2正则化相比前者获得稀疏解的概率小的多，但得到的解更加平滑。
第二章逻辑回归与最大熵模型1.逻辑回归模型解决（B ）A.回归问题B.分类问题C.聚类问题D.推理问题2.逻辑回归属于（B ）回归A.概率性线性B.概率性非线性C.非概率性线性D.非概率性非线性3.逻辑回归不能实现（D ）A.二分类B.多分类C.分类预测D.非线性回归4.下列关于最大熵模型的表述错误的是（B ）A.最大熵模型是基于熵值越大模型越稳定的假设B.最大熵模型使用最大熵原理中一般意义上的熵建模以此缩小模型假设空间C.通过定义最大熵模型的参数可以实现与多分类逻辑回归相同的作用D.最大熵模型是一种分类算法5.下列关于模型评价指标的表述错误的是（C ）A.准确率、精确率、召回率以及AUC均是建立在混淆矩阵的基础上B.在样本不平衡的条件下准确率并不能作为很好的指标来衡量结果C.准确率表示所有被预测为正的样本中实际为正的样本的概率D.一般来说，置信度阈值越高，召回率越低，而精确率越高6.简述逻辑回归的原理。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
用方法是回归分析
数据分类——一个两步过程 (1)
第一步，也成为学习步，目标是建立描述预先定义的数 据类或概念集的分类器
分类算法通过分析或从训练集“学习”来构造分类器。
训练集由数据库元组（用n维属性向量表示）和他们相对
应的类编号组成；假定每个元组属于一个预定义的类
训练元组：训练数据集中的单个元组
第一步——建立模型
分类算法 训练数 据集
NAME RANK M ike M ary B ill Jim D ave Anne A ssistan t P ro f A ssistan t P ro f P ro fesso r A sso ciate P ro f A ssistan t P ro f A sso ciate P ro f
决策树的基本原理
预测变量 目标变量 类标号属性
记录 样本
类别集合：Class={―优”，“良”，“差”}
根节点 分裂属性 分裂谓词
叶子节点
每一个叶子节点都被确定一个类标号
每一个节点都代表了一个数据集。
根节点1代表了初始数据集D 其它节点都是数据集D的子集。 例如，节点2代表数据集D中年龄小于40岁的那部分样本组成 的数据集。 子节点是父节点的子集。
3.1 决策树概述
决策树(Decision
Tree) 一种描述概念空间的有效的归纳推理办法。 基于决策树的学习方法可以进行不相关的 多概念学习，具有简单快捷的优势，已经 在各个领域取得广泛应用。 决策树是一种树型结构，其中每个内部结 点表示在一个属性上的测试，每个分支代 表一个测试输出，每个叶结点代表一种类 别。
学习模型可以用分类规则、决策树或数学公式的形式提
供
数据分类——一个两步过程 (2)
第二步，使用模型，对将来的或未知的对象进行分类
首先评估模型的预测准确率 对每个测试样本，将已知的类标号和该样本的学习模型类预测比 较 模型在给定测试集上的准确率是正确被模型分类的测试样本的百 分比 测试集要独立于训练样本集，否则会出现“过分拟合”的情况
分类和预测---示例
分类
银行贷款员需要分析数据，来弄清哪些贷款申请
者是安全的，哪些是有风险的（将贷款申请者分 为“安全”和“有风险”两类）
我们需要构造一个分类器来预测类属编号，比如预测
顾客属类
预测
银行贷款员需要预测贷给某个顾客多少钱是安全
的
构造一个预测器，预测一个连续值函数或有序值，常
根结点
树是由节点和分枝组成的层 次数据结构。节点用于存贮 信息或知识，分枝用于连接 各个节点。树是图的一个特 例，图是更一般的数学结构， 不会吱吱叫 如贝叶斯网络。 决策树是描述分类过程的一 种数据结构，从上端的根节 点开始，各种分类原则被引 用进来，并依这些分类原则 将根节点的数据集划分为子 集，这一划分过程直到某种 约束条件满足而结束。
数据预测的两步过程
Biblioteka 数据预测也是一个两步的过程，类似于前面描述的数据分类 对于预测，没有“类标号属性” 要预测的属性是连续值，而不是离散值，该属性可简称 “预测属性” E.g. 银行贷款员需要预测贷给某个顾客多少钱是安全 的 预测器可以看作一个映射或函数y=f(X) 其中X是输入；y是输出，是一个连续或有序的值 与分类类似，准确率的预测，也要使用单独的测试集
3.2 ID3、C4.5与C5.0
熵，是数据集中的不确定性、突发性或随机性的 程度的度量。 当一个数据集中的记录全部都属于同一类的时候， 则没有不确定性，这种情况下的熵就为0。 决策树分裂的基本原则是，数据集被分裂为若干 个子集后，要使每个子集中的数据尽可能的 “纯”，也就是说子集中的记录要尽可能属于同 一个类别。如果套用熵的概念，即要使分裂后各 子集的熵尽可能的小。
决策树学习采用的是自顶向下的递归方法。 决策树的每一层节点依照某一属性值向下分为子节点，待 分类的实例在每一节点处与该节点相关的属性值进行比较， 根据不同的比较结果向相应的子节点扩展，这一过程在到 达决策树的叶节点时结束，此时得到结论。 从根节点到叶节点的每一条路经都对应着一条合理的规则， 规则间各个部分（各个层的条件）的关系是合取关系。整 个决策树就对应着一组析取的规则。 决策树学习算法的最大优点是，它可以自学习。在学习的 过程中，不需要使用者了解过多背景知识，只需要对训练 例子进行较好的标注，就能够进行学习。如果在应用中发 现不符合规则的实例，程序会询问用户该实例的正确分类， 从而生成新的分枝和叶子，并添加到树中。
第3章
分类与预测
主要内容
分类与决策树概述
ID3、C4.5与C5.0
CART
分类 VS. 预测
分类和预测是两种数据分析形式，用于提取描述重要数据类或预测未来 的数据趋势 的模型 分类： 预测类对象的分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用 来分类新数据 预测： 建立连续函数值模型 比如预测空缺值，或者预测顾客在计算机设备上的花费 典型应用 欺诈检测、市场定位、性能预测、医疗诊断 分类是一种应用非常广泛的数据挖掘技术 分类与预测的区别： 当估计的属性值是离散值时，这就是分类； 当估计的属性值是连续值时，这就是预测。
数据集D被按照分裂属性“年龄”分裂为两
个子集D1 和D2
信息增益: Gain(D,年龄)= H(D)–[P(D1)×H(D1)+ P(D2)×H(D2)]
显 然 ， 如 果 D1 和 D2 中 的 数 据 越
“纯”，H(D1)和H(D2)就越小，信 息增益就越大，或者说熵下降得越 多。
监督学习 VS. 无监督学习
监督学习（用于分类）
模型的学习在被告知每个训练样本属于哪个类的
“指导”下进行 新数据使用训练数据集中得到的规则进行分类
无监督学习（用于聚类）
每个训练样本的类编号是未知的，要学习的类集
合或数量也可能是事先未知的 通过一系列的度量、观察来建立数据中的类编号 或进行聚类
决策树学习是以实例为基础的归纳学习。 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规 则。 概念分类学习算法：来源于 Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习 单个概念。 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对 ID3 进行了总结和简化，使其成为决策树学习算法的典型。 Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的 决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算 法。 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高 了效率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 另一类决策树算法为CART，与C4.5不同的是，CART的决策树 由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习 实例的正例与反例。 其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子 节点处的熵值为零，此时每个叶节点中的实例都属于同一类。
按照这个方法，测试每一个属性的信
息增益，选择增益值最大的属性作为 分裂属性。
信息熵计算举例
令C1对应“是”，C2对应“否”。那么C1有9个样 本，C2有5个样本，所以数据集D的熵为： 9 9 5 5 I ( s1 , s 2 ) I (9,5) log 2 ( ) log 2 ( ) 0.9406 14 14 14 14
YEARS TENURED 3 7 2 7 6 3 no yes yes yes no no
分类规则
IF rank = ‘professor’ OR years > 6 THEN tenured = ‘yes’
第二步——用模型进行分类
分类规则
测试集
未知数据 (Jeff, Professor, 4)
决策树是指具有下列三个性质的树：
每个非叶子节点都被标记一个分裂属性Ai；
每个分支都被标记一个分裂谓词，这个分裂谓
词是分裂父节点的具体依据； 每个叶子节点都被标记一个类标号Cj∈C。
任何一个决策树算法，其核心步骤都是为
每一次分裂确定一个分裂属性，即究竟按 照哪一个属性来把当前数据集划分为若干 个子集，从而形成若干个“树枝”。
NAME Tom M erlisa G eorge Joseph
RANK Y E A R S TE N U R E D A ssistant P rof 2 no A ssociate P rof 7 no P rofessor 5 yes A ssistant P rof 7 yes
Tenured?
更令人满意。
设计分类停止条件，实际应用中数据的属性很多，真正有分类意义的属性
往往是有限几个，因此在必要的时候应该停止数据集分裂：
该节点包含的数据太少不足以分裂， 继续分裂数据集对树生成的目标(例如ID3中的熵下降准则)没有贡献， 树的深度过大不宜再分。
通用的决策树分裂目标是整棵树的熵总量最小，每一步分裂时，选择使熵减小 最大的准则，这种方案使最具有分类潜力的准则最先被提取出来
鼠 鼠 短 长 鹿
个子大 脖子短 鼻子长 可能是大象
在陆地 上 可能是犀 牛
可能是大 在 水象 里 可能是河 马
构造一棵决策树要解决四个问题：
收集待分类的数据，这些数据的所有属性应该是完全标注的。 设计分类原则，即数据的哪些属性可以被用来分类，以及如何将该属性量
化。
分类原则的选择，即在众多分类准则中，每一步选择哪一准则使最终的树