数据挖掘之决策树算法理论与实战—Nieson
决策树很详细的算法介绍
决策树很详细的算法介绍决策树（Decision Tree）是一种常用的机器学习算法，它模拟人类决策过程的思维方式，能够通过学习已有数据集建立一个树状模型，来进行分类和回归的预测。
它可以处理具有离散和连续属性的数据，并具有较好的可解释性和易于理解的特点。
本文将对决策树算法进行详细介绍。
一、决策树算法的基本原理决策树算法基于“分而治之”的思想，将复杂的问题分解为一系列简单的决策判断，从而构建一个树状模型。
决策树的根节点表示最初的决策，内部节点代表决策的中间过程，叶节点表示最终的决策结果。
决策树的构建过程包括特征选择、树的生成和剪枝三个步骤。
特征选择是决策树算法中非常重要的一步，目的是选择对结果预测有最大分类能力的特征作为划分标准。
经典的特征选择方法有信息增益（ID3）、增益比（C4.5）和基尼指数（CART）等。
信息增益以信息熵的减少量作为特征选择的标准，增益比在信息增益的基础上，对特征本身的信息熵做出惩罚，而基尼指数则衡量数据集的不确定性。
树的生成是决策树算法的核心部分，它可以通过递归地将训练数据划分为不同的子集，直到子集中的数据属于同一类别为止。
生成过程中，通过计算选择的特征对数据集进行划分，并将数据集按照该特征的取值划分为若干子集。
重复这个划分过程，直到每个子集中的数据都属于同一类别，或者没有更多的特征可以选择。
决策树的剪枝是为了防止过拟合现象的发生，过拟合指的是决策树建立过于复杂，过多地考虑了数据集的特殊噪声和异常情况，导致模型在测试数据上表现较差。
剪枝的目标是通过去掉一些分支来简化树模型，提高模型的泛化能力。
决策树剪枝算法有预剪枝和后剪枝两种方式，预剪枝在生成树的过程中进行剪枝，后剪枝在生成树之后进行剪枝。
二、决策树的优势和不足决策树算法具有以下优势：1.决策树易于理解和解释，生成的规则形式直观，能够为决策提供明确的解释。
2.决策树算法是一种非参数方法，对数据的分布没有假设，适用于各种类型的数据。
数据挖掘及决策树
数据挖掘及决策树数据挖掘是一种通过自动或半自动的方式从大量数据中提取出有用的信息和知识的过程。
决策树是一种常用的数据挖掘算法，它通过将数据样本划分为不同的类别或回归值，构建一个树状结构来进行决策。
数据挖掘可以帮助人们从海量的数据中发现隐藏的模式和规律。
通过分析和挖掘数据，可以帮助企业做出更好的决策，提升业务绩效，降低风险。
数据挖掘可以应用于各个领域，如市场营销、金融、医疗、电信等。
在市场营销领域，通过分析用户行为和偏好，可以更好地进行精准营销；在金融领域，可以通过挖掘金融数据预测市场趋势和风险；在医疗领域，可以通过挖掘患者数据提高疾病诊断和治疗效果。
决策树是一种常用的数据挖掘和机器学习算法。
它通过构建一个树形结构来进行决策。
决策树的每个节点代表一个属性，每个分支代表一个属性值，每个叶节点代表一个决策结果。
构建决策树的过程是一个递归的过程，根据属性的选择准则将数据样本划分为不同的类别或回归值。
决策树的优点是易于理解和解释，可以处理各种类型的数据，包括离散型和连续型数据。
此外，决策树可以处理多目标问题，并且对缺失数据和异常数据具有一定的容错性。
决策树还可以通过剪枝等方法减少过拟合的问题。
然而，决策树也存在一些限制。
当数据中存在大量的属性时，决策树容易产生过拟合的问题，导致模型在训练集上表现好而在测试集上表现差。
此外，决策树的构建过程是一个自顶向下的贪婪过程，可能会忽略一些很重要的属性，导致模型的准确性下降。
为了提高决策树的性能，可以采用一些改进的方法。
例如，可以采用剪枝技术来减少过拟合的问题，通过设置合适的参数来控制树的大小；可以采用集成学习的方法，如随机森林和梯度提升树，将多个决策树进行组合，提高模型的准确性和稳定性。
在实际应用中，决策树的应用非常广泛。
例如，在金融领域，可以通过构建决策树来进行信用评估和风险评估；在医疗领域，可以通过构建决策树来进行疾病诊断和预测；在市场营销领域，可以通过构建决策树来进行用户分类和推荐。
数据挖掘之决策树算法理论与实战—Nieson
分类的第一步：模型创建
分类的第二步：模型使用（测试+预测）
分类应用场景一——客户分类
分类应用广泛，如医疗诊断、信用评估、客户分类、图像模式识别等
分类应用场景二——医疗诊断
XX病是一种常见的疾病，目前有5种药物可以对其治疗，分别是——A、
B、C、X、Y。不同的药物对病人有不同的疗效。历史上，医院往往根 据医生的经验去判断针对特定的病人应该选择何种药物。但是由于新 医生的加入，这种仅仅靠经验判断的做法就会造成很多误诊。 该医院有比较完善的病例留存，为了改变以上局面，也为了更好的利
Step1：创建一个根节点N; //根节点对应所有的训练样本 Step2：如果一个结点的样本均为同一类别，则该结点就成为叶节点， 并标记为该类别；否则选择一个合适（信息增益最大）的属性作为分支
测试属性；
Step3：根据分支属性从根节点N产生相应的分支，并生成分支节点； Step4：重复Step2和Step3，直到（1）一个结点的所有样本均为同一类
规模性 Volume 时效性 Velocity 多样性 Variety 准确性 Veracity 价值性 Value
可从数百TB 到数十数百 PB、甚至EB 的规模
需要在一定 的时间限度 下得到及时 处理
包括各种 格式和形 态的数据
处理的结果 要保证一定 的准确性
大数据分析 挖掘和利用 将带来巨大 的商业价值
建，反复使用，每一次预测的最大计算次数不超过决策树的深度。
决策树概论——树形结构
N1
左图展示了一棵简单的二叉树，其中矩形表示决 策树内部节点，每个节点含有决策属性，如图所
N3
N2
示包含了N1、N2和N3三个决策属性，椭圆表示决 策树的叶子节点，叶子节点中包含了分类属性。
决策树算法详细解释
决策树算法详细解释
决策树算法是一种逼近离散函数值的方法，也是一种常用的风险型决策方法。
它通过一系列规则对数据进行分类，其结果以树形图的形式展现。
决策树算法的基本原理是用决策点代表决策问题，用方案分枝代表可供选择的方案，用概率分枝代表方案可能出现的各种结果。
决策树算法通过比较不同方案在未来各种情况下的损益值，为决策者提供决策依据。
决策树算法的具体步骤如下：
1. 决策树的生成：利用归纳算法从训练样本集中生成决策树。
这个过程通常会反复进行，直到达到预设的停止条件为止。
2. 决策树的剪枝：这是对生成的决策树进行检验、校正和修剪的过程。
主要是用新的样本数据集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预测准确性的分枝剪除。
决策树算法最早产生于上世纪60年代，到70年代末由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。
但是忽略了叶子数目的研究。
算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝
技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。
以上内容仅供参考，如需更多信息，建议查阅决策树算法相关论文或咨询数学领域专业人士。
决策树数据挖掘算法
决策树数据挖掘算法一、什么是决策树算法？决策树算法是一种基于树形结构的数据挖掘算法，它通过将数据集划分成不同的子集来构建一个树形模型，以实现对数据的分类或预测。
决策树算法的优点在于易于理解和解释，并且可以处理具有高度非线性关系的复杂数据集。
二、决策树算法的原理1. 决策树的定义决策树是一种基于树形结构的分类模型，它由节点和边组成。
节点表示一个特征或属性，边表示该属性可能取值之间的关系。
2. 决策树算法流程（1）选择最佳特征作为当前节点；（2）将训练集按照该特征进行划分，并创建子节点；（3）对每个子节点递归执行步骤（1）和（2），直到所有叶子节点都为同一类别或无法再划分为止。
3. 决策树算法中用到的概念（1）信息熵：表示数据集纯度或不确定性的度量，计算公式为：$H=-\sum_{i=1}^{n}p_i\log_2p_i$，其中 $p_i$ 表示第 $i$ 个类别在数据集中的占比。
（2）信息增益：表示特征对数据集纯度的提升程度，计算公式为：$IG(D,A)=H(D)-H(D|A)$，其中 $D$ 表示原始数据集，$A$ 表示某个特征。
（3）基尼指数：表示数据集纯度或不确定性的度量，计算公式为：$Gini(D)=\sum_{k=1}^{|\mathcal{Y}|}\sum_{k'\neqk}p_kp_{k'}=1-\sum_{k=1}^{|\mathcal{Y}|}p_k^2$，其中$\mathcal{Y}$ 表示类别集合。
（4）基尼增益：表示特征对数据集纯度的提升程度，计算公式为：$GINI(D,A)=Gini(D)-\sum_{v=1}^{V}\frac{|D^v|}{|D|}Gini(D^v)$，其中 $V$ 表示特征 $A$ 取值的个数，$D^v$ 表示特征 $A=v$ 的样本子集。
三、决策树算法的优缺点1. 优点（1）易于理解和解释；（2）能够处理具有高度非线性关系的复杂数据集；（3）能够同时处理离散型和连续型变量；（4）能够处理多分类问题。
简述决策树法的原理及其应用实例
简述决策树法的原理及其应用实例1. 决策树法的原理决策树法是一种常用的机器学习算法，通过构建树形结构来做出决策。
其原理基于简单的问题和答案，通过有序地提出问题和根据问题的回答进行分支选择的方式来逐步确定结果。
决策树的构建过程主要包括以下几个步骤：1.1 特征选择在构建决策树中，首先需要选择最佳划分特征。
特征选择的目标是要选择能够将样本集合尽可能均匀划分的特征。
常用的特征选择准则有信息增益、信息增益比、基尼系数等。
1.2 决策树的生成决策树的生成过程是递归地构建决策树的过程。
从根节点开始，根据特征选择的结果将样本集合划分为不同子集，然后针对每个子集递归地构建决策树，直到满足终止条件为止。
1.3 决策树的剪枝决策树构建完成后，通常会对决策树进行剪枝处理，以降低过拟合的风险。
剪枝包括预剪枝和后剪枝两种方式，其中预剪枝是在决策树构建过程中判断是否进行已知分支的准备工作，而后剪枝则是在决策树构建完成后对决策树进行修剪。
2. 决策树法的应用实例决策树法可以应用于很多领域，以下是决策树法在几个典型领域中的应用实例：2.1 金融风控决策树法可以用于金融风控中的信用评估。
通过分析客户的个人信息和信用历史等数据，构建决策树模型，从而预测客户的信用风险，并据此判断是否给予贷款。
决策树模型的透明度和较好的解释性使其在金融行业中得到广泛应用。
2.2 医疗诊断决策树法可以用于医疗领域的疾病诊断。
通过分析患者的临床特征、病史等数据，构建决策树模型，从而预测患者的疾病风险，并据此辅助医生进行准确的诊断和治疗。
决策树模型的可解释性和易于理解的特点使得医生和患者都能够更好地理解诊断结果。
2.3 电商推荐决策树法可以用于电商领域的个性化推荐。
通过分析用户的浏览历史、购买习惯等数据，构建决策树模型，根据用户的特征进行个性化的商品推荐，从而提高用户的购物体验和购买率。
决策树模型的可解释性和规则的直观性使得个性化推荐更加符合用户的喜好和需求。
决策树算法及其在数据挖掘中的应用
决策树算法及其在数据挖掘中的应用决策树算法即是一种基于树形结构的分类算法，它是数据挖掘中应用最为广泛的一种算法之一。
决策树算法可以使用对数据进行分类和预测，其基础原理是利用已有的数据集合来构建树形结构，通过一系列判断和分支，将数据集合不断细分，从而得到越来越精准的分类结果。
一、决策树算法的原理决策树算法是基于树形结构的分类算法，其中每个节点代表某个属性特征，而每个属性特征可以分为多个取值，通过一系列判断和分支操作，可以将数据集合不断细分，得到更加精准的分类结果。
具体而言，决策树的构建过程包含以下几步：1.选取切分属性：在所有属性中选择一个最佳属性作为切分属性，使得每个属性对应的集合能够得到最大的分类区分度。
2.设定切分点：在切分属性下，确定一个区间范围，将对应的数据划分为两个子树。
3.递归构建决策树：对于每个子树，不断重复以上步骤，直到每个叶子节点都对应着一个明确的输出结果。
通过这一系列的步骤，决策树算法可以构建出一个大型的树形结构，每个节点都代表某个属性特征，从而可以对任何未知数据进行分类和预测。
另外，决策树算法还有多种衍生形式，如随机森林、梯度提升树等，这些算法都是基于决策树算法的改进和扩展。
二、决策树算法的优点和局限性决策树算法作为数据挖掘中最为常见的算法之一，其具有以下优点：1.易于理解和解释：由于决策树算法的结果是一个树形结构，人们可以很容易地理解和解释这个结果。
2.高效性：决策树算法的时间复杂度较低，对于大量数据集，其处理效率较高。
3.可处理各种类型的数据：决策树算法不需要对数据进行标准化和归一化，可以直接处理各种类型的数据。
不过，决策树算法也具有以下几个局限性：1.容易过度拟合：由于决策树算法会优先选取对数据区分度最大的切分属性，因此容易在处理噪声或者不规则数据时过度拟合，导致误差较大。
2.对缺失数据敏感：如果数据集中存在较多的缺失数据，决策树算法可能难以正确处理这些数据，从而导致分类结果出现误差。
数据挖掘中的决策树算法使用教程
数据挖掘中的决策树算法使用教程数据挖掘是一种从大量数据中提取模式和知识的过程，而决策树算法是数据挖掘中常用的一种方法。
决策树是一种基于树形结构来进行决策的算法，通过将数据集分割成不同的子集，并根据某些规则进行决策。
决策树算法具有简单、易于理解和解释等特点，因此广泛应用于数据挖掘和机器学习领域。
一、决策树的基本原理决策树的基本原理是通过对数据集进行划分来构建一个树形结构，使得在每个划分上都能使得目标变量有最好的分类结果。
通常情况下，我们使用信息增益或者基尼指数来选择最佳的划分特征。
信息增益是一种衡量划分有效性的度量，它计算了在划分前后目标变量的不确定度减少的程度。
基尼指数是另一种常用度量，它衡量样本集合中不确定性的程度。
二、决策树算法的步骤决策树算法的一般步骤如下：1. 收集数据：收集一组样本数据，包含目标变量和特征。
2. 准备数据：对收集到的数据进行处理和预处理，确保数据的质量和可用性。
3. 分析数据：使用可视化工具对数据进行分析和探索，获取对数据的基本认识和理解。
4. 训练算法：使用数据集训练决策树模型。
根据具体的算法选择划分特征和生成决策树的规则。
5. 测试算法：使用训练好的决策树模型对新样本进行预测，并评估模型的准确性和性能。
6. 使用算法：完成决策树模型的训练和测试后，可以使用该模型来进行实际决策。
三、常见的决策树算法决策树算法有很多种变种，包括ID3、C4.5、CART等。
以下介绍几种常见的决策树算法。
1. ID3算法：ID3算法是使用信息增益作为选择划分特征的准则，适用于离散的特征值和分类问题。
2. C4.5算法：C4.5算法是ID3算法的扩展，不仅可以处理离散的特征值，还可以处理连续的特征值，并且可以处理缺失值。
3. CART算法：CART算法是Classification And Regression Trees的缩写，既可以用于分类问题，也可以用于回归问题。
它使用基尼指数来选择划分特征。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
右图展示了一棵多叉树
L1 L2 L3
L4
L5
决策树概论——模型解读
决策树解读示例。该决策树描述了一个购买电脑的分类模型，利 用它可以预测某一客户是否会购买电脑。
决策树概论——分类过程
决策树构建过程
决策树的构建过程是一个贪心算法。它采用自上而下、分而制之的递归 方式来构造一个决策树。 输入：训练数据集 输出：决策树
示例——利用决策树考察顾客是否会购买电脑
训练数据集
表 某一商场顾客购买记录数据库
示例——利用决策树考察顾客是否会购买电脑
创建根节点
由给定训练数据集可知，样本集合的类别属性为“购买PC”，该属性有两个不同的取值 {“是”、“否”}，即有两个不同的类别(m=2)。设C1对应“是”，C2对应“否”，则 |C1|=9，|C2|=5，样本总数|S|=15。为了计算每个属性的信息增益，（1）先计算训练数据 集中两个类别的先验概率分别是：
分支建立
示例——利用决策树考察顾客是否会购买电脑
递归建立下一分支
考虑分支“年龄=‘<=30’”的结点 计算Gain(收入)=0.571，Gain(学生)=0.971，Gain(信用)=0.02，因此分支“年龄=‘<=30’”的 结点再选择属性“学生”作为其测试属性。 考虑分支“年龄=’30~40’”的结点 由于该结点中所有记录均属于同一类别“是”，所以分支“年龄=’30~40’”的结点为叶节点。 考虑分支“年龄=’>40’”的结点 计算Gain(收入)=0.02，Gain(学生)=0.02，Gain(信用)=0.971，因此分支“年龄=‘>40’”的 结点再选择属性“信用”作为其测试属性。 考虑分支“学生=‘否’”的结点 由于该结点中所有记录均属于同一类别“否”，所以分支“学生=‘否’”的结点为叶节点。 考虑分支“学生=‘是’”的结点 由于该结点中所有记录均属于同一类别“是”，所以分支“学生=‘是’”的结点为叶节点。 考虑分支“信用=‘优’”的结点 由于该结点中所有记录均属于同一类别“否”，所以分支“信用=‘优’”的结点为叶节点。 考虑分支“信用=‘中’”的结点 由于该结点中所有记录均属于同一类别“是”，所以分支“信用=‘中’”的结点为叶节点。
规模性 Volume 时效性 Velocity 多样性 Variety 准确性 Veracity 价值性 Value
可从数百TB 到数十数百 PB、甚至EB 的规模
需要在一定 的时间限度 下得到及时 处理
包括各种 格式和形 态的数据
处理的结果 要保证一定 的准确性
大数据分析 挖掘和利用 将带来巨大 的商业价值
条路径就对应着一条分类规则。 目前已有多种决策树算法：ID3、CHAID、C4.5、C5.0、CLS、CART、 SLIQ、SPRING等。 著名的ID3算法是J.R.Quinlan于1975年提出的，该算法引入了信息论 的理论，是基于信息熵的决策树分类算法。
决策树构建原理 ID3算法的核心：在决策树各级结点上选择属性时，用信息增益作
什么是信息熵？
信息熵：信息量的数学期望，是信源发出信息前的平均不确定性，反映
信息的混乱程度。
信息ui(i=1,2,…r)的发生概率P(ui)组成信源数学模型， P(ui)＝1； 信息量(单位是bit，底数取2)： 信息熵： (先验不确定性)。
I (u i ) log 2 1 log 2 P(u i ) P(u i )
构建分类模型是为了使用它对未知类别的数据进行归类，首先需
要保证模型分类的准确性（即模型评估）
holdout方法就是一种简单的估计方法： 使用测试样本对分类模型进行测试，那么分类模型的准确率就是由模型正 确分类的样本个数占总测试样本的比例。 正确率=（198+90）/(198+90+10+2)=96.00% 使用错差矩阵计算F值
数据挖掘之决策树算法
数据分析师：聂胜 2015年12月18日
内容提要
1 2 3 4 5 6
• 前言 • 分类算法的概念及原理 • 决策树分类 • 示例：是否购买电脑 • 决策树模型评估 • SPSS Modeler建模实战
信息技术革命的发展历程
我们已经进入了一个崭新的大数据时代 数据已经成为最重要的资产
生产管理 目标市场 资源配置 客户管理 精准营销 ……
数据爆炸，知识贫乏
数据挖掘的一般过程
模式评估
知识
数据挖掘
相关模式
任务相 关数据
数据仓库
数据选择
数据清理 数据集成
数据库
数据挖掘方法论—跨行业数据挖掘过程标准
CRISP-DM（CRoss-Industry Standard Process for Data Mining） 即为”跨行业数据挖掘过程标
由此，获得利用属性“年龄”对样本集合进行划分的信息增益为：
示例——利用决策树考察顾客是否会购买电脑
选择分支属性
同理可得：
找出具有最大信息增益的属性：
所以，选择“年龄”这一属性为了分支测试属性，并根据“年龄”字段的3个不同的取值产 生3个不同的分支。当前的样本集合被划分为三个子集，如下图所示。
示例——利用决策树考察顾客是否会购买电脑
建，反复使用，每一次预测的最大计算次数不超过决策树的深度。
决策树概论——树形结构
N1
左图展示了一棵简单的二叉树，其中矩形表示决 策树内部节点，每个节点含有决策属性，如图所
N3
N2
示包含了N1、N2和N3三个决策属性，椭圆表示决 策树的叶子节点，叶子节点中包含了分类属性。
L1
L2
L3 N1
N2
N3
N4
准”，该标准将一个数据挖掘工
程分为6个不同的，但顺序并非完 全不变的阶段。
内容提要
1 2 3 4 5 6
• 前言 • 分类算法的概念及原理 • 决策树分类 • 示例：是否购买电脑 • 决策树模型评估 • SPSS Modeler建模实战
什么是分类？
如何将信用卡申请人分为低、中、高风险
群？
哪些顾客在未来半年内会取消该公司服务？ 哪些顾客会申请增加新的服务项目？ 用户是否对某一产品感兴趣？是否会购买 该产品？
用来对新的样本进行分类。
分支属性选择方法
决策树方法就是基于ID3算法，通过计算每个属性的信息增益，并从 中挑选出信息增益最大的属性作为给定集合S的测试属性并由此产生 相应的分支结点。采用这一信息论方法可以帮助有效减少对数据集合
分类所需要的次数，即随着树深度的增加结点的熵迅速地降低，从而确保所产生的决策树最为简单。
用历史数据和专家经验，就需要对历史数据进行分析研究，建立一套
有效的药物选择分类决策支持系统，帮助医生针对特定病人准确选择 疗效更好的药物。
常用的分类算法
决策树
贝叶斯网络 神经网络 Logistics回归 其他分类算法
遗传算法、粗糙集方法、模糊集方法、K—最近邻、支持向量机、判别式等
模型的可用性如何保证？ 模型评估
分类的第一步：模型创建
分类的第二步：模型使用（测试+预测）
分类应用场景一——客户分类
分类应用广泛，如医疗诊断、信用评估、客户分类、图像模式识别等
分类应用场景二——医疗诊断
XX病是一种常见的疾病，目前有5种药物可以对其治疗，分别是——A、
B、C、X、Y。不同的药物对病人有不同的疗效。历史上，医院往往根 据医生的经验去判断针对特定的病人应该选择何种药物。但是由于新 医生的加入，这种仅仅靠经验判断的做法就会造成很多误诊。 该医院有比较完善的病例留存，为了改变以上局面，也为了更好的利
鲁棒性：对噪声和缺失值的容错能力
可扩展性：处理大量数据并构建相应模型的能力 易理解性：模型的可解释程度
内容提要
1 2 3 4 5 6
• 前言 • 分类算法的概念及原理 • 决策树分类 • 示例：是否购买电脑 • 决策树模型评估 • SPSS Modeler建模实战
决策树概论——作用及优点
Step1：创建一个根节点N; //根节点对应所有的训练样本 Step2：如果一个结点的样本均为同一类别，则该结点就成为叶节点， 并标记为该类别；否则选择一个合适（信息增益最大）的属性作为分支
测试属性；
Step3：根据分支属性从根节点N产生相应的分支，并生成分支节点； Step4：重复Step2和Step3，直到（1）一个结点的所有样本均为同一类
分类所需要的信息量
利用属性A划分当前样本的信息（熵）
信息增益
此时，Gain(A)可以被认为是根据属性A取值进行样本集合划分所获得的信息
（熵）的减少量。
内容提要
1 2 3 4 5 6
• 前言 • 分类算法的概念及原理 • 决策树分类 • 示例：是否购买电脑 • 决策树模型评估 • SPSS Modeler建模实战
（2）计算对给定样本分类所需的期望信息（即样本的信息熵）：
（3）计算每个属性的熵（条件熵）。（从年龄开始计算，根据属性“年龄”每个取值在 “是”类别和“否”类别中的分布，计算出每个分布所对应的信息）
示例——利用决策树考察顾客是否会购买电脑
创建根节点
如果样本按属性“年龄”划分，对一个给定的样本分类所需要的信息熵为：
数据
性别
子节点 男 女
根节点
年龄
<30 >30
0
叶节点
部门
数 据
1
开发
1
1
0
决策树构建原理
决策树是以历史数据为基础的有监督的学习。它从一组无次序、无规 则的记录中推理出决策树形式的分类规则，采用自顶向下的递归方式， 在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结
点向下分支，而叶结点就是要学习划分的类。从根结点到叶结点的一