决策树分类

∑ − pi log2 ( pi ) .其中，P 是任意样本属于c 的概率，一般可以用来si／s估计。 1
设一个属性 A 具有 V 个不同的值{ a1, a2,..., av }。利用属性 A 将集合 S 划分
为 V 个子集{ s1, s2 ,..., sv }，其中 s 包含了集合 s 中属性 取 aj 值的数据样本。若 属性 A 被选为测试属性(用于对当前样本集进行划分)，设 s 为子集 si 中属于 c 类 别的样本数。那么利用属性 A 划分当前样本集合所需要的信息(熵)可以计算如下：
图 1.1 决策树分类器示意图 决策树分类算法起源于概念学习系统CLS(Concept Iearning System)，然后发 展到ID3方法而为高潮，最后又演化为能处理连续属性的C4．5，有名的决策树 方法还有CART和Assistant，Sliq、Spdnt等等。其中决策树方法中最为著名的算 法是Quinlan于1986年提出的ID3算法，算法以信息熵的增益进行属性选择。但由 于ID3算法采用基于信息熵的属性选择标准，因此偏向于选择属性取值较多的属 性，而属性取值较多的属性却不一定是最佳的分类属性。1993年，Qullan对ID3 算法进行了改进，利用信息增益率进行属性选择，提出了C4．5算法。C4．5算法 还在ID3算法的基础上增加对连续型属性、属性值空缺情况的处理，对剪枝也有 了较成熟的算法。 决策树分类算法主要是利用信息论原理对大量样本的属性进行分析和归纳 而产生的。决策树的根节点是所有样本中信息量最大的属性；树的中间节点是以
RID
Age
Income
Student Credit_rating Class
1
Youth
High
No
Fair
No
2
Youth
High
No
Excellent
No
3 Middle_aged
High
No
Fair
Yes
4
Senior
Medium
No
Fair
Yes
5
Senior
Low
Yes
Fair
Yes
6
Senior
从商业角度看，决策树是一种深层次的商业信息分析技术。 它借助企业现 有的数据仓库，对大量的企业客户信息进行分析，最后对客户进行分类，揭示客 户本身特征与最终购买行为之间的对应关系，并进一步将其模型化，从而自动提 取出用以辅助商业决策的相关商业模式。例如，在金融产品的营销过程中，利用 决策树对金融客户的特征数据进行分析，可以对金融客户进行分类，在此基础上 通过对过去购买不同金融产品的客户的分析，发现优质客户所对应的一些习惯性 的交易方式，再回过头来对具有这些交易方式的客户采取相应的营销对策， 为 近期或长期客户的投资交易行为做出预测，实现最大收益化。因此研究大量金融 客户的特征数据是金融机构制定市场营销策略和进行收益规划的基础。
3.1 决策树法
3.1.1 决策树分类算法概述
决策树(Decision Tree)，顾名思义就是一个类似于流程图的树型结构。有人 也说它因形状像树且能用于决策而得名。—个决策树由—个根节点(Root nodes)、 一系列内部节点(Internal nodes)和分支以及若干个叶节点(Terminal nodes)组成， 每个内部节点只有一个父节点和两个或多个子节点，节点和子节点之间形成分支。 其中树的每个内部节点代表一个决策过程中所要测试的属性；每个分支代表测试 的一个结果，不同属性值形成不同分支；而每个叶节点就代表一个类别，即图像 的分类结果。树的最高层节点称为根节点，是整个决策树的开始。图 1.1 就是— 棵用于遥感影像分类的二叉决策分类器的简单示意图。从中可以看到决策树的基 本组成部分：根节点、节点、分支和叶节点。
I( s1, s2 ,..., sm )-E(A). Gain(A)被认为是根据属性 A 取值进行样本集合划分所获得的(信息)熵的减少量。
3.1.1 决策树分类算法应用实例
下面给出了一个预测消费者是会购买电脑的实例。对于这个问题，可以通过 考察消费者的个人信息来构造。表 1.1 是贷款申请者的个人信息，以及是否购买 电脑的类标号。该表将这些消费者分为“Yes”和“No”两类，代表这些消费者 是否购买电脑的情况。在表 1.1 中，将属性分别定义为： ：A1 =AGE{ Youth， Middle_aged , Senior }，A2 = Income { Low,Medium, High }，A3 = Student { No,Yes }，A4 =Credit_rating {Fair,Excellent}.
m
分越好。而对于一个给定子集
Sj，它的信息为：I(
s1
,
s2
,
...,
sm
)=)
s ij
中， p = ij | s ij
| 即为子集 Sj 中任一个数据样本类别的概率。这样利用属性
对当前
分 支 节 点 进 行 相 应 样 本 集 合 划 分 所 获 得 的 信 息 增 益 就 是 ： Gain(A)=
那什么是信息增益呢?信息增益基于信息论中熵的概念。熵是一个衡量系统 混乱程度的统计量，熵越大表示系统越混乱。分类的目的是提取系统信息使系统 向更加有序、有规则的方向发展，所以最佳的分枝方案是使熵减少量最大的方案。 因此，决策树的分枝方案就是计算每个属性的信息增益，取具有最高信息增益的 属性进行分枝。
3.1.2 决策树分类算法的构建过程及 ID3 算法
决策树分类器的构造通常分两步走：第一步是初始决策树的生成，即利用训 练集生成一棵决策树，建立决策树模型。这个过程实际上是一个从数据中获取知 识，进行机器学习的过程；第二步是利用生成的决策树进行决策树的剪枝。现实 世界的数据一般不可能是完美的：可能某些属性字段上缺值；可能数据含有噪声 等。在基本的决策树构造过程中，没有考虑噪声问题，生成的决策树完全与训练 样本拟合。这样就会把训练数据中的噪声也拟合进了模型，即所谓的过拟合，损 害了模型的预测性能。剪枝是一种克服噪声的技术，其实质是消除训练集中的异 常和噪声。
Low
Yes
Excellent
No
7 Middle_aged
Low
决策树剪枝有两种策略：向前剪枝和向后剪枝。所谓向前剪枝即通过提前停 止对树的构造而对树进行剪枝，一旦停止，该节点成为树叶；所谓向后剪枝即由 “完全生长”的树剪去子树。通过删除节点的分枝并用树叶替换它而剪掉给定节 点的子树。 这样剪枝后的树更小，复杂程度更低，因此容易理解。一般来说它 们在正确的对独立检验数据分类时比未剪枝的树更快、更好。
splitting_criterion； 利用 splitting_criterion 标记节点 N； if splitting_attribute 是离散值的并且允许多路划分 then //不限于二叉树 atribute_list= atribute_list- splitting_atribute；//删除划分属性 for splitting_criterion 的每个输出 j //划分元组并对每个划分产生子树 设 Dj 是 D 中满足输出 j 的数据元组的集合；//一个划分 if Dj 为空 then 加一个树叶到节点 N，标记为 D 中的多数；//（出口） else 加一个由 Generate_decision_tree（Dj， atribute_list ）返回的节点到
节点 N； end for 返回 N； 决策树算法的一个重要问题就是在树的各个内部节点处寻找一个合适的属 性，该属性能很好的对训练集进行分类。 而 ID3 算法的核心是：在决策树各级 结点上用信息增益（information gain）作为属性的选择标准，以使得在每一个非 叶结点进行测试时，能获得关于被测试纪录最大的类别信息，它可以用来对新的 样本进行分类。
ID3 算法的具体实现方法为： 创建一个节点 N； if D 中的元组都是同一类 C then 返回 N 作为叶节点，以类 C 标记；//（出口） if attribute_list 为空 then 返回 N 作为叶节点，标记为 D 中的多数类； //多数表决（出口） 使用 attribute_selection_method（D， attribute_list ），找出“最好”的
ID3算法选择具有最高信息增益的属性作为当前节点的测试属性。该属性使 得对结果划分中的样本分类所需的信息最小，并反映划分的最小随机性。这种信 息理论方法使得对一个对象分类所需的期望值测试数目达到最小，并尽量确保找 到一棵简单的树来刻画相关的信息。设s是S个数据样本的集合。假定类标号属性 具有m个不同的值，定义m个不同类c (i=1，2，⋯ ，m)。设S 是类c中的样本数。 对一个给定的样本分类所需的期望信息由下式给出：I( s1, s2 ,..., sm )=
∑v
E(A)=
1
s1, j
+ s2, j + ... + sm, j s
I (s1 j , s2 j ,..., smj )
s1, j
其中，
+
s2, j
+ s
... +
sm, j
项被当作第
j
个子集的权值，即所有子集中属性
A
取
a j
值的样本数之和除以 S 集合中的样总数。 E(A )计算结果越小，就表示其子集划
该节点为根的子树所包含的样本子集中信息量最大的属性；决策树的叶节点是样 本的类别值。为了对未知数据对象进行分类识别，可以根据决策树的结构对数据 集中的属性值进行测试，从决策树的根节点到叶节点的一条路径就形成对象的类 别预测，即生成一棵决策树，再剪枝，优化，然后把决策树转化为规则，利用这 些规则可以对新事例进行分类。
图 1.2 决策树分类模型 在构建决策树模型算法中最有影响的方法是ID3算法，它采用了贪心（即非 回溯的）算法，采用了自顶向下的递归方式构造决策树，从训练元组和它们相关