决策树算法(PPT36页)

第七章 决策树和决策规则
本章目标 分析解决分类问题的基于逻辑的方法的特
性. 描述决策树和决策规则在最终分类模型中
的表述之间的区别. 介绍C4.5算法. 了解采用修剪方法降低决策树和决策规则
的复杂度.
决策树和决策规则是解决实际应用中分类 问题的数据挖掘方法。
一般来说，分类是把数据项映射到其中一 个事先定义的类中的这样一个学习函数的 过程。由一组输入的属性值向量(也叫属性 向量)和相应的类，用基于归纳学习算法得 出分类。
单按上面方式计算。下面先介绍一下C4.5 算法中一般包含3种类型的检验结构：
1.离散值的“标准”检验，对属性的每个可 能值有一个分枝和输出。
2.如果属性Y有连续的数值，通过将该值和阈 值Z比较，用输出Y≤Z和Y＞Z定义二元检验。
3.基于离散值的更复杂的检验，该检验中属 性的每个可能值被分配到许多易变的组中， 每组都有一个输出和分枝。
7.2 C4.5算法：生成一个决策树
C4.5算法最重要的部分是由一组训练样本 生成一个初始决策树的过程。决策树可以 用来对一个新样本进行分类，这种分类从 该树的根节点开始，然后移动样本直至达 叶节点。在每个非叶决策点处，确定该节 点的属性检验结果，把注意力转移到所选 择子树的根节点上。
例如，如图7-3a为决策树分类模型，待分 类有样本如图7-3b所示，由决策树分类模 型可得出待分类样本为类2。(节点A,C,F(叶 节点))
=0.694
相应的增益: Gain(x1)=0.94-0.694=0.246
按属性3分区可得子集的熵的加权和：
infox2(T)=6/14(-3/6log2(3/6)-3/6log2(3/6)) +8/14(-6/8log2(6/8)-2/8log2(2/8))
=0.892
相应的增益: Gain(x2)=0.94-0.892=0.048 由于属性2是数值型的连续数据，不能简
3. 到达决策树的叶节点的每条路径表示一个 分类规则。
该算法的关键性决策是对节点属性值的选 择。ID3和C4.5算法的属性选择的基础是基 于使节点所含的信息熵最小化。
基于信息论的方法坚持对数据库中一个样 本进行分类时所做检验的数量最小。ID3的 属性选择是根据一个假设，即：决策树的 复杂度和所给属性值表达的信息量是密切 相关的。基于信息的试探法选择的是可以 给出最高信息的属性，即这个属性是使样 本分类的结果子树所需的信息最小。
分区所对应的信息增益:
Gain( X ) info(T ) infox (T )
上式度量了按照检验X进行分区的T所得到 的信息。该增益标准选择了使Gain(X)最大 化的检验X，即此标准选择的具有最高增益 的那个属性。
例如：给定训练样本如表7-1，14个样本， 3个属性，分为两个类。
9个样本属于类1，5个属于类2，因此分区 前的熵为（基于类的熵计算）
3. T包含属于不同类的样本。这种情况 下，是把T精化成朝向一个单类样本 集的样本子集。根据某一属性，选择 具有一个或更多互斥的输出 {O1,O2,…,On}的合适检验。T被分区 成子集T1,T2,…,Tn。T的决策树包含标 识检验的一个决策点和每个可能输出 的一个分枝(如图7-3a中的A,B和C节 点)
info(T)=-9/14log2(9/14)-5/14log2(5/14)
=0.940
按属性1分区可得子集的熵的加权和：
infox1(T)=5/14(-2/5log2(2/5)-3/5log2(3/5)) +4/14(-4/4log2(4/4)-0/4log2(0/4)) +5/14(-3/5log2(3/5)-2/5log2(2/5))
集合S的期望信息(熵)如下：
k
info(S ) (( freg (Ci , S ) / S ) log 2 ( freg (Ci , S) / S )) i 1
T被分区之后的一个相似度标准，T按照一 个属性检验X的几个输出进行分区。所需信 息为子集的熵的加权和:
n
infox (T ) ( Ti / T ) info(Ti )) i 1
决策树包含属性已被检验的节点，一个节 点的输出分枝和该节点的所有可能的检验 结果相对应。
图7-2是一个简单的决策树。该问题有两个 属性X,Y。所有属性值X>1和Y>B的样本属 于类2。不论属性Y的值是多少，值X <1的 样本都属于类1。
对于树中的非叶节点，可以沿着分枝 继续分区样本，每一个节点得到它相 应的样本子集。
假设选择有n个输出(所给属性的n个
值)的检验，把训练样本集T分区成子
集T1,T2,…,Tn。仅有的指导信息是在T 和它的子集Ti中的类分布。
如果S是任意样本集，设freq(Ci,S)代 表S中属于Ci的样本数量，|S|表示集 合S中的样本数量。
ID3算法的属性选择的检验方法采用增益标 准，它基于信息论中熵的概念。
学习的目标是构建一个分类模型，通常也 叫分类器。它可以根据有效的属性输入值 预测一些实体(所给样本)的类。是一个在样 本其他属性已知的情况下预测另外一个属 性(样本的类)的模型(分类成分类器的一个特别有效的方 法是生成一个决策树。它是一种基于逻辑 的方法，通过一组输入-输出样本构建决策 树的有指导学习方法。
生成决策树的一个著名的算法是 Quinlan的ID3算法，C4.5是它改进版。
ID3算法的基本思路：
1. 从树的根节点处的所有训练样本开始，选 取一个属性来划分这些样本。对属性的每 一个值产生一分枝。分枝属性值的相应样 本子集被移到新生成的子节点上。
2. 这个算法递归地应用于每个子节点，直到 一个节点上的所有样本都分区到某个类中。
C4.5算法的构架是基于亨特的CLS方法， 其通过一组训练样本T构造一个决策树。 用{C1,C2,…,CK}来表示这些类，集合T所含 的内容信息有3种可能性：
1. T包含一个或更多的样本，全部属于单个 的类Cj。那么T的决策树是由类Cj标识的一 个叶节点。
2. T不包含样本。决策树也是一个叶，但和 该叶关联的类由不同于T的信息决定，如T 中的绝大多数类。