一种改进的决策树分类属性选择方法

（9）根据 test_attribute=ai 条件，从结点 N 产生相应的一个 分支，以表示该测试条件；
（10）设 si 为 test_attribute=ai 条件所获得的样本集合； （11）若 si 为空，则将相应叶结点标记为该结点所含样本中 记为 Generate_decision_tree（si， attribute_list-test_attribute）返回值。
（5）返回 N 作为一个叶结点，并标记为该结点所含样本中
类别个数最多的类别；
（6）选择 attribute_list 中具有最高信息增益的属性 test_at－
tribute；
（7）标记结点 N 为 test_attribute；
（8）对于 test_attribute 中的每一个已知取值 ai，准备划分结 点 N 所包含的样本集；
缩短了生成决策树的时间，但是作者没有考虑简化过程中带来 的误差；在文献[6]中，作者针对 ID3 算法的取值偏向问题，引入 了“兴趣度”的概念，对 ID3 算法进行了有效的改进，但是没能 克服 ID3 算法存在的第（2）条缺点。
文章对文献[6]提出的决策树算法进行了优化，有效缩短 了该算法生成决策树的时间，同时弥补了优化过程中带来的 误差，避免了文献[5]中出现的不足。除此之外，针对样本集中 某一确定属性值的记录集合为空的情况，给出了自己的修改 方案。
2 算法改进原理
ID3 算法的基本原理[7]如下：设 E=F1×F2×…×Fn 是 n 维有穷 向量空间。其中 Fj 是有穷离散符号集，E 中的元素 e=<V1，V2， …，Vn>称为样例。其中 Vj∈Fj，j=1，2，…，n。设 PE 和 NE 是 E 的 2 个样例集，分别叫做正例集和反例集。假设向量空间 E 中的 正例集 PE 和反例集 NE 的大小分别为 P、N。由决策树的基本 思想知 ID3 算法是基于如下两种假设：
Σv
e（A）= （1+
α
） ni pi
i=1
pi+ni pi+ni
但是，简化过程会引起误差，所以不能用上式直接作为选
择分类属性的度量。这里假设每个属性的特征值个数为 M，经
过多次实验证明将 M 乘以 e（A）可以有效弥补误差。因此，可
以用下式作为选择分类属性的度量：
Σv
e（* A）= （1+
α
） ni pi M
i=1
pi+ni pi+ni
（5）
（2）当 si 为空时，ID3 处理的方法是将相应叶结点标记为
该结点所含样本中类别个数最多的类别。为使决策树结点数目
尽量少，当 si 为空时，跳过 ID3 中的步骤（11），继续查找其他非 空样本子集作为下次递归的输入训练集，并产生相应的决策树
分枝。在实际过程中，对于在决策树中不能找到的情况，与其给
Abstract：Analyze the basic principles and implementation steps of ID3 and point out the advantages and disadvantages of two existing improved classification algorithms.With the shortcoming of inclining to choose attributes having many values for ID3 and the deficiencies of classification time and classification accuracy for existing two improved classification algorithms，a new attribute selection scheme is proposed and optimized with mathematical knowledge.Experiment results show that the optimized scheme can overcome the above disadvantage of ID3 and has the advantages of classification time and classification accuracy over the existing two classification algorithms. Key words：data mining；decision tree；attributes selection
Computer Engineering and Applications 计算机工程与应用
2010，46（8） 127
一种改进的决策树分类属性选择方法
王 苗 1，柴瑞敏 2 WANG Miao1，CHAI Rui-min2
1.辽宁工程技术大学 研究生院，辽宁 葫芦岛 125105 2.辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105 1.Institute of Graduate，Liaoning Technical University，Huludao，Liaoning 125105，China 2.School of Electronic and Information Engineering，Liaoning Technical University，Huludao，Liaoning 125105，China E-mail：hsmobei16525@
128 2010，46（8）
Computer Engineering and Applications 计算机工程与应用
（1）在向量空间 E 上的一棵正确决策树对任意样例的分
类概率同 E 中的正反例的概率一致。
（2）一棵决策树对一样例做出正确类别判断所需的信息为：
（I p，n）=- p lb p - n lb n p+n p+n p+n p+n
基金项目：辽宁工程技术大学研究生科研立项基金（the Liaoning Technical University Graduate Research Foundation of China under Grant No.Y200900501）。
作者简介：王苗（1984-），女，硕士研究生，主要研究方向：数据挖掘；柴瑞敏（1969-），女，副教授，硕士生导师，主要研究方向：人工智能，数据挖掘。 收稿日期：2009-10-21 修回日期：2009-12-28
WANG Miao，CHAI Rui -min.Improved classification attribute selection scheme for decision tree .Computer Engineering and Applications，2010，46（8）：127-129.
在文献[5]中，作者利用数学中的等价无穷小理论，将 ID3
Σn
算法中的期望熵 E（A）近似为 e（1 A）=
i=1
ni pi 计算每个属性 ni +pi
的熵，从中选取熵值最小的属性作为决策树结点，但是没有弥
补近似化简引入的误差，生成的决策树和 ID3 算法生成的决策
树不相同，精确度有所降低。当选出以属性天气为决策树根结
摘 要：分析了 ID3 算法的基本原理、实现步骤及现有两种改进分类算法的优缺点，针对 ID3 算法的取值偏向问题和现有两种改 进算法在分类时间、分类精确度方面存在的不足，提出了一种新的分类属性选择方案，并利用数学知识对其进行了优化。经实验证 明，优化后的方案克服了 ID3 算法的取值偏向问题，同时在分类时间及分类精确度方面优于 ID3 算法及现有两种改进的分类算法。 关键词：数据挖掘；决策树；属性选择 DOI：10.3778/j.issn.1002-8331.2010.08.036 文章编号：1002－8331（2010）08-0127-03 文献标识码：A 中图分类号：TP399
点之后，可以根据天气的 3 个属性值雨、多云、晴得出 3 个子
树。这里以属性雨所在的子树为例说明为什么精确度会降低。
在进行递归计算时，可以得出各属性的信息熵分别为：
e（1 气温）=
4×1 4+1
+ 1×0 1+0
+ 1×1 1+1
=1.3
e（1 湿度）=
3×0 3+0
+ 2×3 2+3
=1.2
e（1 风）=
-ni
ln ni ）+ pi+ni
Σv α 1 （- pi ln pi - ni ln ni ）
i=1 ln 2 pi+ni pi+ni pi+ni pi+ni
对于每个训练集，（P+N）ln2 是常量且每一步都要计算，所
以可以省略。又由泰勒公式和麦克劳林公式可知当 x 很小时，
ln（1+x）≈x，进而可以将上式近似为：
输入：训练样本，各属性均取离散数值，可供归纳的候选属
性集为：attribute_list。
输出：决策树。
处理流程：
（1）创建一个结点 N；
（2）若该结点中的所有样本均为同一个类别 C，则开始根
结点对应所有的训练样本；
（3）返回 N 作为一个叶结点，以类 C 标记；
（4）如果 attribute_list 为空；
（I pi，n）i
（2）
以 A 为根的信息增益是：
gain（A）=（I p，n）-E（A）
（3）
ID3 选择 gain（A）最大，也就是 E（A）最小的属性 A* 作为
根结点，对 A* 的不同取值对应的 E 的 V 个子集 Ei 递归调用上 述过程生成 A* 的子结点 B1，B2，…，Bv。
详细算法[8]描述如下：