数据挖掘(分类算法的研究)

数据挖掘之分类方法的研究

摘要：对分类算法中需要解决的关键问题进行了分析；综述了不同分

类算法的思想和特性，决策树分类算法能够很好地处理噪声数据，但

只能对规模较小的训练样本集有效；贝叶斯分类算法精度高、速度快、

错误率低、但分类不够准确；并且针对决策树分类算法的缺点进行了

改进。

关键字：数据挖掘，分类算法，决策树

数据挖掘的主要分类算法综述

数据挖掘的分类算法有多种，本文重点描述决策树、贝叶斯分类算法的特性及其新发展。

2.1 决策树分类算法

决策树分类算法也称为贪心算法，采用自顶向下的分治方式构

造，它从一组无次序、无规则的事例中推理出决策树表示形式的分类

规则，是以实例为基础的归纳学习方法。决策树分类算法对噪声数据

有很好的健壮性，能够学习析取表达式，是最为广泛使用的分类算法

之一[1]。决策树的每个内部节点(非叶节点)表示在一个属性上的测

试，每个分枝代表一个测试输出，每个叶节点代表类或类分布，树的

顶层节点是根节点。决策树算法通过将样本的属性值与决策树相比

较，来对未知样本进行分类。

首先根据训练数据集来构建决策树，建立决策树模型，这实际上

是一个从数据中获取知识，进行机器学习的过程[2]。树代表训练样本

的单个根节点开始，使用分类属性(如果是量化属性，则需要进行离

散化)，递归地通过选择相应的测试属性来划分样本，一旦一个属性出现在一个节点上，就不在该节点的任何后代上出现，测试属性是根据某种启发信息或者是统计信息来进行选择(如信息增益)。第二个阶段是树剪枝，树剪枝试图检测和剪去训练数据中的噪声和孤立点，尽量消除模型中的异常。剪枝后的树变小、复杂度降低，在正确地对独立检验数据分类时效果更快更好。

决策树的优点：

1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。

2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。

3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。

4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。

5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。

6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

7、可以对有许多属性的数据集构造决策树。

8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。

决策树的缺点：

1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。

2、决策树处理缺失数据时的困难。

3、过度拟合问题的出现。

4、忽略数据集中属性之间的相关性。

2.2 贝叶斯分类算法

贝叶斯( Beyes) 分类算法基于概率统计学的贝叶斯定理，是一种在先验概率与类条件概率已知的情况下，预测类成员关系可能性的模式分类算法，如计算一个给定样本属于一个特定类的概率，并选定其中概率最大的一个类别作为该样本的最终类别。

贝叶斯分类算法的关键是使用概率表示各种形式的不确定性。对于大型数据集，从理论上讲，精确度高，运算速度快，具有最小的错误率，是贝叶斯算法的最大优点，但实际情况下，因其假定的不准确性，导致缺乏可用的数据，就需要足够大的样本。针对该缺陷，出现了一些降低独立性假设的贝叶斯改进分类算法，如半朴素贝叶斯算法、压缩候选的贝叶斯信念网络构造算法、TAN 算法等[5]。贝叶斯分类算法还可以用来对不直接使用贝叶斯定理的其他分类算法提供理论判据。基于聚类分析思想，提出一种合理性、可信度都优于朴素贝叶斯缺损数据的修补算法。利用贝叶斯和决策树分类算法的优点，将贝叶斯的先验信息法与决策树分类的信息增益法相结合的混合分类算法，在处理不一致或者不完整数据时，比单纯使用贝叶斯或决策树进行的分类运算速度更快，准确率更高。

2.5 其他分类算法

除上述分类算法，常用的还有粗糙集、遗传算法、神经网络等分类算法。粗糙集算法以发现不准确数据或噪声数据内的结构联系，其知识表示是产生式规则。遗传算法基于生物进化思想，通过模拟自然进化

过程搜索最优解，是现代智能计算中的关键技术之一。神经网络是一组连接的I /O 单元，其中每个连接都与一个权重相关联。神经网络分类中最流行的算法是BP( Back propagation) 算法、Hopfield 算法和后向传播分类算法。目前，研究者将神经网络算法与遗传算法、粗糙集算法、粒子群优化算法、蚁群算法相结合，如将粗糙集理论应用到CBA 算法中，以提高分类关联规则的生成效率和准确度。

5 结束语

本文主要针对数据挖掘的几种分类算法进行阐述，详细讨论了决策树、贝叶斯分类算法的研究发展，并着重分析了决策树分类方法的优点及存在的缺陷。在数据挖掘应用中，用户要根据数据的特点，选择合适的分类算法或混合交互分类算法。在今后的工作中，为进一步提高分类的准确率、降低计算复杂度，更应该综合多领域技术，将分类算法与多学科相互交叉相互渗透，使之向着更多样化方向发展。

最后，感谢两个月来陶老师对我们的谆谆教诲，她带我们走进了一个新的学科领域，为我今后对数据挖掘的研究打下了坚实的基础。