weka实验报告

基于w e k a的数据分类分析实验报告1 实验目的

（1）了解决策树C4.5和朴素贝叶斯等算法的基本原理。

（2）熟练使用weka实现上述两种数据挖掘算法，并对训练出的模型进行测试和评价。

2 实验基本内容

本实验的基本内容是通过基于weka实现两种常见的数据挖掘算法（决策树C4.5和朴素贝叶斯），分别在训练数据上训练出分类模型，并使用校验数据对各个模型进行测试和评价，找出各个模型最优的参数值，并对模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预测。

3 算法基本原理

（1）决策树C4.5

C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。C4.5由J.Ross Quinlan在ID3

的基础上提出的。ID3算法用来构造决策树。决策树是一种类似流程图的树结构，其中每个内部节点（非树叶节点）表示在一个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点存放一个类标号。一旦建立好了决策树，对于一个未给定类标号的元组，跟踪一条有根节点到叶节点的路径，该叶节点就存放着该元组的预测。决策树的优势在于不需要任何领域知识或参数设置，适合于探测性的知识发现。

从ID3算法中衍生出了C4.5和CART两种算法，这两种算法在数据挖掘中都非常重要。

属性选择度量又称分裂规则，因为它们决定给定节点上的元组如何分裂。属性选择度量提供了每个属性描述给定训练元组的秩评定，具有最好度量得分的属性被选作给定元组的分裂属性。目前比较流行的属性选择度量有--信息增益、增益率和Gini指标。

（2）朴素贝叶斯

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。

朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。

朴素贝叶斯分类的正式定义如下：

1）设x={a_1,a_2,...,a_m}为一个待分类项，而每个a为x的一个特征属性。

2）有类别集合C={y_1,y_2,...,y_n}。

3）计算P(y_1|x),P(y_2|x),...,P(y_n|x)。

4）如果P(y_k|x)=max{P(y_1|x),P(y_2|x),...,P(y_n|x)}，则x in y_k。

那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：

1）找到一个已知分类的待分类项集合，这个集合叫做训练样本集。

2）统计得到在各类别下各个特征属性的条件概率估计。即

P(a_1|y_1),P(a_2|y_1),...,P(a_m|y_1);P(a_1|y_2),P(a_2|y_2),...,P(a_m|y_2);.. .;P(a_1|y_n),P(a_2|y_n),...,P(a_m|y_n)。

3）如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：

P(y_i|x)=frac{P(x|y_i)P(y_i)}{P(x)}

因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

P(x|y_i)P(y_i)=P(a_1|y_i)P(a_2|y_i)...P(a_m|y_i)P(y_i)=P(y_i)\prod^m_{j=1}P( a_j|y_i)

根据上述分析，朴素贝叶斯分类的流程分为三个阶段：

第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工

对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。

第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。

第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。

4 实验

（1）实验设置

通过统计数据信息，发现带有类标号的数据一共有286行，为了避免数据的过度拟合，必须把数据训练集和校验集分开，目前的拆分策略是训练集200行，校验集86行。

（2）决策树分类

用“Explorer ”打开刚才 “breast-cancer_train.arff ”，并切换到“Class ”。点“Choose ”按钮选择“tree ()”，这是WEKA 中实现的决策树算法。

选择Cross-Validatioin folds=10，然后点击“start

”按钮：

（

2）朴

素贝

叶斯

分类

点“Choose ”按钮选择“bayes ”，这是WEKA 中实现的决策树算法。

选择Cross-Validatioin folds=10，然后点击“start ”按钮：

得出的准确率为72.3%