基于Weka的软件缺陷预测研究与应用

基于Weka的软件缺陷预测研究与应用作者：郭江峰曲豫宾来源：《河南科技》2020年第08期摘要：在软件开发过程中，软件缺陷预测能预先识别存在的潜在缺陷模块，大幅减少测试所需的人力、物力，优化测试资源分配，提高测试效率和软件产品质量。

软件缺陷预测技术不仅具有重要的研究意义，更具有重要的应用价值。

基于Weka数据挖掘平台，本研究使用NASA缺陷数据集进行了软件缺陷预测，在合理选择机器学习算法、科学设置参数的情况下，取得了良好的软件缺陷预测结果。

关键词：软件缺陷预测;度量元;机器学习;Weka中图分类号：TP311.52 文献标识码：A 文章编号：1003-5168（2020）08-0014-05Research and Application of Software Defect Prediction Based on WekaGUO Jiangfeng1，2 QU Yubin1（1.Jiangsu College of Engineering and Technology，Nantong Jiangsu 226007;2.Kizilsu Vocational Technical College，Atushi Xinjiang 845350）Abstract： In the process of software development， software defect prediction can identify the potential defect modules in advance， greatly reduce the human and material resources needed for testing， optimize the distribution of testing resources， and improve the testing efficiency and software product quality. Software defect prediction technology not only has important research significance， but also has important application value. Based on Weka data mining platform， the software defect prediction was carried out by using NASA defect data set in this study， and good software defect prediction results were obtained under the condition of selecting machine learning algorithm reasonably and setting parameters scientifically.Keywords： software defect prediction;metrics;machine learning;Weka随着科学技术和社会经济的快速发展，计算机技术在各个行业得到了广泛应用，计算机软件（系统）与人们的工作、生活也越来越紧密，软件质量和系统可靠性对生产和管理活动的效率和安全性的影响也越来越大[1]。

但是，随着人们对软件需求的不断增长，软件规模变大，复杂程度增加，软件的开发与维护难度越来越大。

隐含缺陷的软件在运行过程中可能会产生软件失效或系统崩溃，严重的软件缺陷会给企业带来巨额的经济损失，甚至可能引发人员伤亡[1-2]。

用户需求不明确、软件开发过程不规范、软件开发人员经验与能力不足等原因，均会导致软件缺陷的产生。

为保证软件质量，软件测试人员会通过一定的软件测试方法对软件缺陷进行排查，然后通知开发人员对软件缺陷进行处理。

然而，受软件项目的开发进度和成本控制等实际因素的影响，软件测试工程师无法对所有软件模块进行完全覆盖测试。

1 软件缺陷预测的定义与研究意义随着人们对计算机软件的依赖程度越来越大，如何有效提高软件质量成为软件工程领域研究的重點和难点。

传统的软件质量保障手段（如静态代码审查或动态软件测试）效率低下，需要大量的人力、物力，而且需要额外对代码进行插桩等修改操作[3]。

软件缺陷预测技术逐渐成为软件工程领域的研究热点之一[4-12]。

软件缺陷预测，一般是指通过分析软件源代码或开发过程，设计出与软件缺陷存在相关性的度量元，然后对软件历史仓库进行挖掘分析来创建缺陷预测数据集。

基于缺陷预测数据集，使用特定的建模方法（如机器学习）构建缺陷预测模型，基于预测模型对软件后续版本中的潜在缺陷模块进行预测分析[13]。

软件缺陷预测能大幅度减少测试所需的人力、物力，并且无须额外对代码进行插桩等修改操作。

软件部署前、模块开发结束后可以及时开展缺陷预测，预先识别出潜在缺陷模块，便于项目主管优化测试资源分配，提高测试效率和软件产品质量。

因此，研究软件缺陷预测技术，构建软件缺陷预测模型，提前预测识别软件中的缺陷，不仅具有重要的研究意义，更具有重要的应用价值。

2 软件缺陷预测方法根据软件缺陷预测方法的不同，可将其分为静态预测和动态预测[6]。

静态预测主要将软件代码量化为静态特征，对这些特征和历史缺陷信息进行统计分析，挖掘历史缺陷的分布规律并构建预测模型，然后基于预测模型对新的程序模块进行预测。

动态预测则是对软件缺陷发生的时间进行分析，挖掘软件缺陷与其发生时间之间的关联。

目前，随着机器学习算法的广泛应用，静态软件缺陷预测不断取得良好的预测结果，受到了研究者的更多关注[14-15]。

2.1 软件缺陷预测过程软件缺陷预测过程可分为四个阶段，如图1所示[16]。

2.1.1 程序模块抽取。

对软件历史仓库进行挖掘分析，从中抽取出程序模块。

程序模块的粒度可设置为文件、包、类、函数等。

抽取出模块后，将这些程序模块分别标记为有缺陷模块或无缺陷模块。

2.1.2 设计度量元。

基于软件静态代码或软件开发过程，设计相应的度量元，通过这些度量元对程序模块进行软件度量，并构建出缺陷预测数据集。

2.1.3 构建缺陷預测模型。

对缺陷预测数据集进行必要的数据预处理之后，借助特定的建模方法（如机器学习方法）构建出软件缺陷预测模型。

2.1.4 缺陷预测。

使用构建好的软件缺陷预测模型对新程序模块进行预测分类，将程序模块预测为有缺陷倾向性模块或无缺陷倾向性模块。

预测目标也可以是程序模块含有的缺陷数或缺陷密度。

2.2 度量元设计度量元的设计是软件缺陷预测研究中的核心问题[17]。

典型的度量元包括代码行数、McCabe环路复杂度和Halstead科学度量等。

将McCabe环路复杂度作为度量元主要考虑程序的控制流复杂度，其假设条件是如果程序模块的控制流复杂度越高，含有缺陷的可能性也越高[18]。

将Halstead科学度量作为度量元主要考虑程序内操作符和操作数的数量，其假设条件是如果程序模块中的操作符和操作数越多，导致代码的阅读难度越大，含有缺陷的可能性越高[19]。

除了基于软件代码设计度量元之外，部分研究者基于软件开发过程进行度量元的设计[20-21]。

基于软件开发过程主要考虑软件项目管理、开发人员经验、代码修改特征等方面。

基于哪一种方式设计度量元更能有效构建缺陷预测模型，研究人员对此进行了比较研究。

Graves[22]、Moser[21]等人研究认为，基于开发过程设计出的度量元更为有效。

而Menzies[23]等人研究认为，基于静态代码的度量元可以构建出高质量的缺陷预测模型。

可以看出，两者并无明显的优劣之分，合理地设计度量元，都能取得良好的预测效果。

2.3 缺陷预测模型构建与应用在构建缺陷预测模型之前，根据数据集的质量，可能需要先进行缺陷预测数据集的预处理。

这是因为数据集可能存在噪声、维数灾难和类不平衡等问题，预处理可以提高数据集的质量[24]。

数据集经过预处理后，借助一定的算法来构建缺陷预测模型。

作为人工智能和数据科学核心的机器学习，在软件缺陷预测领域得到了广泛应用，通常被选用为构建软件缺陷预测模型的算法。

常用于软件缺陷预测的机器学习方法可分为分类方法和回归方法。

分类方法主要包括分类回归树、朴素贝叶斯、K-最近邻、支持向量机、集成学习和聚类分析等;回归方法主要包括线性回归、多项式回归、逐步回归和弹性回归等。

使用构建的软件缺陷预测模型，就可以对新数据（测试集）进行测试并得出预测结果，预测目标可以是模块内是否含有缺陷、含有的缺陷数量或缺陷密度等。

3 基于Weka的软件缺陷预测应用Weka是由新西兰怀卡托大学开发的数据挖掘工具，内含了大量的机器学习算法，可以实现数据的预处理、分类、回归、聚类、关联规则以及可视化等功能。

本文试验数据采用美国国家航空航天局（NASA）缺陷数据集。

里面包括12个项目的缺陷数据集，其中每个数据集都对软件系统中的功能模块进行了标记，分别标记为有缺陷模块和无缺陷模块。

数据集的缺陷率为0.78%～35.2%，数据集的模块总数范围为125～16 962，数据集基本信息如表1所示。

3.1 数据集加载与预处理在“Preprocess”选项卡中，单击“Open file”命令按钮，选择指定的数据集。

Weka默认的数据格式为“*.arff”。

加载完数据集后，如果数据集中问题数据较多，则不能直接进行数据挖掘模型的训练和学习，必须进行数据预处理。

数据预处理一般可分为数据清理、数据集成、数据变换、数据归约4个方面。

这些预处理都可以使用Weka提供的过滤器（Filter）来实现，Filter又可分为非监督学习和监督学习两种过滤器。

3.2 指定分类器选择“Classify”选项卡，点击“Choose”按钮，展开“Classifiers”后可以看到bayes、functions、lazy、meta、misc、rules、trees，共7种类型，每种类型又包括多种具体的分类或回归算法，如图2所示。

鼠标左键点击“Choose”按钮右侧的文本框，出现“GenericObjectEditor”对话框，可以在对话框中为各算法指定具体参数，不同的参数值对算法性能具有重要影响。

本次试验选择软件缺陷预测研究中经常采用的决策树法分类器，在图2中展开“trees”列表，选择其中的“J48”。

3.3 构建软件缺陷预测模型为评估软件缺陷预测模型的性能，需要通过“Test Option”来指定测试模式。

Weka共提供了4种测试模式，分别为“Using training set”“Supplied test set”“Cross-validation”和“Percentage split”。