基于Clementine数据挖掘模型评估

基于Clementine的数据挖掘模型评估
摘要：本文采用clementine数据挖掘工具生成了某商业银行的客户响应具体模型，并评估了所生成的模型。

通过分析报告和评估图的方式，最终比较了决策表、神经网络和决策树c5.0算法预测的效果。

关键词：数据挖掘；clementine；模型评估；c5.0
中图分类号：tp311.13
目前，银行的数据库和数据仓库中都收集和存储了大量有关客户的宝贵数据，它们涵盖了从客户基本资料、购买记录以及客户反馈等多个环节。

利用这些数据，进一步分析、挖掘出大量隐藏在其中的有用信息，可以帮助银行更好地做到客户关系管理，实现crm的功能和目标。

在分析当前客户关系管理中数据挖掘的应用的基础上，以某商业银行的crm系统开发为背景，建立客户响应预测模型，生成商业银行的客户响应具体模型，分析维度表中的相关变量对目标变量(客户是否响应)的影响。

最终对所生成的模型进行评估，比较不同算法预测的效果。

1clementine软件
clementine（ibm spss modeler）最早属英国isl（integral solutions limited）公司的产品，后被spss公司收购。

2009年，spss被ibm公式收购。

自2000年以来，kdnuggets公司面向全球开展“最近12个月你使用的数据挖掘工具”的跟踪调查，clementine
一直列居首位。

clementine具有分类、预测、聚类、关联分析等数据挖掘的全部分析方法。

这些分析方法经过组合，或单独使用，可用于研究客户响应问题。

其crisp-dm标准能够帮助用户规范数据挖掘的整个过程。

clementine的操作与数据分析的一般流程相吻合。

clementine 形象地将各个环节表示成若干个节点，将数据分析过程看作是数据在各个节点之间的流动，并通过图形化的“数据流”方式，直观表示整个数据挖掘。

操作使用clementine的目标：建立数据流，即根据数据挖掘的实际需要，选择节点，依次连接节点建立数据流，不断修改和调整流中节点的参数，执行数据流，最终完成相应的数据挖掘任务。

clementine软件是按照crisp-dm标准过程来进行项目管理的。

一共包括6个部分：business understanding(商业理解)、data understanding(数据理解)、data preparation(数据准备)、modeling(建模)、evaluation(模型评估)和deployment(结果部署)。

为了方便管理，整个项目开发的过程中，在每个阶段生成的结果，例如模型、数据、报告等，都可以存储到相应的阶段中。

clementine软件支持非常多的数据挖掘分析算法和建模，其中包括了c5.0、apriori、c&r tree、神经网络、logistic等算法。

通过使用clementine软件，能够使整个分析过程更得直观、简单。

另外，clementine软件对其它功能的支持包括：
（1）数据源：这个内容包含了对数据源的支持，能够支持多种
格式的数据文件，如access数据库、sql server数据库、excel
文件、spss文件、sas文件等。

（2）记录选项：此项用来处理数据记录，包括：抽样、平衡、合并、选择、排序、汇总、区分、追加等功能。

（3）字段选项：此项用来处理属性字段，包括：字段类型定义、字段空值填充、字段过滤、新字段生成、重分类等功能。

（4）图形选项：其中包括histogram(柱状图)、evaluation(评估图)、distribution(分类图)、plot(聚类图)等分析图形。

（5）输出选项：其中包括excel文件、报告、表格、数据库等结果输出方式。

2建立模型
以某商业银行为例，该银行举办一系列金融产品的促销活动，不同阶层的客户对此活动的响应可能不同，比如性别、年龄、家庭和收入等因素会对此类产品的购买力产生不同程度的影响。

通过选择神经网络、决策表和c5.0算法三种方法来建立预测模型，预测各因素对此类促销活动的响应程度。

银行希望通过为每个客户提供最合适的报价，以在未来的商业竞争中取得更大的收益。

该商业银行客户响应预测模型的数据流中，包括若干包含每位客户的相关人口统计和金融信息的字段，这些字段可用于构建或“训练”依据特定特征针对不同组预测响应率的模型。

通过clementine挖掘软件，根据在决策列表节点中指定的设置运行默认的挖掘任务。

尝试使用不同的建模方法，从菜单中选择相
应的操作，完成替代模型的创建。

通过将一项挖掘任务的结果反馈给另一项挖掘任务，这些最新模型将同时包含高响应率段和低响应率段。

3模型评估
模型建立后，就需要检验训练出来的模型，这个就是模型评估阶段，也是数据挖掘中一步重要的工作。

在确定挖掘目标和数据准备阶段的时候有两个原则：所建立的预测模型要有可评估性和可实现性。

3.1模型评价标准
在数据建模的过程中，通常需要使用多种不同的数据挖掘方法。

为了能够挑选出最好的预测模型，这里介绍一些参考标准：
（1）预测准确率的高低决定了模型的质量。

准确率分为两种，即所有记录的准确率和流失响应预测的准确率。

因为通常响应用户更受关注，所以关心的重点是响应用户预测的准确率。

在输出的分析报告中比较正确率和错误率，正确率越高，预测结果越准确。

（2）评估图中的响应图通常是从100%附近开始，逐渐下降直到它们达到了图表右端整体响应率为止(总的成功数/总的记录数)。

对于一个好的模型来说，这条线在左端将从100%附近或恰好在100%上开始，当用户向右移动时能够保持一个较高的稳定状况，然后在图表右端突然急剧地下降到整体响应率。

对没有提供任何信息的模型来说，整个图像中曲线将一直在整体响应率附近围绕。

(如果已经选择了include baseline，一条水平的等于整体响应率的线将被
显示在图表中作为参照)。

3.2测试数据集的选择
为了能够得到比较精确的测试结果，尽量选择没有参加过建模的数据进行模型的评估测试。

要使得测试结果比较好，进行测试的数据建议采用建立预测模型的。

然而，在实际的数据中应用模型时，经常会产生很大的偏差结果。

因此，进行评估测试要选择未参加建模的数据。

此外，测试的准确率包括两种：响应用户预测的准确率和所有记录的准确率。

因此，测试数据一般使用混合测试数据集，包括响应和未响应的。

3.3模型评估比较
通过采用三种算法建模：决策表(decision list)、神经网络(neural net)、决策树c5.0。

下面对这三种方式进行比较分析。

预测模型评估所用样本的检验集数据来验证模型的情况。

（1）分析报告的对比：
决策表建模的分析结果中，正确率为11.68%。

神经网络建模的分析结果中，正确率为92.02%。

决策树c5.0建模的分析结果中，正确率为92.86%。

比较分析结果发现，c5.0的正确率较高，神经网络其次，决策表的正确率较低。

（2）评估图对比：
根据模型评价标准和三种模型建模的评估图，比较发现c5.0模型的预测效果较好，决策表模型的预测效果较差。

综合以上两种评估，可以看出c5.0预测效果好一些。

通过以上的内容，我们评估了所生成的模型，通过分析报告和评估图的方式，比较了决策表、神经网络和决策树c5.0算法预测的效果。

对于所使用的测试数据集而言，发现使用c5.0算法的预测效果较好，其次是神经网络，使用决策表的预测效果较差。

参考文献：
[1]颜昌沁,胡建华,周海河.基于clementine神经网络的电信客户流失模型应用[j].电脑应用技术,2009(1).
[2]赵伦,侯波,颜昌沁.利用clementine c5.0模型预测cdma客户流失[j].电脑知识与技术,2011(20).
[3]薛薇,陈欢歌.clementine数据挖掘方法及应用[m].电子工业出版社,2010,9.
[4]薛薇,陈欢歌.基于clementine的数据挖掘[m].中国人民大学出版社,2012,3.
[5]熊平.数据挖掘算法与clementine实践[m].清华大学出版社,2011,4.。