数据挖掘试题参考答案

大学课程《数据挖掘》试题参考答案

范围：

∙ 1.什么是数据挖掘？它与传统数据分析有什么区别？

定义：

数据挖掘（Data Mining，DM）又称数据库中的知识发现（Knowledge Discover in Database，KDD），是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。

区别：

（1）数据挖掘的数据源与以前相比有了显著的改变；

数据是海量的；

数据有噪声；

数据可能是非结构化的；

（2）传统的数据分析方法一般都是先给出一个假设然后通过数据验证，在一定意义上是假设驱动的；与之相反，数据挖掘在一定意义上是发现驱动的，模式都是通过大量的搜索工作从数据中自动提取出来。即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。

在缺乏强有力的数据分析工具而不能分析这些资源的情况下，历史数据库也就变成了“数据坟墓”－里面的数据几乎不再被访问。也就是说，极有价值的信息被“淹没”在海量数据堆中，领导者决策时还只能凭自己的经验和直觉。因此改进原有的数据分析方法，使之能够智能地处理海量数据，即演化为数据挖掘。

∙ 2.请根据CRISP-DM（Cross Industry Standard Process for Data Mining）模型，描述数据挖掘包含哪些步骤？

CRISP-DM 模型为一个KDD工程提供了一个完整的过程描述.该模型将一个KDD工程分为6个不同的,但顺序并非完全不变的阶段.

1: business understanding: 即商业理解. 在第一个阶段我们必须从商业的角度上面了解项目的要求和最终目的是什么. 并将这些目的与数据挖掘的定义以及结果结合起来.

2.data understanding: 数据的理解以及收集,对可用的数据进行评估.

3: data preparation: 数据的准备,对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求.

4:modeling: 即应用数据挖掘工具建立模型.

5:evaluation: 对建立的模型进行评估,重点具体考虑得出的结果是否符合第一步的商业目的.

6: deployment: 部署,即将其发现的结果以及过程组织成为可读文本形式.(数据挖掘报告)

∙ 3.请描述未来多媒体挖掘的趋势

随着多媒体技术的发展，人们接触的数据形式不断地丰富，多媒体数据库的日益增多，

原有的数据库技术已满足不了应用的需要，人们希望从这些媒体数据中得到一些高层的概念和模式，找出蕴涵于其中的有价值的知识。这种将数据挖掘技术和多媒体信息处理技术有机地结合起来形成的在多媒体数据中进行知识发现的信息处理方法就是多媒体数据挖掘。

对多媒体数据进行挖掘并且实现智能化信息检索是未来发展的需求，是一个很有前途的研究方向。

1、文本数据挖掘

所谓多媒体文本数据挖掘，就是从大量的多媒体文本数据中发现有意义的模式过程。多媒体文本数据挖掘的过程对多媒体文本数据挖掘最行之有效的途径就是将多媒体文本数据结构化后，再对结构化数据采用数据挖掘方法。文本挖掘从功能上可以分为总结、分类、聚类、趋势预测等。

2、图像数据挖掘

图像挖掘是多媒体挖掘的一个分支，图像挖掘可以广泛地应用于图像检索、医学影像诊断分析、卫星图片分析、地下矿藏预测等各种领域。其挖掘方法和原型结构存在着巨大的改进空间。

3、视频、音频数据挖掘

除了静态图像，在数字文档、万维网、广播数据流、个人或专业数据库中，还能获得数字形式的大量音频和视频信息。

4、在医学图书馆服务中的应用

多媒体数据挖掘对医学信息有很强的适应性。多媒体技术的应用便于医学信息的储存多媒体技术是当今信息技术领域发展最快、最活跃的技术，是新一代电子技术发展和竞争的焦点。

<数据挖掘的未来发展趋势：>

未来的热点应用领域

网站的数据挖掘（Web site data mining）

生物信息或基因的数据挖掘

文本挖掘（Textual mining）

多媒体挖掘

未来的研究热点

发现语言的形式化描述

寻求数据挖掘过程中的可视化方法

研究在网络环境下的数据挖掘技术

加强对各种非结构化数据的挖掘

知识的维护更新

∙ 4.在电信行业中，如何利用数据挖掘技术对用户信用度进行分析数据挖掘有其一般的通用过程，但是在具体应用的时候因为实际情况可能比较复杂, 根据具体的情况不同还要做出适当的修改。针对电信行业用户信用度分析，从项目需求的理解和定义开始, 经过数据的收集和抽取、清洗、整合的过程, 到建立数据挖掘模型, 最后经过模型的评估到模型的发布。具体步骤如下：

∙项目需求

信用度分析的目标就是要对现有电信客户进行信用评估，通过评估分析建立的

挖掘分析模型可以获得客户信用等级的评分, 在此基础上可以结合用户分群的

结果, 将电信客户进行分群, 找出不同信用级别的客户群体, 然后由数据挖掘

人员配合市场推出的各项优惠政策( 尤其是存话费、赠话费等) , 细分市场, 使该类优惠政策达到最好的效果。

通过对客户信用度的划分, 使决策人员能够清晰地看到，了解本网用户的信用度构成, 使其在制定、研究营销政策的时候做到心中有数。

∙数据的收集和抽取

数据收集和抽取的过程就是要理解、熟悉客户数据, 能够将商业理解转化为对数据的理解, 从而有针对性的开展数据挖掘。具体包括如下过程：

2.1数据源描述

对电信客户信用度的评估, 主要使用到数据源主要包括:行为数据、客户属性数据。具体到业务层面包含的信息有：客户的档案、身份信息、年龄、性别、历史欠费情况、往月的帐务消费情况等。

2.2数据质量描述

对获取的各变量进行分析探索, 选取可使用的关键变量（如年龄、话费等），可使用图形来展示这些关键的字段的分布。

∙数据准备

电信客户的用户群很大，且业务繁杂，拥有多个业务系统，各个系统对于参数的定义和归类也是不尽相同的, 统一、整合各个系统中的信息, 使之能够达到参数一致化, 能够满足挖掘目标的要求, 需要处理的数据量也是非常巨大的, 具体处理步骤如下:

3.1数据的整合

3.2清洗数据

3.3构建数据

3.4选择数据

3.5确定训练集和结果集

∙建立挖掘模型

信用度挖掘变量很多, 数据结构也比较复杂，目前对于其研究也很多，而最常用的挖掘方法为神经元网络和C5.0 决策树两种算法。

建模之前, 我们需要对训练集的数据做修改: 即在训练集数据中加入结果字段, 供训练模型使用，我们首先根据业务需求人为划定信用度档次, 初步将信用度划分为3个层次: 欠费回收情况、月均加权区内消费、区内消费变异系数。

经过以上三轮信用度划分, 可以划分结果为AAA-EEE。

欠费回收情况首先反映了信用度的主要方面, 如果一个用户欠3个月以上才能缴费或者不能缴费, 这样的用户对于电信公司来讲, 信用度应该是最差的"反之, 未发生欠费的用户信用度应该是最高的;

划分的第二个指标之所以选择了区内通话费, 是因为: 在用户消费过程中, 长途等消费每个月的波动是比较大的, 我们在进行划分档次的时候应该尽量选择比较平稳的指标, 所以本文选择了区内通话费，为了剔出1个月区内话费可能的突高情况带来的噪声, 采用了近6个月区内消费金额的加权平均数。

划分的第三个指标采用了区内消费的变异系数, 反映了月区内消费的波动情况, 即: 越稳定的用户信用级别越高, 反之, 波动比较大的用户级别低。

而后根据两个算法进行建模分析。

∙模型选择

模型的选择和实际业务的需求密切相关, 和数据挖掘人员对业务逻辑的掌握是