数据挖掘课程报告

数据挖掘课程报告

学习“数据挖掘”这门课程已经有一个学期了，在这十余周的学习过程中，我对数据挖掘这门技术有了一定的了解，明确了一些以前经常容易混淆的概念，并对其应用以及研究热点有了进一步的认识。以下主要谈一下我的心得体会，以及我对数据挖掘这项课题的见解。

随着数据库技术和计算机网络的迅速发展以及数据库管理系统的广泛应用，

人们积累的数据越来越多，而数据挖掘(Data Mining)就是在这样的背景下诞生的。

简单来说，数据挖掘就是从大量的数据中，抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法，它利用了数据库、人工智能和数理统计等多方面的技术。从某种角度上来说，数据挖掘可能并不适合进行科学研究，因为从本质上来说，数据挖掘这个技术是不能证明因果的，以一个最典型的例子来说，例如数据挖掘技术可以发现啤酒销量和尿布之间的关系，但是显然这两者之间紧密相关的关系可能在理论层面并没有多大的意义。不过，仅以此来否定数据挖掘的意义，显然就是对数据挖掘这项技术价值加大的抹杀，显然，数据挖掘这项技术从设计出现之初，就不是为了指导或支持理论研究的，它的重要意义在于，它在应用领域体现出了极大地优越性。

首先有一点是我们必须要明确的，即我们为什么需要数据挖掘这门技术？这也是在开课前一直困扰我的问题。数据是知识的源泉，然而大量的数据本身并不意味信息。尽管现代的数据库技术使我们很容易存储大量的数据，但现在还没有一种成熟的技术帮助我们分析、理解这些数据。数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出，人们希望在对已有的大量数据分析的基础上进行研究，但是目前所拥有的数据分析工具很难对数据进行深层次的处理，使得人们只能望“数”兴叹。数据挖掘正是为了解决传统分析方法的不足，并针对大规模数据的分析处理而出现的。数据挖掘可以帮助人们对大规模数据进行高效的分析处理，以节约时间，将更多的精力投入到更高层的研究中，从而提高科研工作的效率。

那么数据挖掘可以做些什么呢？数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。具体来说，它可以做这七件事情：分类，估计，预测，关联分析，聚类分析，描述和可视化，复杂数据类型挖掘。在本学期的学习过程中，我们对大部分内容进行了较为详细的研究，并且建立了一些基本的概念，对将来从事相关方向的研究奠定了基础。由于篇幅限制，就不对这些方法一一讲解了，这里只谈一下我在学习工程中的一些见解和心得。

在学习关联规则的时候，我们提到了一个关于“尿布与啤酒”的故事：在一

家超市里，尿布和啤酒被摆在一起出售，但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。其实，这是由于这家超市对其顾客的购物行为进行购物篮分析，在这些原始交易数据的基础上，利用数据挖掘方法对这些数据进行分析和挖掘，从而意外的发现“跟尿布一起购买最多的商品竟是啤酒”。按我们的常规思维，尿布与啤酒本是两个毫无关联的商品，但是借助数据挖掘技术对大量交易数据进行挖掘分析后，却可以寻求到这一有价值的规律。我想，这个有趣的故事在一定程度上说明了数据挖掘技术的巨大价值。

而之前学习的决策树是一种树型结构的预测模型，其中树的非终端节点表示属性，叶节点表示所属的不同类别。根据训练数据集中数据的不同取值建立树的分支，形成决策树。决策树一般产生直观、易理解的规则，而且分类不需太多计算时间，适于对记录分类或结果的预测，尤其适用于当目标是生成易理解、可翻译成SQL或自然语言的规则时。决策树也可用于聚类、分类及序列模式，其应用的典型例子是CART（回归决策树）方法。

聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显，而同一个群之间的数据尽量相似。此外聚类分析可以作为其它算法（如特征和分类等）的预处理步骤，这些算法再在生成的簇上进行处理。与分类不同，在开始聚集之前你不知道要把数据分成几组，也不知道怎么分（依照哪几个变量）。因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好，这时你需要删除或增加变量以影响分群的方式，经过几次反复之后才能最终得到一个理想的结果。

通过对数据挖掘的学习我也了解到遗传算法是一种基于生物进化理论的优化技术。其基本观点是“适者生存”原理，用于数据挖掘中则常把任务表示为一种搜索问题，利用遗传算法强大的搜索能力找到最优解。实际上遗传算法是模仿生物进化的过程，反复进行选择、交叉和突变等遗传操作，直至满足最优解。遗传算法可处理许多数据类型，同时可并行处理各种数据，常用于优化神经元网络，解决其他技术难以解决的问题，但需要的参数太多，对许多问题编码困难，一般计算量大。

还有一个比较重要的问题：数据挖掘过程包括哪些步骤？首先，要确定研究对象，这是数据挖掘的重要一步。挖掘的最后结果是不可预测的，但要探索的问

题应是很明确的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。第二，数据准备阶段，这也是我们第一节课所讨论的问题。具体包括以下几个步骤：1)数据的选择，即搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据；2)数据的预处理，也就是研究数据的质量，为进一步的分析做准备，并确定将要进行的挖掘操作的类型；3)数据的转换，将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的，能否建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。第三，数据挖掘阶段，即对经过预处理的数据进行挖掘。其中包括分类和预测，关联分析以及聚类分析的相关算法等等。第四，结果分析阶段，解释并对结果进行评估，通常会用到可视化技术。最后一个阶段，知识的同化，将分析所得到的知识集成到业务信息系统的组织结构中去，从而得到有价值的信息。以上便是对数据挖掘过程的简要描述，当然，在实际操作过程中可能会遇到各种各样的问题，这就需要我们熟练运用所学知识，在探索中逐一解决。

网络的发展为用户提供了多种新的信息服务，因特网以其丰富的内容、强大的功能以及简单的操作，在各种信息服务方式中脱颖而出，成为未来信息服务的主要方向。但当前因特网信息服务中更多的是单向、被动的服务模式，而网上用户信息需求的挖掘，可以改进因特网与用户的交互，使因特网与用户真正融为一体，不再是操作与被操作的关系。数据挖掘技术的应用，使因特网能根据用户的需求采取更主动、更有针对性的服务，并且可以建立一种个性化的信息服务系统，针对不同用户的信息需求，提供不同的信息服务。而个性化服务系统的建立，则依赖于用户信息需求的挖掘。

现代的商业社会中，充斥着大量的信息，如何从这些信息中迅速的定位并找到有价值的信息显然可以成为企业制胜的关键，毕竟在这个信息过载的世界里，基于多少信息所做出的决策会显著的影响决策的质量和科学性，而数据挖掘技术就使这种归纳决策得到了实现。数据挖掘可以从企业数据仓库中定位有价值的、但是并未事先被企业员工或者高层管理者知道的信息，并对这些信息进行一些基本的分析（例如聚类、回归等）。从目前的应用来看，将数据挖掘技术应用在营销或企业决策方面，管理者遵循的逻辑是“消费者过去的行为会极大的影响甚至决定未来所做出的选择”，而过往真实的数据显然就是对消费者行为最真实的记