数据仓库与数据挖掘的综述

Southwest university of science and technology 数据挖掘课程报告

数据仓库与数据挖掘的综述

学院名称计算机科学与技术

专业名称计科

学生姓名

学号

指导教师吴珏

二〇一六年11月

摘要

通过对数据仓库与数据挖掘的学习和大致的了解,主要提出了一种基于数据仓库的数据挖掘系统的决策支持系统的框架。该文章把数据仓库、数据挖掘工具和知识库结合在一起，提高了数据挖掘的效率。增加了挖掘数据的效率和价值实用性！

一、概述

近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提高，千万万个数据库被用于商业管理、政府办公、科学研究和工程开发等等，并且这一势头仍将持续发展下去。于是，一个新的挑战被提了出来:在这被称之为信息爆炸的时代，信息过量几乎成为人人需要面对的问题。如何才能不被信息的汪洋大海所淹没，从中及时发现有用的知识，提高信息利用率呢?要想使数据真正成为一个公司的资源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则大量的数据可能成为包袱，甚至成为垃圾。因此，面对"人们被数据淹没，人们却饥饿于知识的挑战，数据挖掘和知识发现(DMKD)技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。

数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。还有很多和这一术语相近似的术语，如从数据库中发现知识(KDD)、数据分析、数据融合(Data Fusion)

以及决策支持等。人们把原始数据看作是形成知识的源泉，就像从矿石中采矿一样。原始数据可以是结构化的，如关系数据库中的数据，也可以是半结构化的，如文本、图形、图像数据，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的;可以是演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以用于数据自身的维护。因此，数据挖掘是一门很广义的交叉学科，它汇聚了不同领域的研究者，尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的学者和工程技术人员。

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

今天，越来越多的企业认识到要从以往的事务处理和决策中总结经验，利用现有的数据进行分析和推理，建立企业的决策支持系统（DSS）以提高决策的质量。企业如果不能快速精确的收集和分析信息，将无法进行科学而有效的决策。建立数据仓库(Data warehouse)将能很的解决这一问题，使企业从大量的业务信息中筛选出所需的信息，并做出正确的决策。数据仓库不是单一的产品，而是综合了多种信息技术的计算环境。它将全企业的运行数据汇集到一个精心设计的关系数据库中，并将它们转换成面向主题(Subject-oriented)的形

式，使最终用户很容易的从历史的角度对这些数据进行访问和分析。以银行为例，通常，银行的应用系统是按业务分类的，如储蓄、信贷、信用卡等，一个客户的信息分布在不同的业务系统中，要想得到一个客户的全面信息非常困难。银行通过建立数据仓库，可以将分离在各个业务系统中的数据合并成一个统一的图表，这样就可以看到客户在各个系统中的全貌，而且可以从历史的角度对客户档案进行分析，以便做出为每一个客户进一步服务的决策。

二、数据仓库和数据挖掘的基本概念

数据仓库和数据挖掘的关系：数据仓库和数据挖掘都是数据仓库系统的重要组成部分, 它们既有联系, 又有区别。

联系是:

(1) 数据仓库为数据挖掘提供了更好的、更广泛的数据源。

(2) 数据仓库为数据挖掘提供了新的支持平台。

(3) 数据仓库为更好地使用数据挖掘这个工具提供了方便。

(4) 数据挖掘为数据仓库提供了更好的决策支持。

(5) 数据挖掘对数据仓库的数据组织提出了更高的要求。

(6) 数据挖掘还为数据仓库提供了广泛的技术支持。

区别是:

(1) 数据仓库是一种数据存储和数据组织技术, 提供数据源。

(2) 数据挖掘是一种数据分析技术, 可针对数据仓库中的数据进行

分析。

数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。数据仓库系统负责从操作型数据库中抽取数据，实现对集成和综合后的数据的管理，并把数据呈现给一组数据仓库前端工具，以满足用户的各种分析和决策的需求。数据仓库系统的前端工具以OLAP 工具和数据挖掘工具为代表，是用户赖以从数据仓库中提取、分析数据，以及实施决策的必经途径。数据挖掘DM(Data Mining)，是指从数据中识别出潜在有用的、先前未知的、最终可理解的模式的非平凡过程。研究基于数据仓库的数据挖掘系统结构框架是很有意义的。

三、数据仓库的结构、功能

1、数据仓库的基本结构

数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

数据仓库中的信息存储，根据对数据的不同深度的分析处理而区分为不同的层次，其基本结构分为以下几个部分：

（1）历史性详细数据层：它存储历史数据，用于数据对比、回归、汇总等供分析、建模预测之用。历史数据一般为5 至10 年或更久的数据，它纵向只对数据/信息进行分类存储。

（2）当前详细数据层：存储当前最新详细数据，重点用于了解当前情况，是进一步分析数据的基础。在一定时刻，这些数据会转移到历史数据层去。

（3）不同程序的归纳总结信息层：可包含多个层次，根据所需分类和归纳的不同深度而定。如按周、月、年统计的数据。这些信息只是一些简单的汇总，尚不能形成高级的决策信息。

（4）专业信息分析层：进一步专业分析的结果，如统计分析、运筹分析、时间序列分析以及表面数据的内在规律分析等。

（5）仓库结构信息：数据仓库的内部结构信息，反映各种信息在数据仓库中的位置分布和处理方式等，以便检索查询之用。组织数据仓库的数据时，应根据数据访问概率把数据分为经常被访问但较少被修改的数据和经常被修改但较少被访问的数据。对于前者可以做较多的索引（一般可做8 至12 个）来提高访问的效率；对于后者就必须少建索引，否则，由于它经常被修改，重索引的概率就很大，反而会降低系统的效率。

2、数据仓库的功能特点

数据仓库技术是基于信息系统业务发展的需要，基于数据库系统技术发展而来，并逐步独立的一系列新的应用技术。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具。数据仓库技术也是一种达成“数据整合、知识管理”的有效手段。数据仓库是面向主题的、集成的、与时间相关的、不可修改的数据集合。这是数据仓库技术特征的定位。数据仓库最根本的