数据挖掘概念与技术原书第2版第1章_概述.ppt

适用于海量数据 并行、分布和增量挖掘算法 关系的和复杂的数据类型的处理


关于数据库类型的多样性问题

为特定的数据类型构建特定的数据挖掘系统 WEB数据挖掘
28

从异构数据库和全球信息系统挖掘信息

27
数据挖掘应用——市场分析和管理
(1)

数据挖掘应用——市场分析和管理
(2)

数据从那里来?

16
万维网(WWW)

数据挖掘的主要功能 ——可以挖掘什么类型的模式？


特征：信息最丰富；信息高度非结构化；缺乏 预定义的模式、类型和格式 一些WEB挖掘的热点

一般功能

描述性的数据挖掘 预测性的数据挖掘

权威WEB页面分析 自动WEB页面聚类和分类 WEB社区分析
通常，用户并不知道在数据中能挖掘出什么东西，对 此我们会在数据挖掘中应用一些常用的数据挖掘功能 ，挖掘出一些常用的模式，包括：

概念/类描述: 特性化和区分 关联分析 分类和预测 聚类分析 孤立点分析 趋势和演变分析
17
18
概念/类描述: 特性化和区分

挖掘频繁模式、关联和相关

概念描述：产生数据的特征化和比较描述（当所描 述的概念所指的是一类对象时，也称为类描述）

频繁模式是在数据中频繁出现的模式 关联规则挖掘：
例：
age ( X , " 30 ... 39 " ) income ( X , " 42 k ... 48 k " ) 70 %] buys ( X , " computer ") [sup port 20 %, confidence
例：
Status Graduate Undergraduate Birth_country Canada Canada Age_range 25-30 25-30 Gpa Good Good Count 90 210

关系、数据仓库、事务、流、对象关系、空间、时 序、文本、多媒体、异构、遗产、WWW


根据挖掘的知识类型 特征分析, 区分, 关联分析, 分类聚类, 孤立点分析/演变分析, 偏 差分析等等. 多种方法的集成和多层级挖掘 根据挖掘所用的技术 面向数据库的挖掘、数据仓库 （OLAP）、机器学习、统计学 、可视化等等. 根据挖掘所用的应用 零售、通讯、银行、欺诈分析、生物数据挖掘、股市分析、文 本挖掘、WEB挖掘等
10
数据挖掘:多个学科的融合
数据库系统 统计学
对何种数据进行数据挖掘

关系数据库 数据仓库 事务数据库 高级数据和信息系统与高级应用

机器学习
数据挖掘
可视化
算法
其他学科
11

对象－关系数据库 时间数据库、序列数据库和时间序列数据库 空间数据库和时间空间数据库 文本数据库和多媒体数据库 异构数据库和遗产数据库 数据流 万维网


与传统数据库技术相比，流数据在存储、查询、访问 、实时性的要求等方面都有很大区别。
15

遗产数据库是一系列的异构数据库系统的集合，包括 各同种类的数据库系统，像关系数据库、网络数据库 、文件系统等等。 有效利用遗产数据库的关键在于实现不同数据库之间 的数据信息资源、硬件设备资源和人力资源的合并和 共享。 对于异构数据库系统，实现数据共享应当达到两点： 一是实现数据库转换；二是实现数据的透明访问。 WEB SERVICE技术的出现有利于历史数据库数据的 重新利用。
电信: 电话呼叫欺骗行为


竞争


零售产业

反恐怖主义
32

网络数据库、层次数据库（hierarchical DB systems） 关系数据库模型和原型系统 RDBMS 各种高级数据模型（扩展关系模型、OO等） 各类以应用为导向的数据库（地理、科学计算等） 数据挖掘、数据仓库、多媒体数据库、WEB 流数据管理和挖掘 数据挖掘及应用 WEB技术（XML等）
12
数据仓库

时间数据库和时序数据库

数据仓库

从多个数据源收集的信息存储库 存放在一个一致的模式之源自 通常驻留在单个站点
通常使用多维数据模型

通过数据立方体提供数据的多维视图 预计算和快速访问汇总数据

第三章详细讨论数据仓库技术
13
时间数据库和时序数据库都存放与时间有关的 数据。时间数据库通常存放包含时间相关属性 的时间。时间序列数据库存放随时间变化的值 序列。 对时间数据库和时序数据库的数据挖掘,可以 通过研究事物发生发展的过程，有助于揭示事 物发展的本质规律，可以发现数据对象的演变 特征或对象变化趋势。
19
20
分类和预测

聚类分析

找出描述和区分数据类或概念的模型（或函数），以便能够 使用模型预测类标号为未知的对象类。

聚类分析：

比如：按气候将国家分类，按汽油消耗定额将汽车分类 导出模型的表示: 判定树、分类规则、神经网络 可以用来预报某些未知的或丢失的数字值 IF age = “<=30” AND student = “no” THEN buys_computer = “no” IF age = “<=30” AND student = “yes” THEN buys_computer = “yes” IF age = “31…40” THEN buys_computer = “yes” IF age = “>40” AND credit_rating = “excellent” THEN buys_computer = “yes” IF age = “>40” AND credit_rating = “fair” THEN buys_computer = “no”
25
26
数据挖掘的主要问题 (1)

数据挖掘的主要问题 (2)

数据挖掘技术和用户交互问题

在数据库中挖掘不同类型的知识 在不同抽象层上的交互式知识挖掘 背景知识的合并 数据挖掘查询语言和特定的数据挖掘 数据挖掘结果的表示和可视化 处理噪声何不完全数据 模式评估即兴趣度问题
性能问题：数据挖掘算法的有效性、可扩展性 和并行处理
3
2000s:

什么是数据挖掘？

数据挖掘: 数据库中的知识挖掘(KDD)

数据挖掘 (从数据中发现知识)


从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、 先前未知的和可能有用的模式或知识 一个不很恰当的名称 数据库中的知识挖掘（KDD） 知识提炼 数据/模式分析 数据考古 数据捕捞、信息收获等等。
4
1970s:

自动数据收集工具、数据库系统、WEB、计算机化的社会 商业：WEB、电子商务、交易数据、股市... 科学：遥感、生物信息学、科学模拟 社会及每个人：新闻、数码相机、YouTube

丰富数据的来源

1980s:


1990s:


我们被数据所淹没，但却渴望知识 “需要是发明之母”－数据挖掘：海量数据的自动 分析技术

离群点:一些与数据的一般行为或模型不一致的孤立数据 通常孤立点被作为“噪音”或异常被丢弃，但在欺骗检测中却 可以通过对罕见事件进行孤立点分析而得到结论。 信用卡欺诈检测 移动电话欺诈检测 客户划分 医疗分析（异常）

描述行为随时间变化的对象的发展规律或趋势 ，并对其建模。


应用

第一章 引言
数据 挖 掘
第一章 概述

动机：为什么需要数据挖掘？ 什么是数据挖掘？ 对何种数据进行数据挖掘 数据挖掘功能 数据挖掘系统的分类 数据挖掘的主要问题
1
2
为什么要数据挖掘？

数据库技术的演化

数据的爆炸性增长：从TB到PB

1960s:

数据的收集和数据的可获得性
21

例：


将物理或抽象对象的集合分组成为由类似的对象组 成的多个类的过程。 最大化类内的相似性和最小化类间的相似性 不像分类和预测分析标号类的数据对象，聚类分析 数据对象不考虑已知的标号类

例：对WEB日志的数据进行聚类，以发现相 同的用户访问模式
22
离群点分析

演变分析

离群点分析
数据清洗
模式评估 数据挖掘引擎
数据库或数据仓库服务器
数据集成 过滤
知识库
数据库
7
数据仓库
8
为什么不是传统的数据分析？

并非所有的东西都是数据挖掘

海量数据

算法必须有高度的可扩展性，以有效处理TB级数据 可高达数万个不同的维 流数据和传感数据 时间数据、序列数据、时序数据 图、社会网络、多关系数据 异构数据库和遗产数据库 空间数据、时空数据、多媒体、文本和WEB数据 ...
将特征化、区分、关联、分类、聚类等技术应用于 时间相关数据 时间序列数据分析 序列或周期模式匹配 基于相似性的数据分析
一些演变分析的热点

23
24
数据挖掘系统的分类 (1)

数据挖掘系统的分类 (2)


数据挖掘的多学科融合的特性，决定了数据挖 掘的研究将产生种类繁多的数据挖掘系统。 根据所挖掘的数据分类
14
流数据

异构数据库和遗产(legacy)数据库


特征：海量甚至可能无限、动态变化、以固定次序流 进流出、只允许一遍或少数几遍扫描、要求快速响应 时间 通常不存放在任何数据存储库中 主要应用场合