韩家炜数据挖掘：概念与技术-第1章
第一章 数据挖掘的概念
1.3.2 数据收集
数据如何收集，有两种截然不同的可能： 1）当数据产生过程在专家的控制下时，称为 “设计实验”。 2）专家不能影响数据产生过程，称为“观察 法”，数据随机产生。 通常收集完成后取样的分布也是完全未知 的，或者是在数据收集过程中部分或者不明确 地给出，但要理解数据收集是怎样影响它的理 论分布的，这一点相当重要。
1.5数据仓库
虽然数据仓库的存在并不是数据挖掘的先 决条件，但通过对数据仓库的访问，数据挖 掘任务变得容易多了，尤其是大公司或医院。
定义：数据仓库是一个集成的，面向主 题的、设计用于决策功能（DSF）的数据库 的集合，数据中的每一个数据单元在时间上 都是和某个时刻相关的。
•构建数据仓库时应该注意的两 个方面： 第一是数据仓库中存储的特殊数 据类型（分类） 第二是为了使数据有利于决策而 把它准备成最终形式所要进行 的转换。
• 数据仓库包括以下的数据类别：
(1)过去细节数据 (2)当前细节数据 (3)轻度综合数据 (4)高度综合数据 (5)元数据(数据目录或向导) 在数据仓库中进行这5种基本类型或导出 数据的准备。
• 数据基本类型的4种转换方式：
1.简单转换：它一次只集中在一个字段 上，而不考虑相关字段的值。 2.清洁和净化：确保一个字段或相关字 段格式和使用的一致性。 3.集成：对一个或多个来源的操作型数 据进行处理，进行字段到字段的映射， 形成一个新的数据结构的过程。 4.聚合和总结：将操作型环境中的数据 实例浓缩成更小的数据仓库环境中实例 的方法。
数据挖掘的两个根本目标：预测和描述 预测涉及到使用数据集中的一些变量或域 来预测其他我们关心的变量的未知或未 来的值；描述关注的则是找出描述可由 人类解释的数据格式。 1)预测性数据挖掘:生成已知数据集的系统 模型。 2)描述性数据挖掘:在数据集上生成新的、 非同寻常的信息。
2021年西南财经大学817-数据挖掘综合-考试大纲
西南财经大学招收硕士生考试说明及考试大纲适用专业：大数据管理考试科目：《数据挖掘综合》第一部分：考试内容及要求一. 数据挖掘概述考试内容数拯挖掘的概念知识发现过程数据挖掘数据类型数据挖掘功能和模式数据挖掘可利用的技术数据挖掘应用数据挖掘的主要问题考试要求1.了解数据库系统技术的演变过程：理解数据挖掘的概念；掌握知识发现过程的7个步骤。
2.掌握数据挖掘的数据类型；掌握数据挖掘功能和模式：理解数据挖掘与统计学、机器学习的联系和区别；了解数据挖掘的应用领域：了解数据挖掘的主要问题。
二. 数据预处理考试内容数据属性数据基本描述统计数据预处理概述数据质量数据预处理的主要步骤数拯淸理数据集成数据变换数据规约数据离散化考试要求1.了解数据对象与属性类型。
2.理解数拯的基本统汁描述，掌握均值、中位数、众数、极差、四分位数、方差、标准差和四分位数极差的概念和计算方法：了解数据基本统汁描述的图形显示：了解度量数据的相似性和相异性。
3.了解进行数据预处理的原因及其重要性：了解数拯质量涉及的因素；掌握数据预处理的主要步骤。
4.了解数据淸理的概念：了解处理数据缺失值的方法：了解处理噪音数据的方法。
5.理解数据集成的概念：掌握冗余和相关性分析的方法（力‘检验，Pearson积矩系数）。
6.了解数据变换的策略；掌握数据规范化的计算方法（最小-最大规范化、z分数规范化、按小数宦标规范化）。
7.理解数拯归约的概念：了解数据归约的策略：了解线性回归、对数线性模型、直方图、聚类、抽样等数据归约方法。
8.理解数据离散化和概念分层的概念；了解数据离散化的方法（分箱、直方图分析、聚类分析、相关分析）。
三. 数据仓库和联机分析处理考试内容数据仓库基本槪念OLTP和OLAP数据立方体数据仓库的数据模型概念分层典型的OLAP操作数据仓库的设计数据仓库的实现数据仓库和数据挖掘考试要求1.理解数据仓库的概念和关键特征：了解OLTP和OLAP的概念和主要区别。
第一章 数据挖掘的基本概念..
一 引例
例1 如果你在当当的购书网站购买过书籍或音像制品， 以后再浏览该网站时经常看到类似的提示：“猜您可能会 喜欢”， 然后就可以在网页的某个位置看到网站推荐的 图书的名称及其相关链接。
网站怎么知道读者可能会对这些物品感兴趣？
这是因为网站采用了新的技术来了解顾客的潜在需求，比如： 网站从顾客的购买清单中发现你与张三具有相似的兴趣爱好和 购买习惯，但是有些书张三已经买了，而你却还没买，网站会 认定你对这些书可能感兴趣，而对你进行推荐。 网站这种推荐并非漫无边际，而是有一定技术依据的，这种 技术就是数据挖掘技术（DM）。
电信
英国电信需要发布一种新的产品 ，需要通过直邮的方式向客户推 荐这种产品。。。。。。
使直邮的回应率提高了100％
零售商店
GUS（英国的日用品零售商店）需 要准确的预测未来的商品销售 量，降低库存成本。。。。。 。 通过数据挖掘的方法使库存成本比原 来减少了3.8%
税务局
美国国内税务局需要提高对 纳税人的服务水平。。。。 。。
《数据仓库与数据挖掘》
主讲：王名扬 信息学院
参考书目
《数据挖掘：概念与技术》韩家炜著（机械）
2
网络资源
中文（推荐）
日文 英文（课程）
29
29
二、数据挖掘的功能
数据挖掘的功能：
数据挖掘可以挖掘的一些常用模式如下：
关联分析（描述）； 聚类分析（描述）； 分类（预测）； 孤立点分析（预测）
数据挖掘的功能：
1）关联分析
关联规则挖掘：反映一个事件和其他事件之间依 赖或关联的知识。
广泛的用于购物篮或事务数据分析。
数据挖掘都干了些什么？
韩家炜数据挖掘概念与技术——精要
因此，即使在数据被获取之后，我们能够尽力 去清洗，好的数据库和数据表过程设计能在第一时间 最小化缺失值和错误的数目。
不精确数据有很多可能的原因：
1. 数据收集工具可能错误，数据记录中很多人为的或 计算机导致的的错误。
2. 用户也可能在值当他们不愿意暴露个人资料的时候 在一些强制必须填写的栏目故意提交了错误的资料 （如生日直接用默认值1月1日）。这是一些伪装缺 失的数据。
3. 数据在传输时也可能出错。一些技术上的限制，例 如并行同步数据的传输和计算时缓冲区间的有限性。
数据删减
“我被选做分析的数据集非常大，这确 信无疑的会减慢挖掘过程。是否有一个方法 能够在不影响数据挖掘的效果的情况下减小 数据集呢？”这就是数据删减。数据删减能 得到一个数据集的删减集，比原来的数据小 很多，但是能产生相同的（或几乎相同的） 分析结果。
数据删减包括维度删减和数据块删减。
– 维度删减：
3. 相关联的数据没有被记录可能因为误解 或者设据应该被被删掉。另 外，数据历史和修改可能被忽视。缺失的数据，特 别是缺失了某些属性值的元组，值可能需要被推断。
数据质量依赖于人们对数据的预期使用。两个不 同的用户可能对一个给定的数据库的质量有不同的 评估。
数据的低质量会导致低质量的数据挖掘结果。 “如何处理数据，以有助于提到数据的质量和数据挖 掘的效果呢？数据被如何处理能够提高挖掘过程的高 效性和简易型呢？”
这里有几种数据预处理的技术，包括：数据清 洗，数据聚合，数据删减，数据转换。这些技术能提 升挖掘算法的精确性和效率。它们并非相对独立，是 共同工作的。比如，数据清洗也包含数据转化以去除 错误数据。
数据挖掘概念与技术(jiawei Han授课全英文ppt)_05
May 16, 2013 Data Mining: Concepts and Techniques 1
Chapter 5: Mining Frequent Patterns, Association and Correlations
Initially, scan DB once to get frequent 1-itemset Generate length (k+1) candidate itemsets from length k frequent itemsets Test the candidates against DB Terminate when no frequent or candidate set can be generated
Min_sup = 1.
<a1, …, a100>: 1 < a1, …, a50>: 2
What is the set of closed itemset?
What is the set of max-pattern?
<a1, …, a100>: 1 !!
Data Mining: Concepts and Techniques 8
Pattern analysis in spatiotemporal, multimedia, timeseries, and stream data
Classification: associative classification
数据挖掘介绍资料
聚类分析 类标记是未知的:聚类数据以形成新类标记 最大化类内的相似性、最小化类间的相似性 孤立点分析 孤立点: 数据对象与数据的一般行为或模型不一致 噪声 or 异常丢掉? 不! 在欺骗探测, 罕见事件分析中有用 演变分析 趋势 和 背离 连续时间序列数据分析, 周期模式匹配分析 基于类似性的数据分析
首先生成所有模式，然后过虑非兴趣模式.
仅生成有趣模式—优化数据挖掘查询
Data Mining: Concepts and Techniques
2018年10月24日星期三
19
数据挖掘: 多学科汇总
数据库技术
统计学
信息科学
数据挖掘
机器学习
可视化
其他学科
2018年10月24日星期三
Data Mining: Concepts and Techniques
分析显示： 38% 的零售收缩归咎于不诚实雇员
反对恐怖主义
2018年10月24日星期三
Data Mining: Concepts and Techniques
9
其他应用
运动
IBM高级侦察系统统计NBA比赛
天文学
喷气推进实验所(JPL) 与 Palomar 天文台在数据挖掘帮 助下发现22类星体
1960s:
数据收集，数据创建
关系数据模型, 关系数据库管理系统
1970s:
1980s:
高级数据模型 (扩充关系, 面向对象, etc.)
面向应用的数据库管理系统 (空间的,时间的,知识库, etc.) 数据挖掘,数据仓库,Web 数据库 面向各种应用的数据挖掘 Web 技术 和 全球信息系统
数据挖掘课件.
欺骗性检测和管理(1)
应用
广泛应用于医疗系统, 零售系统,信用卡服务, 电信(电 话卡欺骗行为), 等等. 利用历史性数据建立欺骗性行为模型并使用数据挖掘 帮助识别同类例子 汽车保险：检测出那些故意制造车祸而索取保险金的 人 来路不明钱财的追踪: 发现可疑钱财交易(美国财政部 的财政犯罪执行网) 医疗保险: 检测出潜在的病人，呼叫医生和证明人
了解应用领域：
相关的预备知识和应用目标
创建一个目标数据集：数据选择 数据清理和预加工（可能占用60%精力） 数据变换：
发现有用的特征，维/变量的变换，常量的表示
汇总，分类，关联，聚集
选择数据挖掘功能
选择挖掘算法 数据挖掘：搜索兴趣模式 模式评估和知识表达
可视化，变形，去掉冗余模式等等
其他应用
文本挖掘(新闻组，电子邮件，文件) 和WEB分 析 智能询问回答
市场分析和管理（1）
用于分析的数据从何来？
信用卡交易，信誉卡，折扣券，用户投诉电话，公众 生活方式调查。 找出具有相同特征（兴趣，收入水平，消费习惯等等） 的“模式”顾客群。 从单独银行账户向联合银行账户的转变。例如：结婚 不同产品之间的销售关联关系 在此关联信息上进行预测
数据挖掘功能（2）
分类和预测
找出描述并区分数据类和概念的模型（或函数）以便 能够使用模型预测类标记未知的对象类。 例如：依据气候划分国家类型或者依据每里的耗油量 划分汽车类型。 表示形式：判定树，分类规则，神经网络。 预测：预测某些未知的或空缺的数据值。 类标记未知：把数据聚类或分组成新的类，例如：把 房子聚类来找出房子的分布模式。 聚类依据以下原则：最大化类内的相似性和最小化类 间的相似性。
Chapter 1. Introduction
Alternative names
Watch out: Is everything ―data mining‖?
(Deductive) expert systems
7
Knowledge Discovery (KDD) Process
This is a view from typical database systems and data Pattern Evaluation warehousing communities Data mining plays an essential role in the knowledge discovery Data Mining process Task-relevant Data Data Warehouse Data Cleaning Data Integration Databases
11
KDD Process: A Typical View from ML and Statistics
Data Mining
PostProcessing
Input Data
பைடு நூலகம்
Data PreProcessing
Data integration Normalization Feature selection Dimension reduction
Data Mining:
Concepts and Techniques
(3rd ed.)
— Chapter 1 —
Jiawei Han, Micheline Kamber, and Jian Pei
University of Illinois at Urbana-Champaign & Simon Fraser University
数据挖掘概念与技术
–基于相似的分析
• 其它基于模式或统计的分析 2020年6月2日星期二
数据挖掘：概念与技术
24
挖掘出的所有模式都是有趣的吗?
• 一个数据挖掘系统/查询可以挖掘出数以千计的模式, 并非所有的模式 都是有趣的
– 建议的方法: 以人为中心, 基于查询的, 聚焦的挖掘
• 兴趣度度量 : 一个模式是 有趣的 如果它是 易于被人理解的, 在某种 程度上在新的或测试数据上是有效的, 潜在有用的, 新颖的, 或验证了 用户希望证实的某种假设
• 检测电话欺骗
–电话呼叫模式: 通话距离, 通话时间, 每天或 每周通话次数. 分析偏离期望的模式.
–英国电讯(British Telecom)识别频繁内部通
话的呼叫者的离散群, 特别是移动电话, 超过
2020年6月2日星期二
数据挖掘：概念与技术
14
数百万美元的欺骗.
其它应用
• 运动
–IBM Advanced Scout分析NBA的统计数据 ( 阻 挡投篮, 助攻, 和犯规 ) 获得了对纽约小牛队 (New York Knicks)和迈艾米热队( Miami Heat ) 的竞争优势
21
数据挖掘功能(1)
• 概念描述: 特征和区分
–概化, 汇总, 和比较数据特征, 例如, 干燥和 潮湿的地区
• 关联 (相关和因果关系)
–多维和单维关联
–age(X, “20..29”) ^ income(X,
“20..29K”) buys(X, “PC”)
[support = 2%,
confidence = 60%]
–数据挖掘系统能够发现所有有趣的模式吗?
–关联 vs. 分类 vs. 聚类
数据挖掘概念与技术(第三版)课后答案——第一章
数据挖掘概念与技术（第三版）课后答案——第⼀章1.1 什么是数据挖掘？在你的回答中，强调以下问题：(a)它是⼜⼀种⼴告宣传吗？(b)它是⼀种从数据库、统计学、机器学习和模式识别发展⽽来的技术的简单转换或应⽤吗？(c)我们提出了⼀种观点，说数据挖掘是数据库技术进化的结果。
你认为数据挖掘也是机器学习研究进化的结果吗？你能基于该学科的发展历史提出这⼀观点吗？针对统计学和模式识别领域，做相同的事。
(d)当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。
答：数据挖掘不是⼀种⼴告宣传，它是⼀个应⽤驱动的领域，数据挖掘吸纳了诸如统计学习、机器学习、模式识别、数据库和数据仓库、信息检索、可视化、算法、⾼性能计算和许多应⽤领域的⼤量技术。
它是从⼤量数据中挖掘有趣模式和知识的过程。
数据源：包括数据库、数据仓库、Web、其他信息存储库或动态的流⼊系统的数据等。
当其被看作知识发现过程时，其基本步骤主要有：1. 数据清理：清楚噪声和删除不⼀致数据；2. 数据集成：多种数据源可以组合在⼀起；3. 数据选择：从数据库中提取与分析任务相关的数据；4. 数据变换：通过汇总或者聚集操作，把数据变换和统⼀成适合挖掘的形式；5. 数据挖掘：使⽤智能⽅法或者数据挖掘算法提取数据模式；6. 模式评估：根据某种兴趣度量，识别代表知识的真正有趣的模式。
7. 知识表⽰：使⽤可视化和知识表⽰技术，向⽤户提供挖掘的知识。
1.2 数据仓库与数据库有什么不同？它们有哪些相似之处？答：不同：数据仓库是多个异构数据源在单个站点以统⼀的模式组织的存储，以⽀持管理决策。
数据仓库技术包括数据清理、数据集成和联机分析处理(OLAP)。
数据库系统也称数据库管理系统，由⼀组内部相关的数据（称作数据库）和⼀组管理和存取数据的软件程序组成，是⾯向操作型的数据库，是组成数据仓库的源数据。
它⽤表组织数据，采⽤ER数据模型。
相似：它们都为数据挖掘提供了源数据，都是数据的组合。
数据挖掘概念与技术课后答案第二版
数据挖掘概念与技术课后答案第二版第一章：数据挖掘概论1.什么是数据挖掘？数据挖掘是一种通过从大量数据中发现隐藏模式、关系和知识的方法。
它将统计学、机器学习和数据库技术结合起来，用于分析海量的数据，并从中提取出有用的信息。
2.数据挖掘的主要任务有哪些？数据挖掘的主要任务包括分类、回归、聚类、关联规则挖掘和异常检测等。
3.数据挖掘的流程有哪些步骤？数据挖掘的典型流程包括问题定义、数据收集、数据预处理、特征选择、模型构建、模型评估和模型应用等步骤。
4.数据挖掘的应用领域有哪些？数据挖掘的应用领域非常广泛，包括市场营销、金融分析、生物医学、社交网络分析等。
5.数据挖掘的风险和挑战有哪些？数据挖掘的风险和挑战包括隐私保护、数据质量、误差纠正、过拟合和模型解释等。
第二章：数据预处理1.数据预处理的主要任务有哪些？数据预处理的主要任务包括数据清洗、数据集成、数据转换和数据规约等。
2.数据清洗的方法有哪些？数据清洗的方法包括缺失值填补、噪声数据过滤、异常值检测和重复数据处理等。
3.数据集成的方法有哪些？数据集成的方法包括实体识别、属性冲突解决和数据转换等。
4.数据转换的方法有哪些？数据转换的方法包括属性构造、属性选择、规范化和离散化等。
5.数据规约的方法有哪些？数据规约的方法包括维度规约和数值规约等。
第三章：特征选择与数据降维1.什么是特征选择？特征选择是从原始特征集中选择出最具有代表性和区分性的特征子集的过程。
2.特征选择的方法有哪些？特征选择的方法包括过滤式特征选择、包裹式特征选择和嵌入式特征选择等。
3.什么是数据降维？数据降维是将高维数据映射到低维空间的过程，同时保留原始数据的主要信息。
4.数据降维的方法有哪些？数据降维的方法包括主成分分析、线性判别分析和非负矩阵分解等。
5.特征选择和数据降维的目的是什么？特征选择和数据降维的目的是减少数据维度、提高模型训练效果、降低计算复杂度和防止过拟合等。
第四章：分类与预测1.什么是分类？分类是通过训练数据集建立一个分类模型，并将未知数据对象分配到其中的某个类别的过程。
韩家炜-数据挖掘概念与技术-第1章
1.1.2 数据挖掘是信息科技的进化
数据挖掘技术可以被发展的几个阶段： 数据收集和数据库创建、数据管理（数据存储， 检索和数据库事务处理）、高级数据分析（数据 仓库和数据挖掘）。
从1960年开始，数据库和信息科技开始从 最初的文件处理系统进化到更复杂和功能更强大 的数据库系统。
• 这个领域是年轻、动态变化并且前景乐观 的。
• 数据挖掘正在并且将会持续的将我们大踏 步的从数据时代跃入即将到来的信息时代。
• 举例1.1 数据挖掘将一个大数据集转化成知识
– 搜索引擎（例如google)每天接收到数以亿计的查询请 求。每一个请求都看成是用户描述他（她）需要的信 息的一个事务。搜索引擎能从如此巨大的查询请求的 数据集中学习到什么样新的有用的知识呢？
关系数据库是一系列的表，表都有表名，一系 列的属性，和一系列的记录。关系数据库可以通 过数据库查询语句来检索记录。
对关系数据库挖掘时，是想要发现趋势或者数 据模式。比如，分析客户数据预测新用户的信用 风险，基于他们的收入、年龄和以前的信用信息。 还可以用来发现差异，比如，发现包装商品或者 显著提升价格的变化。
• 1.4 What kinds of Patterns Can be Mined? • 1.5 Which Technologies Are Used? • 1.6 Which Kinds of Applications Are Target? • 1.7 Major Issues in Data Mining • 1.8 Summary
数据描述
数据描述是总结目标类别数据的一般特征。 数据一般通过查询来收集。例如，想研究上一 年销售额增长了10%的软件产品，可以通过SQL查询语 句来进行。 有多种数据描述的方法。可以使用基于统计测 量和散点图的简单数据总结。基于数据立方的OLAP操 作可以使用在特定维度空间的用户控制的数据摘要。 面向属性的归纳技术也可以用来描述数据。 描述的结果可以通过多种图表展现，包括饼图、 柱状图、曲线、高维数据立方体和多维表、交叉表等。 也可以使用规则形式的广义关系来表示。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.1.1 人类迈入信息时代
• 我们已经进入大数据的时代。 • 每天，有大量的（TB、PB数量级）的数据
从商业、社会、科学和工程、医药以及生 活中的方方面面涌入我们的计算机网络、 万维网、以及各种不同的数据存储设备。
• 这些爆炸性增长的、广泛可获取的、大量 的数据使我们真正的处于数据时代。
• 强大的、万能的能够自动从大量数据中挖 掘有价值的信息的工具被急切的需要。这 种需求催生了数据挖掘。
– 这个例子展示了数据挖掘怎样将大量的信息转化成知 识。
1.1.2 数据挖掘是信息科技的进化
数据挖掘技术可以被看做是信息技术自然 进化的产物。
数据库和数据管理技术发展的几个阶段： 数据收集和数据库创建、数据管理（数据存储， 检索和数据库事务处理）、高级数据分析（数据 仓库和数据挖掘）。
从1960年开始，数据库和信息科技开始从 最初的文件处理系统进化到更复杂？
数据挖掘能被应用于任何对目标应用有 意义的数据类型。
最基本的形式有：数据库数据、数据仓 库数据、交易事务数据，以及一些其他的类 型，例如数据流、序列数据、图数据、空间 数据、文本数据、多媒体数据、www等。
• 1.1 Why Data Mining? • 1.2 What is Data Mining? • 1.3 What kinds of Data Can be Mined?
– 1.3.1 Database Data – 1.3.2 Data Warehouse – 1.3.3 Transactional Data – 1.3.4 Other Kinds of Data
– 1.1.1 Moving toward the Information Age – 1.1.2 Data Mining as the Evolution of Information
Technology
• 1.2 What is Data Mining? • 1.3 What kinds of Data Can be Mined? • 1.4 What kinds of Patterns Can be Mined? • 1.5 Which Technologies Are Used? • 1.6 Which Kinds of Applications Are Target? • 1.7 Major Issues in Data Mining • 1.8 Summary
第一章 简介
2014.10
目录
• 1.1 数据挖掘的目的 • 1.2 数据挖掘的概念 • 1.3 数据挖掘的对象 • 1.4 数据挖掘的挖掘模式 • 1.5 数据挖掘的技术 • 1.6 数据挖掘的应用领域 • 1.7 数据挖掘的主要挑战 • 1.8 总结
• 1.1 Why Data Mining?
• 1.1 Why Data Mining? • 1.2 What is Data Mining? • 1.3 What kinds of Data Can be Mined? • 1.4 What kinds of Patterns Can be Mined? • 1.5 Which Technologies Are Used? • 1.6 Which Kinds of Applications Are Target? • 1.7 Major Issues in Data Mining • 1.8 Summary
• 这个领域是年轻、动态变化并且前景乐观 的。
• 数据挖掘正在并且将会持续的将我们大踏 步的从数据时代跃入即将到来的信息时代。
• 举例1.1 数据挖掘将一个大数据集转化成知识
– 搜索引擎（例如google)每天接收到数以亿计的查询请 求。每一个请求都看成是用户描述他（她）需要的信 息的一个事务。搜索引擎能从如此巨大的查询请求的 数据集中学习到什么样新的有用的知识呢？
从1970年开始，对数据库系统的研究从早 期的层式结构和网状结构发展到关系数据库系统。
数据库管理系统建立之后，数据库技术 发展到高级数据库、数据仓库和数据挖掘阶 段。
丰富的数据、对多种数据分析工具的需 求，被称为是“数据丰富但是信息量少”的 环境，这种巨大的鸿沟催生了数据挖掘工具 的系统化发展，把数据坟墓转化为知识金矿。
– 令人感兴趣的是，我们能从这些数据中发现一些揭示 有价值信息的模式。而靠单个查看每个数据记录是无 法做到这点的。
– 举个例子，谷歌的Flu Trends使用一些特定的词语作为 流感的指示器。它能够发现搜索流感信息的人群的数 量与真正有流感症状的人群的数量之间的紧密关系。 当所有的关于流感的信息聚集在一起时，就能呈现某 种模式。使用聚集的谷歌搜索数据，Flu Trends能比传 统系统提早两周估计到流感的发生。
1.2 什么是数据挖掘？
数据挖掘是从大量数据中发掘有趣的模 式和知识的过程。
很多词语有和数据挖掘类似的含义：数 据知识挖掘、知识抽取、数据/模式分析、 data archaeology, data dredging.
很多人把数据挖掘看做和一个流行的词 汇knowledge discovery from data( KDD，知识 发现)一样的含义。
数据挖掘的步骤
1 数据清洗（去除噪声和不一致的数据） 2 数据聚合（多种数据源的融合） 3 数据选择（和分析任务相关的数据从数据库中检索 出来） 4 数据转换（数据被使用摘要和聚合的方式转换和联 合成合适用于挖掘的形式) 5 数据挖掘（最重要的步骤，智能的抽取数据模式的 方法） 6 模式评估 7 知识表达
• 1.4 What kinds of Patterns Can be Mined? • 1.5 Which Technologies Are Used? • 1.6 Which Kinds of Applications Are Target? • 1.7 Major Issues in Data Mining • 1.8 Summary