数据挖掘导论第一章
《数据挖掘导论》目录
《数据挖掘导论》⽬录⽬录什么是数据挖掘常见的相似度计算⽅法介绍决策树介绍基于规则的分类贝叶斯分类器⼈⼯神经⽹络介绍关联分析异常检测数据挖掘数据挖掘（英语：Data mining），⼜译为资料探勘、数据采矿。
它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的⼀个步骤。
数据挖掘⼀般是指从⼤量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多⽅法来实现上述⽬标。
常见的数据相似度计算汉密尔顿距离（r = 1）欧式距离（r = 2）上确界距离（r = max）⼆元数据相似性简单匹配系数（Simple Matching Coefficient,SMC）：Jaccard 系数：余弦相似度：⼴义Jaccard系数：⽪尔逊相关系数（Pearson’s correlation）：决策树（decision tree）（TODO）决策树是⼀个树结构（可以是⼆叉树或⾮⼆叉树）。
其每个⾮叶节点表⽰⼀个特征属性上的测试，每个分⽀代表这个特征属性在某个值域上的输出，⽽每个叶节点存放⼀个类别。
使⽤决策树进⾏决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分⽀，直到到达叶⼦节点，将叶⼦节点存放的类别作为决策结果。
构造决策树的关键步骤是分裂属性。
所谓分裂属性就是在某个节点处按照某⼀特征属性的不同划分构造不同的分⽀，其⽬标是让各个分裂⼦集尽可能地“纯”。
尽可能“纯”就是尽量让⼀个分裂⼦集中待分类项属于同⼀类别。
构造决策树的关键性内容是进⾏属性选择度量，属性选择度量是⼀种选择分裂准则，是将给定的类标记的训练集合的数据划分D“最好”地分成个体类的启发式⽅法，它决定了拓扑结构及分裂点split_point的选择。
属性选择度量算法有很多，⼀般使⽤⾃顶向下递归分治法，并采⽤不回溯的贪⼼策略。
1数据挖掘每章知识
1.数据挖掘定义：从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
2.不能在原数据库上做决策而要建造数据仓库的原因：传统数据库的处理方式和决策分析中的数据需求不相称，主要表现在：⑴决策处理的系统响应问题⑵决策数据需求的问题⑶决策数据操作的问题3.数据仓库的定义W.H.Inmon的定义：数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。
公认的数据仓库概念基本上采用了W.H.Inmon的定义：数据仓库是面向主题的、集成的、不可更新的（稳定性）随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。
4.数据仓库与数据挖掘的关系：⑴数据仓库系统的数据可以作为数据挖掘的数据源。
数据仓库系统能够满足数据挖掘技术对数据环境的要求，可以直接作为数据挖掘的数据源。
⑵数据挖掘的数据源不一定必须是数据仓库系统。
数据挖掘的数据源不一定必须是数据仓库，可以是任何数据文件或格式，但必须事先进行数据预处理，处理成适合数据挖掘的数据。
5. 数据挖掘的功能——7个方面：⑴概念描述：对某类对象的内涵进行描述，并概括这类对象的有关特征。
①特征性描述②区别性描述⑵关联分析：若两个或多个变量间存在着某种规律性，就称为关联。
关联分析的目的就是找出数据中隐藏的关联网。
⑶分类与预测①分类②预测⑷聚类分析：客观的按被处理对象的特征分类，将有相同特征的对象归为一类。
⑸趋势分析：趋势分析——时间序列分析，从相当长的时间的发展中发现规律和趋势。
⑹孤立点分析：孤立点：数据库中包含的一些与数据的一般行为或模型不一致⑺偏差分析：偏差分析——比较分析，是对差异和极端特例的描述，揭示事物偏离常规的异常现象。
6. 数据挖掘常用技术：⑴数据挖掘算法是数据挖掘技术的一部分⑵数据挖掘技术用于执行数据挖掘功能。
⑶一个特定的数据挖掘功能只适用于给定的领域。
数据挖掘导论第章vppt课件
数据集类型（三大类）
记录数据 数据矩阵（Data Matrix） 文本数据（Document Data ）：每篇文档可以表示成一个文档-词矩 阵 事务数据（Transaction Data）
基于图形(Graph)的数据 World Wide Web 分子结构（Molecular Structures）
有序(Ordered)数据 空间数据（Spatial Data） 时间数据（Temporal Data） 序列数据（Sequential Data ）
11
数据集类型1：记录数据: 数据矩阵
数据矩阵: 如果一个数据集中的所有数据对象都具有相同的数值属性集,则数据对
数值的
区 间
新值 = a×旧值+ b, 其中a、b是常数
(定量的)
比 率
新值= a ×旧值
华氏和摄氏温度标度零度的位置和1度的 大小（单位）不同
长度可以用米或英尺度量
8
用值的个数描述属性：离散vs.连续属性
离散属性(Discrete Attribute) 有限或无限可数 (countable infinite )个值 例: 邮政编码, 计数, 文档集的词 常表示为整数变量. 注意: 二元属性(binary attributes)是离散属性的特例
6
表2-2 不同的属性类型
属性类型
标 称 分类的
(定性的) 序 数
区
数值的
间
(定量的)
比 率
描述
例子
操作
标称属性的值仅仅只是不 同的名字，即标称值只提供 足够的信息以区分对象
（=，）
序数属性的值提供足够的 信息确定对象的序
（<，>）
数据挖掘CHAPTER1引言
第一章引言本书是一个导论，介绍什么是数据挖掘，什么是数据库中知识发现。
书中的材料从数据库角度提供，特别强调发现隐藏在大型数据集中有趣数据模式的数据挖掘基本概念和技术。
所讨论的实现方法主要面向可规模化的、有效的数据挖掘工具开发。
本章，你将学习数据挖掘如何成为数据库技术自然进化的一部分，为什么数据挖掘是重要的，以及如何定义数据挖掘。
你将学习数据挖掘系统的一般结构，并考察挖掘的数据种类，可以发现的数据类型，以及什么样的模式提供有用的知识。
除学习数据挖掘系统的分类之外，你将看到建立未来的数据挖掘工具所面临的挑战性问题。
1.1 什么激发数据挖掘？为什么它是重要的？需要是发明之母。
近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。
获取的信息和知识可以广泛用于各种应用，包括商务管理、生产控制、市场分析、工程设计和科学探索等。
数据挖掘是信息技术自然进化的结果。
进化过程的见证是数据库工业界开发以下功能（图1.1）：数据收集和数据库创建，数据管理（包括数据存储和提取，数据库事务处理），以及数据分析与理解（涉及数据仓库和数据挖掘）。
例如，数据收集和数据库创建机制的早期开发已成为稍后数据存储和提取、查询和事务处理有效机制开发的必备基础。
随着提供查询和事务处理的大量数据库系统广泛付诸实践，数据分析和理解自然成为下一个目标。
自60年代以来，数据库和信息技术已经系统地从原始的文件处理进化到复杂的、功能强大的数据库系统。
自70年代以来，数据库系统的研究和开发已经从层次和网状数据库发展到开发关系数据库系统（数据存放在关系表结构中；见 1.3.1小节）、数据建模工具、索引和数据组织技术。
此外，用户通过查询语言、用户界面、优化的查询处理和事务管理，可以方便、灵活地访问数据。
联机事务处理(OLTP)将查询看作只读事务，对于关系技术的发展和广泛地将关系技术作为大量数据的有效存储、提取和管理的主要工具作出了重要贡献。
数据挖掘-数据挖掘导论
2
数据
数据库 管理
数据仓库
数据挖掘
数据智能 分析
解决方案
图-- 数据到知识的演化过程示意描述
随着计算机硬件和软件的飞速发展，尤其是数据库技术与应用的日益普及，人 们面临着快速扩张的数据海洋，如何有效利用这一丰富数据海洋的宝藏为人类服务， 业已成为广大信息技术工作者的所重点关注的焦点之一。与日趋成熟的数据管理技 术与软件工具相比，人们所依赖的数据分析工具功能，却无法有效地为决策者提供 其决策支持所需要的相关知识，从而形成了一种独特的现象“丰富的数据，贫乏的 知识”。为有效解决这一问题，自二十世纪 9 年代开始，数据挖掘技术逐步发展起 来，数据挖掘技术的迅速发展，得益于目前全世界所拥有的巨大数据资源以及对将 这些数据资源转换为信息和知识资源的巨大需求，对信息和知识的需求来自各行各 业，从商业管理、生产控制、市场分析到工程设计、科学探索等。数据挖掘可以视 为是数据管理与分析技术的自然进化产物，如图-- 所示。
）。事实上， 一部人类文明发展史，就是在各种活动中，知识的创造、交流，再创造不断积累的 螺旋式上升的历史。
客观世界 客观世界
收集
数据 数据
分析
信息 信息
深入分析
知识 知识
决策与行动
图-- 人类活动所涉及数据与知识之间的关系描述
计算机与信息技术的发展，加速了人类知识创造与交流的这种进程，据德国《世 界报》的资料分析，如果说 ( 世纪时科学定律（包括新的化学分子式，新的物理关 系和新的医学认识）的认识数量一百年增长一倍，到本世纪 / 年代中期以后，每五 年就增加一倍。这其中知识起着关键的作用。当数据量极度增长时，如果没有有效 的方法，由计算机及信息技术来帮助从中提取有用的信息和知识，人类显然就会感 到像大海捞针一样束手无策。据估计，目前一个大型企业数据库中数据，约只有百 分之七得到很好应用。因此目前人类陷入了一个尴尬的境地，即“丰富的数据”（ *）而“贫乏的知识0（'
数据挖掘导论
本书的亮点之一在于对可视化分析的独到见解。作者指出，可视化是解决复杂 数据挖掘问题的有效手段，可以帮助我们直观地理解数据和发现隐藏在其中的 规律。书中详细讨论了可视化技术的种类、优缺点以及在数据挖掘过程中的作 用。还通过大量实例，让读者切实感受到可视化分析在数据挖掘中的强大威力。
除了可视化分析，本书还对关联规则挖掘、聚类分析等众多经典算法进行了深 入阐述。例如，在关联规则挖掘部分，作者首先介绍了Apriori算法的基本原 理和实现过程，然后提出了一系列改进措施，如基于哈希表的剪枝、基于密度 的剪枝等，有效提高了算法的效率和准确率。在聚类分析部分，不仅详细讨论 了K-Means、层次聚类等经典算法，还对如何评价聚类效果进行了深入探讨。
第4章：关联规则挖掘。讲解了关联规则的定义、算法和实际应用。
第5章：聚类分析。讨论了聚类算法的类型、原理和应用。
第6章：分类。介绍了分类算法的原理、应用及评估方法。
第7章：回归分析。讲解了回归分析的原理、方法和实际应用。
第8章：时间序列分析。探讨了时间序列的基本概念、模型和预测方法。
第9章：社交网络分析。讲解了社交网络的基本概念、测量指标和挖掘方法。
《数据挖掘导论》是一本非常优秀的书籍，全面介绍了数据挖掘领域的基本概 念、技术和应用。通过阅读这本书，我不仅对数据挖掘有了更深入的了解，还 从中获得了不少启示和收获。书中关键点和引人入胜的内容也让我进行了深入 思考。从个人角度来说，这本书给我带来了很多情感体验和思考。结合本书内 容简单探讨了数据挖掘在生活中的应用前景。
在阅读这本书的过程中，我最大的收获是关于数据挖掘技术的理解。书中详细 介绍了各种数据挖掘技术的原理、优缺点以及适用场景。尤其是关联规则挖掘、 聚类分析和分类算法等部分，让我对这些技术有了更深入的认识。通过这些技 术的学习，我明白了如何从大量数据中提取有用的信息和知识。
数据挖掘导论中文答案1.2.3.4.6.8.10章
习题一：1。
讨论是否每个以下活动是一个数据挖掘的任务。
(a)将公司的客户根据他们的性别。
不。
这是一个简单的数据库查询。
(b)将公司的客户根据他们的盈利能力。
不。
这是一个会计计算,紧随其后的是应用程序一个阈值。
然而,预测的盈利能力客户将数据挖掘。
(c)计算一个公司的总销售额。
不。
再次,这是简单的会计。
(d)排序一个学生数据库基于学生身份证号码。
不。
再一次,这是一个简单的数据库查询。
(e)预测结果掷双骰子(公平)。
不。
因为模具是公平的,这是一个概率计算。
如果死是不公平的,我们需要估计的概率每个结果的数据,那么这是更像的问题认为数据挖掘。
然而,在这种特定的情况下,解决方案这个问题是由数学家很长时间前,因此,我们不会认为它是数据挖掘。
(f)预测未来股价的公司使用历史记录。
是的。
我们将尝试创建一个模型,该模型可以预测连续价值的股票价格。
这是一个的例子数据挖掘领域称为预测模型。
我们可以使用回归建模,尽管在许多领域的研究者开发了各种各样的技术来预测时间吗系列。
(g)监测病人的心率异常。
是的。
我们可以建立一个模型,心脏的正常行为率和不同寻常的心行为发生时发出警报。
这将涉及到数据挖掘的区域称为异常检测。
这也可以被认为是一个分类问题如果我们有正常和异常的心行为的例子。
(h)监测地震活动的地震波。
是的。
在本例中,我们将构建一个不同类型的模型地震波与地震相关的活动和行为提高警报当其中一个不同类型的地震活动被观察到。
这是数据挖掘领域的一个例子被称为分类。
(i)提取声波的频率。
不。
这是信号处理。
2.假设你被录用,作为一个互联网数据挖掘咨询顾问搜索引擎公司。
描述数据挖掘可以帮助公司通过给具体的例子如何技术,如聚类,分类、关联规则挖掘和异常检测可以应用。
答：以下是可能的答案的例子。
•聚类可以把结果与类似的主题用户在一个更简洁的形式,例如通过报告集群中的十大最频繁的词语。
•分类可以将结果分配给预定义的类别等“体育”、“政治”,等等。
数据挖掘导论Iris KDD分析教材
| petal width > 1.7: Iris-virginica (46.0/1.0)
Number of Leaves :5
Size of the tree :9
Time taken to build model: 0.01 seconds
+/-0.4336 +/-0.2934 +/-0.381 +/-0.2799
petal length 3.7587 4.3967 1.464 5.7026
+/-1.7644 +/-0.5269 +/-0.1735 +/-0.5194
petal width 1.1987 1.418 0.244 2.0795
=== Run information ===
Scheme: weka.clusterers.SimpleKMeans -init 0 -max-candidates 100 -periodic-pruning 10000 -min-density 2.0 -t1 -1.25 -t2 -1.0 -V -N 3 -A "weka.core.EuclideanDistance -R first-last" -I 5009 -num-slots 1 -S 10
kMeans
======
Number of iterations: 6
Within cluster sum of squared errors: 1.7050986081225123
Initial starting points (random):
数据挖掘导论第一二章_924
2.3.4特征创建
常常可以由原来的属性创建新的属性集，更有效地捕获数据集中的重要信息。三种创建新属性的相关方法：特征提取、映射数据到新的空间和特征构造。
特征提取(feature extraction)：由原始数据数据创建新的特征集称作特征提取。最常用的特征提取技术都是高度针对具体领域的。因此，一旦数据挖掘用于一个相对较新的领域，一个关键任务就是开发新的特征和特征提取方法。
首先定义测量误差和数据收集错误，然后进一步考虑涉及测量误差的各种问题：噪声、伪像、偏倚、精度和准确度。最后讨论可能同时涉及测量和数据收集的数据质量问题：离群点、遗漏和不一致值、重复数据。
测量误差(measurement error)指测量过程中导致的问题。
数据收集错误(data collection error)指诸如遗漏数据对象或属性值，或不当的包含了其他数据对象等错误。
过滤方法(filter approach)：使用某种独立于数据挖掘任务的方法，在数据挖掘算法运行前进行特征选择。
包装方法(wrapper approach)：这些方法将目标数据挖掘算法作为黑盒，使用类似于前面介绍的理想算法，但通常不枚举所有可能的子集来找出最佳属性子集。
过滤方法和包装方法唯一的不同是它们使用了不同的特征子集评估方法。对于包装方法，子集评估使用目标数据挖掘算法；对于过滤方法，子集评估技术不同于目标数据挖掘算法。搜索策略可以不同，但是计算花费应当较低，并且应当找到最优或近似最优的特征子集。通常不可能同时满足这两个要求，因此需要这种权衡。搜索的一个不可缺少的组成部分是评估步骤，根据已经考虑的子集评价当前的特征子集。这需要一种评估度量，针对诸如分类或聚类等数据挖掘任务，确定属性特征子集的质量。对于过滤方法，这种度量试图预测实际的数据挖掘算法在给定的属性集上执行的效果如何；对于包装方法，评估包括实际运行目标数据挖掘应用，子集评估函数就是通常用于度量数据挖掘结果的判断标准。
Chap1 数据挖掘概述
每个用户脑袋里都有一个数据挖掘任务，即他想要 进行的数据分析形式
背景知识：概念分层
背景知识是关于挖掘领域的知识，它们在发现过程中是非常有用的。 概念分层是一种有用的背景知识形式，它使得原始数据可以在 较高的、一般化的抽象层上进行处理。 • 模式分层：是数据库模式属性间的全序或偏序。模式分层可以形 式地表示属性间的语义联系。 Street<city<province_or_state<country • 集合分组分层：将给定属性或维的值组织成常量或区间值。组之 间可以定义全序或偏序。当两种类型的分层结构结合时，集合分 组分层可以用于精炼或丰富模式定义的分层。 {young, middle_aged, senior}⊂all(age) {20„39}⊂young {40„59}⊂middle_aged {60„89}⊂senior
1.4 在何种数据上进行数据挖掘
1. 2. 3. 4. 关系数据库 数据仓库 事务数据库 高级数据库系统和高级数据库应用 – 面向对象的数据库 – 对象-关系数据库 – 空间数据库 – 时间数据库和时间序列数据库 – 文本数据库和多媒体数据库 – 异种数据库和遗产数据库 – WWW
1.5 数据挖掘功能---可以挖掘什么类型的模式
发现模式的表示和可视化
• 数据挖掘系统要变得有效，就应当能够以多种形式显示所发现 的模式，如规则、表、交叉表、饼图或条图、判定树、数据立 方体或其他可视表示。
• 允许发现的模式以多种形式表示可以帮助不同背景的用户识别 有趣的模式，并与系统交互或指导进一步的发现。用户应当能 够指定用于显示发现模式的表示形式。
low_profit_margin<=price(X,P1)∧cost(X,P2)∧((P1-P2)<$50) medium_profit_margin<=price(X,P1)∧cost(X,P2)∧((P1-P2)>=$50)∧((P1P2)<=$250)
数据挖掘导论--第1章绪论
数据挖掘导论--第1章绪论数据挖掘导论-第⼀章-绪论为什么会出现数据挖掘？1. 因为随着社会不断快速发展，信息量在不断增加，由于**信息量太⼤** ，⽽⽆法使⽤传统的数据分析⼯具和技术处理它们；2. 即使数据集相对较⼩，但由于数据本⾝有⼀些**⾮传统特点**，也不能使⽤传统的⽅法进⾏处理。
什么是数据挖掘？数据挖掘是⼀种技术，它将传统的数据分析⽅法与处理⼤量数据的复杂算法相结合。
数据挖掘是在⼤型数据存储库中，⾃动地发现有⽤信息的过程。
数据挖掘是数据库中知识发现（knowledge discovery in database，KDD）不可缺少的⼀部分。
数据挖掘要解决的问题可伸缩⾼维性异种数据和复杂数据数据的所有权与分布⾮传统的分析数据挖掘任务通常，数据挖掘任务分为下⾯两⼤类预测任务：这些任务的⽬标是根据其他属性的值，预测特定属性的值。
被预测的属性⼀般称为⽬标变量或因变量⽤来做预测的属性称说明变量或⾃变量描述任务：其⽬标是导出概括数据中潜在联系的模式（相关、趋势、聚类、轨迹和异常）。
本质上，描述性数据挖掘任务通常是探查性的，并且常常需要后处理技术验证和解释结果下图展⽰了其余部分讲述的四种主要数据挖掘任务预测建模：以说明变量函数的⽅式为⽬标变量建⽴模型。
有两类预测建模任务：分类（classification）：⽤于预测离散的⽬标变量回归（regression）：⽤于预测连续的⽬标变量关联分析：⽤来发现描述数据中强关联特征的模式。
所发现的模式通常⽤蕴涵规则或特征⼦集的形式表⽰聚类分析：旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相⽐，属于同⼀簇的观测值相互之间尽可能类似异常检测：任务是识别其特征显著不同于其他数据的观测值。
这样的观测值称为异常点或离群点## 参考⽂献： 1. 数据挖掘导论（完整版）。
《数据挖掘导论》教材配套教学PPT——第1章 认识数据挖掘
• 数据实例（Instance）
– 用于有指导学习的样本数据
• 训练实例（Training Instance）
– 用于训练的实例
• 检验实例（Test Instance）
– 分类模型建立完成后，经过检验实例进行检验，判断模型是否 能够很好地应用在未知实例的分类或预测中。
2022年3月23日星期三
第10页，共65页
Knowledge）
2022年3月23日星期三
第21页，共65页
1.4 专家系统
清华大学出版社
专家系统（Expert System）
• 一种具有“智能”的计算机软件系统。 • 能够模拟某个领域的人类专家的决策过程，解决那些需要人类专家
处理的复杂问题。 • 一般包含以规则形式表示的领域专家的知识和经验，系统就是利用
• 决策树有很多算法（第2章）
Sore-throat Yes Cooling-effect
Not good
Unknown Good
No
Cold Type=Viral (3/0)
Cold Type=Bacterial (4/1)
Cold Type=Viral (2/0)
Cold Type=Bacterial (1/0)
Sore-
throat 咽痛
Cooling-
effect 退热效果
Group 群体发病
Cold-type 感冒类型
1
Yes
2
No
3
Yes
4
Yes
5
No
6
No
7
No
8
Yes
9
Yes
10
Yes
No
Yes
数据挖掘导论第一章
2020/9/29
数据挖掘导论
3
2020/9/29
数据挖掘导论
4
2020/9/29
数据挖掘导论
5
Jiawei Han
在数据挖掘领域做出杰出贡献的郑州大学校友——韩家炜
2020/9/29
数据挖掘导论
6
第1章 绪论
?
No
S in g le 4 0 K
?
No
M a rrie d 8 0 K
?
10
Training Set
Learn Classifier
Test Set
Model
2020/9/29
数据挖掘导论
23
分类:应用1
Direct Marketing Goal: Reduce cost of mailing by targeting a set of consumers likely to buy a new cell-phone product. Approach: Use the data for a similar product introduced before. We know which customers decided to buy and which decided otherwise. This {buy, don’t buy} decision forms the class attribute. Collect various demographic, lifestyle, and company-interaction related information about all such customers. Type of business, where they stay, how much they earn, etc. Use this information as input attributes to learn a classifier model.
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2016年7月7日星期四
数据挖掘导论
18
分类:例子
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10
10
Taxable Income Cheat 125K 100K 70K 120K No No No No Yes No
10
Refund Marital Status No Yes No Yes No No Single Married Married
数据挖掘导论 5
2016年7月7日星期四
挖掘大型数据集：动机
常常有些信息“隐藏”在数据中, 并非显而易见的 人分析需要数周\数月, 才能发现有用的信息 许多数据根本未曾分析过
4,000,000 3,500,000 3,000,000 2,500,000 2,000,000 1,500,000 1,000,000 500,000 0 1995 1996 1997 1998 1999
2016年7月7日星期四
数据挖掘导论
16
数据挖掘任务
分类（Classification） [Predictive] 回归（Regression） [Predictive] 关联规则发现（Association Rule Discovery） [Descriptive] 序列模式发现（Sequential Pattern Discovery） [Descriptive] 聚类（Clustering） [Descriptive] 异常/偏差检测（Anomaly/Deviation Detection） [Predictive]
–Certain names are more prevalent in certain US locations (O’Brien, O’Rurke, O’Reilly… in Boston area)
–Group together similar documents returned by search engine according to their context (e.g. Amazon rainforest, ,)
Divorced 220K Single Married Single 85K 75K 90K
No Yes No Yes
Test Set
Training Set
Learn Classifier
Model
2016年7月7日星期四
数据挖掘导论
19
分类:应用1
Direct Marketing Goal: Reduce cost of mailing by targeting a set of consumers likely to buy a new cell-phone product. Approach: Use the data for a similar product introduced before. We know which customers decided to buy and which decided otherwise. This {buy, don’t buy} decision forms the class attribute. Collect various demographic, lifestyle, and company-interaction related information about all such customers. Type of business, where they stay, how much they earn, etc. Use this information as input attributes to learn a classifier model.
2016年7月7日星期四
数据挖掘导论
10
挑战2
高维性 具有数以百计或数以千计属性的数据集 生物信息学：涉及数千特征的基因表达数据 不同地区温度测量：维度（特征数）的增长正比于测量的次数
为低维数据开发的数据分析技术不能很好地处理高维数据
某些数据分析算法，随着维度（特征数）的增加，计算复杂性迅速 增加
2016年7月7日星期四
数据挖掘导论
13
挑战5
非传统的分析 传统的统计学方法：假设-检验模式 提出一种假设，设计实验来收集数据，然后针对假设分析数据
当前的数据分析任务常常需要产生和评估数以千计的假设 希望自动地产生和评估假设导致了一些数据挖掘技术的开发 数据挖掘所分析的数据集通常不是精心设计的实验的结果 代表数据的时机性样本（opportunistic sample）而不是随机样本 （random sample） 数据集常常涉及非传统的数据类型和数据分布
2016年7月7日星期四
数据挖掘导论
17
分类:定义
给定一批记录----训练集 (training set ) Each record contains a set of attributes, one of the attributes is the class label (类标号) . 任务: 建立一个模型(model ) 类标号属性是其他属性值的函数 目标: previously unseen records should be assigned a class as accurately as possible. A test set (检验集) is used to determine the accuracy of the model. Usually, the given data set is divided into training and test sets, with training set used to build the model and test set used to validate it
Taxable Income Cheat 75K 50K 150K ? ? ? ? ? ?
Yes No No Yes No No Yes No No No
Single Married Single Married
Divorced 90K Single Married 40K 80K
Divorced 95K Married 60K
可伸缩 海量数据集越来越普遍 数千兆字节(terabytes) 为处理海量数据，算法必须是可伸缩的（scalable）
可伸缩可能还需要新的数据结构，以有效的方式访问个别记录 例如，当要处理的数据不能放进内存时，可能需要非内存算法
使用抽样技术或开发并行和分布算法也可以提高可伸缩程度
Statistics/ AI
Machine Learning/ Pattern Recognition
Data Mining
Database systems
2016年7月7日星期四
数据挖掘导论
15
数据挖掘任务
Байду номын сангаас
预测vs.描述 预测(Prediction) 根据其他属性的值，预测特定属性的值 描述(Description) 导出概括数据中潜在联系的模式
The Data Gap
2016年7月7日星期四
数据挖掘导论
6
什么是数据挖掘
许多不同定义 本书定义 在大型数据存储库中，自动地发现有用信息的过程。 Exploration & analysis, by automatic or semi-automatic means, of large quantities of data in order to discover meaningful patterns
Jiawei Han的定义 从大型数据集中提取有趣的 (非平凡的, 蕴涵的, 先前未知的 并且是潜在有用的) 信息或模式 一个类似于Jiawei Han的定义 Non-trivial extraction of implicit, previously unknown and potentially useful information from data
数据挖掘导论
Pang-ning Tan, Michael Stieinbach, and Vipin Kumar著 Pearson Education LTD. 范明 等译 人民邮电出版社
2016年7月7日星期四
数据挖掘导论
2
第1章 绪论
为什么挖掘数据？(商业)
大量数据被收集,存储在数据库\数据 仓库中 Web data, e-commerce purchases at department/ grocery stores Bank/Credit Card transactions 计算机越来越便宜，功能越来越 强大 竞争压力越来越大 Provide better, customized services for an edge (e.g. in Customer Relationship Management)
2016年7月7日星期四
数据挖掘导论
4
为什么挖掘数据？(科学)
数据以极快的速度收集和存储 (GB/hour) remote sensors on a satellite telescopes scanning the skies microarrays generating gene expression data scientific simulations generating terabytes (千兆字节) of data 传统的技术难以处理这些 raw data 数据挖掘可能帮助科学家 in classifying and segmenting data in Hypothesis Formation