数据挖掘原理与算法02精品PPT课件

2020/10/8
8
数据的选择与整理
没有高质量的数据就不可能有高质量的挖掘结果。为了得 到一个高质量的适合挖掘的数据子集，一方面需要通过数 据清洗来消除干扰性数据，另一方面也需要针对挖掘目标 进行数据选择。数据选择的目的是辨别出需要分析的数据 集合，缩小处理范围，提高数据采掘的质量。数据选择可 以使后面的数据挖掘工作聚焦到和挖掘任务相关的数据子 集中。不仅提高了挖掘效率，而且也保证了挖掘的准确性。
2020/10/8
3
1.问题定义阶段的功能
KDD是为了在大量数据中发现有用的令人感兴趣 的信息，因此发现何种知识就成为整个过程中第 一个也是最重要的一个阶段。
在问题定义过程中，数据挖掘人员必须和领域专 家以及最终用户紧密协作
一方面了解相关领域的有关情况，熟悉背景知识，弄清 用户要求，确定挖掘的目标等要求；
本章也对KDD系统项目的过程化管理、交互式数据挖掘过 程以及通用的KDD原型系统进行讨论，使读者从软件项目 管理角度来更好地理解KDD过程。最后对数据挖掘语言的 类型和特点进行介绍。

2020/10/8
2
知识发现是一个系统化的工作
从源数据中发现有用知识是一个系统化的工作。 首先必须对可以利用的源数据进行分析，确定合 适的挖掘目标。然后才能着手系统的设计和开发。
2020/10/8
7
数据清洗与预处理
在开始一个知识发现项目之前必须清晰地定义挖掘目标。虽然挖掘的 最后结果是不可预测的，但是要解决或探索的问题应该是可预见的。 盲目性地挖掘是没有任何意义的。如果所集成的数据不正确，数据挖 掘算法输出的结果也必然不正确，这样形成的决策支持是不可靠的。 因此，要提高挖掘结果的准确率，数据预处理是不可忽视的一步。
虽然不同企业会有不同的业务逻辑，解决问题的具体方法 有所差异，但是它们进行知识发现的目的和基本思路是一 致的。因此，本章首先对知识发现的基本过程进行分析， 旨在使读者从总体上掌握知识发现的基本步骤和技术。然 后对目前比较流行的KDD过程处理模型进行剖析，使读者 了解KDD系统的应用体系结构。通过对KDD系统的基本技 术环境和主要部件功能分析，使读者对KDD系统的体系结 构有一个更深入的了解。在此基础上对KDD软件和工具进 行归纳、举例和分析，帮助读者在实际应用中学会选择和 使用相应的软件和工具。
2020/10/8
9
数据挖掘阶段的功能
完成从大型源数据中发现有价值知识的过程可以 简单地概括为：首先从数据源中抽取感兴趣的数 据，并把它组织成适合挖掘的数据组织形式；然 后，调用相应的算法生成所需的知识；最后对生 成的知识模式进行评估，并把有价值的知识集成 到企业的智能系统中。
一般地说，KDD是一个多步骤的处理过程，一般 分为问题定义、数据抽取、数据预处理、数据挖 掘以及模式评估等基本阶段。
对数据进行预处理，一般需要对源数据进行再加工，检查数据的完整 性及数据的一致性，对其中的噪音数据进行平滑，对丢失的数据进行 填补，消除“脏”数据，消除重复记录等。
数据清洗是指去除或修补源数据中的不完整、不一致、含噪音的数据。 在源数据中，可能由于疏忽、懒惰、甚至为了保密使系统设计人员无 法得到某些数据项的数据。假如这个数据项正是知识发现系统所关心 的，那么这类不完整的数据就需要修补。
源数据库的选取以及从中抽取数据的原则和具体规则必须 依据系统的任务来界定。主要任务是设计存储新数据的结 构和准确定义它与源数据的转换和装载机制，以便正确地 从每个数据源中抽取所需的数据。这些结构和转换信息应 该作为元数据（Metadata）被存储起来。
来自不同源的数据可能有模式定义上的差异，也可能存在 因数据冗余而无法确定有效数据的情形。此外，还要考虑 数据库系统本身可能存在不兼容的情况
2020/10/8
5
3.数据预处理阶段的功能
数据预处理主要对前一阶段抽取的数据进行再加 工，检查数据的完整性及数据的一致性。包括消 除噪声、推导计算缺值数据、消除重复记录、完 成数据类型转换等。
2020/10/8
6
数据抽取与集成
数据抽取与集成是知识发现的关键性工作。早期的数据抽 取是依靠手工编程来实现的，现在可以通过高效的抽取工 具来实现。即使是使用抽取工具，数据抽取和和装载仍然 是一件很艰苦的工作。
第二章 知识发现过程与应用结构
内容提要
知识发现的基本过程 数据库中的知识发现处理过程模型 知识发现软件或工具的发展 知识发现项目的过程化管理
2020/10/8
1
如何学习本章内容
在上一章我们指出，数据挖掘有广义和狭义两种理解。为 了避免混淆，本章宁愿使用知识发现而把数据挖掘限制在 上面所描述的狭义概念上。
另一方面通过对各种学习算法的对比进而确定可用的学 习算法。后续的学习算法选择和数据集准备都是在此基 础上进行的。
2020/10/8
4
2.数据抽取阶段的功能
数据抽取的目的是选取相应的源数据库，并根据 要求从数据库中提取相关的数据。源数据库的选 取以及从中抽取数据的原则和具体规则必须依据 系统的任务来确定。
利用数据变换或规约等技术可以将数据整理成适合进一步 挖掘的数据格式。数据变换可以根据需要构造出新的属性 以帮助理解分析数据的特点，或者将数据规范化，使之落 在一个特定的数据区间中。数据归约则是在尽可能保证数 据完整性的基础上，将数据以其他方式进行表示，以减少 数据存储空间，使挖掘过程更有效。常用的归约策略有： 数据立方体聚集、维归约、数据压缩、数值压缩和离散化 等。
常见的不完整数据的修补办法有：
使用一个全局值来填充（如“unknown”、估计的最大数或最小数）。 统计该属性的所有非空值，并用平均值来填充空缺项。 只使用同类对象的属性平均值填充。 利用回归或工具预测最可能的值，并用它来填充。
数据不一致可能是由于源数据库中对同样属性所使用的数据类型、度 量单位等不同而导致的。因此需要定义它们的转换规则，并在挖掘前 统一成一个形式。噪音数据是指那些明显不符合逻辑的偏差数据（如 某雇员200岁），这样的数据往往影响挖掘结果的正确性。