第2章 知识发现过程与应用结构

箱
28
数据挖掘原理与算法
聚类方法
通过聚类分析可帮助发现异常数据， 道理很简单，相似或相邻近的数据聚合 在一起形成了各个聚类集合，而那些位 于这些聚类集合之外的数据对象，自然 而然就被认为是异常数据。
29
数据挖掘原理与算法
30
数据挖掘原理与算法
回归方法
可以利用拟合函数对数据进行平滑。 如：借助线性回归方法，包括多变量回 归方法，就可以获得的多个变量之间的 一个拟合关系，从而达到利用一个（或 一组）变量值来帮助预测另一个变量取 值的目的。
方法 利用最可能的值填 补遗漏值。可以利用 回归分析、贝叶斯计 算公式或决策树推断 出该条记录特定属性 的最大可能的取值。
分析 与其他方法相比， 该方法最大程度地利 用了当前数据所包含 的信息来帮助预测所 缺失的数据。
24
数据挖掘原理与算法
注意：在某些情况 下，缺失值并不意 味着数据有错误。
理想地，每个属性 都应当有一个或多 个关于空值条件的 规则。
将属性数据按比例缩放，使之 如-1.0~1.0或 规范化 0.0~1.0 落入一个小的特定区间 属性 构造
构造新的属性并添加到属性集 中，以帮助挖掘过程
38
数据挖掘原理与算法
2.1.4 数据归约
对大规模数据库进行复杂的数据分析需 要耗费大量时间，这是不现实和不可行的。 数据归约技术正是用于帮助从原有庞大 数据集中获得一个精简的数据集合，并使这 一精简数据集保持原有数据集的完整性。 这样进行数据挖掘效率更高，并且挖掘 出来的结果与使用原有数据集所获得结果基 本相同。
31
数据挖掘原理与算法
3. 不一致数据处理
现实世界的数据库常出现数据记录内容 的不一致，其中一些数据不一致可以利用它 们与外部的关联手工加以解决。例如：输入 发生的数据录入错误一般可以与原稿进行对 比来加以纠正。 此外还有一些例程可以帮助纠正使用编 码时所发生的不一致问题。知识工程工具也 可以帮助发现违反数据约束条件的情况。
15
数据 分析人员 数据 管理人员
数据挖掘原理与算法
为什么要预处理数据
数据预处理是进行数据分析和挖掘 的基础。如果所集成的数据不正确，数 据挖掘算法输出的结果也必然不正确， 这样形成的决策支持是不可靠的。 所以，要提高挖掘结果的准确率， 数据预处理是不可忽视的一步。
16
数据挖掘原理与算法
当今现实世界的数据库极易受噪声、 丢失数据和不一致数据的侵扰，因为数 据库太大，并且多半来自多个异构数据 源。低质量的数据将导致低质量的挖掘 结果。
18
数据挖掘原理与算法
2.1.1 数据清洗
现实世界的数据常常是不完整的、 有噪声的和不一致的。 数据清洗例程通过填补缺失值、消 除异常数据、平滑噪声数据，以及纠正 不一致的数据。
19
数据挖掘原理与算法
1. 填补缺失值 假设在分析一个商场销售数据时， 发现有多个记录中的属性值为空，如： 顾客的收入属性，这就是缺失值。 怎样才能为该属性填上丢失的值？ 我们看看下面的方法：
数据挖掘原理与算法
第二章 知识发现过程与应用结构
在上一章指出，数据挖掘有广义和 狭义两种理解。为了避免混淆，本章使 用知识发现而把数据挖掘限制在上面所 描述的狭义概念上。
1
数据挖掘原理与算法
§2.1 知识发现的基本过程
2
数据挖掘原理与算法
知识发现是一个系统化的工作
从源数据中发现有用知识是一个系 统化的工作。 首先必须对可以利用的源数据进行 分析，确定合适的挖掘目标。然后才能 着手系统的设计和开发。
有的用户可能希望获取描述型的 （Descriptive）、容易理解的知识（采 用规则表示的挖掘方法显然要好于神经 网络之类的方法），而有的用户只是希 望获取预测准确度尽可能高的预测型 （Predictive）知识，并不在意获取的知 识是否易于理解。
12
数据挖掘原理与算法
5. 知识评估阶段的功能 数据挖掘阶段发现出来的模式，经 过评估，可能存在冗余或无关的模式， 这时需要将其剔除； 也有可能模式不满足用户要求，这 时则需要整个发现过程回退到前续阶段， 如重新选取数据、采用新的数据变换方 法、设定新的参数值，甚至换一种算法 等等。
一般地说，KDD是一个需要经过多 次反复的，包括许多处理阶段的复杂处 理过程，数据挖掘是其中至关重要的一 个阶段。 正因为数据挖掘的重要性，目前的 KDD研究大多侧重于数据挖掘的研究， 而忽略了其他方面。
10
数据挖掘原理与算法
4. 数据挖掘阶段的功能 运用选定的数据挖掘算法，从数据 中提取出用户所需要的知识，这些知识 可以用一种特定的方式表示。 选择数据挖掘算法有两个考虑因素：
一是不同的数据有不同的特点，因此需要用 与之相关的算法来挖掘； 二是用户或实际运行系统的要求（见下页）
11
数据挖掘原理与算法
21
数据挖掘原理与算法
方法 使用一个全局常量 填充缺失值：将缺失 的属性值用一个常数 替换。如：用 Unknown来填补。
分析 当一个属性缺失值 较多，若采用这种方 法，就可能误导挖掘 进程。因此这种方法 虽然简单，但并不推 荐使用。
利用均值填补缺失 值
如：若一个顾客的平 均收入为12000元，则 用此值填补属性中所 有被遗漏的。
32
数据挖掘原理与算法
2.1.2 数据集成
数据挖掘任务常常涉及数据集成操 作，即将来自多个数据源的数据，如： 数据库、数据立方、普通文件等，结合 在一起并形成一个统一数据集合，以便 为数据挖掘工作的顺利完成提供完整的 数据基础。 在数据集成过程中，需要考虑解决 以下几个问题：
33
数据挖掘原理与算法
13
数据挖掘原理与算法
KDD由于最终是面向人类用户的，因此 可能要对发现的模式进行可视化，或者把结 果转换为用户易懂的另一种表示。 所以知识评估阶段是KDD一个重要的必 不可少的阶段，它不仅担负着将KDD系统发 现的知识以用户能了解的方式呈现，而且根 据需要进行知识评价，如果和用户的挖掘目 标不一致就需要返回前面相应的步骤进行螺 旋式处理以最终获得可用的知识。
5
数据挖掘原理与算法
1. 问题定义阶段的功能 KDD是为了在大量数据中发现有 用的令人感兴趣的信息，因此发现何种 知识就成为整个过程中第一个也是最重 要的一个阶段。
6
数据挖掘原理与算法
在问题定义过程中，数据挖掘人员 必须和领域专家以及最终用户紧密协作。 一方面了解相关领域的有关情况， 熟悉背景知识，弄清用户要求，确定挖 掘的目标等要求； 另一方面通过对各种学习算法的对 比进而确定可用的学习算法。后续的学 习算法选择和数据集准备都是在此基础 上进行的。
34
数据挖掘原理与算法
2. 冗余问题 若一个属性可以从其它属性中推演 出来，那这个属性就是冗余属性。
如：一个顾客数据表中的平均月收入属 性，就是冗余属性。显然它可以根据月收入 属性计算出来。
此外属性命名的不一致也会导致集 成后的数据集出现冗余情况。 除了检查属性是否冗余之外，还需 要检查记录行的冗余。
26
数据挖掘原理与算法
分箱(binning)方法
分箱方法通过考察数据的“近 邻”(即周围的值)来光滑有序数据的值。 有序值分布到一些“箱”中。由于该方 法考察近邻的值，因此进行局部光滑。
27
数据挖掘原理与算法
箱
“等高度”是 指每个箱都包 含三个数值。
箱
第一个箱中4、 8、15均用该箱 的均值9替。 箱中的最大值和最 小值为箱边界，箱 中的每个值被最近 的边界值替换。
22
数据挖掘原理与算法
方法 利用同类别均值填补 缺失值。这种方法尤 其在进行分类挖掘时 使用。
分析 如：若要对商场顾 客按信用风险进行分 类挖掘时，就可以用 在同一信用风险类别 下（如良好）的 income 属性的平均值， 来填补所有在同一信 用风险类别下income 属性的缺失值。
23
数据挖掘原理与算法
20
数据挖掘原理与算法
方法 忽略该条记录：若一 条记录中有属性值被 遗漏了，则将此条记 录排除在数据挖掘过 程之外。 手工填补缺失值
分析 当然这种方法并不很 有效，尤其是在每个 属性缺失值的记录比 例相差较大时。 一般讲这种方法比较 耗时，而且对于存在 许多缺失情况的大规 模数据集而言，显然 可行性较差。
7
数据挖掘原理与算法
2. 数据抽取阶段的功能 数据抽取的目的是选取相应的源数 据库，并根据要求从数据库中提取相关 的数据。源数据库的选取以及从中抽取 数据的原则和具体规则必须依据系统的 任务来确定。
8
数据挖掘原理与算法
弄清源数据的 信息和结构
准确界定所选 取的数据源和 抽取原则
设计存储新数据 的结构、准确定 义它与源数据的 转换和转载机制
3
数据挖掘原理与算法
完成从大型源数据中发现有价值知 识的过程可以简单地概括为：
从数据源中抽取感兴 趣的数据，并把它组 织成适合挖掘的数据 组织形式； 调用相应的算 法生成所需的 知识；
对生成的知识模式进行评 估，并把有价值的知识集 成到企业的智能系统中。
4
数据挖掘原理与算法
一般地说，KDD是一个多步骤的 处理过程，一般分为问题定义、数据抽 取、数据预处理、数据挖掘以及模式评 估等基本阶段。
1. 模式集成问题
模式集成问题，即如何使来自多个数据 源的现实世界的实体相互匹配，这其中就涉 及到实体识别问题。例如：如何确定一个数 据库中的“custom_id”与另一个数据库中的 “cust_number”是否表示同一实体。 数据库与数据仓库通常包含元数据，所 谓元数据就是关于数据的数据，这些元数据 可以帮助避免在模式集成时发生错误。
因此，尽管在得到数据后，尽我们所 能来清洗数据，但数据库和数据输入 的好的设计将有助于在第一现场最小 化缺失值或错误的数量。