汕头大学数据挖掘期末复习

汕头大学2019数据挖掘期末复习资料（浩军老师班）

考试范围：数据预处理、数据关联分析、分类与预测、SVM、K-MEANS、聚类

考试题型：简答题，复习请以实验相关内容为主

数据挖掘课程的主要内容：

1.数据挖掘概述

2.数据预处理

3.数据挖掘算法－关联分析

4.数据挖掘算法－分类与预测

5.数据挖掘算法－聚类分析

一、数据挖掘概述

什么是数据挖掘？

数据挖掘概念：从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术（机器学习）的综合。

数据挖掘定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据的特征：大容量、含噪音（不完全、不正确）、异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）

数据挖掘有哪些步骤？

1.确定预测目标

2.统计数据特征

3.根据数据特征进行数据预处理

4.应用数据挖掘模型（分类、聚类、关联分析、离群点挖掘、标记等）

5.分析模型的准确率

6.找出影响模型准确率的因素，回到第3步迭代直到模型足够完美。

二、数据预处理

数据预处理有哪些步骤？

1.数据清理

2.数据集成

3.数据归约

4.数据变换与数据离散化

为什么要进行数据预处理？

现实世界的数据是不完整的、含有噪声的、不一致的、冗余的。低质量的数据将导致低质量的挖掘结果。

1)现实世界的数据一般是脏的、不完整的和不一致的。

2)数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。

3) 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。

数据的质量涉及的三个要素是？

准确性，完整性和一致性。现实世界的数据一般是脏的不完整的不一致的。数据预处理技术可以改善数据的质量。

如何填充数据中存在的缺失值？

1.忽略元组（删除）

2.使用一个全局常量填充空缺值（例如NULL）

3.使用属性的平均值、众数、中位数来填充空缺值

4.人工填充空缺值

数据清理

补充缺失的属性值：使用属性的中心度量（如均值或者中位数或者众数（频率度量出现单峰）填充缺失值。使用最可能的值填充缺失值（可以用回归，使用贝叶斯形式化方法）光滑数据，去掉噪声：噪声是被测量的变量的随机误差或者方差。

数据光滑的技术：分箱法，把有序的数据数量等频地分到箱子中，可以用箱的均值光滑，用箱的边界值光滑，用箱的中位数光滑。

数据集成将数据由多个数据源合并成一个一致的数据存储，如数据仓库（集成多个数据库）。

数据归约可以通过如聚集、删除冗余特征或者聚类来降低数据的规模。（得到数据的简化表示）

简化数据、但产生相同或者相似的结果

通过选择替代的、“较小的”数据表示形式来减少数据量。

数据变换（例如，规范化,离散化）可以把数据压缩到较小的区间，如0.0到1.0。这可以提高涉及距离度量的挖掘算法的准确率和效率。

规范化和聚集

数据最小-最大规范化

最小-最大规范化：将原始数据v经线性变换，映射到区间[new_minA, new_maxA]

选择区间，找到数据最大值和最小值，进行区间规范化

离群点可能影响规范化

零族规范化z-score规范化（零均值规范化）：属性A的值基于A的平均值和标准差规范化。对离群点不敏感

A

A

v

v

σ

μ

-

='

离散化：通俗的说，离散化是在不改变数据相对大小的条件下，对数据进行相应的缩小。概念解释

离群点：与数据的一般行为或模型不一致的数据对象

数据错误不可避免

数据输入和获取过程出现的错误

数据集成表现出来的错误

数据传输过程所引入的错误

分箱：通过考察数据的“近邻”（周围的值）来光滑有序数据的值。局部光滑。

回归：（线性回归，多元线性回归）用一个函数（回归函数）拟合数据来光滑数据。

聚类：将类似的值聚集为簇。

可以识别并删除离群点、解决数据的不一致

基本描述数据汇总的图形显示（数据排序后使用）

盒图（需要先将数据进行有序排列）：

盒图可以用五数概括（上下四分位数、中位数、上下边缘）

四分位数是3个值，把排序的数据集分成4个相等的部分。盒的端点一般在四分位数上，使得盒的长度是四分位数的极差IQR（上四分位数75%，下四分位数25%）

中位数用盒内的线标记。

盒外两条虚线(称为胡须)延伸到最小和最大的观测值（上边缘、下边缘）。

超过过四分位数1.5*IQR时，单独画出离群点，否则让胡须扩展到它们。

直方图：通常让一个桶代表给定属性的一个连续值域。概括给定属性分布的图形方法，每个矩形等宽。

分位数图：是一种观察单变量数据分布的简单有效的方法。分位数-分位数图可以查看一个分布到另外一个分布是否有漂移（确定间隔）

散布图（散点图）：是一种观察双变量数据的有用的方法，用于观察点簇和离群点，或考察相关联系的可能性。确定两个数值变量之间看上去是否存在联系、模式或者趋势的有效图形之一。两个变量属性的三个关系可以从散点图上看出来：正相关、负相关、不相关。

分布式度量、代数度量、整体度量的概念

1)分布式度量：可以通过如下方法计算度量（即函数）：将数据集划分成较小的子集，计算每个子集的度量，然后合并计算结果，得到原（整个）数据集的度量值。sum()、count()、min()、max()

2）代数度量：可以通过应用一个代数函数于一个或多个分布度量计算的度量（平均数sum/count）

3）整体度量：必须对整个数据集计算的度量。例如：中位数、众数

三、数据关联分析

关联规则挖掘(Association Rule Mining)是数据挖掘中最活跃的研究内容之一。

一个典型的关联规则的例子：70%购买了牛奶的顾客将倾向于同时购买面包。

发现这样的关联规则可以为市场预测、决策和策划等方面提供依据。

技术用语解释：

频繁模式是频繁地出现在数据集中的模式（如项集、子序列、子结构）

频繁项集：例如，频繁地同时出现在交易数据集中的商品项目（如牛奶与面包）的集合是频繁项集。

序列模式：例如，先买PC，然后是数码相机，再后是内存卡，如果它频繁地出现在历史数据库中，则称它为一个频繁的序列模式。

子结构：一个子结构可能涉及不同的结构形式，如子图、子树或者子格，它可能与项集或者子序列结合在一起。如果一个子结构频繁地出现，则称它为频繁的结构模式。

关联规则中的支持度和置信度？

规则的支持度和置信度是规则兴趣度的两种度量。它们分别反映所发现规则的有用性和确定性。

Computer=>antivirus_software[support = 2%;confidence =60%]

表示所分析的所有事物的2%显示计算机和杀毒软件被同时购买，置信度60%意味购买计