数据仓库与数据挖掘复习大全

数据仓库与数据挖掘复习大全湖北文理学院湖北襄阳王茂林

1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A)

A. 关联规则发现

B. 聚类

C. 分类

D. 自然语言处理

2. 以下两种描述分别对应哪两种对分类算法的评价标准？(A)

(a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。

(b)描述有多少比例的小偷给警察抓了的标准。

A. Precision, Recall

B. Recall, Precision

C. Precision, ROC

D. Recall, ROC

分类是一种重要的数据挖掘算法。分类的目的是构造一个分类函数或分类模型（即分类器），通过分类器将数据对象映射到某一个给定的类别中。分类器的主要评价指标有准确率(Precision)、召回率(Recall)、F b-score、ROC、AOC等。

准确率(Precision) 和召回率(Recall)是信息检索领域两个最基本的指标。准确率也称为查准率，召回率也称为查全率。它们的定义如下：

Precision=系统检索到的相关文件数量/系统检索到的文件总数量

Recall=系统检索到的相关文件数量/系统所有相关文件数量

F b-score是准确率和召回率的调和平均：F b=[(1+b2)*P*R]/（b2*P+R），比较常用的是F1。在信息检索中，准确率和召回率是互相影响的，虽然两者都高是一种期望的理想情况，然而实际中常常是准确率高、召回率就低，或者召回率低、但准确率高。所以在实际中常常需要根据具体情况做出取舍，例如对一般搜索的情况是在保证召回率的情况下提升准确率，而如果是疾病监测、反垃圾邮件等，则是在保证准确率的条件下，提升召回率。但有时候，需要兼顾两者，那么就可以用F-score指标。在信息检索中，准确率和召回率是互相影响的，虽然两者都高是一种期望的理想情况，然而实际中常常是准确率高、召回率就低，或者召回率低、但准确率高。所以在实际中常常需要根据具体情况做出取舍，例如对一般搜索的情况是在保证召回率的情况下提升准确率，而如果是疾病监测、反垃圾邮件等，则是在保证准确率的条件下，提升召回率。但有时候，需要兼顾两者，那么就可以用F-score指标。

3.将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C)

A. 频繁模式挖掘

B. 分类和预测

C. 数据预处理

D. 数据流挖掘

频繁模式挖掘：

一、Apriori算法

Apriori是非常经典的关联分析频繁模式挖掘算法，其思想简明，实现方便，只是效率很低，可以作为频繁模式挖掘的入门算法。其主要特点是

1、k-1项集连接规律：若有两个k-1项集，每个项集保证有序，如果两个k-1项集的前k-2个项相同，而最后一个项不同，则证明它们是可连接的，可连接生成k项集。

2、反单调性。如果一个项集是频繁的，那么它的所有子集都是频繁的。即若一个项集的子集不是频繁项集，则该项集肯定也不是频繁项集。

主要算法流程：

1. 扫描数据库，生成候选1项集和频繁1项集。

2. 从2项集开始循环，由频繁k-1项集生成频繁频繁k项集。

2.1 频繁k-1项集两两组合，判定是否可以连接，若能则连接生成k项集。

2.2 对k项集中的每个项集检测其子集是否频繁，舍弃掉子集不是频繁项集即不在频繁k-1项集中的项集。

2.3 扫描数据库，计算2.3步中过滤后的k项集的支持度，舍弃掉支持度小于阈值的项集，生成频繁k项集。

3. 若当前k项集中只有一个项集时循环结束。

数据预处理：

1.原始数据存在的几个问题：不一致；重复；含噪声；维度高。

2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。

3.数据挖掘中使用的数据的原则

应该是从原始数据中选取合适的属性作为数据挖掘属性，这个选取过程应参考的原则是：尽可能赋予属性名和属性值明确的含义；统一多数据源的属性值编码；去除惟一属性；去除重复性；去除可忽略字段；合理选择关联字段。

4.处理空缺值的方法：忽略该记录；去掉属性；手工填写空缺值；使用默认值；使用属性平均值；使用同类样本平均值；预测最可能的值。

5.噪声数据的处理方法：分箱；聚类；计算机和人工检查结合；回归

6.分箱：分箱方法是一种简单常用的预处理方法，通过考察相邻数据来确定最终值。所谓“分箱”，实际上就是按照属性值划分的子区间，如果一个属性值处于某个子区间范围内，就称把该属性值放进这个子区间所代表的“箱子”内。把待处理的数据（某列属性值）按照一定的规则放进一些箱子中，考察每一个箱子中的数据，采用某种方法分别对各个箱子中的数据进行处理。在采用分箱技术时，需要确定的两个主要问题就是：如何分箱以及如何对每个箱子中的数据进行平滑处理。

4.当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？(B)

A. 分类

B. 聚类

C. 关联分析

D. 隐马尔可夫链

5. 什么是KDD？(A)

A. 数据挖掘与知识发现

B. 领域知识发现

C. 文档知识发现

D. 动态知识发现

6. 建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？(C)

A. 根据内容检索

B. 建模描述

C. 预测建模

D. 寻找模式和规则

7. 熵是为消除不确定性所需要获得的信息量，投掷均匀正六面体骰子的熵是：(B)

A 1比特

B 2.6比特

C 3.2比特

D 3.8比特

如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁(即概率大小)成反比。

1.如已知事件Xi已发生，则表示Xi所含有或所提供的信息量

H(Xi) = − logaP(Xi)

例题：若估计在一次国际象棋比赛中谢军获得冠军的可能性为0.1(记为事件A)，而在另一次国际象棋比赛中她得到冠军的可能性为0.9(记为事件B)。试分别计算当你得知她获得冠军时，从这两个事件中获得的信息量各为多少？

H(A)=-log2 P(0.1)≈3.32(比特)

H(B)=-log2 P(0.9)≈0.152(比特)

2.统计信息量的计算公式为：

Xi ——表示第i个状态(总共有n种状态)；

P(Xi)——表示第i个状态出现的概率；

H(X)——表示用以消除这个事物的不确定性所需要的信息量。

例题：向空中投掷硬币，落地后有两种可能的状态，一个是正面朝上，另一个是反面朝上，每个状态出现的概率为1/2。如投掷均匀的正六面体的骰子，则可能会出现的状态有6个，每一个状态出现的概率均为1/6。试通过计算来比较状态的不肯定性与硬币状态的不肯定性的大小。

H(硬币)

= -(2×1/2)×logP2(1/2)≈1(比特)

H(骰子)

= -6×(1/6)×logP2(1/6)≈2.6(比特)

由以上计算可以得出两个推论：

[推论1] 当且仅当某个P(Xi)=1，其余的都等于0时，H(X)= 0。

[推论2]当且仅当某个P(Xi)=1/n，i=1，2，……，n时，H(X)有极大值log n。

8.一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年级110人。则年级属性的众数是：(A)

A 一年级

B二年级

C 三年级

D 四年级

众数：

一般来说,一组数据中,出现次数最多的数就叫这组数据的众数.