大学数据挖掘课程考试复习材料
大数据分析与挖掘复习 题集附答案
大数据分析与挖掘复习题集附答案大数据分析与挖掘复习题集附答案一、选择题1. 数据挖掘的主要任务是：A. 模式发现和模型评估B. 数据收集和整理C. 数据分析和可视化D. 数据传输和存储答案：A2. 在数据挖掘过程中，数据预处理的目的是：A. 提取有价值的信息B. 去除异常值和噪声C. 构建合适的模型D. 优化数据存储结构答案：B3. 关联规则挖掘是指：A. 发现不同属性之间的关联关系B. 预测未来事件的发生C. 分析数据的变化趋势D. 构建数据的分类模型答案：A4. 在数据挖掘中，分类和聚类的主要区别在于：A. 数据来源的不同B. 目标的不同C. 算法的不同D. 结果的不同答案：B5. 大数据分析的核心挑战是：A. 数据存储和处理速度B. 数据质量和准确性C. 数据安全和隐私保护D. 数据可视化和展示答案：A二、填空题1. __________是指通过对海量数据进行深入分析和挖掘，从中发现有价值的信息。
答案：大数据分析与挖掘2. 在数据挖掘过程中，将数据按照一定的规则进行重新排列，以便更方便地进行分析和挖掘，这个过程称为__________。
答案：数据预处理3. 数据挖掘中的分类算法主要是通过对已有的样本进行学习和训练，从而预测新的样本所属的__________。
答案：类别4. 聚类算法是将相似的数据样本归为一类，不需要事先知道数据的__________。
答案：类别5. 在大数据分析中，数据的__________对于结果的准确性和可靠性至关重要。
答案：质量三、简答题1. 请简要说明大数据分析与挖掘的步骤和流程。
答：大数据分析与挖掘的步骤主要包括数据收集与清洗、数据预处理、模式发现、模型评估和应用。
首先，需要从各个数据源收集所需数据，并对数据进行清洗，去除异常值和噪声。
然后，通过数据预处理，对数据进行规范化、离散化等处理，以便于后续的分析和挖掘。
接着，利用合适的算法和技术，进行模式发现，例如关联规则挖掘、分类和聚类等。
汕头大学数据挖掘期末复习
汕头大学2019数据挖掘期末复习资料（浩军老师班）考试范围：数据预处理、数据关联分析、分类与预测、SVM、K-MEANS、聚类考试题型：简答题，复习请以实验相关内容为主数据挖掘课程的主要内容：1.数据挖掘概述2.数据预处理3.数据挖掘算法－关联分析4.数据挖掘算法－分类与预测5.数据挖掘算法－聚类分析一、数据挖掘概述什么是数据挖掘？数据挖掘概念：从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术（机器学习）的综合。
数据挖掘定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据的特征：大容量、含噪音（不完全、不正确）、异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）数据挖掘有哪些步骤？1.确定预测目标2.统计数据特征3.根据数据特征进行数据预处理4.应用数据挖掘模型（分类、聚类、关联分析、离群点挖掘、标记等）5.分析模型的准确率6.找出影响模型准确率的因素，回到第3步迭代直到模型足够完美。
二、数据预处理数据预处理有哪些步骤？1.数据清理2.数据集成3.数据归约4.数据变换与数据离散化为什么要进行数据预处理？现实世界的数据是不完整的、含有噪声的、不一致的、冗余的。
低质量的数据将导致低质量的挖掘结果。
1)现实世界的数据一般是脏的、不完整的和不一致的。
2)数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。
3) 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。
数据的质量涉及的三个要素是？准确性，完整性和一致性。
现实世界的数据一般是脏的不完整的不一致的。
数据预处理技术可以改善数据的质量。
如何填充数据中存在的缺失值？1.忽略元组（删除）2.使用一个全局常量填充空缺值（例如NULL）3.使用属性的平均值、众数、中位数来填充空缺值4.人工填充空缺值数据清理补充缺失的属性值：使用属性的中心度量（如均值或者中位数或者众数（频率度量出现单峰）填充缺失值。
数据挖掘期末考试题库
数据挖掘期末考试题库
进行数据挖掘期末考试前，老师通常会准备一份题库，供学生参考复习。
这个题库包含了一系列的问题，涵盖了数据挖掘的各个方面。
以下是一个示例的数据挖掘期末考试题库，供同学们参考：
1. 什么是数据挖掘？数据挖掘的主要目标是什么？
2. 请简要介绍数据挖掘的主要过程。
3. 数据挖掘中常用的数据预处理方法有哪些？请分别进行介绍。
4. 数据挖掘中常用的特征选择方法有哪些？请分别进行介绍。
5. 数据挖掘中常用的分类算法有哪些？请分别进行介绍。
6. 数据挖掘中常用的聚类算法有哪些？请分别进行介绍。
7. 数据挖掘中常用的关联规则挖掘算法有哪些？请分别进行介绍。
8. 什么是异常检测？数据挖掘中常用的异常检测方法有哪些？请分别进行介绍。
9. 数据挖掘中的交叉验证是什么？请简要说明。
10. 数据挖掘中如何评估分类算法的性能？请简要说明评估指标。
11. 数据挖掘中如何评估聚类算法的性能？请简要说明评估指标。
12. 数据挖掘中如何评估关联规则挖掘算法的性能？请简要说明评估指标。
13. 数据挖掘在实际应用中的案例有哪些？请分别进行介绍。
14. 在数据挖掘过程中，如何选择适当的算法和技术？请简要说明。
15. 数据挖掘存在哪些挑战和限制？请分别进行介绍。
以上题目是一个简要的示例，涵盖了数据挖掘的基本概念、主要过程、常用方法和评估指标等方面。
同学们可以根据这些问题来进行复
习和准备，加深对数据挖掘的理解和掌握。
希望以上题库对同学们的期末考试有所帮助。
祝大家考试顺利！。
数据挖掘考试重点复习
1.了解商务智能的定义与大数据的四个基本特征；答：商务智能是企业利用数据仓库DW、数据挖掘DM、在线分析处理OLAP、决策支持系统DSS等现代信息技术对企业生产、经营过程中产生的大量结构化和非结构化数据进行收集、整理、分析;形成知识或情报;以辅助企业做出正确的决策、采取有效的商务行动、优化商务流程、全面提升商务绩效的工具、方法和技术的统称..大数据特征： 4个V2.理解商务智能系统的5层结构商务智能系统结构大致分为五层:①数据源层：也可称作操作型数据层;是整个数据仓库的基础;提供了整个系统最原始的数据②数据获取层：也可称作数据转换层;主要是把数据源层的数据通过ETCL过程转换到数据仓库中③数据存取层：该层是按主题进行分析和对相关的数据进行挖掘的数据源;包括每一个按主题进行分类的数据集市或专门用于数据挖掘的数据仓库④数据分析服务层：该层是数据存储和前端分析工具的桥梁⑤前端展现层：用户界面3.理解操作型与分析型系统分离的必要性以及他们的特征4.理解维度爆炸给数据挖掘带来的困难数据过高的维度会给计算带来麻烦;在数据挖掘处理时;它会耗费很多的处理时间和内存容量..数据的高维度还使得数据间的关系也不容易察觉;增加了数据的无关属性和噪音点..5.掌握数据仓库的定义并理解其四个方面的特征数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境..数据仓库研究和解决从数据库中获取信息的问题..数据仓库是为支持管理决策建立的;面向主题的、集成的、随时间变化的、相对稳定的数据集合..滔注：我觉得写括号里的会好一点四方面特征：①面向主题：主题是指用户使用数据仓库进行决策时所关心的重点忙面..②集成性：在数据进入数据仓库之前;要进过统一于综合;将多个异源数据集成在一起..这一步是数据仓库建设中最关键、最复杂的一步..③时变性：数据仓库随时间变化不断增加新的数据..④相对稳定性：数据仓库反映的是历史的内容;而不是联机数据;主要供企业决策分析之用..6.掌握数据挖掘的定义并描述其主要特征数据挖掘定义从大量的、不完全的、有噪声的、模糊的、随机的数据中;提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程..数据挖掘是从大量数据中寻找其规律的技术..主要步骤1数据准备：从各种数据源中选取和集成用于数据挖掘的数据；2规律寻找：用某种方法将数据中的规律找出来；3规律表示：用尽可能符合用户习惯的方式将找出的规律表示出来..7.掌握Minkowski距离;并熟练计算l1;l2;l无穷normL1norm当r=1;城市街区也称曼哈顿、出租车、L1范数距离；L2norm当r=2;欧几里得距离；L∞norm当r=∞;上确界距离;这是对象属性之间的最大距离..8.理解Hunt’s算法的基本过程通过将训练记录相继划分成较纯的子集;以递归方式建立决策树..设Dt是与节点t相关联的训练记录集;而Y={ y1;y2;…;y c}是类标号;Hunt算法的递归定义如下:1如果Dt中所有记录都属于同一个类yt;则t是叶节点;用yt标记..2如果Dt中包含属于多个类的记录;则选择一个属性测试条件;将记录划分成较小的子集..对于测试条件的每个输出;创建一个子女节点;并根据测试结果将Dt中的记录分布到子女节点中..然后;对于每个子女节点;递归地调用该算法..9.掌握吉尼系数、熵的定义;会计算其最大值与最小值;理解信息增益在构造决策树时的意义基尼系数、熵是度量不纯度的方法GINI系数和熵都是越小;代表所分的节点属性越纯;最小可取到0;表示这个节点中只有一个类..当一个节点中有n个父节点;而且能分出n个子节点;GINI系数取到最n 滔注：那个2是角标;不是log2n 大值;为1-1/n. 熵也取到最大值 log2基尼值的性质：越大越不纯;越小越纯;0最纯;1-1/n最不纯..b.子节点基尼值c.最大值、最小值最小值表示最纯;最大值表示最不纯熵在信息领域熵被用来衡量一个随机变量出现的期望值..熵是对信息的不确定性的度量..熵越低;意味着传输的信息越少..熵的性质：熵是衡量节点一致性的函数..熵大于等于0;当且仅当p1=p2=……pn时;熵最大;纯的节点熵是0.信息增益当选择熵作为公式的不纯性度量时;熵的差就是所谓的信息增益..信息增益描述了当使用Q进行编码时;再使用P进行编码的差异..通常P代表样本或观察值的分布;也有可能是精确计算的理论分布..Q 代表一种理论;模型;描述或者对P的近似..当纯度高达1时即只有一种数据类型;熵最小;为0；当其中的各类数据均匀分布时;熵最大;为-log2pj|t..10.理解了解最邻近分类的基本思想;邻近分类的前提条件与分类过程近邻分类法是基于类比学习;即通过将给定的检验元组与和它相似的训练元组进行比较来学习..训练元组用n个属性描述..每个元祖代表n维空间的一个点..这样;所有的训练元组都存放在n维模式空间中..当给定一个未知元组时;近邻分类法搜索模式空间;找出最接近未知元组的k个训练元组..这k个训练元组是未知元组的k个“最近邻”..一句话概述：点x的k-最近邻分类就是离点x的欧式距离最近的k个点的集合..三个前提条件：训练集存在内存中；给定距离度量指标；给定K值分类过程：1 计算未知点与其他训练集的距离2找到K个最邻近的邻近组3用邻近组的分类标签来决定未知点所在组的标签..11.了解分类中的过拟合及产生的原因过度拟合数据当决策树变大时;测试误差会越来越小;而训练误差会越来越大;测试集产生的决策树与实际会不符..产生的原因（1）噪声导致的过分拟合（2）决策树的复杂程度超过了需要的程度;会产生过度拟合（3）训练误差的减小已经对结果没有更多意义但却依然在计算;会产生过度拟合（4）没有更多的属性来减小样本误差;会产生过度拟合12.理解关联规则及支持与置信度的定义;并熟练计算支持度与置信度关联规则关联规则是形如X→Y的蕴涵式;其中;X和Y都是事务数据集..关联规则的强度可以用它的支持度和置信度度量..支持度Support事务数据库中既包含X又包含Y某个项集的事务占事务总数的比例；置信度Confidence在所有包含X的事务中包含Y的事务所占比例.. 13.理解Apriori性质及其意义Apriori如果一个项集是频繁的;那么它的所有子集都是频繁的..相反;如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..意义利用该性质;通过减少搜索空间;来提高频繁项集逐层产生的效率..14.理解FP-Growth算法克服了Apriori算法的那些不足1.减少了扫描数据库的次数;只用扫描两次2.候选项变少;不会产生那么大的候选项集15.给定一个交易数据库与支持度阈值;能熟练运用Apriori算法与FP-Growth算法挖掘频繁项集Apriori算法计算频繁项集步骤1、第一次扫描;列出一项集;并计数..2、去除低于阈值的项集;组合出二项集;扫描计数..3、重复步骤2;依次组合出N项集;直至项集计数小于阈值;结束..注意Apriori定义：如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..所以在组合项集时一定要注意;新组合出的项集不应包含已经被“淘汰”的项集..FP-Growth算法计算频繁项集步骤一、扫描一次数据集;确定每个项的支持度计数..丢弃非频繁项;将频繁项按照支持度的递减排序;生成频繁项集头表..注意事项：1、降序排列..2、MinSup的存在步骤二、第二次扫描投影;按照{f;c;a;b;m;p}的顺序逐条对应写出剔除非频繁项后的频繁集;注意：{f;c;a;b;m;p}的顺序确定后就不在变动;这在下面的步骤中起关键作用步骤三、并开始构建FP树..按照事务ID号的顺序;将处理好的频繁项集映射创建FP树;并在对应节点计数..步骤四、构建每个对象的条件模式基;建议从频率低的节点开始..注意：不要忘了f对应的{}..步骤五、列出下表;对照MinSup剔除低于阈值的项..步骤六、针对每一项建立条件FP树..下面用m项作例子;如下..步骤七、找出频繁项集..16.理解关联规则产生时所采取的优化策略老师说直接距离就可以比如;L = {A;B;C;D}:cABC→ D≥ cAB→ CD ≥ cA→ BCD为什么分子不变;都是ABCD;分母越来越大17.理解K-means算法的内容并讨论该算法之不足K-means K均值算法流程1、随机选择K个对象;每个对象代表一个簇的初始均值或中心2、对剩余的每个对象;根据它与簇均值的距离;将他指派到最相似的簇..3、计算每个簇的新均值4、回到步骤2;循环;直到准则函数收敛..不足之处1、只有当簇均值有定义的情况下;K-means方法才能够使用..2、用户必须首先给定簇数目3、不适合发现非凸形状的簇;或者大小差别很大的簇..4、对噪声和离群点数据敏感..18.理解凝聚聚类算法的基本过程;并分析算法时间与空间复杂度步骤：1计算距离矩阵2 让每个数据点成为一个群集3;循环开始4; 合并两个距离最近的群集5; 更新距离矩阵6;直到只剩下一个群集时间复杂度：N2倍空间复杂度：N3倍19.理解DBSCAN算法将待聚类的点分为哪几类;分解解释之三类：中心点：中心点领域范围内的点的个数≥临界值MinPts边界点：边界点领域范围内的点个数小于临界值;但是它在中心点邻域范围的边界上..噪音点：既不是中心点又不是边界点的点..噪音点领域范围内的点个数小于临界点..20.理解DBSCAN算法的思想及它克服了K-means算法的哪些不足基于密度的聚类只要一个区域中的点的密度大于某个域值;就把它加到与之相近的聚类中去..克服基于距离的算法只能发现“类圆形”的聚类的缺点;可发现任意形状的聚类;且对噪声不敏感..但是;其计算密度短语的计算复杂度大;需要建立空间索引来降低计算量;且对数据维数的伸缩性较差..DBSCAN Density-Based Spatial Clustering of Applications with Noise具有噪声的基于密度的聚类应用..算法步骤1、通过检查数据集中每个对象的ε-邻域可以理解为半径来寻找聚类2、如果一个点P的ε-邻域包含多于MinPts最少包含点数个对象;则创建一个P作为核心对象的新簇..3、反复地寻找从这个核心对象直接密度可达的对象;这个过程可能涉及一些密度可达簇的合并..4、当没有新的点可以被添加到任何簇时;过程结束..评价1、适合发现任意形状的簇..2、易于发现噪声..3、无需设置K 值..4、需要输入ε、MinPts..对照着14题理解两种算法21.理解SSE指标对聚类的意义..SSE即Sum of Squared Error ;错误的平方和..意义1、SSE可以很好的用于比较两个聚类或两个簇..2、也可以用于估计簇的数目..观察增加K即簇的数目即可降低SSE..。
数据挖掘考试复习资料
数据挖掘考试复习资料一、名词解释1、数据仓库：面向主题的、集成的、非易失的、是随时间变化的数据集合，用来支持管理决策.2、聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类3、数据挖掘：从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识4、人工神经网络：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
在工程与学术界也常直接简称为神经网络或类神经网络.5、文本挖掘：文本数据挖掘（Text Mining）是指从文本数据中抽取有价值的信息和知识的计算机处理技术6、OLAP：又称联机分析处理，是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业为特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
定义1：OLAP是针对特定问题的联机数据访问和分析。
通过对信息（维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入地观察。
定义2：OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业“维”特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。
)7、概念描述：就是对目标类对象的内涵进行描述,并概括这类对象的有关特征.特征化：提供给定数据汇集的简洁汇总比较：提供两个或多个数据汇集的比较描述8、信息熵：在信息论中，熵被用来衡量一个随机变量出现的期望值.它代表了在被接收之前，信号传输过程中损失的信息量，又被称为信息熵。
信息熵也称信源熵、平均自信息量。
二、简答题1、数据仓库和传统数据库的区别和联系是什么?（1）区别:数据仓库和数据库是不同的概念数据仓库是一个综合的解决方案，而数据库只是一个现成的产品。
数据仓库需要一个功能十分强大的数据库引擎来驱动，它更偏向于工程。
【数据挖掘】期末考试备考复习宝典 (一文搞定,期末考试不再担忧)
【数据挖掘】期末考试备考复习宝典单选1、下列选项哪个描述的是“训练样本”（B）A、在电子病历数据中，每一个样本有八个检测指标，但是没有医生诊断结果B、在电子病历数据中，每一个样本有八个检测指标，每个样本还有一个医生诊断结果C、在电子病历数据中，每一个样本有八个检测指标，但是没有医生诊断结果；算法自动得到这些样本的诊断结果D、在电子病历数据中，每一个样本有八个检测指标，医生根据这八个指标做出诊断2、下列选项哪个描述的是“分类”（C）A、在电子病历数据中，每一个样本有八个检测指标，但是没有医生诊断结果B、在电子病历数据中，每一个样本有八个检测指标，每个样本还有一个医生诊断结果C、在电子病历数据中，每一个样本有八个检测指标，但是没有医生诊断结果；算法自动得到这些样本的诊断结果D、在电子病历数据中，每一个样本有八个检测指标，医生根据这八个指标做出诊断3、列哪个选项描述的不是“聚类”（C）A、搜索引擎返回的文档中，将相似的文档聚合成一类B、电子商务网站数据中，购物历史相似的用户自动聚合成一组C、电子商务网站数据中，分析出用户常常一起购买的商品，组合到一起促销D、在电子病历数据中，将体检指标相似的样本自动聚合成一组4、在MATLAB语言中，以下说法中错误的是A、MATLAB中默认的数据类型是doubleB、3<5的运算结果是logical类型C、变量Abc和abc是代表两个相同的变量D、灰度图的图像矩阵中的数据是uint8类型5、数据对象的别名不包括（D）A、记录B、样本C、向量D、特征6、属性的别名不包括（B）A、特征B、样本C、字段D、维7、下列说法不正确的是（C）A、测量标度是将数值或符号与对象的属性相关联的规则B、属性的性质不必与用来度量它的值的性质完全相同C、即使在不同的应用问题中，同一个物理量也必然使用同一种类型的属性来描述D、属性类型可以划分为：标称、序数、区间、比率这四种8、某办公自动化系统中，采用出生年份表示雇员的年龄，这是什么类型属性（C）A、标称B、序数C、区间D、比率9、某学籍管理系统中，采用百分制表示学生分数，这是什么类型属性（D）A、标称B、序数C、区间D、比率10、描述一个数据集的属性主要不包括（A）A、置信度B、维度C、分辨率D、稀疏性11、下列说法中错误的是（D）A、噪声是测量误差的随机部分B、数据中出现遗漏值的原因，可能是信息没有收集到，或者属性不适用于所有情况。
数据挖掘课程复习提纲(4 0)资料
数据挖掘课程复习提纲（4+0）有关考试题型：一、选择题（每题2 分，共16 分）二、判断题（每题1 分，共10 分)三、填空题（每空1 分，共19 分）四、简答题（每题5 分，共15 分）五、计算题（每题10 分，共40 分）基本要求：掌握数据预处理、分类、聚类、关联分析、离群点检测的基本方法，及每类方法的应用场景（每类方法理解、熟悉一个例子）。
算法重点掌握k-means、一趟聚类、Appriori 及基于密度的离群点检测方法；掌握决策树分类(C4.5、CART)、KNN分类的基本思想，基于聚类的离群点检测方法的思想。
第一章绪论1 数据挖掘的定义技术层面：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程。
商业层面：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。
2 数据挖掘的任务预测任务：根据其它属性的值预测特定（目标）属性的值，如回归、分类、异常检测。
描述任务：寻找概括数据中潜在联系的模式，如关联分析、聚类分析、序列模式挖掘。
●聚类(Clustering)分析“物以类聚，人以群分”。
聚类分析技术试图找出数据集中数据的共性和差异，并将具有共性的对象聚合在相应的簇中。
聚类分析可以帮助判断哪些组合更有意义，聚类分析已广泛应用于客户细分、定向营销、信息检索等领域。
●分类(Classification)分析分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述，或建立分析模型，或挖掘出分类规则，然后用这个分类模型或规则对数据库中的其它记录进行分类。
分类分析已广泛应用于用户行为分析(受众分析)、风险分析、生物科学等领域。
聚类与分类的区别聚类问题是无指导的：没有预先定义的类。
分类问题是有指导的：预先定义有类。
●关联(Association)分析关联分析是发现特征之间的相互依赖关系，通常是在给定的数据集中发现频繁出现的模式知识(又称为关联规则)。
数据挖掘复习题
第一章1.数据挖掘的定义？从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
2.数据挖掘的源是否必须是数据仓库的数据？可以有哪些来源？关系数据库数据仓库事务数据库高级数据3.数据挖掘的常用方法？聚类分析决策树人工神经网络粗糙集关联规则挖掘统计分析4.数据挖掘的过程包括哪些步骤，每一步具体包括哪些内容？5.数据挖掘与数据仓库的关系？（联系和区别）联系：数据仓库为数据挖掘提供了更好的、更广泛的数据源；数据仓库为数据挖掘提供了新的支持平台；数据仓库为更好地使用数据挖掘工具提供了方便；数据挖掘为数据仓库提供了更好的决策支持；数据挖掘对数据仓库的数据组织提出了更高的要求；数据挖掘为数据仓库提供了广泛的技术支持。
区别：数据仓库是存数据，数据挖掘是用数据。
第二章1.数据仓库的定义数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策制定过程2.数据仓库数据的四大基本特征：面向主题的集成的不可更新的随时间变化的3.数据仓库体系结构有3个独立的数据层次：信息获取层、信息存储层、信息传递层4.粒度的定义？它对数据仓库有什么影响？（1）是指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度越小，细节程度越高，综合程度越低，回答查询的种类就越多；(2) 影响存放在数据仓库中的数据量大小；影响数据仓库所能回答查询问题的细节程度。
5.在数据仓库中，数据按照粒度从小到大可分为死哥级别：早期细节级、当前细节级、轻度细节级和高度细节级。
6.数据分割的标准：可按日期、地域、业务领域、或按多个分割标准的组合，但一般包括日期项。
7.数据仓库设计中，一般存在着三级数据模型：概念数据模型、逻辑数据模型、物理数据模型8.数据仓库涉及步骤概念模型设计、技术准备工作、逻辑模型设计、物理模型设计、数据仓库的生成、数据仓库的使用和维护9.数据装入时，并不是一次就将准备装入的数据全部装入数据仓库，而是按照逻辑模型设计中所确定和分析的主题域，先装入并生成某一主题域。
大学数据挖掘课程考试复习材料
一.1. 数据处理与数据分为'操作型'和'分析型'处理与数据. 2. 操作型数据: 细节的, 存取瞬间准确，可更新，操作需求事先可知，生命周期符合SDLC,性能要求高，操作单元，事务驱动,面向应用,支持日常操作. 分析型数据:综合的,代表过去数据,不更新,操作需求事先不可知，完全不同的生命周期，要求宽松，操作集合，分析驱动，面向分析，支持管理需求. 3. 数据组织结构:高度综合级，轻度综合级，当前细节级，早期细节级. 4. 数据组织形式:简单堆积文件，轮转综合文件，简化直接文件，连续文件. 5. 数据挖掘七个步骤:数据清理，数据集成，数据选择，数据变换，数据挖掘，模式评估，知识表示. 6. 数据挖掘系统的主要成分:1 数据库，数据仓库或其他信息库 2 数据库或数据仓库效劳器 3 知识库4数据挖掘引擎 5 模式评估模块6图形用户界面.7 数据挖掘功能: 用于指定数据挖掘任务中要找的模式类型. 8. 数据挖掘任务分为两类:描述和预测.9. 概念/类描述方法:数据特征化，数据区分，数据特征化与比拟. 10 .关联分析发现关联规那么，适用于事务数据分析.关联规那么分为:多维/单维关联规那么. 11. 粒度越大，表示细节程度越低，综合程度越高. 12. 数据仓库定义: 数据仓库是一个面向主题的，集成的，不可更新且随时间不断变化的数据集合，用来支持管理人员的决策. 二.1. 数据立方体由位和事实定义. 维是关于一个组织想要记录的透视或实体;事实是数值的度量. 2. 多维数据模型模式分类: 星型模式，雪花模式，事实星座模式[ 维表，事实表]. 3.度量根据所用的聚焦函数分成三类:分布的度量，代数的度量，整体的度量. 4. 多维数据模型上的OLAP操作：上卷，下钻，切片，切块，转轴，钻过，钻透.5.数据仓库设计的四种视图:1 自顶向下视图2数据源视图 3 数据仓库视图4商务查询视图. 6. 数据仓库通常采用三层结构：底层：数据仓库效劳器中层：OLAP效劳器顶层：前端工具.7. OLAP效劳器类型：关系OLAP(ROLAP效劳器；多维OLAP(MOLAP效劳器；混合OLAP(HOLAP效劳器；特殊的SQL效劳器. 8. ROLAP：关系数据库技术; 响应慢; 数据装载快; 存储消耗小; 维数无限制; 通过SQL 实现存储；维护困难；无文件大小控制.MOLAP专为OLAP设计；性能好，反响快；数据装载快；需进行预计算，无法支持维变化；缺乏模型，访问标准，管理简便；受操作系统文件大小控制. *ROLAP不支持有关预计算读写操作，无法多行计算，无法维间计算• *MOLAP支持高性能决策支持计算；跨维计算，多用户读写操作. 9. 数据仓库设计步骤：1 选取待建模的高务处理 2 选取高务处理的粒度 3 选取用于每个事实表记录的维 4 选取安放在事实表中的度量三 1. 数据质量问题：1 噪声数据2空缺数据3不一致数据4重复5维度高 2. 噪声处理方法：1 分箱2聚类3回归 3. 预处理的根本方法：数据清理，数据集成，数据变量，数据归约 4. 数据选取的参考原那么：1 尽可能赋予属性名和属性值的明确含义2同意多数据源的属性值编码 3 去掉唯一的属性4取出重复属性5去除可以忽略字段6合理选择关联字段 5. 分箱的4种方法：统一权重，统一区间，最小熵，用户自定义区间 6. 数据平滑方法：按箱平均值平滑，按箱中值平滑，按箱便捷平滑7. 数据集成涉及问题：模式集成，数据冗余，数据值冲突8. 数据交换涉及内容：平滑，聚集，数据概化，标准化，属性构造. 9. 数据归约的策略：维归约，数据压缩，数值压缩，离散化和概念分层生成10. 属性子集选择的根本启发式方法包含的技术：1 逐步向前选择 2 逐步向后删除 3 向前选择和向后删除的结合 4 判定树归纳11. 压缩技术：有损(分为小波变换(分为DWT/DFT /主要成分分析PCA /无损12.数值归约：有参方法/无参方法13. 空缺值处理方法：1 忽略元组2人工填写空缺值3使用一个全局常量填充空缺值4使用属性的平局值填充空缺值5使用与给定元组属同一类的所有样本的平均值6使用最可能的值填充空缺值14.抽样：1简单项选择取n个样本，不回放2简单项选择择n个样本，回放3聚类抽样4分层抽样15. 概念分层方法： 1 分箱2直方图分析3聚类分析 4 基于熵的离散化4通过自然划分分段四.1. 数据挖掘语言分类：1 数据挖掘查询语言DMQL2 数据挖掘建模语言PMML3 通用数据挖掘语言 2. 数据挖掘任务的原语：1 任务相关数据原语2要挖掘的知识种类原语3背景知识原语4兴趣度测量原语5被发现模式的表示和可视原语3. 任务相关数据包括：1 数据库与数据仓库名称2数据立方3数据选择条件4相关属性或维5 数据分组条件 4. 背景知识概念分层的主要类型:1 模式层次 2 集合分组分层 3 基于操作层次 4 基于规那么分层 5. 兴趣度度量特点: 简洁性, 确定性, 实用性, 新颖性 6. 兴趣度的分类: 客观兴趣度〔数据驱动〕, 主观兴趣度〔用户驱动〕 7. 数据挖掘系统的结构设计耦合模式: 不耦合,松散耦合,半紧密耦合,紧密耦合8. 挖掘的知识类型:1 特征化2区分3关联4分类/ 预测 5 聚类五六. 1. 从数据分析角度，数据挖掘分为：描述性，预测性 2. 概念描述基本方法：多层概念，汇总，特征化，比拟根本技术：表，图表，图，规那么 3. 类比拟的步骤：数据收集，维相关分析，同步概化，导出比拟的表示 4. 关联规那么挖掘的两个过程： 1 找出频繁项集 2 由频繁项集产生强关联规那么 5. 关联规那么根本分类方法：1 按管理规那么处理的变量类别：布尔型和量化性 2 按关联规那么中数据的抽象层次：单层/多层关联规那么 3 按关联规那么中所涉及的变量数目：单维/ 多维关联规那么 4 按关联规那么的各种扩充，关联规那么可扩充到相关分析，以识别项是否相关 6. 多层关联规那么的主要挖掘方法：1 对于所有层使用一致的最小支持度2 在较低层使用递减的最小支持度 3 逐层独立 4 层交叉单项过滤 5 层交叉K-项集过滤七.1.分类与预测是两种数据分析形式•分类是预测分类标号〔离散性〕；预测是建立连续函数模型. 2. 数据分类步骤:1 学习,用分类算法分析训练数据2分类, 测试数据用于评估分类规那么的准确率. 3. 分类与预测的标准和评估:预测的准确率,速度,强壮度,可伸缩性,可解释性. 4. 常用分类方法:1 决策树归纳2贝叶斯信念网络 3 贝叶斯分类4神经网络5. 预测的方法:1 线性回归2 多元回归3 非线性回归4 广义线性模型*预测步骤:1. 问题的理解与提出 2. 数据准备2.1 变量选择 2.2 数据清洗 2.3 变量转化 2.4 可视化 3.1 神经网络 3.2 决策树3.3 关联规那么3.4 其他模型4结果评价与解释〔回1〕 6. 评估分类法准确性的方法:1 保持方法2 k- 交叉确认方法八.1 基于内存的聚类算法通常采用的数据结构:〔1〕数据矩阵:对象—变量结构〔二模矩阵〕〔2〕相异度矩阵:对象—结构〔单模矩阵〕 2. 对聚类质量/相异度估计评估方法:1 区间标度变量2二元变量3标称变量4比例标度型变量5混合类型的变量 3. 簇间距离度量标准:最短/ 最长/ 中间/平均距离 4. 典型的聚类过程:1 数据准备 2 特征提取 3 聚类 4 聚类结果评估5. 聚类方法的主要分类:1 划分方法2 层次方法3 基于密度的方法4 基于网络的方法5 基于模型的方法 6. 孤立点分析的主要方法:1 统计学方法2基于距离的方法3基于偏差的方法7. 划分方法:1 全局最优2启发式方法〔K- 均值,K- 中心点〕 8. 层次方法:1 凝聚方法〔自底向上方法〕2 分裂方法〔自顶向下〕9.复杂类型数据挖掘包括:1复杂对象2空间数据3多媒体数据4文本数据5WEB数据。
数据挖掘课程复习提纲资料
数据挖掘课程复习提纲（4+0 ）有关考试题型：一、选择题（每题2 分，共16 分）二、判断题（每题1 分，共10 分）三、填空题（每空1 分，共19 分）四、简答题（每题5 分，共15 分）五、计算题（每题10 分，共40 分）基本要求：掌握数据预处理、分类、聚类、关联分析、离群点检测的基本方法，及每类方法的应用场景（每类方法理解、熟悉一个例子）。
算法重点掌握k-means 、一趟聚类、Appriori及基于密度的离群点检测方法；掌握决策树分类（C4.5、CART）、KNN 分类的基本思想，基于聚类的离群点检测方法的思想。
第一章绪论1 数据挖掘的定义技术层面：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程。
商业层面：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。
2 数据挖掘的任务预测任务：根据其它属性的值预测特定（目标）属性的值，如回归、分类、异常检测。
描述任务：寻找概括数据中潜在联系的模式，如关联分析、聚类分析、序列模式挖掘。
聚类（Clustering）分析“物以类聚，人以群分”。
聚类分析技术试图找出数据集中数据的共性和差异，并将具有共性的对象聚合在相应的簇中。
聚类分析可以帮助判断哪些组合更有意义，聚类分析已广泛应用于客户细分、定向营销、信息检索等领域。
分类（Classification）分析分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述，或建立分析模型，或挖掘出分类规则，然后用这个分类模型或规则对数据库中的其它记录进行分类。
分类分析已广泛应用于用户行为分析（受众分析）、风险分析、生物科学等领域。
聚类与分类的区别聚类问题是无指导的：没有预先定义的类。
分类问题是有指导的：预先定义有类。
关联(Association) 分析关联分析是发现特征之间的相互依赖关系，通常是在给定的数据集中发现频繁出现的模式知识(又称为关联规则)。
数据挖掘期末考试题库
数据挖掘期末考试题库第一部分：单项选择题（每题2分，共20分）1. 数据挖掘的主要任务是：A. 数据清洗B. 数据可视化C. 数据预处理D. 信息提取2. 下列哪种算法不属于分类算法？A. 决策树B. K均值聚类C. 朴素贝叶斯D. 支持向量机3. 以下哪种评估指标适合用于回归模型的评价？A. 准确率B. 精确率C. 均方误差D. 召回率4. 什么是过拟合？A. 欠拟合B. 模型泛化能力差C. 训练数据效果好，测试数据效果差D. 模型对训练数据过于复杂5. 数据挖掘中最常用的算法之一是：A. 关联规则挖掘B. 地理聚类算法C. PCA主成分分析D. 神经网络6. 在K均值聚类算法中，K的取值是：A. 随机指定B. 需要提前确定C. 可以根据数据自动调整D. 由数据量来决定7. 数据不平衡问题常见的解决方法是：A. 降采样B. 升采样C. 阈值移动D. 过采样8. 常用的数据变换方法包括：A. 标准化B. 特征选择C. 特征抽取D. 以上都是9. 以下哪个不是决策树算法？A. CARTB. SVMC. ID3D. C4.510. 数据挖掘的任务包括：A. 分类B. 预测C. 聚类D. 以上都是第二部分：简答题（每题5分，共25分）1. 请简要介绍数据挖掘的相关概念及主要任务。
2. 什么是数据清洗？数据预处理的主要步骤有哪些？3. 请简要描述K均值聚类算法的原理及应用场景。
4. 什么是特征选择？为什么特征选择在数据挖掘中很重要？5. 请解释模型评估中的ROC曲线及AUC指标的含义。
第三部分：分析题（每题10分，共30分）1. 请根据提供的数据集，使用决策树算法进行分类预测，并对算法进行评估。
2. 请使用K均值聚类算法对特定数据进行聚类，并解释聚类结果的含义。
3. 请选择一个自己感兴趣的数据集，设计一个数据挖掘项目，并说明项目的背景、目的、方法及预期结果。
第四部分：应用题（每题15分，共30分）1. 请根据给定的销售数据，利用关联规则挖掘算法找出频繁项集和关联规则，并分析其规则含义及实际应用。
数据挖掘期末复习
《数据挖掘》总复习题1．数据挖掘系统可以根据什么标准进行分类？挖掘的数据库类型分类、挖掘的知识类型分类、所用的技术分类、应用分类2．知识发现过程包括哪些步骤？数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示3．什么是概念分层？一个概念分层定义一个映射序列，将底层概念到更一般的高层概念。
4．多维数据模型上的OLAP操作包括哪些？上卷、下钻、切片和切块、转轴、其它OLAP操作5．OLAP服务器类型有哪几种？关系OLAP(ROLAP)服务器、多维OLAP（MOLAP）服务器、混合OLAP(HOLAP)服务器、特殊的SQL服务器6．数据预处理技术包括哪些？数据清理、数据集成、数据变换、数据归约7．什么是数据清理？数据清理例程可以用于填充遗漏的值，平滑数据，找出局外者并纠正数据的不一致性8．什么是数据集成？数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储，如数据仓库中。
这些源可能包括多个数据库、数据方或一般文件。
9．什么是数据归约？数据归约技术，如数据方聚集、维归约、数据压缩、数值归约和离散化都可以用来得到数据的归约表示，而使得信息内容的损失最小。
10．数据清理的内容包括哪些？遗漏值、噪音数据、不一致数据11.将下列缩略语复原OLAP——on-line analytical processingDM——data miningKDD——knowledge discovery in databasesOLTP——on-line transaction processingDBMS——database management systemDWT——discrete wavelet transform12．什么是数据挖掘？数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的人们事先不知道的，但又有潜在有用的信息和知识的过程。
13．什么是关联规则？什么是强关联规则？强关联规则都是有趣的吗?关联规则：关联规则挖掘寻找给定数据集中项之间的有趣联系。
数据挖掘期末复习提纲(整理版)
1.熟悉数据挖掘的流程：提示：1）业务理解2）数据理解3）数据准备4）建立模型5）模型评估6）模型发布2.数据库系统与数据仓库系统的区别：数据仓库是一个面向主题的、集成的、时变的和非易失的数据集合，支持管理部门的决策过程：而数据库是面向具体操作的、单一的、实时的、更新的数据集合，支持管理机构日常操作的。
数据库系统的主要任务是执行联机事务和查询处理，这种系统称为OLTP系统，涵盖了组织机构的大部分日常操作；另一方面，数据仓库在数据分析和决策方面为用户和知识工人提供服务。
3. 数据聚合需考虑的问题;4. 利用免费商品做促销的关联规则挖掘问题：1）找到免费商品的频繁1—项集，记为S1。
2）使用FP增长算法生成那些价格不少于$200的频繁项集，记为S2。
这是一个单调约束，因此不必要在每一步使用“生成—测试”过程，这样能节省一些不必要的计算开销。
如果我们有一个频繁项价格至少￥200，则没必要对这个频繁项的任何超集进行测试。
这是因为任何其他商品加到这个频繁项里，价格肯定会增多。
需要检验的是超集是否是频繁的。
这里之所以使用FP增长算法的原因是Apriori算法丢弃了那些价格低于$200的频繁项集。
这样导致了将不能够发现满足约束条件的频繁项集。
FP增长算法不会有这样的问题，因为它保留了关于数据库的完整信息在一个树结构中。
3）从S1S2中找到频繁项集。
4）生成满足最小置信度且形如2S 的规则。
1S5.分布式数据的关联规则挖掘方法：第一．在每一个站点挖掘局部频繁项集，设CF为四个站点的局部频繁项集的并集；第二．计算CF中每个频繁项集在各个站点的支持度计数；第三．计算CF中每个项集的全局支持度计数，可以通过将它在四个站点的局部支持度计数累加起来；那些全局支持度大于支持度阀值的项集为频繁项集；第四．从全局频繁项集里导出强规则。
6.急切分类、惰性分类的优缺点：急切分类比惰性分类在速度上要更快。
因为它在接受新的待测数据之前已经构造了一个概括的模型。
汕头大学数据挖掘期末复习
大学2019数据挖掘期末复习资料（浩军老师班）考试围：数据预处理、数据关联分析、分类与预测、SVM、K-MEANS、聚类考试题型：简答题，复习请以实验相关容为主数据挖掘课程的主要容：1.数据挖掘概述2.数据预处理3.数据挖掘算法－关联分析4.数据挖掘算法－分类与预测5.数据挖掘算法－聚类分析一、数据挖掘概述什么是数据挖掘？数据挖掘概念：从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术（机器学习）的综合。
数据挖掘定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据的特征：大容量、含噪音（不完全、不正确）、异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）数据挖掘有哪些步骤？1.确定预测目标2.统计数据特征3.根据数据特征进行数据预处理4.应用数据挖掘模型（分类、聚类、关联分析、离群点挖掘、标记等）5.分析模型的准确率6.找出影响模型准确率的因素，回到第3步迭代直到模型足够完美。
二、数据预处理数据预处理有哪些步骤？1.数据清理2.数据集成3.数据归约4.数据变换与数据离散化为什么要进行数据预处理？现实世界的数据是不完整的、含有噪声的、不一致的、冗余的。
低质量的数据将导致低质量的挖掘结果。
1)现实世界的数据一般是脏的、不完整的和不一致的。
2)数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。
3) 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。
数据的质量涉及的三个要素是？准确性，完整性和一致性。
现实世界的数据一般是脏的不完整的不一致的。
数据预处理技术可以改善数据的质量。
如何填充数据中存在的缺失值？1.忽略元组（删除）2.使用一个全局常量填充空缺值（例如NULL）3.使用属性的平均值、众数、中位数来填充空缺值4.人工填充空缺值数据清理补充缺失的属性值：使用属性的中心度量（如均值或者中位数或者众数（频率度量出现单峰）填充缺失值。
《数据挖掘》复习
《数据挖掘》复习一、题型1、判断题15分2、单选题15分3、简单题15分4、综合题20分5、计算题35分（C5.0算法、感知机算法、Apriori算法，见练习题）二、考试大纲三、实验/作业评讲在教学过程的各个环节，从学生的出勤、日常表现、作业、测试、项目完成情况及完成质量、TOPCARES 能力目标的实现情况等方面，对学生进行全方位的考核。
页脚内容1说明：四、知识点梳理，重点教学内容串讲名词解释数据挖掘（P6）、算法（P10）、MODELER中的节点（P13）、MODELER中的数据流（P14）、MODELER中的超节点（P18）、决策树分析（P104）、人工神经网络分析（P157）、关联分析（P207）、知识发现KDD （P6）主要概念页脚内容2DW产生的基础（P3）DW的基本过程包括（P6）DW能做什么（P7）DW得到的知识形式（P8）DW的算法分类（P10）MODELER的主窗口由哪几部分组成（P13）MODELER中数据流中的节点主要可实现哪些功能（P15）MODELER中数据流的操作主要包括哪几步（P15）MODELER中节点工具箱含由八大选项卡组织（P15）MODELER中通常数据挖掘的基本思路包括哪些过程（P19）MODELER中从数据挖掘角度看变量有哪7大类型（P26），通过TYPE节点可以说明变量什么内容（P42）什么是“有指导学习”（P12、P104）？举例说明；决策树算法的核心问题有哪些（P106）？什么是信息熵（P57、P109）？（信息熵是连续型变量分箱ＭＤＬＰ算法和决策树C5.0算法的核心）人工神经网络中主要有哪些网络种类（P156）神经网络中处理单元的内部结构图（P158）页脚内容3什么是感知机模型（P162）什么是Ｂ－Ｐ反向传播网络模型，由什么特点（P164）Apriority关联分析算法主要包括哪两大部分技术（P213）（产生频繁集、依据频繁集产生关联规则）决策树分析（P104）、人工神经网络分析（P157）、关联分析（P207）等数据挖掘方法主要用来解决什么问题（分类、预测、关联等）３、算法决策树C5.0算法、人工神经网络B-P感知机算法、关联分析Apriori算法五、典型例题分析（一）判断题，在每题后面正确打勾，错误打叉有高质的原始数据，才可能有高质量的数据挖掘结果。
数据挖掘期末考试复习题(精).doc
1数据挖掘来源于机器学习2数据仓库是面向主题的集成的稳定的不同时间的数据集合，用于支持经营管理中决策制定过程；3元素据描述了数据仓库的数据和环境，遍及数据仓库的所有方面，是整个数据仓库的核心，4Codd将数据分析模型分为四类绝对模型解释模型思考模型或公式化；5数据立方体是在所以可能组合的维上进行分组聚集运算的总和；6 （数据质量）是（|数据仓库|）的成败关键; 7概括分析是探索者分析过程的第一步。
8.数据仓库的物理模型设计是对逻辑模型设计的数据模型确定物理存储结构和存取方法。
9.自组织网络以ART模型，Kohonen模型为代表，用于聚集类。
10.预测是利用历史数据找出变化规律，建立模型。
并用此模型来预测未来数据的种类，特征等；11调和数据是存储在企业级数据仓库和操作型数据存储中的数据。
12 S Q L Server ssas提供了所以业务数据的同意整合试图，可以作为传统报表和数据挖掘，在线分析处理，关键性能指示器记分卡的基础13数据仓库的概念模型定义通常采用信息包括图法来进行设计；14关联规则的经典算法包括()()15分类关联规则16分类器设计阶段包含划分数据集，分类器构造，分类器测试；16雪花模型是对星型模型式维表的进一步层次化和规范化来消除冗余的数据；17数据处理通常分为两大类，联机事务处理，联机分析处理。
18数据抽取的两个常见类型是静态抽取和增量抽取；19维度表一般由主键,分类层次和描述属性组成。
20 ROLAp是基于关系数据库的OLAP实现，而MO L AP是基于多维数据机构组织的OLAP实现。
21数据仓库按照其开发过程，其关键环节包括数据抽取，数据存储，数据管理，数据表现。
2 2 KD D是从数据集中识别出有效的新颖的潜在有用的以及最终可理解的模式的高级处理过程。
2 3 遗传算法的基本要素问题编码：初始群体的设定：适应值函数的设计：遗传操作设计；控制参数设定：24数据集市数据集市是指具有特定应用的数据仓库，主要针对某个具有应用战与意义的应用或者具体部门级的应用，支持用户利用自己有的数据获得重要竞争的优势。
数据挖掘期末复习资料
数据挖掘期末复习资料2009-02-21 20:38:37| 分类：读书笔记 | 标签： |字号大中小订阅题型：填空（20空）、判断（20分）、简答（5个：预处理方法、决策树、朴素贝叶斯过程、其他一些知识内容）、大题（算法：关联分析、分类、决策树、ID3算法、贝叶斯方法、A神经网络、聚类回归占得比较小）概述一、数据挖掘是一个多学科领域，具体涉及到哪些相关学科？数据库及相关领域知识。
二、什么是数据挖掘，产生的背景，典型的数据挖掘系统的主要成分？数据挖掘定义：数据挖掘是从存放在数据库，数据仓库或其他信息库中的大量数据中挖掘有趣知识的过程。
典型的数据挖掘系统的主要成分：1.数据库，数据仓库或其他信息库；2.数据库或数据仓库服务器：3.知识库；4.数据挖掘引擎；5.模式评估模块；6.图形用户界面。
三、数据挖掘的功能有哪些？数据挖掘功能-可以挖掘什么类型的模式。
数据挖掘任务：描述和预测。
描述性挖掘任务刻划数据库中数据的一般特性；预测性挖掘任务在当前数据上进行推断。
数据挖掘的功能——用于指定数据挖掘任务中要找的模式类型。
其模式类型介绍如下：（1）、概念/类描述：特征化和区分。
用汇总的、简洁的、精确的方式描述每个类和概念，称这种描述为类/概念描述，通过三种方式得到：1）数据特征化 2）数据区分 3）数据特征化和比较。
(2)关联分析：发现规则，这些规则展示属性-值频繁地在给定数据集中一起出现的条件。
关联规则的含义为：满足X中条件的数据库元组多半也满足Y中条件。
包括多维关联规则和单维关联规则。
(3)分类和预测：分类与预测是两种数据分析形式，它们可用于抽取能够描述重要数据集合或预测未来数据趋势的模型。
分类是找出描述并区分数据类或概念的模型或函数，以便能用模型预测类标记未知的对象类。
如：可以构造一个分类模型来对银行贷款进行风险评估（安全或危险）；也可建立一个预测模型以利用顾客收入与职业（参数）预测其可能用于购买计算机设备的支出大小。
华南理工大学《数据挖掘》复习资料全
华南理工大学《数据挖掘》复习资料【英文缩写】BI(商务智能): Business IntelligenceOLAP(联机分析处理): Online Analytical Processing OLTP(联机事务处理): Online Transaction Processing ETL(提取/变换/装入): Extraction/Transformation/LoadingKDD(数据中的知识发现):Knowledge Discovery in DatabasesLecture 1.【知识发现的主要过程】(1)数据清理（消除噪声和不一致的数据）(2)数据集成（多种数据源可以组合在一起）(3)数据选择（从数据库中提取与分析任务相关的数据）(4)数据变换（数据变换或同意成适合挖掘的形式，如通过汇总或聚集操作）(5)数据挖掘（基本步骤，使用只能方法提取数据模式）(6)模式评估（根据某种兴趣度度量，识别表示只是的真正有趣的模式）(7)知识表示（使用可视化和只是表示技术，向用户提供挖掘的知识）【挖掘的知识类型】(1)概念描述：特征划与区分(概化、摘要、以及对比数据特征)(2)关联（相关性或者因果关系）(3)分类与预测：对类或概念构造模型或函数以便对未来数据进行预测(4)聚类分析：类标识符是未知的，把数据分成不同的新类，使得同一个类中的元素具有极大的相似性，不同类元素的相似性极小。
(5)趋势与偏差分析：序列模式挖掘(6)孤立点分析：孤立点，不符合该类数据的通用行为的数据，不是噪声或异常。
【数据挖掘在互联网、移动互联网的应用】(1)Web用法挖掘（Web日志挖掘）：在分布式信息环境下捕获用户访问模式(2)权威Web页面分析：根据Web页面的重要性、影响和主题，帮助对Web页面定秩(3)自动Web页面聚类和分类：给予页面的内容，以多维的方式对Web页面分组和安排(4)Web社区分析：识别隐藏的Web社会网络和社团，并观察它们的演变Lecture 2.【为什么需要数据预处理】现实世界中的数据很“脏”，具有以下特性：(1)不完整的: 缺少属性值, 感兴趣的属性缺少属性值, 或仅包含聚集数据(2)含噪声的: 包含错误或存在孤立点(3)不一致的: 在名称或代码之间存在着差异数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一.1.数据处理与数据分为’操作型’和’分析型’处理与数据. 2.操作型数据:细节的,
存取瞬间准确,可更新,操作需求事先可知,生命周期符合SDLC,性能要求高,操作单元,事务
驱动,面向应用,支持日常操作. 分析型数据:综合的,代表过去数据,不更新,操作需求事先
不可知,完全不同的生命周期,要求宽松,操作集合,分析驱动,面向分析,支持管理需求. 3.
数据组织结构:高度综合级,轻度综合级,当前细节级,早期细节级. 4.数据组织形式:简单
堆积文件,轮转综合文件,简化直接文件,连续文件. 5.数据挖掘七个步骤:数据清理,数据
集成,数据选择,数据变换,数据挖掘,模式评估,知识表示. 6.数据挖掘系统的主要成分:1
数据库,数据仓库或其他信息库2数据库或数据仓库服务器3知识库4数据挖掘引擎5模式
评估模块6图形用户界面. 7数据挖掘功能:用于指定数据挖掘任务中要找的模式类型. 8.数据挖掘任务分为两类:描述和预测. 9.概念/类描述方法:数据特征化,数据区分,数据特
征化与比较. 10.关联分析发现关联规则,适用于事务数据分析.关联规则分为:多维/单维
关联规则. 11.粒度越大,表示细节程度越低,综合程度越高. 12.数据仓库定义:数据仓库
是一个面向主题的,集成的,不可更新且随时间不断变化的数据集合,用来支持管理人员的决策. 二.1.数据立方体由位和事实定义.维是关于一个组织想要记录的透视或实体;事实是
数值的度量. 2.多维数据模型模式分类:星型模式,雪花模式,事实星座模式[维表,事实表].
3.度量根据所用的聚焦函数分成三类:分布的度量,代数的度量,整体的度量.
4.多维数据
模型上的OLAP操作:上卷,下钻,切片,切块,转轴,钻过,钻透. 5.数据仓库设计的四种视图:1自顶向下视图2数据源视图3数据仓库视图4商务查询视图. 6.数据仓库通常采用三
层结构:底层:数据仓库服务器中层:OLAP服务器顶层:前端工具. 7.OLAP服务器类型:关
系OLAP(ROLAP)服务器;多维OLAP(MOLAP)服务器;混合OLAP(HOLAP)服务器;特殊的SQL服务器. 8.ROLAP:关系数据库技术;响应慢;数据装载快;存储耗费小;维数无限制;通过SQL实
现存储;维护困难;无文件大小控制. MOLAP:专为OLAP设计;性能好,反应快;数据装载快;
需进行预计算,无法支持维变化;缺乏模型,访问标准,管理简便;受操作系统文件大小控制. *ROLAP不支持有关预计算读写操作,无法多行计算,无法维间计算. *MOLAP支持高性能决
策支持计算;跨维计算,多用户读写操作. 9.数据仓库设计步骤:1选取待建模的高务处理2
选取高务处理的粒度3选取用于每个事实表记录的维4选取安放在事实表中的度量
三1.数据质量问题:1噪声数据2空缺数据3不一致数据4重复5维度高 2.噪声处理方法:1
分箱2聚类3回归 3.预处理的基本方法:数据清理,数据集成,数据变量,数据归约 4.数
据选取的参考原则:1尽可能赋予属性名和属性值的明确含义2同意多数据源的属性值编码3
去掉唯一的属性4取出重复属性5去除可以忽略字段6合理选择关联字段 5.分箱的4种方法:统一权重,统一区间,最小熵,用户自定义区间 6.数据平滑方法:按箱平均值平滑,按箱
中值平滑,按箱便捷平滑 7.数据集成涉及问题：模式集成，数据冗余，数据值冲突8.数据
交换涉及内容：平滑，聚集，数据概化，规范化，属性构造. 9.数据归约的策略：维归约，数据压缩，数值压缩，离散化和概念分层生成 10.属性子集选择的基本启发式方法包含的
技术：1逐步向前选择2逐步向后删除3向前选择和向后删除的结合4判定树归纳 11.压
缩技术：有损（分为小波变换（分为DWT/DFT）/主要成分分析PCA）/无损 12.数值归约：有参方法/无参方法 13.空缺值处理方法：1忽略元组2人工填写空缺值3使用一个全局常
量填充空缺值4使用属性的平局值填充空缺值5使用与给定元组属同一类的所有样本的平均
值6使用最可能的值填充空缺值 14.抽样：1简单选取n个样本，不回放2简单选择n个
样本，回放3聚类抽样4分层抽样 15.概念分层方法：1分箱2直方图分析3聚类分析4
基于熵的离散化4通过自然划分分段四.1.数据挖掘语言分类:1数据挖掘查询语言DMQL 2
数据挖掘建模语言PMML 3通用数据挖掘语言 2.数据挖掘任务的原语:1任务相关数据原语
2要挖掘的知识种类原语3背景知识原语4兴趣度测量原语5被发现模式的表示和可视原语3.任务相关数据包括:1数据库与数据仓库名称2数据立方3数据选择条件4相关属性或维5
数据分组条件 4.背景知识概念分层的主要类型:1模式层次2集合分组分层3基于操作层次4基于规则分层 5.兴趣度度量特点:简洁性,确定性,实用性,新颖性 6.兴趣度的分类:客观兴趣度(数据驱动),主观兴趣度(用户驱动) 7.数据挖掘系统的结构设计耦合模式:不耦合,松散耦合,半紧密耦合,紧密耦合 8.挖掘的知识类型:1特征化2区分3关联4分类/预测5聚类五六. 1.从数据分析角度，数据挖掘分为：描述性，预测性 2.概念描述基本方法：多层概念，汇总，特征化，比较基本技术：表，图表，图，规则 3.类比较的步骤：数据收集，维相关分析，同步概化，导出比较的表示 4.关联规则挖掘的两个过程：1找出频繁项集 2由频繁项集产生强关联规则 5.关联规则基本分类方法：1按管理规则处理的变量类别：布尔型和量化性 2按关联规则中数据的抽象层次：单层/多层关联规则 3按关联规则中所涉及的变量数目：单维/多维关联规则 4按关联规则的各种扩充，关联规则可扩充到相关分析，以识别项是否相关 6.多层关联规则的主要挖掘方法：1对于所有层使用一致的最小支持度 2在较低层使用递减的最小支持度 3逐层独立 4层交叉单项过滤 5层交叉K-项集过滤七.1.分类与预测是两种数据分析形式.分类是预测分类标号(离散性);预测是建立连续函数模型. 2.数据分类步骤:1学习,用分类算法分析训练数据2分类,测试数据用于评估分类规则的准确率. 3.分类与预测的标准和评估:预测的准确率,速度,强壮度,可伸缩性,可解释性. 4.常用分类方法:1决策树归纳2贝叶斯信念网络3贝叶斯分类4神经网络 5.预测的方法:1线性回归2多元回归3非线性回归4广义线性模型*预测步骤:1.问题的理解与提出2.数据准备2.1变量选择2.2数据清洗2.3变量转化2.4可视化3.1神经网络3.2决策树3.3关联规则3.4其他模型4结果评价与解释(回1) 6.评估分类法准确性的方法:1保持方法2 k-交叉确认方法八.1基于内存的聚类算法通常采用的数据结构:(1)数据矩阵:对象—变量结构(二模矩阵) (2)相异度矩阵:对象—结构(单模矩阵) 2.对聚类质量/相异度估计评估方法:1区间标度变量2二元变量3标称变量4比例标度型变量5混合类型的变量 3.簇间距离度量标准:最短/最长/中间/平均距离 4.典型的聚类过程:1数据准备2特征提取3聚类4聚类结果评估 5.聚类方法的主要分类:1划分方法2层次方法3基于密度的方法4基于网络的方法5基于模型的方法 6.孤立点分析的主要方法:1统计学方法2基于距离的方法3基于偏差的方法 7.划分方法:1全局最优2启发式方法(K-均值,K-中心点) 8.层次方法:1凝聚方法(自底向上方法)2分裂方法(自顶向下)
9.复杂类型数据挖掘包括:1复杂对象2空间数据3多媒体数据4文本数据5WEB数据。