数据挖掘考试重点
数据挖掘复习知识点整理超详细
数据挖掘复习知识点整理超详细必考知识点：信息增益算法/ ID3决策树(计算) (详细见教材)使⽤朴素贝叶斯分类预测类标号(计算)FP-TREE(问答) (详细见教材)数据仓库的设计(详见第⼆章)(问答) (见PPT)数值规约Equi-depth、equi-width、v-optimal、maxdiff(问答) (详细见教材)BUC (这个也要考，但不记得怎么考的了)后向传播神经⽹络(名词解释)K-平均，K-中⼼点，DBSCAN解析特征化(这个也要考)总论数据挖掘：是从⼤量数据中发现有趣（⾮平凡的、隐含的、先前未知、潜在有⽤）模式，这些数据可以存放在数据库，数据仓库或其他信息存储中。
挖掘流程：(1)学习应⽤域（2）⽬标数据创建集（3）数据清洗和预处理（4）数据规约和转换（5）选择数据挖掘函数（总结、分类、回归、关联、分类）（6）选择挖掘算法（7）找寻兴趣度模式（8）模式评估和知识展⽰（9）使⽤挖掘的知识概念/类描述：⼀种数据泛化形式，⽤汇总的、简洁的和精确的⽅法描述各个类和概念，通过（1）数据特征化：⽬标类数据的⼀般特性或特征的汇总；（2）数据区分：将⽬标类数据的⼀般特性与⼀个或多个可⽐较类进⾏⽐较；（3）数据特征化和⽐较来得到。
关联分析：发现关联规则，这些规则展⽰属性-值频繁地在给定数据集中⼀起出现的条件，通常要满⾜最⼩⽀持度阈值和最⼩置信度阈值。
分类：找出能够描述和区分数据类或概念的模型，以便能够使⽤模型预测类标号未知的对象类，导出的模型是基于训练集的分析。
导出模型的算法：决策树、神经⽹络、贝叶斯、（遗传、粗糙集、模糊集）。
预测：建⽴连续值函数模型，预测空缺的或不知道的数值数据集。
孤⽴点：与数据的⼀般⾏为或模型不⼀致的数据对象。
聚类：分析数据对象，⽽不考虑已知的类标记。
训练数据中不提供类标记，对象根据最⼤化类内的相似性和最⼩化类间的原则进⾏聚类或分组，从⽽产⽣类标号。
第⼆章数据仓库数据仓库是⼀个⾯向主题的、集成的、时变的、⾮易失的数据集合，⽀持管理部门的决策过程。
数据挖掘考试重点复习
1.了解商务智能的定义与大数据的四个基本特征；答：商务智能是企业利用数据仓库DW、数据挖掘DM、在线分析处理OLAP、决策支持系统DSS等现代信息技术对企业生产、经营过程中产生的大量结构化和非结构化数据进行收集、整理、分析;形成知识或情报;以辅助企业做出正确的决策、采取有效的商务行动、优化商务流程、全面提升商务绩效的工具、方法和技术的统称..大数据特征： 4个V2.理解商务智能系统的5层结构商务智能系统结构大致分为五层:①数据源层：也可称作操作型数据层;是整个数据仓库的基础;提供了整个系统最原始的数据②数据获取层：也可称作数据转换层;主要是把数据源层的数据通过ETCL过程转换到数据仓库中③数据存取层：该层是按主题进行分析和对相关的数据进行挖掘的数据源;包括每一个按主题进行分类的数据集市或专门用于数据挖掘的数据仓库④数据分析服务层：该层是数据存储和前端分析工具的桥梁⑤前端展现层：用户界面3.理解操作型与分析型系统分离的必要性以及他们的特征4.理解维度爆炸给数据挖掘带来的困难数据过高的维度会给计算带来麻烦;在数据挖掘处理时;它会耗费很多的处理时间和内存容量..数据的高维度还使得数据间的关系也不容易察觉;增加了数据的无关属性和噪音点..5.掌握数据仓库的定义并理解其四个方面的特征数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境..数据仓库研究和解决从数据库中获取信息的问题..数据仓库是为支持管理决策建立的;面向主题的、集成的、随时间变化的、相对稳定的数据集合..滔注：我觉得写括号里的会好一点四方面特征：①面向主题：主题是指用户使用数据仓库进行决策时所关心的重点忙面..②集成性：在数据进入数据仓库之前;要进过统一于综合;将多个异源数据集成在一起..这一步是数据仓库建设中最关键、最复杂的一步..③时变性：数据仓库随时间变化不断增加新的数据..④相对稳定性：数据仓库反映的是历史的内容;而不是联机数据;主要供企业决策分析之用..6.掌握数据挖掘的定义并描述其主要特征数据挖掘定义从大量的、不完全的、有噪声的、模糊的、随机的数据中;提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程..数据挖掘是从大量数据中寻找其规律的技术..主要步骤1数据准备：从各种数据源中选取和集成用于数据挖掘的数据；2规律寻找：用某种方法将数据中的规律找出来；3规律表示：用尽可能符合用户习惯的方式将找出的规律表示出来..7.掌握Minkowski距离;并熟练计算l1;l2;l无穷normL1norm当r=1;城市街区也称曼哈顿、出租车、L1范数距离；L2norm当r=2;欧几里得距离；L∞norm当r=∞;上确界距离;这是对象属性之间的最大距离..8.理解Hunt’s算法的基本过程通过将训练记录相继划分成较纯的子集;以递归方式建立决策树..设Dt是与节点t相关联的训练记录集;而Y={ y1;y2;…;y c}是类标号;Hunt算法的递归定义如下:1如果Dt中所有记录都属于同一个类yt;则t是叶节点;用yt标记..2如果Dt中包含属于多个类的记录;则选择一个属性测试条件;将记录划分成较小的子集..对于测试条件的每个输出;创建一个子女节点;并根据测试结果将Dt中的记录分布到子女节点中..然后;对于每个子女节点;递归地调用该算法..9.掌握吉尼系数、熵的定义;会计算其最大值与最小值;理解信息增益在构造决策树时的意义基尼系数、熵是度量不纯度的方法GINI系数和熵都是越小;代表所分的节点属性越纯;最小可取到0;表示这个节点中只有一个类..当一个节点中有n个父节点;而且能分出n个子节点;GINI系数取到最n 滔注：那个2是角标;不是log2n 大值;为1-1/n. 熵也取到最大值 log2基尼值的性质：越大越不纯;越小越纯;0最纯;1-1/n最不纯..b.子节点基尼值c.最大值、最小值最小值表示最纯;最大值表示最不纯熵在信息领域熵被用来衡量一个随机变量出现的期望值..熵是对信息的不确定性的度量..熵越低;意味着传输的信息越少..熵的性质：熵是衡量节点一致性的函数..熵大于等于0;当且仅当p1=p2=……pn时;熵最大;纯的节点熵是0.信息增益当选择熵作为公式的不纯性度量时;熵的差就是所谓的信息增益..信息增益描述了当使用Q进行编码时;再使用P进行编码的差异..通常P代表样本或观察值的分布;也有可能是精确计算的理论分布..Q 代表一种理论;模型;描述或者对P的近似..当纯度高达1时即只有一种数据类型;熵最小;为0；当其中的各类数据均匀分布时;熵最大;为-log2pj|t..10.理解了解最邻近分类的基本思想;邻近分类的前提条件与分类过程近邻分类法是基于类比学习;即通过将给定的检验元组与和它相似的训练元组进行比较来学习..训练元组用n个属性描述..每个元祖代表n维空间的一个点..这样;所有的训练元组都存放在n维模式空间中..当给定一个未知元组时;近邻分类法搜索模式空间;找出最接近未知元组的k个训练元组..这k个训练元组是未知元组的k个“最近邻”..一句话概述：点x的k-最近邻分类就是离点x的欧式距离最近的k个点的集合..三个前提条件：训练集存在内存中；给定距离度量指标；给定K值分类过程：1 计算未知点与其他训练集的距离2找到K个最邻近的邻近组3用邻近组的分类标签来决定未知点所在组的标签..11.了解分类中的过拟合及产生的原因过度拟合数据当决策树变大时;测试误差会越来越小;而训练误差会越来越大;测试集产生的决策树与实际会不符..产生的原因（1）噪声导致的过分拟合（2）决策树的复杂程度超过了需要的程度;会产生过度拟合（3）训练误差的减小已经对结果没有更多意义但却依然在计算;会产生过度拟合（4）没有更多的属性来减小样本误差;会产生过度拟合12.理解关联规则及支持与置信度的定义;并熟练计算支持度与置信度关联规则关联规则是形如X→Y的蕴涵式;其中;X和Y都是事务数据集..关联规则的强度可以用它的支持度和置信度度量..支持度Support事务数据库中既包含X又包含Y某个项集的事务占事务总数的比例；置信度Confidence在所有包含X的事务中包含Y的事务所占比例.. 13.理解Apriori性质及其意义Apriori如果一个项集是频繁的;那么它的所有子集都是频繁的..相反;如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..意义利用该性质;通过减少搜索空间;来提高频繁项集逐层产生的效率..14.理解FP-Growth算法克服了Apriori算法的那些不足1.减少了扫描数据库的次数;只用扫描两次2.候选项变少;不会产生那么大的候选项集15.给定一个交易数据库与支持度阈值;能熟练运用Apriori算法与FP-Growth算法挖掘频繁项集Apriori算法计算频繁项集步骤1、第一次扫描;列出一项集;并计数..2、去除低于阈值的项集;组合出二项集;扫描计数..3、重复步骤2;依次组合出N项集;直至项集计数小于阈值;结束..注意Apriori定义：如果一个项集是非频繁的;则它的所有超集也一定是非频繁的..所以在组合项集时一定要注意;新组合出的项集不应包含已经被“淘汰”的项集..FP-Growth算法计算频繁项集步骤一、扫描一次数据集;确定每个项的支持度计数..丢弃非频繁项;将频繁项按照支持度的递减排序;生成频繁项集头表..注意事项：1、降序排列..2、MinSup的存在步骤二、第二次扫描投影;按照{f;c;a;b;m;p}的顺序逐条对应写出剔除非频繁项后的频繁集;注意：{f;c;a;b;m;p}的顺序确定后就不在变动;这在下面的步骤中起关键作用步骤三、并开始构建FP树..按照事务ID号的顺序;将处理好的频繁项集映射创建FP树;并在对应节点计数..步骤四、构建每个对象的条件模式基;建议从频率低的节点开始..注意：不要忘了f对应的{}..步骤五、列出下表;对照MinSup剔除低于阈值的项..步骤六、针对每一项建立条件FP树..下面用m项作例子;如下..步骤七、找出频繁项集..16.理解关联规则产生时所采取的优化策略老师说直接距离就可以比如;L = {A;B;C;D}:cABC→ D≥ cAB→ CD ≥ cA→ BCD为什么分子不变;都是ABCD;分母越来越大17.理解K-means算法的内容并讨论该算法之不足K-means K均值算法流程1、随机选择K个对象;每个对象代表一个簇的初始均值或中心2、对剩余的每个对象;根据它与簇均值的距离;将他指派到最相似的簇..3、计算每个簇的新均值4、回到步骤2;循环;直到准则函数收敛..不足之处1、只有当簇均值有定义的情况下;K-means方法才能够使用..2、用户必须首先给定簇数目3、不适合发现非凸形状的簇;或者大小差别很大的簇..4、对噪声和离群点数据敏感..18.理解凝聚聚类算法的基本过程;并分析算法时间与空间复杂度步骤：1计算距离矩阵2 让每个数据点成为一个群集3;循环开始4; 合并两个距离最近的群集5; 更新距离矩阵6;直到只剩下一个群集时间复杂度：N2倍空间复杂度：N3倍19.理解DBSCAN算法将待聚类的点分为哪几类;分解解释之三类：中心点：中心点领域范围内的点的个数≥临界值MinPts边界点：边界点领域范围内的点个数小于临界值;但是它在中心点邻域范围的边界上..噪音点：既不是中心点又不是边界点的点..噪音点领域范围内的点个数小于临界点..20.理解DBSCAN算法的思想及它克服了K-means算法的哪些不足基于密度的聚类只要一个区域中的点的密度大于某个域值;就把它加到与之相近的聚类中去..克服基于距离的算法只能发现“类圆形”的聚类的缺点;可发现任意形状的聚类;且对噪声不敏感..但是;其计算密度短语的计算复杂度大;需要建立空间索引来降低计算量;且对数据维数的伸缩性较差..DBSCAN Density-Based Spatial Clustering of Applications with Noise具有噪声的基于密度的聚类应用..算法步骤1、通过检查数据集中每个对象的ε-邻域可以理解为半径来寻找聚类2、如果一个点P的ε-邻域包含多于MinPts最少包含点数个对象;则创建一个P作为核心对象的新簇..3、反复地寻找从这个核心对象直接密度可达的对象;这个过程可能涉及一些密度可达簇的合并..4、当没有新的点可以被添加到任何簇时;过程结束..评价1、适合发现任意形状的簇..2、易于发现噪声..3、无需设置K 值..4、需要输入ε、MinPts..对照着14题理解两种算法21.理解SSE指标对聚类的意义..SSE即Sum of Squared Error ;错误的平方和..意义1、SSE可以很好的用于比较两个聚类或两个簇..2、也可以用于估计簇的数目..观察增加K即簇的数目即可降低SSE..。
数据挖掘 机器学习 考试简答题
1.何谓数据挖掘？它有哪些方面的功能？答：从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘；（3分）数据挖掘的功能包括：概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等（3分）2.列举4种监督式学习算法？答：K-近邻算法（k-Nearest Neighbors）（1分）线性回归（Linear Regression）（1分）逻辑回归（Logistic Regression）（1分）支持向量机（1分）（备注：列出任意4种即可得分）3.过拟合问题产生的原因有哪些以及解决过拟合的办法有哪些？答：产生的原因：（1）使用的模型比较复杂，学习能力过强。
（1分)（2）有噪声存在（1分)（3）数据量有限（1分)解决过拟合的办法：（1）提前终止（当验证集上的效果变差的时候）（1分)（2）数据集扩增（1分)（3）寻找最优参数（1分)4.支持向量机有哪些优缺点？答：优势：（1）在高维空间非常高效（1分)（2）即使在数据维度比样本大的情况下仍然有效（1分)（3）在决策函数中使用训练集的子集，因此它也是高效利用内存的（1分) 缺点：（1）如果特征数量比样本数量大得多，在选择核函数时要避免过拟合（1分) （2）支持向量机通过寻找支持向量找到最优分割平面，是典型的二分类问题，因此无法解决多分类问题。
（1分)（3）不直接提供概率估计（1分)5、数据挖掘的两大目标分为预测和描述，监督学习和无监督学习分别对应哪类目标？监督学习和无监督学习的定义是什么？分别从监督类学习和无监督类学习中找一类算法的实例应用进行举例说明。
答：1.监督学习对应预测，无监督学习对应描述2.监督学习：从标记的训练数据来推断一个功能的机器学习任务无监督学习:根据类别未知（没有标记）的训练样本解决模式识别中的各种问题。
3.监督学习举例：分类算法，利用分类算法进行垃圾电子邮件的分类。
数据挖掘考试复习资料
数据挖掘考试复习资料一、名词解释1、数据仓库：面向主题的、集成的、非易失的、是随时间变化的数据集合，用来支持管理决策.2、聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类3、数据挖掘：从大量的数据中挖掘那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识4、人工神经网络：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
在工程与学术界也常直接简称为神经网络或类神经网络.5、文本挖掘：文本数据挖掘（Text Mining）是指从文本数据中抽取有价值的信息和知识的计算机处理技术6、OLAP：又称联机分析处理，是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业为特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
定义1：OLAP是针对特定问题的联机数据访问和分析。
通过对信息（维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入地观察。
定义2：OLAP是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业“维”特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。
)7、概念描述：就是对目标类对象的内涵进行描述,并概括这类对象的有关特征.特征化：提供给定数据汇集的简洁汇总比较：提供两个或多个数据汇集的比较描述8、信息熵：在信息论中，熵被用来衡量一个随机变量出现的期望值.它代表了在被接收之前，信号传输过程中损失的信息量，又被称为信息熵。
信息熵也称信源熵、平均自信息量。
二、简答题1、数据仓库和传统数据库的区别和联系是什么?（1）区别:数据仓库和数据库是不同的概念数据仓库是一个综合的解决方案，而数据库只是一个现成的产品。
数据仓库需要一个功能十分强大的数据库引擎来驱动，它更偏向于工程。
数据挖掘复习资料
1、数据挖掘定义：数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取出隐含在其中的、人们事先不知道、但又是潜在有用的信息和知识的过程。
2、数据仓库定义：数据仓库是面向主题的、集成的、不可更新却又随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。
3、数据仓库与数据挖掘的关系：1）数据仓库系统的数据可以作为数据挖掘的数据源。
2）数据挖掘的数据源不一定必须是数据仓库系统4、数据挖掘的功能：概念描述，关联分析，分类与预测，聚类分析，趋势分析，孤立点分析，偏差分析。
5、数据挖掘的过程：P10图1-26、数据仓库的基本特征：1）数据仓库的数据是面向主题的；2）数据仓库的数据是集成的；3）数据仓库的数据时不可更新的；4）数据仓库的数据时随时间不断变化的。
7、主题的概念：主题是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的对象。
面向主题的组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一的刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。
8、对数据仓库基本特征的理解：数据仓库是面向主题的，面向主题性表示数据仓库中数据组织的基本原则，数据仓库中所有的数据都是围绕某一主题组织、展开的。
数据仓库的数据是集成的，数据仓库的数据时从原有的分散的数据库、数据文件和数据段中抽取来的，数据来源可能既有内部数据又有外部数据，因此，在数据进入数据仓库之前，必然要经过转换、统一和综合。
这一步是数据仓库建设中最关键最复杂的一步，要进行统一数据源，综合和计算两步，统一数据源包括命名规则，编码，数据特征，度量单位的统一。
数据仓库是不可更新的，数据仓库的数据主要提供企业决策分析之用，不是用来进行日常操作的，一般只保存过去的数据，而且不是随着数据源的变化实时更新，数据仓库中的数据一般不再修改。
9、数据仓库数据分为四个级别：早期细节级，当前细节级，轻度综合级和高度综合级。
数据挖掘考试题库及答案
数据挖掘考试题库及答案一、选择题1. 数据挖掘是从大量数据中提取有价值信息的过程，以下哪项不是数据挖掘的主要任务？A. 预测B. 分类C. 聚类D. 数据可视化答案：D2. 以下哪种技术不属于数据挖掘的常用方法？A. 决策树B. 支持向量机C. 关联规则D. 数据仓库答案：D3. 数据挖掘中，以下哪项技术常用于分类和预测？A. 神经网络B. K-均值聚类C. 主成分分析D. 决策树答案：D4. 在数据挖掘中，以下哪个概念表示数据集中的属性？A. 数据项B. 数据记录C. 数据属性D. 数据集答案：C5. 数据挖掘中，以下哪个算法用于求解关联规则？A. Apriori算法B. ID3算法C. K-Means算法D. C4.5算法答案：A二、填空题6. 数据挖掘的目的是从大量数据中提取______信息。
答案：有价值7. 在数据挖掘中，分类任务分为有监督学习和______学习。
答案：无监督8. 决策树是一种用于分类和预测的树形结构，其核心思想是______。
答案：递归划分9. 关联规则挖掘中，支持度表示某个项集在数据集中的出现频率，置信度表示______。
答案：包含项集的记录中同时包含结论的记录的比例10. 数据挖掘中，聚类分析是将数据集划分为若干个______的子集。
答案：相似三、判断题11. 数据挖掘只关注大量数据中的异常值。
（）答案：错误12. 数据挖掘是数据仓库的一部分。
（）答案：正确13. 决策树算法适用于处理连续属性的分类问题。
（）答案：错误14. 数据挖掘中的聚类分析是无监督学习任务。
（）答案：正确15. 关联规则挖掘中，支持度越高，关联规则越可靠。
（）答案：错误四、简答题16. 简述数据挖掘的主要任务。
答案：数据挖掘的主要任务包括预测、分类、聚类、关联规则挖掘、异常检测等。
17. 简述决策树算法的基本原理。
答案：决策树算法是一种自顶向下的递归划分方法。
它通过选择具有最高信息增益的属性进行划分，将数据集划分为若干个子集，直到满足停止条件。
数据挖掘考试题库完整
一、名词解释1. 数据仓库：是一种新的数据处理体系结构 .是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化 (不同时间)的数据集合.为企业决策支持系统提供所需的集成信息。
2. 孤立点：指数据库中包含的一些与数据的一般行为或模型不一致的异常数据。
3. OLAP：OLAP 是在OLTP 的基础上发展起来的.以数据仓库为基础的数据分析处理 .是共享多维信息的快速分析.是被专门设计用于支持复杂的分析操作 .侧重对分析人员和高层管理人员的决策支持。
4. 粒度：指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度影响存放在数据仓库中的数据量的大小 .同时影响数据仓库所能回答查询问题的细节程度。
5. 数据规范化：指将数据按比例缩放(如更换大单位).使之落入一个特定的区域(如 0－1) 以提高数据挖掘效率的方法。
规范化的常用方法有：最大－最小规范化、零－均值规范化、小数定标规范化。
6. 关联知识：是反映一个事件和其他事件之间依赖或相互关联的知识。
如果两项或多项属性之间存在关联.那么其中一项的属性值就可以依据其他属性值进行预测。
7. 数据挖掘：从大量的、不完全的、有噪声的、模糊的、随机的数据中.提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
8. OLTP：OLTP 为联机事务处理的缩写.OLAP 是联机分析处理的缩写。
前者是以数据库为基础的.面对的是操作人员和低层管理人员 .对基本数据进行查询和增、删、改等处理。
9. ROLAP：是基于关系数据库存储方式的 .在这种结构中.多维数据被映像成二维关系表.通常采用星型或雪花型架构.由一个事实表和多个维度表构成。
10. MOLAP：是基于类似于“超立方”块的OLAP 存储结构.由许多经压缩的、类似于多维数组的对象构成.并带有高度压缩的索引及指针结构 .通过直接偏移计算进行存取。
11. 数据归约：缩小数据的取值范围.使其更适合于数据挖掘算法的需要 .并且能够得到和原始数据相同的分析结果。
数据挖掘复习要点
数据挖掘复习要点数据挖掘1.数据挖掘：从⼤量的、不完全的、有噪声的、模糊的、随机的实际应⽤数据中，提取隐含在其中的、⼈们事先不知道的，但⼜是潜在有⽤的信息和知识的过程。
（商业定义）按企业即定业务⽬标，对⼤量的企业数据进⾏探索和分析，揭⽰隐藏的、未知的或已知的规律，并进⼀步将其模型化的先进的有效⽅法。
2.数据挖掘的功能：描述和预测。
描述：刻画了数据库数据的⼀般特性；预测：在当前数据上进⾏分析，以此进⾏推断。
1)概念描述：通过对某类对象关联数据的汇总、分析和⽐较，对此类对象的内涵进⾏描述，并概括这类对象的有关特征。
2)多层次概念描述：将低层次概念集映射到⾼层次概念集的⽅法。
3)关联分析：⽬的是找出数据库中隐藏的关联⽹。
4)聚类：将物理或抽象对象的集合分组成为由类似的对象组成的多个类的⽅法。
5)分类：从数据库对象中发现共性，并将数据对象分成不同类别的⼀个过程。
6)偏差检测：偏差检测的基本⽅法是寻找观测结果与参照值之间有意义的差别。
7)孤⽴点分析：对于数据的⼀般⾏为或模型不⼀致的数据进⾏分析。
8)⾃动预测趋势和⾏为：针对具有时序属性的数据或者是序列项⽬的数据。
9)时序演变分析：寻找事件或对象⾏为随事件变化的规律或趋势，并以此来建⽴模型。
10)信息摘要：⼀种⾃动编制⽂摘的技术，即利⽤计算机将⼀篇⽂章浓缩成⼀篇短⽂的过程。
11)信息抽取：根据⼀个事先定义好的、描述所需信息规格的模板，从⾮结构化的⽂本中抽取相关信息的过程。
12)元数据挖掘，对元数据进⾏挖掘。
3.数据挖的掘步骤：1)确定业务对象；2)数据准备c)数据的转换a)数据的选择b)数据的预处理3)数据挖掘，对所得到的经过转换的数据进⾏挖掘。
4)结果分析，解释并评估结果；5)知识的同化，将分析所得到的知识集成到业务信息系统的组织结构中去。
4.数据挖掘的⼈员：1)业务分析⼈员，要求精通业务，能够解释业务对象，并根据各业务对象确定⽤于数据定义和挖掘算法的业务需要；2)数据分析⼈员，精通数据分析技术，并对统计学有较熟练的掌握，有能⼒把业务需求转化为数据挖掘的各步操作选择合适的技术；3)数据管理⼈员，精通数据管理技术，并从数据库仓库中收集数据。
数据挖掘试题
数据挖掘试题及答案
1.数据挖掘的定义是什么？
数据挖掘是指从大量数据中通过算法自动发现和提取有用的信息，并对其进行分析和解释，以帮助企业做出决策的过程。
1.数据挖掘的主要任务是什么？
数据挖掘的主要任务包括关联分析、聚类分析、分类和预测、偏差检测等。
1.什么是关联分析？
关联分析是指通过发现大量数据中项集之间的关联性或相关性来进行分析的一种方法。
常见的关联分析算法有Apriori算法和FP-Growth算法。
1.什么是聚类分析？
聚类分析是指将物理或抽象对象组成的多个组或类按照它们的相似性进行分类。
聚类分析的目标是将相似的对象归为一类，同时将不相似或不同的对象分离出来。
1.什么是分类和预测？
分类是指根据历史数据和经验建立模型，然后使用该模型对新的未知数据进行预测或分类。
预测则是利用已知的变量和参数来预测未来的结果或趋势。
1.什么是偏差检测？
偏差检测是指通过检测数据中的异常值、离群点或不寻常的模式来发现异常情况或错误的过程。
偏差检测可以帮助企业发现数据中的问题和不一致性，及时纠正错误或采取相应措施。
数据挖掘期末考试题库
数据挖掘期末考试题库第一部分：单项选择题（每题2分，共20分）1. 数据挖掘的主要任务是：A. 数据清洗B. 数据可视化C. 数据预处理D. 信息提取2. 下列哪种算法不属于分类算法？A. 决策树B. K均值聚类C. 朴素贝叶斯D. 支持向量机3. 以下哪种评估指标适合用于回归模型的评价？A. 准确率B. 精确率C. 均方误差D. 召回率4. 什么是过拟合？A. 欠拟合B. 模型泛化能力差C. 训练数据效果好，测试数据效果差D. 模型对训练数据过于复杂5. 数据挖掘中最常用的算法之一是：A. 关联规则挖掘B. 地理聚类算法C. PCA主成分分析D. 神经网络6. 在K均值聚类算法中，K的取值是：A. 随机指定B. 需要提前确定C. 可以根据数据自动调整D. 由数据量来决定7. 数据不平衡问题常见的解决方法是：A. 降采样B. 升采样C. 阈值移动D. 过采样8. 常用的数据变换方法包括：A. 标准化B. 特征选择C. 特征抽取D. 以上都是9. 以下哪个不是决策树算法？A. CARTB. SVMC. ID3D. C4.510. 数据挖掘的任务包括：A. 分类B. 预测C. 聚类D. 以上都是第二部分：简答题（每题5分，共25分）1. 请简要介绍数据挖掘的相关概念及主要任务。
2. 什么是数据清洗？数据预处理的主要步骤有哪些？3. 请简要描述K均值聚类算法的原理及应用场景。
4. 什么是特征选择？为什么特征选择在数据挖掘中很重要？5. 请解释模型评估中的ROC曲线及AUC指标的含义。
第三部分：分析题（每题10分，共30分）1. 请根据提供的数据集，使用决策树算法进行分类预测，并对算法进行评估。
2. 请使用K均值聚类算法对特定数据进行聚类，并解释聚类结果的含义。
3. 请选择一个自己感兴趣的数据集，设计一个数据挖掘项目，并说明项目的背景、目的、方法及预期结果。
第四部分：应用题（每题15分，共30分）1. 请根据给定的销售数据，利用关联规则挖掘算法找出频繁项集和关联规则，并分析其规则含义及实际应用。
数据仓库与挖掘期末考试知识点复习
数据挖掘知识点（考点）复习第6章的知识点 1.哪些学科和数据挖掘有密切联系？（P68数据挖掘关系图）2.数据挖掘的定义（P69）数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
第7章的知识点1.数据挖掘步骤（P74）确定目标、数据准备、数据挖掘、结果分析2.数据选择的内容（包括哪两部分）（P75）属性选择和数据抽样3.数据清理的方法（P75） 了解小规模数据、大数据集的清理方法。
小规模数据：人工清理大数据集：自动清理（测定→识别→ 纠正）4.常见的模式有哪些（P78）尤其是分类、回归、聚类模式之间的分析比较。
① 分类模式（用于离散值）② 回归模式（用于连续值）③ 聚类模式④ 关联模式⑤序列模式即将数据间的关联性事件发生的顺序联系起来。
⑥时间序列模式根据数据随时间变化的趋势预测将来的值。
5.模式的精确度（P79）训练和测试模式需将数据分成哪两部分以及各自用途？模式准确性的测试方法及其比较。
训练和测试模式需将数据分成：一是训练数据，主要用于模式训练；另一个是测试数据，主要用于模式测试。
模式准确性的测试方法：封闭测试：测试集即训练模式的训练数据。
可测试模式的稳定性，但无法验证其推广能力。
开放测试：测试模式的数据是模式先前未见的数据。
可以很好地度量模式的准确度。
6.数据预处理的任务有哪些？（P83-89）数据清理、数据集成和转换7.空缺值的处理方法（P83-84）忽略该条记录（不很有效）、手工填补遗漏值（可行性差）、利用缺省值填补遗漏值（不推荐）数据库理论 数据仓库数据统计 机器学习 人工智能 数据挖掘利用均值填补遗漏、利用同类别均值填补遗漏值、利用最可能的值填补遗漏值（较常用）8.分箱技术（P84-86） 分箱之前要做的工作？P84 分箱之前需要对记录按目标属性值的大小进行排序（1）要求能描述出常见的分箱方法和数据平滑方法（简答）。
数据挖掘 考试提纲
第一章1、数据挖掘的概念。
P3数据挖掘是从大量数据中提取或“挖掘”知识。
数据挖掘是个过程，目的是知识发现。
数据挖掘的过程：1数据预处理：○1数据清理（消除重复的、不完全的、违反语义约束的数据），○2数据集成（多种数据源可以组合在一起），○3数据选择（从数据库中检索与分析任务相关的数据），○4数据变换（数据变换或统一成适合挖掘的形式，如通过汇总或聚集操作）。
2数据挖掘（使用智能方法提取数据模式）3模式评估（根据某种兴趣度度量，识别表示知识的真正有趣的模式）4知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）2、数据挖掘有哪些模式。
P3数据挖掘的模式：1分类模式，2回归模式，3时间序列模式，4聚类模式，5关联规则模式，6序列模式。
3、什么是有意义的模式。
1）它易于理解。
2）在某种必然程度上，对于新的或检验数据是有效的。
3）是潜在有用的。
4）是新颖的。
如果一个模式符合用户确信的某种假设，它也是有趣的。
有趣的模式就是知识。
4、数据挖掘中能否挖掘出所有模式。
数据挖掘可能产生数以千计的模式或规则，但并不是所有的模式或规则都是令人感兴趣的。
第二个问题——“数据挖掘系统能够产生所有有趣的模式吗?”——涉及数据挖掘算法的完全性。
第三个问题——“数据挖掘系统能够仅产生有趣的模式吗”?—是数据挖掘的优化问题。
5、数据挖掘的步骤（4），以及每一步骤的作用。
P46、数据挖掘与知识发现有什么关系。
有趣的数据挖掘模式代表知识。
如果一个模式符合用户确信的某种假设，它也是有趣的。
有趣的模式就是知识。
7、数据挖掘的对象（11）。
P6-131）数据存储库包括：关系数据库、数据仓库、事务数据库、高级数据库系统、一般文件、数据流和万维网。
2）高级数据库系统包括对象—关系数据库和面向特殊应用的数据库，如空间数据库、时间序列数据库、文本数据库和多媒体数据库。
8、数据挖掘的功能（6）。
P14-18功能：1概念/类描述：特征化和区分；2挖掘频繁模式，关联和相关；3分类和预测；4聚类分析；9、数据挖掘5个相关学科、技术。
数据挖掘期末考试重点
1·元数据：是关于数据仓库中数据的数据。
2·数据仓库中的元数据可以分为四类1)关于数据源的元数据：对不同平台上的数据源的物理结构和含义的描述；2)关于数据模型的元数据：描述了数据仓库中有什么数据以及数据之间的关系，它们是用户使用管理数据仓库的基础；3)关于数据仓库映射的元数据：反映数据仓库中的数据项是从哪个特定的数据源填充的，经过哪些转换，变换和加载过程；4)关于数据仓库使用的元数据：数据仓库中信息的使用情况描述，这类元数据能帮助用户到数据仓库查询所需要的信息，用于解决企业问题。
3·数据仓库和数据集市的区别数据仓库收集了关于整个组织的主题（如顾客、商品、销售、资产和人员）信息，因此是企业范围的。
对于数据仓库，通常使用星座模式，因为它能对多个相关的主题建模。
数据集市是数据仓库的一个部门子集，它针对选定的主题，因此是部门范围的。
对于数据集市，流行星型或雪花模式，因为它们都适合对单个主题建模。
4·数据集市主要有两种结构：从属数据集市(数据直接来自于中央数据仓库)独立数据集市(数据直接来源于各生产系统)5·数据库与数据仓库的联系与区别?联系：数据仓库的出现，并不是要取代数据库。
可以说，数据库、数据仓库相辅相成、各有千秋。
区别：出发点不同（面向事物/面向主题）、存储的数据不同（实时数据/历史数据）、设计规则不同（范式/反范式）、提供的功能不同（捕获数据/分析数据）、基本元素不同（事实表/维表）、容量不同（GB/TB）、服务对象不同（业务处理人员/高层决策人员）。
6·粒度的作用：粒度越小，数据的综合程度越低，存储的数据越详细，需要的索引项越多，存储的数据量越大；回答查询的种类越多。
粒度越高，数据综合程度越高，需要的索引项越少，存储的数据量越小,查询的效率也越高7·数据集市（data marts）通常是指较为小型化、针对特定目标且建设成本较低的一种数据仓库。
数据挖掘期末复习提纲(整理版)
1.熟悉数据挖掘的流程：提示：1）业务理解2）数据理解3）数据准备4）建立模型5）模型评估6）模型发布2.数据库系统与数据仓库系统的区别：数据仓库是一个面向主题的、集成的、时变的和非易失的数据集合，支持管理部门的决策过程：而数据库是面向具体操作的、单一的、实时的、更新的数据集合，支持管理机构日常操作的。
数据库系统的主要任务是执行联机事务和查询处理，这种系统称为OLTP系统，涵盖了组织机构的大部分日常操作；另一方面，数据仓库在数据分析和决策方面为用户和知识工人提供服务。
3. 数据聚合需考虑的问题;4. 利用免费商品做促销的关联规则挖掘问题：1）找到免费商品的频繁1—项集，记为S1。
2）使用FP增长算法生成那些价格不少于$200的频繁项集，记为S2。
这是一个单调约束，因此不必要在每一步使用“生成—测试”过程，这样能节省一些不必要的计算开销。
如果我们有一个频繁项价格至少￥200，则没必要对这个频繁项的任何超集进行测试。
这是因为任何其他商品加到这个频繁项里，价格肯定会增多。
需要检验的是超集是否是频繁的。
这里之所以使用FP增长算法的原因是Apriori算法丢弃了那些价格低于$200的频繁项集。
这样导致了将不能够发现满足约束条件的频繁项集。
FP增长算法不会有这样的问题，因为它保留了关于数据库的完整信息在一个树结构中。
3）从S1S2中找到频繁项集。
4）生成满足最小置信度且形如2S 的规则。
1S5.分布式数据的关联规则挖掘方法：第一．在每一个站点挖掘局部频繁项集，设CF为四个站点的局部频繁项集的并集；第二．计算CF中每个频繁项集在各个站点的支持度计数；第三．计算CF中每个项集的全局支持度计数，可以通过将它在四个站点的局部支持度计数累加起来；那些全局支持度大于支持度阀值的项集为频繁项集；第四．从全局频繁项集里导出强规则。
6.急切分类、惰性分类的优缺点：急切分类比惰性分类在速度上要更快。
因为它在接受新的待测数据之前已经构造了一个概括的模型。
数据挖掘考试题库——2024年整理
1.何谓数据挖掘？它有哪些方面的功能？从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。
相关的名称有知识发现、数据分析、数据融合、决策支持等。
数据挖掘的功能包括：概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。
2.何谓粒度？它对数据仓库有什么影响？按粒度组织数据的方式有哪些？粒度是指数据仓库的数据单位中保存数据细化或综合程度的级别。
粒度影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能回答查询问题的细节程度。
按粒度组织数据的方式主要有：1简单堆积结构2轮转综合结构3简单直接结构4连续结构3.简述数据仓库设计的三级模型及其基本内容。
概念模型设计是在较高的抽象层次上的设计，其主要内容包括：界定系统边界和确定主要的主题域。
逻辑模型设计的主要内容包括：分析主题域、确定粒度层次划分、确定数据分割策略、定义关系模式、定义记录系统。
物理数据模型设计的主要内容包括：确定数据存储结构、确定数据存放位置、确定存储分配以及确定索引策略等。
在物理数据模型设计时主要考虑的因素有:I/O存取时间、空间利用率和维护代价等。
提高性能的主要措施有划分粒度、数据分割、合并表、建立数据序列、引入冗余、生成导出数据、建立广义索引等。
4.在数据挖掘之前为什么要对原始数据进行预处理？原始业务数据来自多个数据库或数据仓库，它们的结构和规则可能是不同的，这将导致原始数据非常的杂乱、不可用，即使在同一个数据库中，也可能存在重复的和不完整的数据信息，为了使这些数据能够符合数据挖掘的要求，提高效率和得到清晰的结果，必须进行数据的预处理。
为数据挖掘算法提供完整、干净、准确、有针对性的数据，减少算法的计算量，提高挖掘效率和准确程度。
5.简述数据预处理方法和内容。
1数据清洗：包括填充空缺值，识别孤立点，去掉噪声和无关数据。
2数据集成：将多个数据源中的数据结合起来存放在一个一致的数据存储中。
数据挖掘考试复习要点
主要内容⏹ 数据挖掘综述⏹ 数据仓库和数据挖掘的OLAP 技术 ⏹ 数据预处理⏹ 数据挖掘原语、语言和系统结构 ⏹ 概念描述：特征化与比较⏹ 挖掘大型数据库中的关联规则 ⏹ 分类和预测 ⏹ 聚类分析⏹ 复杂类型数据的挖掘数据挖掘的应用和发展趋势我们拥有丰富的数据，但却缺乏有用的信息 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP)数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束） 数据库技术的演化 1960s 和以前:文件系统1970s: 层次数据库和网状数据库（ 1973年 查理士·巴赫曼 ） 1980s 早期:关系数据模型, 关系数据库管理系统(RDBMS)的实现1980s 晚期:各种高级数据库系统(扩展的关系数据库,面向对象数据库等等.) 面向应用的数据库系统 (spatial 数据库，时序数据库，多媒体数据库等等）1990s: 数据挖掘, 数据仓库, 多媒体数据库和网络数据库 2000s 流数据管理和挖掘 基于各种应用的数据挖掘 XML 数据库和整合的信息系统 什么是数据挖掘？数据挖掘 (从数据中发现知识)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词） 数据挖掘的替换词数据库中的知识挖掘（KDD）、知识提炼、 数据/模式分析、数据考古、数据捕捞、信息收获等等。
并非所有东西都是“数据挖掘” 查询处理.专家系统或是小型的数学计算/统计程序知识挖掘的步骤 了解应用领域了解相关的知识和应用的目标创建目标数据集: 选择数据数据清理和预处理: (这个可能要占全过程60％的工作量) 数据缩减和变换找到有用的特征，维数缩减/变量缩减，不变量的表示。
选择数据挖掘的功能数据总结, 分类模型数据挖掘, 回归分析, 关联规则挖掘, 聚类分析等.⏹ 选择挖掘算法⏹ 数据挖掘: 寻找感兴趣的模式 ⏹ 模式评估和知识表示❑ 可视化，转换，消除冗余模式等等⏹运用发现的知识数据挖掘的主要方法 (1) 概念/类描述: 特性化和区分归纳，总结和对比数据的特性。
数据挖掘考试题及答案
数据挖掘考试题及答案一、单项选择题（每题2分，共20分）1. 数据挖掘的主要任务不包括以下哪一项？A. 分类B. 聚类C. 预测D. 数据清洗答案：D2. 以下哪个算法不是用于分类的？A. 决策树B. 支持向量机C. K-meansD. 神经网络答案：C3. 在数据挖掘中，关联规则挖掘主要用于发现以下哪种类型的模式？A. 序列模式B. 分类模式C. 频繁项集D. 聚类模式答案：C4. 以下哪个指标不是用于评估分类模型性能的？A. 准确率B. 召回率C. F1分数D. 马氏距离答案：D5. 在数据挖掘中，以下哪个算法是用于聚类的？A. K-meansB. 逻辑回归C. 随机森林D. 支持向量机答案：A6. 以下哪个选项不是数据挖掘过程中的步骤？A. 数据预处理B. 模式发现C. 结果评估D. 数据存储答案：D7. 在数据挖掘中，异常检测的主要目的是识别以下哪种类型的数据？A. 频繁出现的模式B. 罕见的模式C. 预测未来的数据D. 聚类的数据答案：B8. 以下哪个选项不是数据挖掘中常用的数据预处理技术？A. 数据清洗B. 数据集成C. 数据变换D. 数据压缩答案：D9. 在数据挖掘中，以下哪个算法是用于特征选择的？A. 主成分分析B. 线性判别分析C. 支持向量机D. 决策树答案：D10. 以下哪个选项不是数据挖掘中常用的数据表示方法？A. 决策树B. 向量空间模型C. 邻接矩阵D. 频率分布表答案：D二、多项选择题（每题3分，共15分）11. 数据挖掘中常用的聚类算法包括哪些？A. K-meansB. 层次聚类C. DBSCAND. 支持向量机答案：A、B、C12. 在数据挖掘中，以下哪些是关联规则挖掘的典型应用场景？A. 市场篮分析B. 异常检测C. 推荐系统D. 社交网络分析答案：A、C13. 数据挖掘中，以下哪些是分类模型评估的常用指标？A. 准确率B. 召回率C. ROC曲线D. 马氏距离答案：A、B、C14. 在数据挖掘中，以下哪些是特征工程的步骤？A. 特征选择B. 特征提取C. 特征变换D. 数据清洗答案：A、B、C15. 数据挖掘中，以下哪些是数据预处理的常见任务？A. 缺失值处理B. 异常值检测C. 数据规范化D. 数据压缩答案：A、B、C三、简答题（每题10分，共30分）16. 请简述数据挖掘中分类和聚类的主要区别。
雾的高考知识点
数据挖掘高考知识点数据挖掘在当今信息时代扮演着重要的角色，它是从大量数据中自动或半自动地探索出有价值的信息和模式的过程。
在高考中，数据挖掘的知识点也成为了考生们需要掌握的内容之一。
本文将介绍一些与数据挖掘相关的高考知识点。
一、统计学基础知识数据挖掘的基础是统计学，因此掌握一些统计学的基本概念和方法是非常重要的。
这包括概率、统计分布、假设检验等内容。
对于高考来说，要重点掌握的知识点包括概率的计算、正态分布的应用以及简单的假设检验。
二、数据预处理数据挖掘的第一步是对原始数据进行预处理，以便于后续的分析和挖掘。
在高考中，可能会涉及到数据的清洗、数据的变换和数据的归一化等操作。
清洗数据是为了去除其中的异常值和重复值，变换数据可以将非线性关系转化为线性关系，而归一化可以将数据统一到一定的区间范围内。
三、特征选择在数据挖掘中，选择合适的特征是非常重要的，因为特征的选择直接影响到最终模型的性能。
在高考中，可能会涉及到特征的评估和特征的选择。
特征的评估可以通过计算特征与目标变量之间的关联程度来进行，而特征的选择可以采用过滤式、包裹式或嵌入式等方法。
四、聚类分析聚类分析是数据挖掘中的一种常用方法，它将相似的对象归为一类，不相似的对象归为不同类别。
在高考中，可能会涉及到聚类分析的基本概念和方法，如K-means算法和层次聚类算法等。
理解聚类分析的原理和应用场景，能够帮助考生更好地理解数据挖掘的方法和思想。
五、分类与预测分类与预测是数据挖掘中的另一个重要任务，其目标是根据已有的数据对未知的数据进行分类或预测。
在高考中，可能会涉及到一些分类与预测的算法，如朴素贝叶斯算法、决策树算法和神经网络算法等。
掌握这些算法的原理和应用可以帮助考生在相关题目中做出正确的推理和判断。
六、关联规则挖掘关联规则挖掘是数据挖掘中的另一个重要任务，它可以从事务数据集中发现项集之间的关联关系。
在高考中，可能会涉及到Apriori算法和FP-growth算法等常用的关联规则挖掘算法。
数据挖掘高考知识点总结
数据挖掘高考知识点总结一、数据挖掘的概念和作用数据挖掘是指从大量的数据中发现隐藏的、有价值的信息和知识的过程。
通过对数据进行模式识别、关联分析、分类预测等方法，可以从中提取有用的知识，用于决策支持、市场营销、客户关系管理等方面。
二、数据挖掘的基本任务1. 分类任务：将数据分为不同的类别，用于预测未知数据的类别。
2. 聚类任务：将数据分成不同的组，使得组内的数据相似度较高，组间的相似度较低。
3. 关联规则挖掘：发现数据中不同属性之间的关联关系，用于推荐系统、交叉销售等。
4. 预测分析：将历史数据用于预测未来的趋势，包括时间序列分析、回归分析等。
三、数据挖掘的算法1. 分类算法：包括决策树、朴素贝叶斯、支持向量机等。
2. 聚类算法：包括K均值、层次聚类、密度聚类等。
3. 关联规则挖掘：包括Apriori算法、FP树算法等。
4. 预测分析算法：包括线性回归、时间序列分析、神经网络等。
四、数据挖掘的应用领域1. 金融领域：用于信用评估、风险管理、股票预测等。
2. 零售领域：用于推荐系统、交叉销售、库存管理等。
3. 医疗领域：用于疾病预测、药物研发、临床决策支持等。
4. 互联网领域：用于搜索引擎优化、广告投放、用户行为分析等。
五、数据挖掘的挑战和未来趋势1. 数据规模化：随着云计算和大数据技术的发展，数据量呈指数增长，数据挖掘面临大规模数据的处理和分析挑战。
2. 多源数据集成：来自不同领域、不同来源的数据需要进行集成和分析，需要解决数据的一致性和可信度问题。
3. 隐私保护：个人隐私保护和数据安全是数据挖掘面临的重要挑战，需要解决数据共享和隐私保护的平衡问题。
4. 智能化发展：随着人工智能技术的发展，数据挖掘将与机器学习、深度学习等技术结合，实现更智能化的数据分析和预测。
六、结语数据挖掘作为一种重要的数据分析方法，已经在各个领域得到广泛应用。
随着技术的进步和应用的深入，数据挖掘将会在未来发挥越来越重要的作用。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
术语解释
1、数据挖掘是在大型数据存储库中，自动地发现有用信息的过程
2、分类挖掘：
给定一个记录的集合（训练集）,每个记录包含一组属性，一个属性是类，找到一个类的属性与其他属性的值的函数模型。
目的：以前看不到的记录应尽可能准确地分配一个类。
通常情况下，给定的数据集分为训练集和测试集，训练集用于构建模型和测试集用于检验模型的准确性。
3、聚类分析仅根据在数据中发现的描述对象及其关系的信息，将数据对象分组。
其目标是，
组内的对象之间是相似的（相关的），而不同的组中的对象是不同的（不相关的）。
组内的相似性（同质性）越大，组间差别越大，聚类就越好。
4、关联规则分析用来发现描述数据库中强关联特征的模式。
给定事物的集合T，找出支持
度大于等于minsup并且置信度大于等于minconf的所有规则，其中minsup和minonf 是对应的支持度和置信度阈值。
5、异常检测的任务是识别其特征明显不同于其他数据的观测值。
6、预测性任务
目标是根据其他属性的值，预测特定属性的值。
7、描述任务
目标是导出概括数据中潜在联系的模式（相关、趋势、聚类、轨迹和异常）。
本质上，描述性数据挖掘任务通常是探查性的，并且常常需要后处理技术验证和解释结果。
8、事物数据是一种特殊类型的记录数据，其中每一个记录（事物）涉及一个项的集合。
9、时序数据可以看做记录数据的扩充，其中每个记录包含一个与之相关联的时间。
10、序列数据是一个数据集合，他是个体项的序列，如词或字母的序列，有序序列中有位置。
11、离散化问题就是决定选择多少个分割点和确定分割点位置的问题。
非监督离散化用于分离的离散化方法之间的根本区别在于是否使用类信息。
如果我们用不同组的不同对象被指派到相同分类值的程度来度量离散化技术的性
能，则K均值性能较好，其次是等频率，最后是等宽。
监督离散化基于熵的方法是目前最有前途的离散化方法之一。
区间的熵是区间纯度的度量，熵越小越好。
12、两个对象之间的相似度是这两个对象相似程度的数值度量。
13、相异度是这两个对象差异程度的数值度量。
14、离群点是在某种意义上具有不同于数据集中其他大部分数据对象的特征的数据对象，或
是相对于该属性的典型值不寻常的属性值。
简答题范围
1、数据库中知识发现过程
2、标称属性的值仅仅只是不同的名字，即标称值只提供足够的信息以区分对象，等于或不
等于。
例子：邮政编码、雇员ID号、眼球颜色、性别。
操作：众数、熵、列联相关、x2检测
序数属性的值提供足够的信息确定对象的序，大于或小于。
例子：矿石硬度、{好，较好，最好}、成绩、街道号码。
操作：中值、百分数、秩相关、游程检验】符号检验
相同点：统称分类的或定性的
不同点：有序跟无序？？
3、处理遗漏值
删除数据对象或属性如果一个数据集只有少量的对象具有遗漏值，则忽略它们可能是合算的，一种相关的策略是删除具有遗漏值的属性。
估计遗漏值如果属性是连续的，则可以使用最近邻的平均属性值；如果属性是分类的，则可以取最近的邻中常出现的属性值。
在分析时忽略遗漏值对于某属性，两个对象之一或两个对象都有遗漏值，则可以仅使用没有遗漏值的属性来计算相似性。
4、决策树是一种由结点和有向边组成的层次结构。
包含3种结点：根节点，内部结点，叶
节点。
在决策树中，每个叶节点都赋予一个类标号，非终结点包含属性测试条件，用以分开具有不同特性的记录。
举例：例如在根节点处，使用体温这个属性把冷血脊椎动物和恒温脊椎动物区别开来。
因为所有的冷血脊椎东区都是非哺乳动物，所以用一个类称号为非哺乳动物的叶节点作为根节点的右子女。
如果脊椎动物是恒温的，则接下来用胎生这个属性来区分哺乳动物与其他恒温动物（主要是鸟类）。
5、混淆矩阵
又称“分类矩阵”，是用来显示评估分类模型的性能时其正确和错误预测的检验记录计数的一种可视化矩阵图。
可以得到准确率和错误率，以此检验模型的可信度，用以评估模型。
6、帮助减少频繁项集的产生时需要探查的候选项集个数。
7、支持度：给定数据集的频繁程度；
置信度：确定Y在包含X的事务中出现的频繁程度。
支持度通常用来删去那些不令人感兴趣的规则，可以用于关联规则的有效发现；置信度则通过规则进行推理的可靠性。
8、模糊聚类
当有数据集中的对象不能划分为明显分离的簇的时候，对每一个对象和簇赋予一个权值，指明该对象属于该簇的程度。
9、问题：K均值并不适合所有的数据类型，他不能处理非球形簇、不同尺寸和不同密度的
簇，尽管指定足够大的簇个数时他通常发现纯子簇。
对包含离群点的数据进行聚类时，K 均值也有问题。
最后，K均值仅限于具有中心（质心）概念的数据。
10、异常检测的一般方法：
①基于模型的技术：建立模型之后，异常是同那些模型不能完美拟合的对象；②基于邻
近度的技术：在对象之间定义邻近度量，异常是远离大部分对象的对象，也是距离上远离的点；③基于密度的技术：对象的密度估计可以相对的直接计算，低密度区域中的对象相对远离每一个近邻的点，可能看作异常。
大题？
1、基尼公式1-概率平方和
选择最佳划分的度量通常是根据划分后子女结点不纯性的程度。
不纯的程度越低类分布
就越倾斜
2、先验原理：如果一个项集是频繁的，则它的所有子集也一定是频繁的。
相反，如果一个
项集是非频繁的，则它所有的超集也一定是非频繁的。
频繁项集的产生：其目标是发现满足最小支持度阈值的所有项集
规则的产生：从上一步发现的频繁项集中提取所有高置信度的规则，可能规则总数为3d-2d+1+1
3、基本K均值算法：
选择K个点作为初始质心
Repeat
将每个点指派到最近的质心，形成K个簇
重新计算每个簇的质心
Until 质心不再发生变化
机械设备铁谱检测技术中的应用
在人类资源管理中的应用
在商业银行客户分类中的应用
二分K均值算法：
初始化簇表，使之包含由所有的点组成的簇
Repeat
从簇中取出一个簇{对选定的簇进行多次二分“试验”}
For i=1 to 试验次数do
使用基本K均值，二分选定的簇
End for
从二分试验中选则具有最小总SSE的两个簇
将这两个簇添加到簇表中
Until 簇表中包含K个簇。