数据挖掘概念与技术word版
(完整word版)数据挖掘_概念与技术(第三版)部分习题答案
1。
4 数据仓库和数据库有何不同?有哪些相似之处？答：区别:数据仓库是面向主题的，集成的,不易更改且随时间变化的数据集合，用来支持管理人员的决策,数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成，是面向操作型的数据库，是组成数据仓库的源数据.它用表组织数据，采用ER数据模型。
相似:它们都为数据挖掘提供了源数据，都是数据的组合.1。
3 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。
使用你熟悉的现实生活的数据库,给出每种数据挖掘功能的例子。
答：特征化是一个目标类数据的一般特性或特性的汇总。
例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩（GPA:Grade point aversge）的信息,还有所修的课程的最大数量。
区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。
例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较.最终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75％是四年级计算机科学专业的学生,而具有低GPA 的学生的65%不是。
关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件.例如,一个数据挖掘系统可能发现的关联规则为：major(X，“computing science”) ⇒owns(X，“personal computer”)［support=12%, confidence=98％] 其中，X 是一个表示学生的变量。
这个规则指出正在学习的学生，12％(支持度）主修计算机科学并且拥有一台个人计算机。
这个组一个学生拥有一台个人电脑的概率是98%（置信度，或确定度)。
分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型(或功能），而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值.它们的相似性是他们都是预测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用是预测缺失的数字型数据的值.聚类分析的数据对象不考虑已知的类标号。
数据挖掘概念与技术
数据挖掘概念与技术•数据挖掘概述o数据挖掘概念▪从大量数据中挖掘有趣模式和知识的过程。
数据源包括数据库、数据仓库、Web、其他信息储存库或动态流入系统的数据▪从数据中挖掘知识、数据中的知识发现（KDD）o知识发现过程▪（1）数据清理：消除噪声和删除不一致数据▪（2）数据集成：多种数据源可以组合在一起▪（3）数据选择：从数据中提取与分析与任务相关的数据▪（4）数据变换：通过汇总和聚集操作，把数据变换和统一成适合挖掘的形式▪（5）数据挖掘：基本步骤，使用智能方法提取数据模式▪（6）模式评估：根据某种兴趣度量，识别代表知识的真正有趣的模式▪（7）知识表示：使用可视化和知识表示技术，向用户提供可挖掘的知识o数据收集和数据库创建（20世纪60年代或更早）原始文件处理▪数据库管理系统（20世纪70年代-80年代初期）•高级数据库系统（20世纪80年代中期-现在）•高级数据分析（20世纪80年代后期-现在）o数据挖掘的数据类型▪数据库系统•组成o内部相关的数据（数据库）o管理和存取数据的软件程序▪定义数据库结构和数据储存，说明和管理并发、共享或分布式数据访问，面对系统瘫痪和未授权的访问，确保信息的一致性和安全性•关系数据库是表的汇集，每个表都被赋予一个唯一的名字•关系表中每个元组代表一个对象，被唯一的关键字标识，并被一组属性值描述•每个表都包含一组属性（列或字段），并且通常存放大量元组（记录或行）•通常为关系数据库构建语义数据模型，如实体—联系（ER）数据模型▪数据仓库•数据仓库是一个从多个数据源收集信息的信息储存库，存放在一致的模式下，并且通常驻留在单个站点上。
数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。
▪事务数据•一般地，事务数据库的每个记录代表一个事务，如顾客的一次购物，一个航班订票。
一个事务包含一个唯一的事务标识号（TransID)，以及一个组成事务的项（如购买的商品）的列表。
数据挖掘概念与技术
数据挖掘概念与技术
数据挖掘是一种分析和处理海量信息的技术。
它通过分析大量数据和信息，以发现新的模式和规律，为做出客观正确的决策和行动提供重要的支持。
数据挖掘的概念产生于20世纪70年代，当时由于大量用户使用系统及其应用程序而产生海量的数据，这些数据中富含着宝贵的信息和知识，仅供数据挖掘技术去发掘。
数据挖掘技术是一种跨越传统计算机技术和统计学的技术，数据挖掘过程需要涉及多个技术领域，包括大数据库技术、机器学习、知识发现、模式识别、统计学、网络数据分析、信息可视化、语义分析等。
它是一种在固定的数据集上执行的算法，用于快速发现重要的结构、关系及规律，发现这些结构、关系及规律后，可以将其用于实际的决策和行动。
数据挖掘技术有着极大的应用价值。
数据挖掘在实际应用中具有重要的意义，它可以帮助企业管理者更有效地分析企业数据集，从而获得有价值的洞察力。
数据挖掘也可以用于个性化推荐，在推荐系统中，数据挖掘技术可以分析用户的历史行为，根据当下用户的兴趣，为用户提供更加准确、个性化的内容推荐。
此外，数据挖掘技术还可以用于市场细分，市场细分把消费者划分成不同的类别，以适应市场营销策略，数据挖掘技术可以分析关联数据，从而有效不同类别的消费者，从而有效地实现市场细分。
总之，数据挖掘技术具有广泛的应用，它可以为企业、组织和个人提供重要的决策支持，有助于企业制定更有效的企业管理战略，有
助于个人更好地了解自己，从而能够做出更加明智的决策。
随着现代科技的发展，数据挖掘技术的应用也将会越发广泛和深入，未来将会带来更多的发展空间。
数据挖掘的概念与技术介绍
数据挖掘的概念与技术介绍数据挖掘的概念与技术介绍数据挖掘是指从大量的数据中发现隐藏在其中的有价值的信息、模式和规律的过程。
随着互联网时代的到来，越来越多的数据被收集和存储，数据挖掘成为了从这些海量数据中获取洞察和知识的重要工具。
本文将围绕数据挖掘的概念和技术展开讨论，帮助读者深入理解数据挖掘的核心要素和方法。
一、数据挖掘的概念1.1 数据挖掘的定义数据挖掘是一种通过自动或半自动的方式，从大量的数据中发现有用的信息、模式和规律的过程。
通过应用统计学、机器学习和人工智能等技术，数据挖掘可以帮助人们从数据中进行预测、分析和决策。
1.2 数据挖掘的目标数据挖掘的主要目标是从数据中发现隐藏的模式和规律，并将这些知识应用于实际问题的解决。
数据挖掘可以帮助企业提高市场营销的效果、改进产品设计、优化生产过程等。
数据挖掘也被广泛应用于科学研究、金融风险分析、医学诊断等领域。
1.3 数据挖掘的流程数据挖掘的流程通常包括数据收集、数据预处理、模型构建、模型评估和模型应用等步骤。
其中，数据预处理是数据挖掘流程中非常重要的一环，它包括数据清洗、数据集成、数据变换和数据规约等子任务。
二、数据挖掘的技术2.1 关联规则挖掘关联规则挖掘是数据挖掘的一个重要技术，它用于发现数据集中的项之间的关联关系。
通过挖掘关联规则，可以发现数据中隐藏的有用信息，如购物篮分析中的“啤酒和尿布”现象。
2.2 分类与回归分类与回归是数据挖掘中常用的技术，它们用于对数据进行分类或预测。
分类是指根据已有的样本数据，建立分类模型，然后将新的数据实例分到不同的类别中。
回归则是根据数据的特征和已知的输出值，建立回归模型，然后预测新的数据实例的输出值。
2.3 聚类分析聚类分析是一种将数据分成不同的类别或簇的技术。
通过发现数据之间的相似性，聚类可以帮助人们理解数据的内在结构和特点。
聚类分析在市场细分、社交网络分析等领域具有广泛的应用。
2.4 异常检测异常检测是指从数据中识别出与大多数数据显著不同的样本或模式。
数据挖掘 概念与技术
数据挖掘概念与技术数据挖掘概念与技术一、概念介绍数据挖掘是一种通过自动或半自动的手段，从大量数据中发现有用信息的过程。
它结合了多个领域的知识，如统计学、机器学习、人工智能、数据库技术等，旨在寻找隐藏在数据背后的规律和模式，以便做出更好的决策和预测。
二、数据挖掘技术1. 数据预处理数据预处理是指在进行数据挖掘之前对原始数据进行清洗和转换，以便更好地应用于后续分析。
常见的预处理方法包括缺失值填充、异常值处理、特征选择等。
2. 分类与回归分类和回归是两种最常用的数据挖掘技术。
分类是指将事物分为不同类别或标签，例如将电子邮件分为垃圾邮件和非垃圾邮件。
回归则是用来预测数值型变量，例如预测房价或股票价格。
3. 聚类分析聚类分析是一种无监督学习方法，它将相似的对象分组在一起，并将不相似的对象分开。
聚类可以帮助我们发现新的模式和关系，也可以用于数据压缩和降维。
4. 关联规则挖掘关联规则挖掘是一种发现数据集中项之间关系的方法。
例如，在购物篮分析中，我们可以使用关联规则挖掘来发现哪些商品经常被一起购买。
5. 异常检测异常检测是一种寻找异常值的方法。
异常值可能是数据输入错误或者表示了真实世界中的一个重要事件。
异常检测可以帮助我们发现这些重要事件并且对其进行进一步分析。
三、应用场景数据挖掘技术已经广泛应用于各个领域，如金融、医疗、电子商务等。
以下是一些具体的应用场景：1. 市场营销通过对大量客户数据进行分析，可以识别出潜在客户和他们的需求，并设计相应的市场营销策略。
2. 风险管理金融机构可以使用数据挖掘技术来预测贷款违约风险和股票价格波动，并采取相应的风险管理策略。
3. 医疗领域医疗机构可以使用数据挖掘技术来预测患者病情和治疗效果，并优化诊断和治疗方案。
4. 电子商务电子商务平台可以使用数据挖掘技术来个性化推荐商品和服务，提高用户满意度和销售额。
四、未来发展趋势数据挖掘技术正不断发展和完善，以下是一些未来的发展趋势：1. 深度学习深度学习是一种基于神经网络的机器学习方法，它可以自动从数据中提取特征，并在大规模数据上获得更好的性能。
数据挖掘概念与技术
识别顾客需求
对不同的顾客识别最好的产品 使用预测发现什么因素影响新顾客
2
*
法人分析和风险管理
*
竞争:
03
管理竞争者和市场指导 对顾客分类和基于类的定价 在高度竞争的市场调整价格策略
资源规划 :
02
资源与开销的汇总与比较
01
现金流分析和预测 临时提出的资产评估 交叉组合(cross-sectional) 和时间序列分析 (金融比率(financial-ratio), 趋势分析, 等.)
天文
IBM Surf-Aid 将数据挖掘算法用于有关交易的页面的Web访问日志, 以发现顾客喜爱的页面, 分析Web 销售的效果, 改进Web 站点的组织, 等.
Internet Web Surf-Aid
贰
壹
叁
*
数据挖掘过程
*
数据挖掘：KDD的核心.
数据清理
03
数据集成
数据库
数据仓库
知识
任务相关数据
检测电话欺骗
分析家估计, 38%的零售业萎缩是由于不忠诚的雇员造成的.
零售
*
其它应用
*
IBM Advanced Scout分析NBA的统计数据 ( 阻挡投篮, 助攻, 和犯规 ) 获得了对纽约小牛队(New York Knicks)和迈艾米热队( Miami Heat )的竞争优势
运动
借助于数据挖掘的帮助,JPL 和 Palomar Observatory 发现了22 颗类星体(quasars)
*
数据挖掘
01
数据库技术02源自统计学03其它学科
04
信息科学
05
机器学习
06
可视化
《数据挖掘简介》word版
数据挖掘简介数据挖掘简介2010-04-28 20：47数据挖掘数据挖掘(Data Mining)是采用数学、统计、人工智能和神经网络等领域的科学方法，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，为商业智能系统服务的各业务领域提供预测性决策支持的方法、工具和过程。
数据挖掘前身是知识发现(KDD)，属于机器学习的范畴，所用技术和工具主要有统计分析(或数据分析)和知识发现。
知识发现与数据挖掘是人工智能、机器学习与数据库技术相结合的产物，是从数据中发现有用知识的整个过程。
机器学习(Machine Learning)是用计算机模拟人类学习的一门科学，由于在专家系统开发中存在知识获取的瓶颈现象，所以采用机器学习来完成知识的自动获取。
数据挖掘是KDD过程中的一个特定步骤，它用专门算法从数据中抽取模式(Patterns)。
1996年，Fayyad、Piatetsky-Shapiror和Smyth将KDD 过程定义为：从数据中鉴别出有效模式的非平凡过程，该模式是新的、可能有用的和最终可理解的；KDD是从大量数据中提取出可信的、新颖的、有效的，并能被人理解的模式的处理过程，这种处理过程是一种高级的处理过程。
数据挖掘则是按照既定的业务目标，对大量的企业数据进行探索，揭示隐藏其中的规律性，并进一步将其设计为先进的模型和有效的操作。
在日常的数据库操作中，经常使用的是从数据库中抽取数据以生成一定格式的报表。
KDD与数据库报表工具的区别是：数据库报表制作工具是将数据库中的某些数据抽取出来，经过一些数学运算，最终以特定的格式呈现给用户；而KDD则是对数据背后隐藏的特征和趋势进行分析，最终给出关于数据的总体特征和发展趋势。
报表工具能制作出形如"上学期考试未通过及成绩优秀的学生的有关情况"的表格；但它不能回答"考试未通过及成绩优秀的学生在某些方面有些什么不同的特征"的问题，而KDD就可以回答。
数据挖掘的基本概念和技术
数据挖掘的基本概念和技术数据挖掘是从大量的数据中获取有价值的信息和模式的过程。
它是一种用于发现隐藏在数据背后的关联、规律和趋势的技术。
数据挖掘在商业、科学、金融等领域具有广泛的应用，可以帮助我们做出决策、预测未来趋势和分析数据。
一、数据挖掘的基本概念数据挖掘的基本概念包括数据预处理、模型选择、模型训练和模型评估等几个方面。
1. 数据预处理数据预处理是数据挖掘中非常重要的一步。
它包括数据清洗、数据集成、数据转换和数据规约等过程。
数据清洗是指去除无用、重复或错误数据；数据集成是将多个数据源整合成一个统一的数据集；数据转换是将原始数据转换成适合挖掘的形式；数据规约是通过数据压缩和抽样等方式减少数据量，提高挖掘效率。
2. 模型选择在数据挖掘过程中，需要选择适合问题的挖掘模型。
常见的模型包括分类、聚类、关联规则挖掘等。
分类模型用于预测离散型的目标变量，聚类模型用于将相似的数据对象归为一类，关联规则挖掘用于发现数据项之间的关联关系。
3. 模型训练模型训练是指根据给定的训练数据集，通过学习算法生成一个能够预测未知数据的模型。
在训练过程中，需要选择适当的学习算法，并对其进行参数调整。
常用的学习算法包括决策树、神经网络、支持向量机等。
4. 模型评估在获取模型后，需要对其进行评估，以判断其性能和准确性。
常用的评估指标包括准确率、召回率、精确率、F1值等。
评估结果可以帮助我们选择最优的模型，并进行针对性的改进。
二、数据挖掘的技术数据挖掘的技术包括分类、聚类、关联规则挖掘、时序模式挖掘等。
1. 分类分类是一种常见的数据挖掘技术，它通过学习已标记的训练样本，建立一个预测模型，用于预测未标记样本的类别。
分类模型可以应用于垃圾邮件过滤、疾病诊断等领域。
2. 聚类聚类是将相似的数据对象归为一类的数据挖掘技术。
聚类算法通过计算数据对象之间的相似度，将相似的对象归为同一类别。
聚类可以帮助我们发现数据的潜在结构和群组。
3. 关联规则挖掘关联规则挖掘用于发现数据项之间的关联关系。
数据挖掘的基本概念
数据挖掘的基本概念数据挖掘的基本概念数据挖掘是一种从大量数据中提取有用信息的过程。
它是一种利用计算机技术和统计学方法来分析数据并发现其中规律和模式的过程。
在当今信息爆炸的时代，数据挖掘已成为企业、政府和科学研究等领域中不可或缺的工具。
一、数据挖掘的定义数据挖掘是指从大量数据中自动或半自动地发现非显然、有效且新颖的模式和关系的过程，也可以理解为对大量数据进行分析，以发现其中隐藏的规律和趋势。
二、数据挖掘的目标1. 预测性任务：通过历史数据来预测未来事件。
2. 描述性任务：通过对现有数据进行分析，得出对于该领域或问题相关变量之间关系描述。
三、数据挖掘的步骤1. 数据预处理：包括去除异常值、填补缺失值、特征选择等。
2. 数据转换：将原始数据转换成可用于建模或分析的形式，如数值化、离散化等。
3. 模型构建：根据问题类型和目标选择适当算法，并进行参数调整。
4. 模型评估：使用测试数据集来评估模型的性能。
5. 模型应用：将模型应用于新数据，得出预测结果或新的知识。
四、数据挖掘的技术1. 分类：对分类问题进行建模，如决策树、朴素贝叶斯等。
2. 聚类：对无标签数据进行分组，如k-means聚类、层次聚类等。
3. 关联规则挖掘：发现数据中的关联规则，如Apriori算法等。
4. 异常检测：发现不符合预期的数据点，如LOF算法、孤立森林算法等。
5. 时间序列分析：分析时间序列数据中的趋势和周期性变化，如ARIMA模型等。
五、数据挖掘在实际中的应用1. 金融领域：风险评估、信用评估等。
2. 零售业：市场细分、推荐系统等。
3. 医疗领域：疾病诊断、药物研发等。
4. 社交网络领域：社交网络分析、舆情监测等。
六、数据挖掘面临的问题1. 数据隐私保护问题2. 数据质量问题3. 模型可解释性问题七、数据挖掘的发展趋势1. 深度学习技术的应用2. 大数据处理技术的发展3. 可解释性机器学习的研究结语：数据挖掘是一种强大的工具，它可以帮助我们从海量数据中提取出有价值的信息，为我们提供更好的决策支持和业务优化。
数据挖掘概念与技术
i1 j1
第四课 决策树
一、关联规则挖掘相关理论
2、 信息论基本原理
4) 条件熵
mn
H (X /Y )
p(xi y j ) log2 p(xi / y j )
j1 i1
m
n
P( y j ) p(xi / y j ) log2 p(xi / y j )
j 1
i 1
第四课 决策树
二、关联规则简单案例
3、蔬菜案例分类树如下：
颜色
红紫
绿
番茄
茄子
黄瓜
第四课 决策树
三、关联规则稍复杂案例
1、分类树属性选择度量标准
信息增益——Information gain （ID3） 增益比率——Gain ration（C4.5） 基尼指数——Gini index (SLIQ，SPRINT)
数据挖掘概念与技术
第一课 分类
一、数据挖掘及知识的定义
1、数据挖掘定义：从大量数据中提取或“挖掘”知识； 2、数据挖掘技术：分类、预测、关联和聚类等； 3、数据挖掘过程：数据的清理、集成、选择、变换、挖掘、模型评估、知 识表示； 4、知识定义：知识就是“压缩”－浓缩就是精华！
1）Occam Razor:因不宜超出果之需！
计原理为分类原则、竞争学习与自组织特征图。
第三课 聚类分析
一、聚类分析定义、特征、应用及评估
2、聚类与分类的区别 1）聚类所要划分的类未知，而分类要划分的类已知； 2）聚类不依赖预先定义的类和带类标号的训练实例，因此它是观察式
的学习，而不是示例学习； 3）聚类的有监督与分类的无监督的区别。
3、聚类分析的应用：是一种重要的数据挖掘方法，广泛应用于信用卡欺 诈、定制市场（移动客户划分及定价等）、医疗分析。特别是孤立点的挖掘与分 析，有着重要的实际应用。
数据挖掘介绍范文
数据挖掘介绍范文
一、数据挖掘的定义
数据挖掘，又称数据深度挖掘，是一种基于大数据的分析与挖掘的技术，通过使用复杂的算法从海量数据中挖掘出有价值的信息，并将这些信
息用于决策、建模等多种用途。
数据挖掘可以说是一种从大量数据中发现
隐藏知识、发掘隐藏关联的一种数据分析技术。
可以将数据挖掘看作是从
巨量数据中挖出更好知识的一种工具，它能够帮助挖掘更多有价值的信息，包括数据的潜在规律和趋势等。
二、数据挖掘技术
数据挖掘技术通常可以概括分为四大部分：
1、描述性分析：通过计算不同的指标来对数据做描述性分析，以深
入了解数据的特征、变化、分布、分类等，从而发掘出特定的知识。
2、聚类分析：聚类分析是一种基于聚类技术的数据挖掘方法，它可
以将同一类数据集中聚合，从而挖掘潜在的关系，以提高数据分析的准确性。
3、预测分析：预测分析是一种针对未来趋势预测的数据挖掘方法，
它可以通过分析当前数据和历史资料，预测未来可能发生的现象，从而帮
助管理者做出决策。
4、关联分析：关联分析是利用数据挖掘技术挖掘大数据集中的相关
数据关系，以便找出影响因素。
韩家炜-数据挖掘概念与技术-第1章
1.1.2 数据挖掘是信息科技的进化
数据挖掘技术可以被发展的几个阶段： 数据收集和数据库创建、数据管理（数据存储， 检索和数据库事务处理）、高级数据分析（数据 仓库和数据挖掘）。
从1960年开始，数据库和信息科技开始从 最初的文件处理系统进化到更复杂和功能更强大 的数据库系统。
• 这个领域是年轻、动态变化并且前景乐观 的。
• 数据挖掘正在并且将会持续的将我们大踏 步的从数据时代跃入即将到来的信息时代。
• 举例1.1 数据挖掘将一个大数据集转化成知识
– 搜索引擎（例如google)每天接收到数以亿计的查询请 求。每一个请求都看成是用户描述他（她）需要的信 息的一个事务。搜索引擎能从如此巨大的查询请求的 数据集中学习到什么样新的有用的知识呢？
关系数据库是一系列的表，表都有表名，一系 列的属性，和一系列的记录。关系数据库可以通 过数据库查询语句来检索记录。
对关系数据库挖掘时，是想要发现趋势或者数 据模式。比如，分析客户数据预测新用户的信用 风险，基于他们的收入、年龄和以前的信用信息。 还可以用来发现差异，比如，发现包装商品或者 显著提升价格的变化。
• 1.4 What kinds of Patterns Can be Mined? • 1.5 Which Technologies Are Used? • 1.6 Which Kinds of Applications Are Target? • 1.7 Major Issues in Data Mining • 1.8 Summary
数据描述
数据描述是总结目标类别数据的一般特征。 数据一般通过查询来收集。例如，想研究上一 年销售额增长了10%的软件产品，可以通过SQL查询语 句来进行。 有多种数据描述的方法。可以使用基于统计测 量和散点图的简单数据总结。基于数据立方的OLAP操 作可以使用在特定维度空间的用户控制的数据摘要。 面向属性的归纳技术也可以用来描述数据。 描述的结果可以通过多种图表展现，包括饼图、 柱状图、曲线、高维数据立方体和多维表、交叉表等。 也可以使用规则形式的广义关系来表示。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
摘要随着计算机和网络的发展，对于大数据需要数据分析，在分析数据的时候，数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。
本文主要综述了数据挖掘中常用的一些关联规则，分类和聚类的算法。
关键字：数据挖掘；分类；聚类；关联规则1 引言1.1 数据挖掘介绍近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。
获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等[1]。
数据挖掘出现于20世纪80年代后期，是数据库研究中一个很有应用价值的新领域，是一门交叉性学科，融合了人工智能、数据库技术、模式识别、机器学习、统计学和数据可视化等多个领域的理论和技术．数据挖掘作为一种技术，它的生命周期正处于沟坎阶段，需要时间和精力去研究、开发和逐步成熟，并最终为人们所接受。
20世纪80年代中期，数据仓库之父W．H．In-mon在《建立数据仓库》(Building the Data Warehouse)一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、时变的以及非易失的数据集合。
与其他数据库应用不同的是，数据仓库更像一种过程—对分布在企业内部各处的业务数据的整合、加工和分析的过程。
传统的数据库管理系统(database management system，DBMS)的主要任务是联机事务处理(on-line transaction processing，OLTP)；而数据仓库则是在数据分析和决策方面提供服务，这种系统被称为联机分析处理(on-line analyticalprocessing，OLAP)．OLAP的概念最早是由关系数据库之父E．F．Codd于1993年提出的。
当时，Codd认为OLTP已不能满足终端用户对数据库查询分析的需要，结构化查询语言(structured query language，SQL)对数据库进行的简单查询也不能满足用户分析的需求．用户的决策分析需要对关系数据库进行大量计算才能得到结果，因此Codd提出了多维数据库和多维分析的概念[2]。
数据挖掘(Data Mining)，就是从存放在数据库，数据仓库或其他信息库中的大量的数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。
数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。
知识发现过程以下三个阶段组成：(1) 数据准备，(2)数据挖掘，(3) 结果表达和解释。
数据挖掘可以与用户或知识库交互。
数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估计和假设检验，(2) 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。
数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。
一些其他领域也起到重要的支撑作用。
特别地，需要数据库系统提供有效的存储、索引和查询处理支持。
源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。
分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。
因此，数据挖掘被信息产业界认为是数据库系统最重要的前沿之一，是信息产业最有前途的交叉学科。
1.2数据挖掘常用方法[3]数据挖掘系统利用的技术越多，得出的结果的精确性越高。
原因很简单，对于某一种技术不适用的问题，其他方法却可能奏效。
这主要取决于问题的类型以及数据的类型和规模。
数据挖掘设涉及的学科领域和方法很多，有多种分类法。
根据挖掘任务，可分为分类、预测、聚类、关联规则、异常和趋势发现等。
根据挖掘方法。
可分为统计方法和机器学习方法。
统计方法包含回归分析、判别分析、聚类分析、探索性分析等、机器学习包含神经网络、集成学习、基于案例学习、遗传算法等。
数据挖掘的方法，常用的有分类、聚类、关联、预测。
2关联规则2.1 Apriori算法关联规则的挖掘分为两步：(1)找出所有频繁项集；(2)由频繁项集产生强关联规则。
而其总体性能由第一步决定。
在搜索频繁项集的时候，最简单、基本的算法就是Apriori算法。
它是R.Agrawal和R.Srikant于1994年提出摄的为布尔关联规则挖掘频繁项集的原创性算法。
算法的名字基于这样一个事实：算法使用频繁项集性质的先验知识。
Apriori使用一种称作逐层搜索的迭代方法，k项集用于探索（k+1）项集。
首先，通过扫描数据库，累积每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。
该集合记作L1。
然后，L1用于找频繁2项集的集合L2，L2用于找L3，如此下去，直到不能再找到频繁k项集。
找每个Lk需要一次数据库全扫描。
为提高频繁项集逐层产生的效率，一种称作Apriori性质的重要性质用于压缩搜索空间。
Apriori性质：频繁项集的所有非空子集也必须是频繁的。
Apriori性质基于如下观察。
根据定义，如果项集I不满足最小支持度阈值min_sup，则I 不是频繁的，即P(I)<min_sup。
如果项A添加到项集I，则结果项集（即I1_A）不可能比I 更频繁出现。
I1_A也不是频繁的，即P(I1_A)<min_sup。
2.2 FP-Tree算法在上面介绍的Apriori算法中，由于Apriori方法的固有的缺陷还是无法克服，即使进行了优化，其效率也仍然不能令人满意。
Han Jiawei等人提出了基于频繁模式树（Frequent Pattern Tree，简称为FP-Tree）的发现频繁项目集的算法FP-growth。
这种方法在经过第一遍扫描之后，把数据库中的频繁项目集压缩成一棵频繁模式树，同时依然保留其中的管理信息。
随后再将FP-Tree分化成一些条件库，每个库和一个长度为L的频繁项目集相关，然后再对这些条件库分别进行挖掘。
当原始数据库很大时，也可以结合划分的方法使得一个FP-Tree可以放入主存中。
实验证明，FP-growth对不同长度的规则都有很好的适应性，同时在效率上较Apriori算法有巨大的提高。
这个算法只进行两次数据库扫描，它不使用候选项目集，直接压缩数据库成一个频繁模式树，最后通过这棵树生成关联规则。
3聚类分析3.1划分方法3.1.1 k-means（K均值）聚类k均值算法以k为输入，把n个对象的集合分成k个簇。
首先，随机选择k 个对象，每个对象代表一个簇的初值均值或中心，对剩余的每个对象，根据其与各个簇均值的距离，将其指派到最相似的簇中。
然后计算每个簇的新的均值，重复这个过程，直到准则函数的值收敛。
其中，E是数据集中所有对象的平方误差和，P是空间中的点，表示给定对象，mi是簇ci的均值，换句话说，对于每个簇中的每个对象，求其到其簇中心距离的平方，然后求和。
3.1.2 k-medoids（K中心）聚类k均值对离群点是敏感的，一个具有很大的极端值的对象可能会显著扭曲簇的分布，平方误差函数的使用更是严重恶化了这种敏感性。
当不采用簇中对象的均值作为参照点，而是在每个簇中选取一个实际的对象来代表该簇。
其余的每个对象聚类到与其最相似的代表性的对象所在的簇中。
这样，划分方法仍然基于最小化对象与其对应的参照点之间的相异度之和的原则来执行。
3.1.3 EM算法EM（Expectation-maximization algorithm）算法是在概率模型中寻找参数最大似然估计或者最大后验估计算法，其中概率模型依赖于无法观测的隐藏变量。
最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E 步上求得的最大似然值来计算参数的值。
M步上找到的参数估计值被用于下一个E 步计算中，这个过程不断交替进行。
3.2层次方法层次聚类算法，它是通过将数据组织为若干组并形成一个相应的树来进行聚类的。
根据层次是自底向上还是自顶而下形成，层次聚类算法可以进一步分为凝聚型的聚类算法和分裂型的聚类算法。
一个完全层次聚类的质量由于无法对已经做的合并或分解进行调整而受到影响。
但是层次聚类算法没有使用准则函数，它所含的对数据结构的假设更少，所以它的通用性更强。
常见的层次方法有：凝聚的和分裂的层次聚类、BIRCH算法、代表点聚类、变色龙算法3.3其他聚类分析方法除了以上分析方法，常用的还有基于密度的方法、基于网格的方法、基于模型的聚类方法、孤立点分析等。
4分类4.1决策树分类分类算法是数据挖掘技术中一个重要组成部分。
分类任务就是通过学习得到一个目标函数，该目标函数能把数据库中的数据项映射到给定类别中的某一个。
目标函数也称为分类模型，分类模型可运用于描述性建模和预测性建模。
分类技术是一种根据输入数据建立分类模型的系统方法。
决策树是一种非常经典的分类算法，经过数据集的训练，能够高效的判断出一个数据项所属的类别。
决策树技术主要用于分类和预测，是一种有监督的学习，能提前给定一定类别和数据集合。
决策树是一颗树形的数据结构，它即可以是多叉树也可以是二叉树。
决策树实际上是一种基于贪心策略构造的，每次选择的都是最优的属性进行分裂。
它采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较并根据不同属性判断从该节点向下的分支，在决策树的叶节点得到结论。
常见的决策树分类算法有ID3、C4.5（C5.0）、CART、PUBLIC、SLIQ、CART、CN2、SPRINT等。
4.2神经网络人工神经网络（ANN）是在现代神经科学研究成果的基础上提出的。
神经网络模拟人类的神经元功能，从结构上模仿生物的神经网络，经过输入层、隐藏层、输出层等，对数据进行调整、计算，最后得到结果。
是一种通过训练来学习的非线性预测模型，可以完成分类、聚类、特征挖掘、回归分析等多种数据挖掘任务。
人工神经网络的特点有如下特点：1、可以充分逼近任意复杂的非线性关系；2、所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；3、采用并行分布处理方法，使得快速进行大量运算成为可能；4、可学习和自适应不知道或不确定的系统；5、能够同时处理定量、定性知识。
4.3粗糙集粗糙集首先从新的视角对知识进行了定义。
把知识看作是关于论域的划分，从而认为知识是具有粒度〔granularity〕的。
认为知识的不精确性是由知识粒度太大引起的。
为处理数据〔特别是带噪声、不精确或不完全数据〕分类问题提供了一套严密的数学工具，使得对知识能够进行严密的分析和操作。