数据挖掘PPT
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
任务：根据花的特征预测花的种类 数据集：iris数据集 (/ml/datasets/Iris) 数据描述： 鸢尾花(iris)数据集包含150种鸢尾花的信息，每50种取自三 个鸢尾花种之一：setosa,versicolour和virginica,每个花的 特征用下面5种属性描述： 1、萼片长度（厘米） 2、萼片宽度（厘米） 3、花瓣长度（厘米） 4、花瓣宽度（厘米） 5、类（setosa,versicolour,virginica）
KDD过程（续）
9.知识评价：将发现的知识以用户能了解 的方式呈现给用户。 在上述步骤中，数据挖掘占据非常重要的 地位，它主要是利用某些特定的知识发现 算法，在一定的运算效率范围内，从数据 中发现出有关知识，决定了整个KDD过程 的效果与效率。
Topic 2:数据挖掘任务举例
任务分类
数据挖掘任务有两类： 第一类是预测性挖掘任务：在当前数据上 进行推断，以进行预测； 第二类是描述性挖掘任务：刻划数据库中 数据的一般特性（相关、趋势、聚类、异 常…）。
KDD过程（续）
3.数据预处理：对步骤2中选出的数据进行再处理， 检查数据的完整性及数据一致性，消除噪声，滤 除与数据挖掘无关的冗余数据，根据时间序列和 已知的变化情况，利用统计等方法填充丢失的数 据。 4.数据变换：根据知识发现的任务对经过预处理 的数据进行再处理，主要是通过投影或利用数据 库的其他操作减少数据量。
高级算法 多处理器计算机 海量数据库
提供预测性的信息
KDD的出现
基于数据库的知识发现（KDD）一词首次 出现在1989年举行的国际人工智能联合大会 IJCAI-89 Workshop。 1995年在加拿大蒙特利尔召开了第一届 1995 KDD国际学术会议（KDD’95）。 由Kluwers Publishers出版，1997年创刊的 《Knowledge Discovery and Data Mining》 是该领域中的第一本学术刊物。
主要内容
第一部分：数据挖掘导论 第二部分：核心课题 1、分类 2、聚类 3、关联规则 第三部分：高级课题 金融数据挖掘
考核方式
平时作业（含考勤，70%）+ 课程项目（30%） 作业检查采用逐个答辩方式 工具选择： weka（一种开源数据挖掘工具） weka matlab java c/c++ …
注意：这些规则不能对所有的花进行分类，但对大 多数花都能很好地进行分类。
2、关联分析（association analysis）
用来发现描述数据中强关联特征的模式。所发现 的模式通常用蕴涵规则或特征子集的形式表示。 关联分析的目标是以有效的方式提取最有趣的模 式。 例： 找出相关功能的基因组 识别一起访问的web页面 理解地球气候系统不同元素之间的联系
技术上的定义 商业角度的定义
技术上的定义
数据挖掘（Data Mining）就是从大量 的、不完全的、有噪声的、模糊的、 随机的实际应用数据中，提取隐含在 其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程。
商业角度的定义
数据挖掘是一种新的商业信息处理 技术，其主要特点是对商业数据库 中的大量业务数据进行抽取、转换、 分析和其他模型化处理，从中提取 辅助商业决策的关键性数据。
图中给出鸢尾花数据集中150种花的花瓣宽度与花瓣长度的对比图。 花瓣宽度分成low、medium、high三类，花瓣长度也分成low、 medium、high三类 蓝色图例：setosa 红色图例：versicolour 绿色图例：virginica
得到规则
花瓣宽度和花瓣长度为low setosa 花瓣宽度和花瓣长度为medium versicolour 花瓣宽度和花瓣长度为high virginica
Topic 1:数据挖掘介绍
内容提要
A. B. C.
数据挖掘的由来 数据挖掘的应用 什么是数据挖掘
A. 数据挖掘的由来
背景 网络之后的下一个技术热点 数据爆炸但知识贫乏 从商业数据到商业信息的进化
1. 背景
人类已进入一个崭新的信息时代 数据库中存储的数据量急剧膨胀 需要从海量数据库和大量繁杂信息中提取有价值 的知识，进一步提高信息的利用率 产生了一个新的研究方向：基于数据库的知识发 现（Knowledge Discovery in Database），以及相 应的数据挖掘（Data Mining）理论和技术的研究
使直邮的回应率提高了100％
零售商店
GUS日用品零售商店需要准确 的预测未来的商品销售量，降 低库存成本。。。。。。
通过数据挖掘的方法使库存成本比原 来减少了3.8%
税务局
美国国内税务局需要提高对 纳税人的服务水平。。。。 。。
合理安排税务官的工作，为纳税人提供 更迅捷、更准确的服务
银行
金融事务需要搜集和处理大量的数据，由 于银行在金融领域的地位、工作性质、业 务特点以及激烈的市场竞争决定了它对信 息化、电子化比其它领域有更迫切的要求。 利用数据挖掘技术可以帮助银行产品开发 部门描述客户以往的需求趋势，并预测未 来。美国商业银行是发达国家商业银行的 典范，许多地方值得我国学习和借鉴。
数据挖掘工具
数据矿山
信息金块
2. 网络之后的下一个技术热点
大量信息在给人们带来方便的同时也带来 了一大堆问题：
信息过量，难以消化 信息真假难以辨识 信息安全难以保证 信息形式不一致，难以统一处理
3. 数据爆炸但知识贫乏
随着数据库技术的迅速发展以及数据库管 理系统的广泛应用，人们积累的数据越来 越多。目前的数据库系统可以高效地实现 数据的录入、查询、统计等功能，但无法 发现数据中存在的关系和规则，无法根据 现有的数据预测未来的发展趋势。缺乏挖 掘数据背后隐藏的知识的手段，导致了 “数据爆炸但知识贫乏”的现象。
“在新英格兰的分 部去年三月的销售 额是多少？ 额是多少？波士顿 据此可得出什么结 论？”
联机分析处理(OLAP) 联机分析处理(OLAP) 多维数据库 数据仓库
在各种层次上提供 回溯的、 回溯的、动态的数 据信息
数据挖掘 正在流行） （正在流行）
“下个月波士顿的 销售会怎么样？ 销售会怎么样？为 什么？ 什么？”
KDD过程（续）
5.确定KDD目标：根据用户的要求，确定 KDD要发现的知识类型。因为对KDD的不 同要求会在具体的知识发现过程中采用不 同的知识发现算法。如分类、总结、关联 规则、聚类等。 6.选择算法：根据确定的任务选择合适的 知识发现算法，包括选取合适的模型和参 数。
KDD过程（续）
7.数据挖掘：这是整个KDD过程中很重要的一个 步骤。运用前面选择的算法，从数据库中提取用 户感兴趣的知识，并以一定的方式表示出来（如 产生式规则等）是数据挖掘的目的。 8.模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。经过用户或机器评估后，可 能会发现这些模式中存在冗余或无关的模式，此 时应该将其剔除。如果模式不能满足用户的要求， 就需要返回到前面的某些处理步骤中反复提取。
银行
汇丰银行需要对不断增长的 客户群进行分类，对每种产 品找出最有价值的客户。。 。。。。
营销费用减少了30％
C.什么是数据挖掘
1、数据挖掘的定义 2、数据挖掘的过程
1、数据挖掘定义
数据挖掘是从大量数据中提取或“挖掘”知识。 与数据挖掘类似但稍有不同含义的术语有：
从数据库中发现知识（Knowledge Discovery from/in Database, KDD） 知识提取（Knowledge extract） 数据 /模式分析（Data / Model analysis ）。 数据考古 数据捕捞
随着大数据库的建立和海量数据的不断涌现，必 然提出对强有力的数据分析工具的迫切需求。但 现实情况往往是“数据十分丰富，而信息相当贫 乏。” 快速增长的海量数据收集、存放在大型数据库中， 没有强有力的工具，理解它们已经远远超出人的 能力。因此，有人称之为：“数据坟墓”。 由于专家系统工具过分依赖用户或专家人工地将 知识输入知识库中，而且分析结果往往带有偏差 和错误，再加上耗时、费用高，故不可行。
四种主要的数据挖掘任务
1、预测建模（predictive modeling） a 分类 分类(classfication):用于预测离散的目标 变量 例如：预测一个web用户是否会在网上书店 买书 b 回归 回归(regression):用于预测连续的目标变 量 例如：预测某股票的未来价格
例1 预测花的类型
第1课 数据挖掘概论
卢焕达 信息处理与优化技术研究所
课程信息
教材
Margaret H.Dunham.数据挖掘教程,清华大学出版社
参考文献
Jiawei Han etc.数据挖掘:概念与技术(原书第2版) ,机械工 业出版社 Ian H.Witten etc.数据挖掘（实用机器学习技术），机械 工业出版社 Tom Mitchell.机器学习，机械工业出版社 Pang-ning Tan etc.数据挖掘导论，人民邮电出版社
Office Time
星期二、三下午：1:30~4:00
My MSN: huandalu@ My QQ: 957607866 My Email: huandalu@
内容提纲
Topic 1: 数据挖掘介绍 Topic 2: 数据挖掘任务举例 Topic 3: 基本工具和资源
数据访问 (80年代 年代) (80年代)
“在新英格兰的分 部去年三月的销售 额是多少？ 额是多少？”
关系数据库(RDBMS) 关系数据库(RDBMS) 结构化查询语言(SQL) 结构化查询语言(SQL) ODBC
在记录级提供历史 性的、 性的、动态数据信 息
数据仓库 决策支持 (90年代 年代) (90年代)
2、数据挖掘过程
解释/评价 知识 数据挖掘 变换
模式
预处理 变换后 数据 筛选 已预处理 数据 目标数据
数据
KDD过程（续）
1.数据准备：了解KDD应用领域的有关情 况。包括熟悉相关的背景知识，搞清用户 需求。 2.数据选取：数据选取的目的是确定目标 数据，根据用户的需要从原始数据库中选 取相关数据或样本。在此过程中，将利用 一些数据库操作对数据库进行相关处理。
4. 从商业数据到商业信息的进化
进化阶段 数据搜集 (60年代 年代) (60年代) 商业问题 “过去五年中我的 总收入是多少？ 总收入是多少？” 支持技术 产品厂家 IBM CDC Oracle Sybase Informix IBM Microsoft Pilot Comshare Arbor Cognos Microstrategy Pilot Lockheed IBM SGI 其他初创公司 产品特点 提供历史性的、 提供历史性的、静 态的数据信息 计算机、 计算机、磁带和磁盘
数据挖掘在银行领域的应用
美国银行家协会(ABA)预测数据仓库和数据挖 掘技术在美国商业银行的应用增长率是14.9％。 分析客户使用分销渠道的情况和分销渠道的容 量 ；建立利润评测模型；客户关系优化；风险 控制等
Mellon银行使用数据挖掘软件提高销售和定 价金融产品的精确度，如家庭普通贷款。 美国Firstar银行使用数据挖掘工具，根据客 户的消费模式预测何时为客户提供何种产 品。
数据挖掘的发展
1988
Expert Systems
1990
Expert Systems
1995
2004
…
…
数据挖掘是多学科的产物
数据库技术 统计学
机器学习
数据挖掘
可视化
人工智能
高性能计算
KDD已经成为人工智能研究热点
目前，关于KDD的研究工作已经被众多领 域所关注，如过程控制、信息管理、商业、 医疗、金融等领域。 作为大规模数据库中先进的数据分析工具， KDD的研究已经成为数据库及人工智能领 域研究的一个热点。
B. 数据挖掘的应用
电信 ：流失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健
电信
英国电信需要发布一种新的产品 ，需要通过直邮的方式向客户推 荐这种产品。。。。。。
KDD过程（续）
9.知识评价：将发现的知识以用户能了解 的方式呈现给用户。 在上述步骤中，数据挖掘占据非常重要的 地位，它主要是利用某些特定的知识发现 算法，在一定的运算效率范围内，从数据 中发现出有关知识，决定了整个KDD过程 的效果与效率。
Topic 2:数据挖掘任务举例
任务分类
数据挖掘任务有两类： 第一类是预测性挖掘任务：在当前数据上 进行推断，以进行预测； 第二类是描述性挖掘任务：刻划数据库中 数据的一般特性（相关、趋势、聚类、异 常…）。
KDD过程（续）
3.数据预处理：对步骤2中选出的数据进行再处理， 检查数据的完整性及数据一致性，消除噪声，滤 除与数据挖掘无关的冗余数据，根据时间序列和 已知的变化情况，利用统计等方法填充丢失的数 据。 4.数据变换：根据知识发现的任务对经过预处理 的数据进行再处理，主要是通过投影或利用数据 库的其他操作减少数据量。
高级算法 多处理器计算机 海量数据库
提供预测性的信息
KDD的出现
基于数据库的知识发现（KDD）一词首次 出现在1989年举行的国际人工智能联合大会 IJCAI-89 Workshop。 1995年在加拿大蒙特利尔召开了第一届 1995 KDD国际学术会议（KDD’95）。 由Kluwers Publishers出版，1997年创刊的 《Knowledge Discovery and Data Mining》 是该领域中的第一本学术刊物。
主要内容
第一部分：数据挖掘导论 第二部分：核心课题 1、分类 2、聚类 3、关联规则 第三部分：高级课题 金融数据挖掘
考核方式
平时作业（含考勤，70%）+ 课程项目（30%） 作业检查采用逐个答辩方式 工具选择： weka（一种开源数据挖掘工具） weka matlab java c/c++ …
注意：这些规则不能对所有的花进行分类，但对大 多数花都能很好地进行分类。
2、关联分析（association analysis）
用来发现描述数据中强关联特征的模式。所发现 的模式通常用蕴涵规则或特征子集的形式表示。 关联分析的目标是以有效的方式提取最有趣的模 式。 例： 找出相关功能的基因组 识别一起访问的web页面 理解地球气候系统不同元素之间的联系
技术上的定义 商业角度的定义
技术上的定义
数据挖掘（Data Mining）就是从大量 的、不完全的、有噪声的、模糊的、 随机的实际应用数据中，提取隐含在 其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程。
商业角度的定义
数据挖掘是一种新的商业信息处理 技术，其主要特点是对商业数据库 中的大量业务数据进行抽取、转换、 分析和其他模型化处理，从中提取 辅助商业决策的关键性数据。
图中给出鸢尾花数据集中150种花的花瓣宽度与花瓣长度的对比图。 花瓣宽度分成low、medium、high三类，花瓣长度也分成low、 medium、high三类 蓝色图例：setosa 红色图例：versicolour 绿色图例：virginica
得到规则
花瓣宽度和花瓣长度为low setosa 花瓣宽度和花瓣长度为medium versicolour 花瓣宽度和花瓣长度为high virginica
Topic 1:数据挖掘介绍
内容提要
A. B. C.
数据挖掘的由来 数据挖掘的应用 什么是数据挖掘
A. 数据挖掘的由来
背景 网络之后的下一个技术热点 数据爆炸但知识贫乏 从商业数据到商业信息的进化
1. 背景
人类已进入一个崭新的信息时代 数据库中存储的数据量急剧膨胀 需要从海量数据库和大量繁杂信息中提取有价值 的知识，进一步提高信息的利用率 产生了一个新的研究方向：基于数据库的知识发 现（Knowledge Discovery in Database），以及相 应的数据挖掘（Data Mining）理论和技术的研究
使直邮的回应率提高了100％
零售商店
GUS日用品零售商店需要准确 的预测未来的商品销售量，降 低库存成本。。。。。。
通过数据挖掘的方法使库存成本比原 来减少了3.8%
税务局
美国国内税务局需要提高对 纳税人的服务水平。。。。 。。
合理安排税务官的工作，为纳税人提供 更迅捷、更准确的服务
银行
金融事务需要搜集和处理大量的数据，由 于银行在金融领域的地位、工作性质、业 务特点以及激烈的市场竞争决定了它对信 息化、电子化比其它领域有更迫切的要求。 利用数据挖掘技术可以帮助银行产品开发 部门描述客户以往的需求趋势，并预测未 来。美国商业银行是发达国家商业银行的 典范，许多地方值得我国学习和借鉴。
数据挖掘工具
数据矿山
信息金块
2. 网络之后的下一个技术热点
大量信息在给人们带来方便的同时也带来 了一大堆问题：
信息过量，难以消化 信息真假难以辨识 信息安全难以保证 信息形式不一致，难以统一处理
3. 数据爆炸但知识贫乏
随着数据库技术的迅速发展以及数据库管 理系统的广泛应用，人们积累的数据越来 越多。目前的数据库系统可以高效地实现 数据的录入、查询、统计等功能，但无法 发现数据中存在的关系和规则，无法根据 现有的数据预测未来的发展趋势。缺乏挖 掘数据背后隐藏的知识的手段，导致了 “数据爆炸但知识贫乏”的现象。
“在新英格兰的分 部去年三月的销售 额是多少？ 额是多少？波士顿 据此可得出什么结 论？”
联机分析处理(OLAP) 联机分析处理(OLAP) 多维数据库 数据仓库
在各种层次上提供 回溯的、 回溯的、动态的数 据信息
数据挖掘 正在流行） （正在流行）
“下个月波士顿的 销售会怎么样？ 销售会怎么样？为 什么？ 什么？”
KDD过程（续）
5.确定KDD目标：根据用户的要求，确定 KDD要发现的知识类型。因为对KDD的不 同要求会在具体的知识发现过程中采用不 同的知识发现算法。如分类、总结、关联 规则、聚类等。 6.选择算法：根据确定的任务选择合适的 知识发现算法，包括选取合适的模型和参 数。
KDD过程（续）
7.数据挖掘：这是整个KDD过程中很重要的一个 步骤。运用前面选择的算法，从数据库中提取用 户感兴趣的知识，并以一定的方式表示出来（如 产生式规则等）是数据挖掘的目的。 8.模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。经过用户或机器评估后，可 能会发现这些模式中存在冗余或无关的模式，此 时应该将其剔除。如果模式不能满足用户的要求， 就需要返回到前面的某些处理步骤中反复提取。
银行
汇丰银行需要对不断增长的 客户群进行分类，对每种产 品找出最有价值的客户。。 。。。。
营销费用减少了30％
C.什么是数据挖掘
1、数据挖掘的定义 2、数据挖掘的过程
1、数据挖掘定义
数据挖掘是从大量数据中提取或“挖掘”知识。 与数据挖掘类似但稍有不同含义的术语有：
从数据库中发现知识（Knowledge Discovery from/in Database, KDD） 知识提取（Knowledge extract） 数据 /模式分析（Data / Model analysis ）。 数据考古 数据捕捞
随着大数据库的建立和海量数据的不断涌现，必 然提出对强有力的数据分析工具的迫切需求。但 现实情况往往是“数据十分丰富，而信息相当贫 乏。” 快速增长的海量数据收集、存放在大型数据库中， 没有强有力的工具，理解它们已经远远超出人的 能力。因此，有人称之为：“数据坟墓”。 由于专家系统工具过分依赖用户或专家人工地将 知识输入知识库中，而且分析结果往往带有偏差 和错误，再加上耗时、费用高，故不可行。
四种主要的数据挖掘任务
1、预测建模（predictive modeling） a 分类 分类(classfication):用于预测离散的目标 变量 例如：预测一个web用户是否会在网上书店 买书 b 回归 回归(regression):用于预测连续的目标变 量 例如：预测某股票的未来价格
例1 预测花的类型
第1课 数据挖掘概论
卢焕达 信息处理与优化技术研究所
课程信息
教材
Margaret H.Dunham.数据挖掘教程,清华大学出版社
参考文献
Jiawei Han etc.数据挖掘:概念与技术(原书第2版) ,机械工 业出版社 Ian H.Witten etc.数据挖掘（实用机器学习技术），机械 工业出版社 Tom Mitchell.机器学习，机械工业出版社 Pang-ning Tan etc.数据挖掘导论，人民邮电出版社
Office Time
星期二、三下午：1:30~4:00
My MSN: huandalu@ My QQ: 957607866 My Email: huandalu@
内容提纲
Topic 1: 数据挖掘介绍 Topic 2: 数据挖掘任务举例 Topic 3: 基本工具和资源
数据访问 (80年代 年代) (80年代)
“在新英格兰的分 部去年三月的销售 额是多少？ 额是多少？”
关系数据库(RDBMS) 关系数据库(RDBMS) 结构化查询语言(SQL) 结构化查询语言(SQL) ODBC
在记录级提供历史 性的、 性的、动态数据信 息
数据仓库 决策支持 (90年代 年代) (90年代)
2、数据挖掘过程
解释/评价 知识 数据挖掘 变换
模式
预处理 变换后 数据 筛选 已预处理 数据 目标数据
数据
KDD过程（续）
1.数据准备：了解KDD应用领域的有关情 况。包括熟悉相关的背景知识，搞清用户 需求。 2.数据选取：数据选取的目的是确定目标 数据，根据用户的需要从原始数据库中选 取相关数据或样本。在此过程中，将利用 一些数据库操作对数据库进行相关处理。
4. 从商业数据到商业信息的进化
进化阶段 数据搜集 (60年代 年代) (60年代) 商业问题 “过去五年中我的 总收入是多少？ 总收入是多少？” 支持技术 产品厂家 IBM CDC Oracle Sybase Informix IBM Microsoft Pilot Comshare Arbor Cognos Microstrategy Pilot Lockheed IBM SGI 其他初创公司 产品特点 提供历史性的、 提供历史性的、静 态的数据信息 计算机、 计算机、磁带和磁盘
数据挖掘在银行领域的应用
美国银行家协会(ABA)预测数据仓库和数据挖 掘技术在美国商业银行的应用增长率是14.9％。 分析客户使用分销渠道的情况和分销渠道的容 量 ；建立利润评测模型；客户关系优化；风险 控制等
Mellon银行使用数据挖掘软件提高销售和定 价金融产品的精确度，如家庭普通贷款。 美国Firstar银行使用数据挖掘工具，根据客 户的消费模式预测何时为客户提供何种产 品。
数据挖掘的发展
1988
Expert Systems
1990
Expert Systems
1995
2004
…
…
数据挖掘是多学科的产物
数据库技术 统计学
机器学习
数据挖掘
可视化
人工智能
高性能计算
KDD已经成为人工智能研究热点
目前，关于KDD的研究工作已经被众多领 域所关注，如过程控制、信息管理、商业、 医疗、金融等领域。 作为大规模数据库中先进的数据分析工具， KDD的研究已经成为数据库及人工智能领 域研究的一个热点。
B. 数据挖掘的应用
电信 ：流失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健
电信
英国电信需要发布一种新的产品 ，需要通过直邮的方式向客户推 荐这种产品。。。。。。