第六章数据挖掘与知识发现

数据挖掘 （正在流行）
“下个月波士顿的销售会怎 高级算法、多处理器计算机、
么样？为什么？”
海量数据库
Pilot、Lockheed、IBM、 SGI、其他初创公司
提供预测性的信息
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
关联分析
在数据记录的数据项之间发掘关联关系， 某些数据项的出现预示着该记录中其它一 些数据项出现的可能。
面包和牛奶的故事…
关联分析
关联规则的形式：
X Y X T Y T X Y
支持度Support：P(X Y )
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
仓库 库
选
接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现引擎
将知识库中的抽取算法提
商业分析
员 供给数据选择构件抽取的
数据
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
仓库 库
选
接口
择
知识发 现描述
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
数据挖掘的进化历程
进化阶段
商业问题
根据挖掘的知识类型分类
关联 时序 聚类 分类 偏差检测 预测分析
数据挖掘的分类
根据挖掘的数据库类型分类 根据挖掘的知识类型分类 根据应用分类 根据所用的方法和技术分类
根据应用分类
金融行业的数据挖掘 电信行业的数据挖掘 保险行业的数据挖掘 医药行业的数据挖掘 税务部门的数据挖掘
广度上，允许有更多的行存在。
➢ 更大的样本让产生错误和变化的概率降低，这样用户就能更加 精确地推导出一些虽小但颇为重要的结论。
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
用于分类的预测和用于回归的预测
数据挖掘的算法
关联分析
Apriori, AprioriTid
序列分析
AprioriAll, AprioriSome, DynamicSome
数据分类
RIPPER, ID3, C4.5, Naive Bayes,…
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
知识发现是用一种简洁的方式从大量数据中抽取信息的一 种技术，所抽取的信息是隐含的、未知的，并且具有潜在 应用价值。
知识发现可看成是一种有价值信息的搜寻过程，它不必预 先假设或提出问题，仍然能够找到那些非预期的令人关注 的信息，这些信息表示了不同研究对象之间的关系和模式。 它还能通过全面的信息发现与分析，找到有价值的商业规 则。
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
在商业应用里，它就表现为在大型数据库里面搜索有价值 的商业信息
这两种过程都需要对巨量的材料进行详细地过滤，并且需 要智能且精确地定位潜在价值的所在。
对于给定了大小的数据库，数据挖掘技术可以用它如下的 超能力产生巨大的商业机会：
知识发现系统管理器 知识库和商业分析员 数据仓库的数据库接口 数据选择 知识发现引擎 知识发现评价 知识发现描述
知识发现系统的结构
知识发 现管理
器
知识 库
数据 接口
数 据
仓库 数据
选
库
择
知识发 现描述
知识发现系统管理器：
知识发现 评价
知 识 发 现 引 擎
商业分析 员
作用是控制并管理整个知 识发现过程
数据挖掘的分类
数据库技术 信息科学 可视化
数据挖掘
统计学 机器学习 其他学科
数据挖掘的分类
根据挖掘的数据库类型分类 根据挖掘的知识类型分类 根据应用分类 根据所用的方法和技术分类
数据挖掘的分类
根据挖掘的数据库类型分类 根据挖掘的知识类型分类 根据应用分类 根据所用的方法和技术分类
➢ 自动趋势预测
➢ 自动探测以前未发现的模式
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
在商业应用里，它就表现为在大型数据库里面搜索有价值 的商业信息
这两种过程都需要对巨量的材料进行详细地过滤，并且需 要智能且精确地定位潜在价值的所在。
对于给定了大小的数据库，数据挖掘技术可以用它如下的 超能力产生巨大的商业机会：
的局限性
知识发现的过程
数据挖掘
➢ 探索性数据分析：利用图形化方式对数据进行探索 ➢ 描述建模：描述数据的所有特征 ➢ 预测建模：建立一个根据已知变量预测其它变量的模型
✓ 分类 ✓ 回归 ➢ 寻找模式和规则：进行模式探测 ➢ 根据内容检索：根据用户感兴趣的模式建立相似的模式
知识发现的过程
结果的解释和评估
偏差检测
在数据分析中发现有很多异常情况存在于数据库 中，我们可以根据这种异常情况获得很多有用的 信息
用于统计试验检测 信用卡欺骗的例子
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
预测
利用历史数据或数据分布依据一定的模型计算出 数值数据或识别出未来分布趋势等。
➢ 自动趋势预测
➢ 自动探测以前未发现的模式
自动探测以前未发现的模式
数据挖掘工具扫描整个数据库并辨认出那些隐藏着的 模式，比如通过分析零售数据来辨别出表面上看起来 没联系的产品，实际上有很多情况下是一起被售出的 情况。
数据挖掘技术可以让现有的软件和硬件更加自动化， 并且可以在升级的或者新开发的平台上执行。
分类
给定属于不同类型的数据记录，根据记录中数 据项的特征为每种类型生成分类模型。
分类模型用于预测新的数据记录所属类型。 汽车销售的例子 必须事先给出分类的标号
决策树分类：
分类
规则分类：
IF (…) Then (…) Else (…)
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
第六章 数据挖掘与知识发现
提纲
知识发现与数据挖掘的基本概念 数据挖掘方法和技术 数据挖掘的知识表示
知识发现与数据挖掘的基本概念
知识发现的定义 知识发现的研究问题 知识发现的过程 知识发现系统的结构
知识发现的定义
（KDD,Knowledge Discovery in Database）
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
在商业应用里，它就表现为在大型数据库里面搜索有价值 的商业信息
这两种过程都需要对巨量的材料进行详细地过滤，并且需 要智能且精确地定位潜在价值的所在。
对于给定了大小的数据库，数据挖掘技术可以用它如下的 超能力产生巨大的商业机会：
➢ 结果的解释 ✓ 结果不满足用户要求，换一种挖掘方法 ✓ 结果非常抽象，换一种容易理解的方法
➢ 结果的评估 ✓ 所采用的数据挖掘技术的有效性 ✓ 用于挖掘的数据质量和数量
知识发现系统的结构
知识发 现管理
器
知识 库
数据 接口
数 据
仓库 数据
选
库
择
知识发 现描述
知识发现 评价
商业分析 员
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
仓库 库
选
接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
商业分析 员
知识库和商业分析员
知识库包含了源于各方面 的知识。商业分析员要按 一种有效的方式指导关注 信息的发现。
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
支持技术
产品厂家
产品特点
数据搜集 (60年代)
“过去五年中我的总收入是 多少？”
计算机、磁带和磁盘
IBM, CDC
提供历史性的、静态的数据 信息
数据访问 (80年代)
“在新英格兰的分部去年三 月的销售额是多少？”
关系数据库（RDBMS），结 构化查询语言（SQL）， ODBC
Oracle、Sybase、Informix、 在记录级提供历史性的、动
根据挖掘的数据库类型分类
与数据库匹配的数据挖掘技术分类
➢ 关系数据挖掘 ➢ 非关系型数据挖掘
处理的数据的特定类型分类
➢ 空间的数据挖掘 ➢ 时间序列的数据挖掘 ➢ 文本的数据挖掘 ➢ 多媒体的数据挖掘
数据挖掘的分类
根据挖掘的数据库类型分类 根据挖掘的知识类型分类 根据应用分类 根据所用的方法和技术分类
IBM、Microsoft
态数据信息
数据仓库；决策支 持(90年代)
“在新英格兰的分部去年三 月的销售额是多少？波士 顿据此可得出什么结论？”
联机分析处理（OLAP）、多 维数据库、数据仓库
Pilot、Comshare、Arbor、 Cognos、Microstrategy
在各种层次上提供回溯的、 动态的数据信息
当数据挖掘工具运行于高性能的并行处理系统上的时 候，它能在数分钟内分析一个超大型的数据库。这种 更快的处理速度意味着用户有更多的机会来分析数据， 让分析的结果更加准确可靠，并且易于理解。
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
数据库可以由此拓展深度和广度
深度上，允许有更多的列存在。
知识发现意味着在数据仓库或数据集市的几千兆、几万兆 字节数据中寻找预先未知的商业模式与事实。
知识发现的研究问题
定性知识和定量知识的发现 知识发现方法 知识发现的应用
知识发现的过程
数据准备 数据挖掘 结果的解释和评估
知识发现的过程
数据准备
➢ 数据集成：对数据进行合并处理、数据检查和清洗工作 ➢ 数据选择：缩小处理数据的范围，提高数据挖掘的质量 ➢ 数据预处理：削减数据维数或降维，克服数据挖掘工具
知识发现 评价
知识发现评价
商业分析 有助于商业分析员筛选模式， 员 选出那些关注性的信息
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
仓库 库
选
接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现描述 发现、评价并辅助商业分 商业分析 析员在知识库中保存关注 员 性发现结果以备将来引用, 并保持知识发现与管理人 员的通信
表示该规则所代表的事例占全部事例的百分比
置信度Confidence：P(Y | X )
表示该规则所代表事例占满足前提条件事例的百 分比
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
时序模式
给定一段时间内的数据记录，发掘记录间 的相关性，当前记录中某些数据项的出现 预示着其它数据项在随后记录中出现的可 能性。
纵向的关联
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
聚类
将物理或抽象对象的集合分组成为由类似 的对象组成的多个类的过程。
聚类
聚类原则：
➢ 同一类别的对象间距离尽可能小； ➢ 不同类别的对象间距离尽可能大。
考虑对象间的相似性问题
数据挖掘的任务
关联分析 时序模式 聚类 分类 偏差检测 预测
➢ 自动趋势预测
➢ 自动探测以前未发现的模式
自动趋势预测
数据挖掘能自动在大型数据库里面找寻潜在的预 测信息。传统上需要很多专家来进行分析的问题， 现在可以快速而直接地从数据中间找到答案。
一个典型的利用数据挖掘进行预测的例子就是目 标营销。数据挖掘工具可以根据过去邮件推销中 的大量数据找出其中最有可能对将来的邮件推销 作出反应的客户。
➢ 以往，在进行较复杂的数据分析时，专家们限于时间因素，不 得不对参加运算的变量数量加以限制，但是那些被丢弃而没有 参加运算的变量有可能包含着另一些不为人知的有用信息。
➢ 现在，高性能的数据挖掘工具让用户对数据库能进行通盘的深 度遍历，并且任何可能参选的变量都被考虑进去，再不需要选 择变量的子集来进行运算了。
仓库 库
选
接口
择
知识发 现描述
知识发现 评价
数据仓库的数据库接口
商业分析 知识发现系统的数据库接口
员
可以直接与数据仓库通信。
知 识 发 现 引 擎ห้องสมุดไป่ตู้
知识发现系统的结构
知识发 现管理
器
知识 库
数据 数据
数 据
仓库 库
选
接口
择
知识发 现描述
知识发现 评价
数据选择
商业分析 确定从数据仓库中需要抽
员
取的数据及数据结构