数据挖掘与知识发现-课程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
知识发现意味着在数据仓库或数据集市的几千兆、几万兆 字节数据中寻找预先未知的商业模式与事实。
知识发现的研究问题
定性知识和定量知识的发现 知识发现方法 知识发现的应用
知识发现的过程
数据准备 数据挖掘 结Fra Baidu bibliotek的解释和评估
知识发现的过程
数据准备
➢ 数据集成：对数据进行合并处理、数据检查和清洗工作 ➢ 数据选择：缩小处理数据的范围，提高数据挖掘的质量 ➢ 数据预处理：削减数据维数或降维，克服数据挖掘工具
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
在商业应用里，它就表现为在大型数据库里面搜索有价值 的商业信息
这两种过程都需要对巨量的材料进行详细地过滤，并且需 要智能且精确地定位潜在价值的所在。
对于给定了大小的数据库，数据挖掘技术可以用它如下的 超能力产生巨大的商业机会：
知识发现系统管理器 知识库和商业分析员 数据仓库的数据库接口 数据选择 知识发现引擎 知识发现评价 知识发现描述
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
接口 数据
据 选
仓库 库
择
知识发 现描述
知识发现系统管理器：
知识发现 评价
知 识 发 现 引 擎
商业分析 员
作用是控制并管理整个知 识发现过程
数据挖掘 （正在流行）
“下个月波士顿的销售会怎 高级算法、多处理器计算机、
么样？为什么？”
海量数据库
Pilot、Lockheed、IBM、 SGI、其他初创公司
提供预测性的信息
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
商业分析 员
知识库和商业分析员
知识库包含了源于各方面 的知识。商业分析员要按 一种有效的方式指导关注 信息的发现。
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
数据仓库的数据库接口
商业分析 知识发现系统的数据库接口
员
可以直接与数据仓库通信。
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
数据选择
商业分析 确定从数据仓库中需要抽
员
取的数据及数据结构
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
数据挖掘的进化历程
进化阶段
商业问题
知识发现 评价
知识发现评价
商业分析 有助于商业分析员筛选模式， 员 选出那些关注性的信息
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现描述 发现、评价并辅助商业分 商业分析 析员在知识库中保存关注 员 性发现结果以备将来引用, 并保持知识发现与管理人 员的通信
数据挖掘与知识发现 —课程 2016、
2
提纲
知识发现与数据挖掘的基本概念 数据挖掘方法和技术 数据挖掘的知识表示
知识发现与数据挖掘的基本概 念
知识发现的定义 知识发现的研究问题 知识发现的过程 知识发现系统的结构
知识发现的定义
（KDD,Knowledge Discovery in Database）
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现引擎
将知识库中的抽取算法提
商业分析
员 供给数据选择构件抽取的
数据
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
➢ 结果的解释 ✓ 结果不满足用户要求，换一种挖掘方法 ✓ 结果非常抽象，换一种容易理解的方法
➢ 结果的评估 ✓ 所采用的数据挖掘技术的有效性 ✓ 用于挖掘的数据质量和数量
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
接口 数据
据 选
仓库 库
择
知识发 现描述
知识发现 评价
商业分析 员
知 识 发 现 引 擎
IBM、Microsoft
态数据信息
数据仓库；决策支 持(90年代)
“在新英格兰的分部去年三 月的销售额是多少？波士 顿据此可得出什么结论？”
联机分析处理（OLAP）、多 维数据库、数据仓库
Pilot、Comshare、Arbor、 Cognos、Microstrategy
在各种层次上提供回溯的、 动态的数据信息
支持技术
产品厂家
产品特点
数据搜集 (60年代)
“过去五年中我的总收入是 多少？”
计算机、磁带和磁盘
IBM, CDC
提供历史性的、静态的数据 信息
数据访问 (80年代)
“在新英格兰的分部去年三 月的销售额是多少？”
关系数据库（RDBMS），结 构化查询语言（SQL）， ODBC
Oracle、Sybase、Informix、 在记录级提供历史性的、动
的局限性
知识发现的过程
数据挖掘
➢ 探索性数据分析：利用图形化方式对数据进行探索 ➢ 描述建模：描述数据的所有特征 ➢ 预测建模：建立一个根据已知变量预测其它变量的模型
✓ 分类 ✓ 回归 ➢ 寻找模式和规则：进行模式探测 ➢ 根据内容检索：根据用户感兴趣的模式建立相似的模式
知识发现的过程
结果的解释和评估
知识发现是用一种简洁的方式从大量数据中抽取信息的一 种技术，所抽取的信息是隐含的、未知的，并且具有潜在 应用价值。
知识发现可看成是一种有价值信息的搜寻过程，它不必预 先假设或提出问题，仍然能够找到那些非预期的令人关注 的信息，这些信息表示了不同研究对象之间的关系和模式。 它还能通过全面的信息发现与分析，找到有价值的商业规 则。
➢ 自动趋势预测
➢ 自动探测以前未发现的模式
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
知识发现的研究问题
定性知识和定量知识的发现 知识发现方法 知识发现的应用
知识发现的过程
数据准备 数据挖掘 结Fra Baidu bibliotek的解释和评估
知识发现的过程
数据准备
➢ 数据集成：对数据进行合并处理、数据检查和清洗工作 ➢ 数据选择：缩小处理数据的范围，提高数据挖掘的质量 ➢ 数据预处理：削减数据维数或降维，克服数据挖掘工具
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏
在商业应用里，它就表现为在大型数据库里面搜索有价值 的商业信息
这两种过程都需要对巨量的材料进行详细地过滤，并且需 要智能且精确地定位潜在价值的所在。
对于给定了大小的数据库，数据挖掘技术可以用它如下的 超能力产生巨大的商业机会：
知识发现系统管理器 知识库和商业分析员 数据仓库的数据库接口 数据选择 知识发现引擎 知识发现评价 知识发现描述
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
接口 数据
据 选
仓库 库
择
知识发 现描述
知识发现系统管理器：
知识发现 评价
知 识 发 现 引 擎
商业分析 员
作用是控制并管理整个知 识发现过程
数据挖掘 （正在流行）
“下个月波士顿的销售会怎 高级算法、多处理器计算机、
么样？为什么？”
海量数据库
Pilot、Lockheed、IBM、 SGI、其他初创公司
提供预测性的信息
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
数据挖掘的进化历程
数据挖掘的范围 数据库可以由此拓展深度和广度
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
商业分析 员
知识库和商业分析员
知识库包含了源于各方面 的知识。商业分析员要按 一种有效的方式指导关注 信息的发现。
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
数据仓库的数据库接口
商业分析 知识发现系统的数据库接口
员
可以直接与数据仓库通信。
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
数据选择
商业分析 确定从数据仓库中需要抽
员
取的数据及数据结构
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
知识发现与数据挖掘的 基本概念
数据挖掘的进化历程 数据挖掘的任务 数据挖掘的分类 数据挖掘的对象 数据挖掘与专家系统的区别
数据挖掘的进化历程
进化阶段
商业问题
知识发现 评价
知识发现评价
商业分析 有助于商业分析员筛选模式， 员 选出那些关注性的信息
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现描述 发现、评价并辅助商业分 商业分析 析员在知识库中保存关注 员 性发现结果以备将来引用, 并保持知识发现与管理人 员的通信
数据挖掘与知识发现 —课程 2016、
2
提纲
知识发现与数据挖掘的基本概念 数据挖掘方法和技术 数据挖掘的知识表示
知识发现与数据挖掘的基本概 念
知识发现的定义 知识发现的研究问题 知识发现的过程 知识发现系统的结构
知识发现的定义
（KDD,Knowledge Discovery in Database）
知 识 发 现 引 擎
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
知识发现 评价
知 识 发 现 引 擎
知识发现引擎
将知识库中的抽取算法提
商业分析
员 供给数据选择构件抽取的
数据
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
数据 库
据 选
仓库 接口
择
知识发 现描述
➢ 结果的解释 ✓ 结果不满足用户要求，换一种挖掘方法 ✓ 结果非常抽象，换一种容易理解的方法
➢ 结果的评估 ✓ 所采用的数据挖掘技术的有效性 ✓ 用于挖掘的数据质量和数量
知识发现系统的结构
知识发 现管理
器
知识 库
数
数据
接口 数据
据 选
仓库 库
择
知识发 现描述
知识发现 评价
商业分析 员
知 识 发 现 引 擎
IBM、Microsoft
态数据信息
数据仓库；决策支 持(90年代)
“在新英格兰的分部去年三 月的销售额是多少？波士 顿据此可得出什么结论？”
联机分析处理（OLAP）、多 维数据库、数据仓库
Pilot、Comshare、Arbor、 Cognos、Microstrategy
在各种层次上提供回溯的、 动态的数据信息
支持技术
产品厂家
产品特点
数据搜集 (60年代)
“过去五年中我的总收入是 多少？”
计算机、磁带和磁盘
IBM, CDC
提供历史性的、静态的数据 信息
数据访问 (80年代)
“在新英格兰的分部去年三 月的销售额是多少？”
关系数据库（RDBMS），结 构化查询语言（SQL）， ODBC
Oracle、Sybase、Informix、 在记录级提供历史性的、动
的局限性
知识发现的过程
数据挖掘
➢ 探索性数据分析：利用图形化方式对数据进行探索 ➢ 描述建模：描述数据的所有特征 ➢ 预测建模：建立一个根据已知变量预测其它变量的模型
✓ 分类 ✓ 回归 ➢ 寻找模式和规则：进行模式探测 ➢ 根据内容检索：根据用户感兴趣的模式建立相似的模式
知识发现的过程
结果的解释和评估
知识发现是用一种简洁的方式从大量数据中抽取信息的一 种技术，所抽取的信息是隐含的、未知的，并且具有潜在 应用价值。
知识发现可看成是一种有价值信息的搜寻过程，它不必预 先假设或提出问题，仍然能够找到那些非预期的令人关注 的信息，这些信息表示了不同研究对象之间的关系和模式。 它还能通过全面的信息发现与分析，找到有价值的商业规 则。
➢ 自动趋势预测
➢ 自动探测以前未发现的模式
数据挖掘的范围
“数据挖掘”这个名字来源于它有点类似于在山脉中挖掘 有价值的矿藏