多策略数据挖掘平台MSMiner
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多策略数据挖掘平台 MSMiner
路漫漫其修远兮, 吾将上下而求索
2020年4月13日星期一
多策略数据挖掘平台软件MSMiner •MSMiner是什么?
•MSMiner( Multi-Strategies Data Miner)是一个 针对决策支持的以数据仓库为基础的通用数据 挖掘平台软件，同时提供了一个轻量级的数据 仓库解决方案。
的要实现数据的输入
输出及相关参数的存 储。
•MSMiner数据挖掘子系统MSDM
•元
• 而在整个
MSMiner平台中，数
•数
据的输入输出等由元
数据管理模块统一管
•DLL算法程序1
•据
理。
• 因此，DLL程序要 与元数据管理模块打
•DLL算法程序2
•管
交道。
•理
•DLL算法程序3
•........
•MetaServer
MSMiner启动时欢迎界面
路漫漫其修远兮, 吾将上下而求索
MSMiner登录界面——MSMiner控制台
路漫漫其修远兮, 吾将上下而求索
MSMiner数据仓库管理子系统MSMetaData
路漫漫其修远兮, 吾将上下而求索
MSMiner ETL子系统MSETL
路漫漫其修远兮, 吾将上下而求索
•与元数据管理模块交互用到时了COM技术，为了
降低开发负担，我们提供了CPublicFunc公共函数
类，该类提供了一些成员函数，封装调用了元数据
•3）Q：我管注理意模到块接M口eta规S范erv中e提r的供很算多法功D能LL。的开公发用人函员数可类生成 •体实现在中每，个不算可法避的免具CPublicF实服un例务c，对程它象序有，交什直互么接，用调避？用免其去成了员解函CO数M与技元术数。据管理组件
•1）Q：为什么要实现DLL程序，可以实现成可执行程序吗？
•A：因为本次实验要开发算法DLL程序，目的正是用于封 装数据挖掘算法，并最终由MSMiner数据挖掘子系统所调 用。所以不能实现成可执行程序。
•2）Q：算法DLL接口规范是否很复杂，难以在短时期内实现？
•A：我们已经提供了算法DLL接口规范文档，接口函数 只有四个，其中只有两个要自己实现，其余两个可直接 使用示例代码。开发人员要做的就是将算法功能实现和 封装，使得可以通过两个接口函数MSMiner就能所用该 算法的功能。
MSMiner联机分析处理子系统MSOLAP
路漫漫其修远兮, 吾将上下而求索
MSMiner数据挖掘子系统MSDM
路漫漫其修远兮, 吾将上下而求索
课程项目内容要求
对MSMiner数据挖掘子系统进行扩展开发，选择实 现下列某种算法：
• 1．聚类算法：k-means、k-harmonic • 2．分类算法：C4.5、SVM、GA • 3．关联规则：Apriori、FP-tree • 4．神经网络
路漫漫其修远兮, 吾将上下而求索
背景介绍
•MSMiner由中科院计算所智能信 息处理重点实验室从1999年开始 设计和实现，经历了早期的VB版 本，后来又用VC重新实现，目前 正在开发3.0版本。
路漫漫其修远兮, 吾将上下而求索
•数据挖掘(Data Mining)工 具 MSDM
•数据挖掘模块
MSMiner体系架构
中要写清算法步骤、说明以及心得体会等，源码 要求有清晰明确的注释。
路漫漫其修远兮, 吾将上下而求索
课程项目预备知识
以下为完成此项目的预备知识：
深刻掌握一种或几种数据挖掘算法，如聚类、分 类、关联规则、神经网络算法等，能够用 C/C++ 编程实现。
熟悉 VC++6.0 IDE 编程环境，掌握 MFC 编程机 制及其用法。
路漫漫其修远兮, 吾将上下而求索
提交要求和项目流程
提交要求和项目流程如下：
1）可以两至三人为一小组工程实现； 2）实现结果为符合MSMiner数据பைடு நூலகம்掘子系统挖
掘算法DLL接口规范要求的DLL文件。 3）开发完毕，在机房MSMiner环境下进行测试
。 4）最后提交程序源码和实验报告，在实验报告
•数据仓库管理工 具 MSMetaData
•OLAP及可视化工具
•OLAP（联机分析处理） 工具MSOLAP
•主题1
•主题2 •...
•主题n
•元 数 据 管 理
•数据仓库 •数据抽取、转换、装载(Extract Transform Load)
•ETL（数据抽取、装 载、转换）工具 MSETL
路漫漫其修远兮, 吾将上下而求索
•外部事务型数据库
• MSMiner体系•M结构SMiner的数据仓库以功能强大的元 数据管理MetaServer为调度中心
路漫漫其修远兮, 吾将上下而求索
MSMiner功能特点
•MSMiner的若干特点：
•1）通过ODBC接口将数据存储在第三方关系数据库(如 Oracle、Sybase、SQL Server、Informix和IBM DB2等） ，支持多种不同的数据源；
3）算法DLL公共代码框架 (一组工程文件，工程名为 AssocALG)
4）训练数据与测试数据
5）书：史忠植 著 . 知识发现 . 清华大学出版社 .2002. P295~326，可帮助了解 MSMiner 体系设计、编程架构等 背景知识。
路漫漫其修远兮, 吾将上下而求索
常见问题解答
• 几个常见问题的说明：
了解组件编程技术，能够开发简单的 DLL 程序 。
数据库基础知识、熟悉 SQL 语句。
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
课程项目提供的资源
• 可供参考的资源：
1）MSMiner数据挖掘 子系统挖掘算法DLL的 接口详细说明
2）两个算法DLL开发示例 (BP算法、SOM算法)
路漫漫其修远兮, 吾将上下而求索
•一个数据仓库解决方案主要包括：
•数据仓库的设计、建模 第三方工具如PowerDeginer
•数据转换与集成
MSETL
•数据存储与管理
第三方工具 如 Oracle, SQLServer等
•数据分析和展现 。
MSOLAP 采用第三方查询、报表工具
•数据仓库的维护和管理 MSMetaData •统计分析或数据挖掘工具 MSDM
•2）采用DLL形式封装数据挖掘算法，从而可以灵活扩充， 这样就提供了丰富的挖掘策略。
•3）以对话框向导引导用户建立ETL和数据挖掘任务，以 面向对象的方式来组织和执行ETL和数据挖掘任务
•4）在挖掘任务执行引擎中，提供了任务调度功能，可以 定时定期地执行挖掘任务，同时采用多线程技术并发地执 行挖掘任务和任务中的步骤。
路漫漫其修远兮, 吾将上下而求索
•DLL算法程序n
路漫漫其修远兮, 吾将上下而求索
2020年4月13日星期一
多策略数据挖掘平台软件MSMiner •MSMiner是什么?
•MSMiner( Multi-Strategies Data Miner)是一个 针对决策支持的以数据仓库为基础的通用数据 挖掘平台软件，同时提供了一个轻量级的数据 仓库解决方案。
的要实现数据的输入
输出及相关参数的存 储。
•MSMiner数据挖掘子系统MSDM
•元
• 而在整个
MSMiner平台中，数
•数
据的输入输出等由元
数据管理模块统一管
•DLL算法程序1
•据
理。
• 因此，DLL程序要 与元数据管理模块打
•DLL算法程序2
•管
交道。
•理
•DLL算法程序3
•........
•MetaServer
MSMiner启动时欢迎界面
路漫漫其修远兮, 吾将上下而求索
MSMiner登录界面——MSMiner控制台
路漫漫其修远兮, 吾将上下而求索
MSMiner数据仓库管理子系统MSMetaData
路漫漫其修远兮, 吾将上下而求索
MSMiner ETL子系统MSETL
路漫漫其修远兮, 吾将上下而求索
•与元数据管理模块交互用到时了COM技术，为了
降低开发负担，我们提供了CPublicFunc公共函数
类，该类提供了一些成员函数，封装调用了元数据
•3）Q：我管注理意模到块接M口eta规S范erv中e提r的供很算多法功D能LL。的开公发用人函员数可类生成 •体实现在中每，个不算可法避的免具CPublicF实服un例务c，对程它象序有，交什直互么接，用调避？用免其去成了员解函CO数M与技元术数。据管理组件
•1）Q：为什么要实现DLL程序，可以实现成可执行程序吗？
•A：因为本次实验要开发算法DLL程序，目的正是用于封 装数据挖掘算法，并最终由MSMiner数据挖掘子系统所调 用。所以不能实现成可执行程序。
•2）Q：算法DLL接口规范是否很复杂，难以在短时期内实现？
•A：我们已经提供了算法DLL接口规范文档，接口函数 只有四个，其中只有两个要自己实现，其余两个可直接 使用示例代码。开发人员要做的就是将算法功能实现和 封装，使得可以通过两个接口函数MSMiner就能所用该 算法的功能。
MSMiner联机分析处理子系统MSOLAP
路漫漫其修远兮, 吾将上下而求索
MSMiner数据挖掘子系统MSDM
路漫漫其修远兮, 吾将上下而求索
课程项目内容要求
对MSMiner数据挖掘子系统进行扩展开发，选择实 现下列某种算法：
• 1．聚类算法：k-means、k-harmonic • 2．分类算法：C4.5、SVM、GA • 3．关联规则：Apriori、FP-tree • 4．神经网络
路漫漫其修远兮, 吾将上下而求索
背景介绍
•MSMiner由中科院计算所智能信 息处理重点实验室从1999年开始 设计和实现，经历了早期的VB版 本，后来又用VC重新实现，目前 正在开发3.0版本。
路漫漫其修远兮, 吾将上下而求索
•数据挖掘(Data Mining)工 具 MSDM
•数据挖掘模块
MSMiner体系架构
中要写清算法步骤、说明以及心得体会等，源码 要求有清晰明确的注释。
路漫漫其修远兮, 吾将上下而求索
课程项目预备知识
以下为完成此项目的预备知识：
深刻掌握一种或几种数据挖掘算法，如聚类、分 类、关联规则、神经网络算法等，能够用 C/C++ 编程实现。
熟悉 VC++6.0 IDE 编程环境，掌握 MFC 编程机 制及其用法。
路漫漫其修远兮, 吾将上下而求索
提交要求和项目流程
提交要求和项目流程如下：
1）可以两至三人为一小组工程实现； 2）实现结果为符合MSMiner数据பைடு நூலகம்掘子系统挖
掘算法DLL接口规范要求的DLL文件。 3）开发完毕，在机房MSMiner环境下进行测试
。 4）最后提交程序源码和实验报告，在实验报告
•数据仓库管理工 具 MSMetaData
•OLAP及可视化工具
•OLAP（联机分析处理） 工具MSOLAP
•主题1
•主题2 •...
•主题n
•元 数 据 管 理
•数据仓库 •数据抽取、转换、装载(Extract Transform Load)
•ETL（数据抽取、装 载、转换）工具 MSETL
路漫漫其修远兮, 吾将上下而求索
•外部事务型数据库
• MSMiner体系•M结构SMiner的数据仓库以功能强大的元 数据管理MetaServer为调度中心
路漫漫其修远兮, 吾将上下而求索
MSMiner功能特点
•MSMiner的若干特点：
•1）通过ODBC接口将数据存储在第三方关系数据库(如 Oracle、Sybase、SQL Server、Informix和IBM DB2等） ，支持多种不同的数据源；
3）算法DLL公共代码框架 (一组工程文件，工程名为 AssocALG)
4）训练数据与测试数据
5）书：史忠植 著 . 知识发现 . 清华大学出版社 .2002. P295~326，可帮助了解 MSMiner 体系设计、编程架构等 背景知识。
路漫漫其修远兮, 吾将上下而求索
常见问题解答
• 几个常见问题的说明：
了解组件编程技术，能够开发简单的 DLL 程序 。
数据库基础知识、熟悉 SQL 语句。
路漫漫其修远兮, 吾将上下而求索
路漫漫其修远兮, 吾将上下而求索
课程项目提供的资源
• 可供参考的资源：
1）MSMiner数据挖掘 子系统挖掘算法DLL的 接口详细说明
2）两个算法DLL开发示例 (BP算法、SOM算法)
路漫漫其修远兮, 吾将上下而求索
•一个数据仓库解决方案主要包括：
•数据仓库的设计、建模 第三方工具如PowerDeginer
•数据转换与集成
MSETL
•数据存储与管理
第三方工具 如 Oracle, SQLServer等
•数据分析和展现 。
MSOLAP 采用第三方查询、报表工具
•数据仓库的维护和管理 MSMetaData •统计分析或数据挖掘工具 MSDM
•2）采用DLL形式封装数据挖掘算法，从而可以灵活扩充， 这样就提供了丰富的挖掘策略。
•3）以对话框向导引导用户建立ETL和数据挖掘任务，以 面向对象的方式来组织和执行ETL和数据挖掘任务
•4）在挖掘任务执行引擎中，提供了任务调度功能，可以 定时定期地执行挖掘任务，同时采用多线程技术并发地执 行挖掘任务和任务中的步骤。
路漫漫其修远兮, 吾将上下而求索
•DLL算法程序n