数据挖掘在商务智能决策与CRM中的应用-PowerPoi

知识库
数据库
方法库
模型库
文本库
日志库
知识获取子系统
专家知识
书本知识
多库管理子系统
IDSSIM 总体结构模型
Internet
其理论基础是我们提出的基于双库协同机制的知识发现系统 KDD*和WEB数据挖掘过程，它以多个知识源的知识融合、多 抽象级与不同知识层次的结构，以及使数据库、知识库、方 法库、模型库、文本库、日志库六库协同运作为特征，形成 了极其丰富的动态知识库系统与相应的集成推理机制，为解 决决策系统构造中的核心技术提供了一条有效的途径，也从 根本上提高了决策支持系统的实用化程度。
法的研究等。 3）粗糙集与支持向量机模型与方法的扩展。
4）凸分析与数据包络分析方法的运用。 5）增强（强化）学习模型与方法的运用。
（2）复杂类型（系统）数据挖掘成为热点
如：1） 生物信息挖掘。
Knowledge Discovery for Promoter Structure Analysis Study of Motif Correlation in Proteins by Data Mining （用数据挖掘技术进行蛋白质中启动子的结构分析）
KnowledgeSEEKER、等等
实例和软件的扩展
MSMiner、KDD*、KDK*、 KD(D&K)等等
五、研究动态与趋向
目前国际上KDD的研究主要是以知识 发现的任务描述、知识评价与知识表示为 主线，有效的知识发现算法为中心。这是 在相当长的一段时间内保持的主流 与基调。
国外研究动态
2003年8月27日在华盛顿召开了第九届知识 发现与数据挖掘国际会议，参与讨论的专家 一致认为：
3）分布式数据挖掘系统。
4）动态、在线数据挖掘系统。
5）流数据、混合数据与不完备数据挖掘系统。
（3）新技术与方法的引入（其它学科领域的 渗透）
如：人工免疫系统方法；协同验算方法;模拟退火算法；保 角变换方法；黎曼几何方法等。
（4）理论融合交叉性研究
如：基于RoughSet的证据推理算法；模糊关系数据模型与 粗集结合算法等。认知心理学、认知物理学、认知生物学等。
利用商务部国际商务中心长期积累的对外加工贸 易的数据，充分运用我们的创新性信息处理技术和 数据挖掘技术，开展研发工作。目前已通过验收， 并将对国家的对外贸易和商务活动产生较大影响。 概括起来有如下几点： 1）为对外贸易企业“请进 来，走出去”提供决策支持 ；2）为领导关注的热 点问题，提供决策支持；3）为外商投资提供咨询指 导；4）为国家和地方招商引资提供科学的建议。
2、按照数据挖掘、决策支持系统、专家系统 方面的文章统计图示如下：(评价)
800 600 400 200
0 1994年
1995年
1996年
1997年
1998年
1999年
2000年
2001年
2002年
2003年
2004年
发展的基本特征
（1）原有理论方法的深化与拓展
如： 1）网络数据挖掘；流数据;混合数据。 2）基于神经网络的的时序数据、相似序列、快速挖掘算
国内研究动态
我们编制了了软件对中国期刊网上1994年至 今的论文进行了分类与统计。
1、历年发表文章数分类汇总图示如下(含所 有的类别共11707篇)
3000 250ቤተ መጻሕፍቲ ባይዱ 2000 1500 1000 500
0 1994年 1995年 1996年 1997年 1998年 1999年 2000年 2001年 2002年 2003年 2004年
再次，基于推理机制的知识发现子系统（KDRM）,包括用一 种或多种知识表示方法描述的已知问题及其解法的描述集合 的知识库和需要求解的问题集；通过Fuzzy推理、演绎推理、 广义综合归纳推理和基于案例的推理等，构造规则集和发现 新知识。来自WEB的信息首先被存储在文本库和日志库中， 并由基于WEB的知识发现子系统挖掘关于访问信息、文本和 结构方面的知识，并将挖掘结果存入WEB知识库。
首先，六库（数据库、知识库、方法库、模型库、文本库、 日志库）在多库管理子系统的管理下协同运作。知识获取子 系统可以从领域专家那里获取知识，也可以获取书本中的知 识，并将这些知识存储在知识库中。基于信息挖掘的新型智 能决策支持系统。
其次，知识库中的知识可以直接纳入综合知识库，也可以被 基于双库协同机制的知识发现（KDD*）子系统利用，在以属 性为基础的知识库建库原则下，通过搜索知识库中知识结点 的不关联态，产生“创见意向”，发现短缺知识。
一、数据挖掘(知识发现)概念内涵与外延的发展
结构化数据挖掘 DM(KDD)
多媒体数据构成的大型异 质异构数据库，称为复杂 数据类型挖掘CDM [动态(在线)-分布式-并行 系统]
基于知识库的知识发现 KDK
Web: 1、以文本为主的页面内容 挖掘 2、以客户访问信息为主 3、以Web结构为主
多媒体：音频、视频、 图像、图形、时序、空 间等
效的教给其他人。而这种形势与从业者以及对应用 感兴趣的人们的巨大的热情同时存在，这些人来自 不同的领域，但是没有科学根基以及持续的学术发 展，本领域不可能得到发展与巩固。
R.Uthurusamy认为WEB的使用和生产厂家的大肆
宣传等都会在短期内影响本领域的发展，它们会使 得我们将更多的精力投向数据库营销、CRM和 OLAP等方面，而不是致力于使KDD从根本上或科 学上有大的进步。KDD的基础研究界必须消除这些 干扰而去努力解决KDD的真正的根本的问题。
为此，我们提出了基于信息挖掘的智能决策支持系统IDSSIM， 这里的信息挖掘区别于通常的数据挖掘，是从结构化数据或 复杂类型数据（文本、日志、音频、视频、图像等）中提取 新颖、潜在有用知识的非平凡抽取过程。所形成的IDSSIM结 构模型可广泛应用于各行各业在管理信息系统的基础上所提 升的辅助决策支持系统中。
2）半结构化、非结构化等复杂类型数据挖掘。
A Method for Mining Data of Sequential Images---Rebuilding of Gray (Position) time Function on Arbitrary Direction Lines （基于图表数据库知识发现系统的概念等级聚类 ）
数据挖掘正面临着巨大的机遇和挑战。
其中U. Fayyad认为从科学发展的长远来看,最大的 绊脚石是基础理论的缺乏以及所面临的问题和挑战 的清晰明白的阐述。 他认为对于我们要做什么，几 乎没有理论甚至工程实践来指导：在今天它仍然是” 不为人知的艺术”。 我们需要理论来指导我们要做
什么以及要如何作。这些理论能够促使工程解决方 法的出现，这样我们也可以将我们的 “手艺”更有
客户端：
硬件：普通PC、网卡、INTERNET 网络链接 软件：BRIO CLIENT EXPLORER、通用浏览器
2. KDD*
问题域 计算模式与开发工具 总体设计流程图
KDD*问题域说明
预 想： 就采购价值链方面内容，展开数据挖掘，重点 对国内采购现状，抽取相关关联规则，提供领 导决策信息。
方法特征： 智能系统内在的使用了人工智能方法与软 计算方法，知识发现方法寻求新颖的知识 类型，因而所发现的知识与数据状况密切 相关。在未作实际挖掘前难以确定其明确 主题。
二、商务部国际商务中心项目简介
在与国家商务部国际商务中心的合作中，构造了基 于我们专利技术的“面向加工贸易基于竞争情报的 智能决策支持系统” 。针对外贸加工中国内采购与 供应链系统进行深入分析，通过数据挖掘、WEB挖 掘、案例推理与OLAP等技术，挖掘出一些平时很 难靠直观或凭借经验发现的规则，发现了若干新的 知识。对领导战略决策与企业经营决策管理有一定 的参考价值。
项目主页应用窗口
三、软件系统实现整体说明
1、OLAP
问题域 运行环境与开发工具
OLAP问题域
1、经营企业信息分析 2、国产料件分析 3、进口料件分析 4、加工行业分析 5、外商分析 6、进出口币种分析 7、工缴费分析 8、口岸与海关分析 9、出口成品分析
OLAP运行环境与工具
服务器端： 硬件：性能较好的服务器、网络链接 软件：ORACLE数据库服务器及数据、BRIO INTELLIGENCE SERVER、BRIO CLIENT DESIGNER
IDSSIM的总体结构模型如下图所示：
在线帮助子系统 模型定位子系统
决策者 用户接口 问题解释子系统
自检子系统 （指令与测试指标传输）
分级诊断子系统
综合知识库 （问答集，KDD*知识，推理知识）
基于推理机制的 知识发现子系统
基于双库协同机制 的知识发现子系统
WEB 知识库
基于 WEB 挖掘 的知识发现子系统
（5）基础理论研究
内在机理研究；自主知识发现框架；DM=数据集+似然关 系+挖掘算法等。
第二部分 数据挖掘在商务智能决策中的应用
一、基于信息挖掘的新型智能决策支持系统 二、商务部国际商务中心项目简介 三、软件系统实现整体说明
一、基于信息挖掘的新型智能决策支持系统
自从美国麻省理工学院的Michael S.S.Morton和Peter G.W.Keen于20世纪70年代首次提出决策支持系统（DSS） 以来，其发展迅速，不断取得显著的成果，并成为许多行业 经营管理中一个不可缺少的现代化决策支持工具。现在正逐 步形成新一代的DSS：群决策支持系统（GDSS），分布式 决策支持系统（DDSS），战略决策支持系统等，尤其是智 能决策支持系统（IDSS）的出现，将人工智能的知识推理 等技术引入DSS，使DSS的发展进入了一个新的阶段。近年 来，又相继出现了基于数据仓库与基于WEB的智能决策支 持系统，大大推进了IDSS的发展。
系统的核心是“源于信息的知识发现KDBI”（Knowledge Discovery Based on Information），它在模块实现上主要 包含三个部分：基于双库协同机制的知识发现子系统 （KDD*）、基于推理机制的知识发现子系统（KDRM）和基于 WEB挖掘的知识发现子系统（KDWM）。可粗略地表示为： KDBI ＝ KDD*+KDRM+KDWM。
数据挖掘在商务智能 决策与CRM中的应用
北京科技大学 杨炳儒 教授
数据挖掘（知识发现）新进展 数据挖掘在商务智能决策中的应用 数据挖掘在CRM中的应用
第一部分数据挖掘（知识发现）新进展
一、数据挖掘(知识发现)概念内涵与外延的发展 二、挖掘知识类型的扩展 三、挖掘技术方法的扩展 四、应用的扩展 五、研究动态与趋向
知识发现的新定义：
在现实世界中，针对客观存在 的具有海量性、不确定性、不完全 性的量的、质的、复杂形态的知识 源，挖掘其中潜在的、先前未知的、 用户感兴趣的、最终可被用户理解 的模式的非平凡提取过程。
二、挖掘知识类型的扩展
关联规则、分类、聚类、相似模式、 混沌模式、时序模式、预测等
扩展
文本、客户访问路径、音频、视频……
但是，传统的决策支持系统尚存在着推理技术单调，自学习 能力较差，形成知识库中的知识不足够丰富这一新的“瓶颈” 现象。近年来Internet迅速发展，网上信息极大丰富而知识 却相对缺乏，并且这些信息和以往决策支持系统所处理的信 息不同，是非结构化的，这就使其处理方式也必然有所不同。 所以新一代决策支持系统的发展方向是高度智能化，以多种 知识表示、自组织协同工作、自动知识获取和自适应能力较 强等为特征。
主观Bayes方法、信息扩散等
四、应用的扩展
金融、医疗保健、市场业、零售业、 制造业、工程与科学、经纪业和安全交易、 证券交易、瑕疵分析、政府和防卫、电信、
司法、企业经营管理等等
应用领域扩展
Internet、农业、气象、远程教育、 天文学、生物信息、地理信息等等
Marksman、Think Machine、 DataMind、Intelligent Miner、
扩展
生物信息挖掘、游戏信息挖掘、 XML文档、多语言文本挖掘、 图表数据库、分子结构数据库等
三、挖掘技术方法的扩展
统计学（数理统计）、证据理论、 机器学习、神经网络、粗糙集、
近似推理、小波、分形、概念格、 概念树提升、决策树等
扩展
Hilbert空间、信息融合与 神经网络结合、距离测度函数、 数据立方体、隐马尔可夫模型、信息熵、