数据挖掘在商业智能中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图1 商业智能的结构模型
3 数据挖掘
无论要分析的数据对象的类型如何, 常用的数据挖掘技术 包 括 关 联 分 析 、序 列 分 析 、分 类 、预 测 、聚 类 分 析 以 及 时 间 序 列 分析等。
关系数据库( relational database) 中通常存储和管理的是结 构化的数据, 它将一个实体的各方面信息通过离散的属性进行 描述。而文本数据库 ( text database) 或文档数据库( document database) 则通常存储和管理的是半结构化的数据, 例如新闻稿 件 、研 究 论 文 、电 子 邮 件 、书 籍 以 及 Web页 面 等 都 属 于 半 结 构 化 数据。空间数据库、多媒体数据库中存放的是非结构化数据, 例 如 地 图 、图 片 、音 频 、视 频 等 都 属 于 非 结 构 化 数 据 。 相 对 于 半 结
参考文献:
[ 1] Raymond Kosala, Hendrik Blockee1.Web Mining Research: A Sur- vey[ J] .S1GKDD Explorations, 2000( 2) .
[ 2] Jiawei Han, Micheline Kamber.Date Mining: Concepts and Tech- niques[ M] .Copyright, by Morgan Kaufmann Publishers, Inc., 2001.
据IDC对 欧 洲 和 北 美62家 采 用 了 商 务 智 能 技 术 的 企 业 调 查分 析 发 现 , 这 些 企 业的3年 平 均 投 资 回报 率 为401%, 其 中 25%的企业投资回报率超过600%。调查结果还显示, 一个企业 要想在复杂的环境中获得成功, 高层管理者必须能够控制极其 复杂的商业结构, 若没有详实的事实和数据支持, 是很难办到 的。因此, 随着数据挖掘技术的不断改进和日益成熟, 它必将被 更多的用户采用, 使更多的管理者得到更多的商业智能。
4 数据挖掘技术在商业智能中的应用
通常, 数据挖掘技术在商业智能中的应用分为以下几类: 广义上说, 任何从数据库中挖掘信息的过程都叫做数据挖 掘。从这点看来, 数据挖掘就是BI。但从技术术语上说, 数据挖 掘( Data Mining) 特指的是:源数据经过清洗和转换等成为适合 于 挖 掘 的 数 据 集 。数 据 挖 掘 在 这 种 具 有 固 定 形 式 的 数 据 集 上 完 成知识的提炼, 最后以合适的知识模式用于进一步分析决策工 作。从这种狭义的观点来看, 数据挖掘就是从特定形式的数据 集 中 提 炼 知 识 的 过 程 。 数 据 挖 掘 往 往 针 对 特 定 的 数 据 、特 定 的 问题, 选择一种或者多种挖掘算法, 找到数据下面隐藏的规律, 这 些 规 律 往 往 被 用 来 预 测 、支 持 决 策 。 ( 1) 购物篮分析。对销售结果进行分析来判断商品是否应 该捆绑销售。使用应用程序的结果来创建一个在线指导系统, 或者决定如何捆绑销售能将利润最大化。 ( 2) 客户流失分析。企业可以利用数据挖掘技术帮助管理 客户生命周期的各个阶段, 包括争取新的客户和保持住好的客 户。如果能够确定好客户的特点, 那么就能为客户提供有针对 性的服务。比如, 已经发现了购买某一商品的客户的特征, 那么 就可以向那些具有这些特征但还没有购买此商品的客户推销 这个商品; 找到流失的客户的特征就可以在那些具有相似特征 的客户还未流失之前进行针对性的弥补。 ( 3) 市场分析。通过对客户自动分组来细分市场, 并由此结 果做趋势分析以设计市场活动。 ( 4) 预测。预测销售量和库存量并获知他们之间的关联关 系。 ( 5) 数据浏览。由数据挖掘算法发现的模式能更好地了解 客户。它可以比较高价值客户与低价值客户之间的差异, 或者
Abstr act:This paper discusses the basic concept and construction model, presents the role of data mining in the business intelligence, and introduces the classify method of data mining objects and general technologies of data mining. At end, it points out the data mining will become the final power to promote the development of business intelligence. Key wor ds:Data mining; Business Intelligence; Data Warehouse; Relational Database
关的共同主题或趋势。
5 商业智能的发展趋势
随着我国加入WTO, 我国在许多领域, 如金融、保险等领域 将逐步对外开放, 这就意味着许多企业将面临来自国际大型跨 国 公 司 的 巨 大 竞 争 压 力 。国 外 发 达 国 家 各 种 企 业 采 用 商 业 智 能 的水平已经远远超过了我国。现在, 许多企业都把数据看成宝 贵的财富, 纷纷利用商业智能发现其中隐藏的信息, 借此获得 巨额的回报。
按照智能应用的范围, 商业智能系统可以产生客户智能、 营 销 智 能 、销 售 智 能 和 财 务 智 能 。这 些 智 能 的 产 生 包 括 3个 部 分 的具体功能: 信息处理、分析处理和知识发现。前2个部分是商 业智能的前端展现对象, 第3个部分则属于数据挖掘层次。
把商业智能系统工作的这一过程进行技术上的抽象, 可以 把 商 业 智 能 的 体 系 结 构 分 为 源 数 据 层 、数 据 转 换 层 、数 据 仓 库 ( 数据集市) 层、OLAP及数据挖掘层和用户展现层。这几层通过 密切的协作完成商业智能的功能, 它们的相互依赖关系如图1 所示。
第7卷 第8期 20ቤተ መጻሕፍቲ ባይዱ8年 8 月
软件导刊 Software Guide
Vol.7 No.8 Aug. 2008
数据挖掘在商业智能中的应用
宋 强, 李春雨
(安阳工学院 计算机科学系, 河南 安阳 455000)
摘 要: 讨论了商业智能的基本概念和结构模型, 阐述了数据挖掘在商业智能中的作用, 并介绍了数据挖掘对象的
构化和非结构化数据来说, 针对结构化数据的数据挖掘技术比 较成熟, 市场上有很多的商品软件可以使用, 而关于半结构化 和非结构化的数据挖掘软件尚不多, 相应的算法相对还较少。 从另一个角度来说, 数据挖掘的分析对象又可以分为2种类型: 静态数据和数据流( data stream) 数据。现在的多数数据挖掘算 法是用于分析静态数据的。
[ 3] 孙颖, 毛波.基于数据挖掘技术的虚拟社区成员行为研究[ J] .计 算机应用, 2003( 1) .
[ 4] 康晓东.基于数据仓库的数据挖掘技 术 [ M] .北京 : 机 械工 业 出版 社, 2004. ( 责任编辑: 杜能钢)
Application of Data Mining in Business Intelligence
2 商业智能的功能与系统结构
商业 智 能 系 统 是 建立 在 数 据 仓 库 、OLAP和数 据 挖 掘 等 技 术的基础之上, 通过收集、整理和分析企业内外部的各种数据, 加深企业对客户及市场的了解, 并使用一定的工具对企业运营 状况、客户需求和市场动态等做出合理的评价及预测, 为企 业 管理层提供科学的决策依据。
分析喜爱同一种产品的不同品牌的客户之间的区别。 ( 6) Web站点分析。分析网站用户行为, 归纳相似的使用模
式。 ( 7) 营销活动分析。把钱花在刀刃上, 准确定位有效用户,
让我们的每一分市场经费都发挥最大的效用。 ( 8) 数据质量。当数据被装载进数据仓库时检查其中可能
丢失的数据或是异常数据。 ( 9) 文本分析。分析反馈信息, 找到与你的客户或者员工有
作者简介: 宋强( 1971~) , 男, 河南安阳人, 安阳工学院计算机科学系工程师、硕士研究生, 研究方向为网络与人工智能; 李春雨( 1982~) , 男, 河南安 阳人, 安阳工学院计算机科学系助教、在职研究生, 研究方向为计算机应用。
第8期
宋 强, 李春雨: 数据挖掘在商业智能中的应用
· 13 ·
分类方法和常用的数据挖掘技术。
关键词: 数据挖掘; 商业智能; 数据仓库; 关系数据库
中图分类号: TP393.09
文献标识码: A
文章编号: 1672- 7800( 2008) 08- 0012- 02
1 商业智能的概念
商业智能, 即Business Intelligence( BI) , 它通常被理解为将 企业中现有的数据转化为知识, 帮助企业做出明智的业务经营 决 策 的 工 具 。BI是 帮 助 企 业 提 高 决 策 能 力 和 运 营 能 力 的 概 念 、 方法、过程以及软件的集合, 其主要目标是将企业所掌握的 信 息 转 换 成 竞 争 优 势 , 提 高 企 业 决 策 能 力 、决 策 效 率 、决 策 准 确 性。为了将数据转化为知识, 需要利用数据仓库、联机分析处理 ( OLAP) 工具和数据挖掘( Data Mining) 等技术。因此, 从技术层 面上讲, 商业智能不是什么新技术, 它只是ETL数据仓库、O- LAP和DM等技术的综合运用。从技术架构来讲, 商业智能系统 主 要 由 数 据 源 、带 有ETL的 数 据 仓 库 、数 据 集 市 、商 业 智 能 应 用 和元数据几个部分组成。
具有综合数据的能力并对数据进行快速和准确分析, 从而 做出更好的商业决策, 可以为企业带来竞争优势。如何发现和 使用这种优势, 就是商业智能所研究的课题。在过去的20年中, 经济快速发展, 组织机构普遍都收集了大量的商业数据。然而, 拥有大量的数据并不意味着拥有了丰富的商业信息。因此, 商 业 智 能 需 要 进 展 到 下 一 步 — — — 数 据 挖 掘 。数 据 挖 掘 能 帮 助 商 业 企业在浏览巨量数据的同时从中发现潜在有效的模式, 并将这 些模式应用于商业运营中。
3 数据挖掘
无论要分析的数据对象的类型如何, 常用的数据挖掘技术 包 括 关 联 分 析 、序 列 分 析 、分 类 、预 测 、聚 类 分 析 以 及 时 间 序 列 分析等。
关系数据库( relational database) 中通常存储和管理的是结 构化的数据, 它将一个实体的各方面信息通过离散的属性进行 描述。而文本数据库 ( text database) 或文档数据库( document database) 则通常存储和管理的是半结构化的数据, 例如新闻稿 件 、研 究 论 文 、电 子 邮 件 、书 籍 以 及 Web页 面 等 都 属 于 半 结 构 化 数据。空间数据库、多媒体数据库中存放的是非结构化数据, 例 如 地 图 、图 片 、音 频 、视 频 等 都 属 于 非 结 构 化 数 据 。 相 对 于 半 结
参考文献:
[ 1] Raymond Kosala, Hendrik Blockee1.Web Mining Research: A Sur- vey[ J] .S1GKDD Explorations, 2000( 2) .
[ 2] Jiawei Han, Micheline Kamber.Date Mining: Concepts and Tech- niques[ M] .Copyright, by Morgan Kaufmann Publishers, Inc., 2001.
据IDC对 欧 洲 和 北 美62家 采 用 了 商 务 智 能 技 术 的 企 业 调 查分 析 发 现 , 这 些 企 业的3年 平 均 投 资 回报 率 为401%, 其 中 25%的企业投资回报率超过600%。调查结果还显示, 一个企业 要想在复杂的环境中获得成功, 高层管理者必须能够控制极其 复杂的商业结构, 若没有详实的事实和数据支持, 是很难办到 的。因此, 随着数据挖掘技术的不断改进和日益成熟, 它必将被 更多的用户采用, 使更多的管理者得到更多的商业智能。
4 数据挖掘技术在商业智能中的应用
通常, 数据挖掘技术在商业智能中的应用分为以下几类: 广义上说, 任何从数据库中挖掘信息的过程都叫做数据挖 掘。从这点看来, 数据挖掘就是BI。但从技术术语上说, 数据挖 掘( Data Mining) 特指的是:源数据经过清洗和转换等成为适合 于 挖 掘 的 数 据 集 。数 据 挖 掘 在 这 种 具 有 固 定 形 式 的 数 据 集 上 完 成知识的提炼, 最后以合适的知识模式用于进一步分析决策工 作。从这种狭义的观点来看, 数据挖掘就是从特定形式的数据 集 中 提 炼 知 识 的 过 程 。 数 据 挖 掘 往 往 针 对 特 定 的 数 据 、特 定 的 问题, 选择一种或者多种挖掘算法, 找到数据下面隐藏的规律, 这 些 规 律 往 往 被 用 来 预 测 、支 持 决 策 。 ( 1) 购物篮分析。对销售结果进行分析来判断商品是否应 该捆绑销售。使用应用程序的结果来创建一个在线指导系统, 或者决定如何捆绑销售能将利润最大化。 ( 2) 客户流失分析。企业可以利用数据挖掘技术帮助管理 客户生命周期的各个阶段, 包括争取新的客户和保持住好的客 户。如果能够确定好客户的特点, 那么就能为客户提供有针对 性的服务。比如, 已经发现了购买某一商品的客户的特征, 那么 就可以向那些具有这些特征但还没有购买此商品的客户推销 这个商品; 找到流失的客户的特征就可以在那些具有相似特征 的客户还未流失之前进行针对性的弥补。 ( 3) 市场分析。通过对客户自动分组来细分市场, 并由此结 果做趋势分析以设计市场活动。 ( 4) 预测。预测销售量和库存量并获知他们之间的关联关 系。 ( 5) 数据浏览。由数据挖掘算法发现的模式能更好地了解 客户。它可以比较高价值客户与低价值客户之间的差异, 或者
Abstr act:This paper discusses the basic concept and construction model, presents the role of data mining in the business intelligence, and introduces the classify method of data mining objects and general technologies of data mining. At end, it points out the data mining will become the final power to promote the development of business intelligence. Key wor ds:Data mining; Business Intelligence; Data Warehouse; Relational Database
关的共同主题或趋势。
5 商业智能的发展趋势
随着我国加入WTO, 我国在许多领域, 如金融、保险等领域 将逐步对外开放, 这就意味着许多企业将面临来自国际大型跨 国 公 司 的 巨 大 竞 争 压 力 。国 外 发 达 国 家 各 种 企 业 采 用 商 业 智 能 的水平已经远远超过了我国。现在, 许多企业都把数据看成宝 贵的财富, 纷纷利用商业智能发现其中隐藏的信息, 借此获得 巨额的回报。
按照智能应用的范围, 商业智能系统可以产生客户智能、 营 销 智 能 、销 售 智 能 和 财 务 智 能 。这 些 智 能 的 产 生 包 括 3个 部 分 的具体功能: 信息处理、分析处理和知识发现。前2个部分是商 业智能的前端展现对象, 第3个部分则属于数据挖掘层次。
把商业智能系统工作的这一过程进行技术上的抽象, 可以 把 商 业 智 能 的 体 系 结 构 分 为 源 数 据 层 、数 据 转 换 层 、数 据 仓 库 ( 数据集市) 层、OLAP及数据挖掘层和用户展现层。这几层通过 密切的协作完成商业智能的功能, 它们的相互依赖关系如图1 所示。
第7卷 第8期 20ቤተ መጻሕፍቲ ባይዱ8年 8 月
软件导刊 Software Guide
Vol.7 No.8 Aug. 2008
数据挖掘在商业智能中的应用
宋 强, 李春雨
(安阳工学院 计算机科学系, 河南 安阳 455000)
摘 要: 讨论了商业智能的基本概念和结构模型, 阐述了数据挖掘在商业智能中的作用, 并介绍了数据挖掘对象的
构化和非结构化数据来说, 针对结构化数据的数据挖掘技术比 较成熟, 市场上有很多的商品软件可以使用, 而关于半结构化 和非结构化的数据挖掘软件尚不多, 相应的算法相对还较少。 从另一个角度来说, 数据挖掘的分析对象又可以分为2种类型: 静态数据和数据流( data stream) 数据。现在的多数数据挖掘算 法是用于分析静态数据的。
[ 3] 孙颖, 毛波.基于数据挖掘技术的虚拟社区成员行为研究[ J] .计 算机应用, 2003( 1) .
[ 4] 康晓东.基于数据仓库的数据挖掘技 术 [ M] .北京 : 机 械工 业 出版 社, 2004. ( 责任编辑: 杜能钢)
Application of Data Mining in Business Intelligence
2 商业智能的功能与系统结构
商业 智 能 系 统 是 建立 在 数 据 仓 库 、OLAP和数 据 挖 掘 等 技 术的基础之上, 通过收集、整理和分析企业内外部的各种数据, 加深企业对客户及市场的了解, 并使用一定的工具对企业运营 状况、客户需求和市场动态等做出合理的评价及预测, 为企 业 管理层提供科学的决策依据。
分析喜爱同一种产品的不同品牌的客户之间的区别。 ( 6) Web站点分析。分析网站用户行为, 归纳相似的使用模
式。 ( 7) 营销活动分析。把钱花在刀刃上, 准确定位有效用户,
让我们的每一分市场经费都发挥最大的效用。 ( 8) 数据质量。当数据被装载进数据仓库时检查其中可能
丢失的数据或是异常数据。 ( 9) 文本分析。分析反馈信息, 找到与你的客户或者员工有
作者简介: 宋强( 1971~) , 男, 河南安阳人, 安阳工学院计算机科学系工程师、硕士研究生, 研究方向为网络与人工智能; 李春雨( 1982~) , 男, 河南安 阳人, 安阳工学院计算机科学系助教、在职研究生, 研究方向为计算机应用。
第8期
宋 强, 李春雨: 数据挖掘在商业智能中的应用
· 13 ·
分类方法和常用的数据挖掘技术。
关键词: 数据挖掘; 商业智能; 数据仓库; 关系数据库
中图分类号: TP393.09
文献标识码: A
文章编号: 1672- 7800( 2008) 08- 0012- 02
1 商业智能的概念
商业智能, 即Business Intelligence( BI) , 它通常被理解为将 企业中现有的数据转化为知识, 帮助企业做出明智的业务经营 决 策 的 工 具 。BI是 帮 助 企 业 提 高 决 策 能 力 和 运 营 能 力 的 概 念 、 方法、过程以及软件的集合, 其主要目标是将企业所掌握的 信 息 转 换 成 竞 争 优 势 , 提 高 企 业 决 策 能 力 、决 策 效 率 、决 策 准 确 性。为了将数据转化为知识, 需要利用数据仓库、联机分析处理 ( OLAP) 工具和数据挖掘( Data Mining) 等技术。因此, 从技术层 面上讲, 商业智能不是什么新技术, 它只是ETL数据仓库、O- LAP和DM等技术的综合运用。从技术架构来讲, 商业智能系统 主 要 由 数 据 源 、带 有ETL的 数 据 仓 库 、数 据 集 市 、商 业 智 能 应 用 和元数据几个部分组成。
具有综合数据的能力并对数据进行快速和准确分析, 从而 做出更好的商业决策, 可以为企业带来竞争优势。如何发现和 使用这种优势, 就是商业智能所研究的课题。在过去的20年中, 经济快速发展, 组织机构普遍都收集了大量的商业数据。然而, 拥有大量的数据并不意味着拥有了丰富的商业信息。因此, 商 业 智 能 需 要 进 展 到 下 一 步 — — — 数 据 挖 掘 。数 据 挖 掘 能 帮 助 商 业 企业在浏览巨量数据的同时从中发现潜在有效的模式, 并将这 些模式应用于商业运营中。