第5章电子商务中的数据仓库技术PPT课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可选存储/近线存储环境（Alternative storage/near line storage environment）
企业操作型数据存储环境（Corporate operational data store）
28.09.2020
武汉大学信息管理学院
4
28.09.2020
武汉大学信息管理学院
武汉大学信息管理学院
12
6.可选存储
虽然使用高性能磁盘存储，从技术上对企业数据 仓库意义非常大，但是下列2个因素使得这种 存储并不是最佳方案：
➢ 数据仓库的信息量急剧增加，电子商务中非常明显 ➢ 需要将数据分类：经常使用的数据、很少使用的数据
因此，有必要将EDW开展到高性能磁盘存储以外 的介质上。即：可选二级存储，与高性能磁盘 存储相比，可选存储比较廉价，但存取速度也 较慢。当数据仓库被扩展到二级存储时，数据 可以以最低节级、最高粒度存入数据仓库。
数据是通过集成/转化（I/T）程序来提供的， I/T程序也称作抽取、转化、和装载（ETL， Extract,Transform,Load）程序。它们负责将 这些来自许多程序的数据转化为一种统一的格 式和结构，从而将电子商务数据无缝地集成到 企业中来。
28.09.2020
武汉大学信息管理学院
7
2.粒度管理器
28.09.2020
武汉大学信息管理学院
2
5.1.1 CIF组成部分
CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以 下组成部分：
因特网（Internet） 企业网站（Corporate Web Site） 防火墙（Firewall） 企业操作型系统（Corporate operational
第5章 电子商务中的 数据仓库技术
主要内容：
CIF与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化
28.09.2020
1
5.1 CIF和电子商务
本节主要内容： CIF的组成部分 定义电子商务体系结构需求 理解点击流数据 利用元数据转化语言来解释信息 理解CIF和电子商务接口
活动？这些行为和活动如何影响总的体系结构和 模型？ 什么是信息和元数据转化语言？XML、HTML和 XHMTL语言如何作用于数据和元数据转化？ 应该如何来处理海量数据？
28.09.2020
武汉大学信息管理学院
13
7.操作型数据存储（ODS）
Web环境中，ODS（Operational Data Store)是CIF 中最重要的结构之一。ODS的特征就是一种能够处理混 合负载的操作系统和数据库管理系统。
两种ODS类型：
Web ODS：存在于Web环境内部，核心部分是一台普通规模的 计算机
经常需要拥有自己的数据集市的部门： 销售：用于销售报表。 营销：用于确定市场潜力和渗透力。 财务：用于在开支上进行下钻。 会计：用于建立报表和修正。 人力资源：用于满足管理需求。 工程：用于提供产品跟踪。 保险精算：用于风险管理。
28.09.2020
武汉大学信息管理学院
11
5. 探索型数据仓库
6. 探索型数据仓库允许探索者随心所欲 地
7. 进行大量探索处理，而不会对数据仓库 环
8. 境的其他用户造成负面影响。来自 WEB环
9. 境中的数据可以通过起一数据仓库进入 探
10. 索型数据仓库。
11. 探索型数据仓库对WEB用户而言非常
重要，当业务模式发生变化时，探索型 12. 28.09.2020
粒度管理器是一种用于对网站数据进行预 处理以便让数据进入CIF的软件。负责组织网 站数据，以便这些数据可以有效应用于整个系 统中。
有些情况下，需要丢弃一些数据，而在另外 一些情况下，则需要合并相似类型的数据，因 此必须谨慎使用粒度管理器，以免破坏数据。
28.09.2020
武汉大学信息管理学院
8
3.企业数据仓库
企业数据仓库（Enterprise Data Warehouse，EDW）位于整个处理过程的 中心。所有数据都曾经存储在企业数据仓 库中，包括：
粒状数据
历史数据
集成数据
企业数据
28.09.2020
武汉大学信息管理学院
9
粒状数据
这是最低的细节级，可以转化为不同的形式和结构。
历史数据
近5年的数据均可以保存，这些数据可用于直接分析。
企业ODS：存在于CIF内部，核心部分是一台大型计算机
这两种ODS分别针对不同的目的而设计。企业ODS 是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只 为源于Web服务器内部的事务提供服务，是一种“局部 的”ODS。
利用粒度管理器，ODS可以适应不同级别的数据粒 度（0级、1级、2级）。
集成数据
这种数据是消除了应用偏差的数据。
企业数据
通常包括这些数据：易于访问，易于修改。
28.09.2020
武汉大学信息管理学院
10
4.企业数据集市环境
企业数据仓库包含了一些粒度非常小而非 常详细的数据。一个组织内的不同部门需要根 据特定需要查看不同形式组织的数据。这样就 要建立物理上独立的数据库——数据集市。
5
（一）定义WEB环境
WEB环境三要素： Internet 防火墙 网站本身
除了这些外，WEB环境还要包括一些内容：
28.09.2020
武汉大学信息管理学院
6
1.企业操作型系统
企业操作型系统负责运行日常操作,这些操 作通常是在某种媒介上进行。企业操作型系统 主要用来管理事务。消费者或者代理可以直接 提交这些事务。
system） 粒度管理器（Granualrity manager）
28.09.2020
武汉大学信息管理学院
3
企业数据仓库（ Enterprise data warehouse ）
企业数据集市环境（Corporate data mart environment）
探索环境（Exploration environment）
28.09.2020
武汉大学信息管理学院
Baidu Nhomakorabea
14
28.09.2020
武汉大学信息管理学院
15
28.09.2020
武汉大学信息管理学院
16
28.09.2020
武汉大学信息管理学院
17
（二）定义电子商务体系结构需求
什么是电子商务基础设施 什么是点击流数据 在web用户与网站交互过程中发生了什么行为和
企业操作型数据存储环境（Corporate operational data store）
28.09.2020
武汉大学信息管理学院
4
28.09.2020
武汉大学信息管理学院
武汉大学信息管理学院
12
6.可选存储
虽然使用高性能磁盘存储，从技术上对企业数据 仓库意义非常大，但是下列2个因素使得这种 存储并不是最佳方案：
➢ 数据仓库的信息量急剧增加，电子商务中非常明显 ➢ 需要将数据分类：经常使用的数据、很少使用的数据
因此，有必要将EDW开展到高性能磁盘存储以外 的介质上。即：可选二级存储，与高性能磁盘 存储相比，可选存储比较廉价，但存取速度也 较慢。当数据仓库被扩展到二级存储时，数据 可以以最低节级、最高粒度存入数据仓库。
数据是通过集成/转化（I/T）程序来提供的， I/T程序也称作抽取、转化、和装载（ETL， Extract,Transform,Load）程序。它们负责将 这些来自许多程序的数据转化为一种统一的格 式和结构，从而将电子商务数据无缝地集成到 企业中来。
28.09.2020
武汉大学信息管理学院
7
2.粒度管理器
28.09.2020
武汉大学信息管理学院
2
5.1.1 CIF组成部分
CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以 下组成部分：
因特网（Internet） 企业网站（Corporate Web Site） 防火墙（Firewall） 企业操作型系统（Corporate operational
第5章 电子商务中的 数据仓库技术
主要内容：
CIF与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化
28.09.2020
1
5.1 CIF和电子商务
本节主要内容： CIF的组成部分 定义电子商务体系结构需求 理解点击流数据 利用元数据转化语言来解释信息 理解CIF和电子商务接口
活动？这些行为和活动如何影响总的体系结构和 模型？ 什么是信息和元数据转化语言？XML、HTML和 XHMTL语言如何作用于数据和元数据转化？ 应该如何来处理海量数据？
28.09.2020
武汉大学信息管理学院
13
7.操作型数据存储（ODS）
Web环境中，ODS（Operational Data Store)是CIF 中最重要的结构之一。ODS的特征就是一种能够处理混 合负载的操作系统和数据库管理系统。
两种ODS类型：
Web ODS：存在于Web环境内部，核心部分是一台普通规模的 计算机
经常需要拥有自己的数据集市的部门： 销售：用于销售报表。 营销：用于确定市场潜力和渗透力。 财务：用于在开支上进行下钻。 会计：用于建立报表和修正。 人力资源：用于满足管理需求。 工程：用于提供产品跟踪。 保险精算：用于风险管理。
28.09.2020
武汉大学信息管理学院
11
5. 探索型数据仓库
6. 探索型数据仓库允许探索者随心所欲 地
7. 进行大量探索处理，而不会对数据仓库 环
8. 境的其他用户造成负面影响。来自 WEB环
9. 境中的数据可以通过起一数据仓库进入 探
10. 索型数据仓库。
11. 探索型数据仓库对WEB用户而言非常
重要，当业务模式发生变化时，探索型 12. 28.09.2020
粒度管理器是一种用于对网站数据进行预 处理以便让数据进入CIF的软件。负责组织网 站数据，以便这些数据可以有效应用于整个系 统中。
有些情况下，需要丢弃一些数据，而在另外 一些情况下，则需要合并相似类型的数据，因 此必须谨慎使用粒度管理器，以免破坏数据。
28.09.2020
武汉大学信息管理学院
8
3.企业数据仓库
企业数据仓库（Enterprise Data Warehouse，EDW）位于整个处理过程的 中心。所有数据都曾经存储在企业数据仓 库中，包括：
粒状数据
历史数据
集成数据
企业数据
28.09.2020
武汉大学信息管理学院
9
粒状数据
这是最低的细节级，可以转化为不同的形式和结构。
历史数据
近5年的数据均可以保存，这些数据可用于直接分析。
企业ODS：存在于CIF内部，核心部分是一台大型计算机
这两种ODS分别针对不同的目的而设计。企业ODS 是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只 为源于Web服务器内部的事务提供服务，是一种“局部 的”ODS。
利用粒度管理器，ODS可以适应不同级别的数据粒 度（0级、1级、2级）。
集成数据
这种数据是消除了应用偏差的数据。
企业数据
通常包括这些数据：易于访问，易于修改。
28.09.2020
武汉大学信息管理学院
10
4.企业数据集市环境
企业数据仓库包含了一些粒度非常小而非 常详细的数据。一个组织内的不同部门需要根 据特定需要查看不同形式组织的数据。这样就 要建立物理上独立的数据库——数据集市。
5
（一）定义WEB环境
WEB环境三要素： Internet 防火墙 网站本身
除了这些外，WEB环境还要包括一些内容：
28.09.2020
武汉大学信息管理学院
6
1.企业操作型系统
企业操作型系统负责运行日常操作,这些操 作通常是在某种媒介上进行。企业操作型系统 主要用来管理事务。消费者或者代理可以直接 提交这些事务。
system） 粒度管理器（Granualrity manager）
28.09.2020
武汉大学信息管理学院
3
企业数据仓库（ Enterprise data warehouse ）
企业数据集市环境（Corporate data mart environment）
探索环境（Exploration environment）
28.09.2020
武汉大学信息管理学院
Baidu Nhomakorabea
14
28.09.2020
武汉大学信息管理学院
15
28.09.2020
武汉大学信息管理学院
16
28.09.2020
武汉大学信息管理学院
17
（二）定义电子商务体系结构需求
什么是电子商务基础设施 什么是点击流数据 在web用户与网站交互过程中发生了什么行为和