高级数据库技术 (1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
18
武汉大学国际软件学院
OLAP
2.
概
述
维（Dimension） 维是人们观察数据的特定角度。 例如，企业常常关心产品销售随着时间 推移而产生的变化的情况，这时他是从 时间的角度来观察产品的销售，所以时 间就是一个维（时间维）。 企业也常常关心自己的产品在不同地区 的销售分布情况，这时他是从地理分布 的角度来观察产品的销售，所以地理分 布也是一个维（地理维）。
?
Warehouse OLAP Server
?
user
30
武汉大学国际软件学院
O L A P 的 实 现 方 法
2.
OLAP服务器的特征
查询性能 空间占用 分析查询能力
31
武汉大学国际软件学院
O L A P 的 实 现 方 法
ROLAP服务器的原理
Cache
Live fetch Query
产品
时间
指标维
国产烟
进口烟
Q1 Q2 Q3 Q4 收入
开销
杭产烟
上海烟
中华
双喜
26
武汉大学国际软件学院Βιβλιοθήκη Baidu
O L A P 的 基 本 操 作
切片
用切片的方法从不同的角度观察
标 标
Q1 时间
财 务
时间
财
务
指
中华烟
产品 产品
Q1 所有产品 所有财务指标
中华烟 所有时间 所有财务指标
指
27
武汉大学国际软件学院
有价值的知识
36
武汉大学国际软件学院
数 据 挖 掘 概 述
2.
数据挖掘的定义 就是从大量的、不完全的、有噪声的、模糊 的、随机的数据中,识别出有效的、新颖的、 潜在有用的，以及最终可理解的模式（或知识） 的非平凡过程。 需要指出的是,这里所说的知识,不是放之四海 而皆准的真理，而是相对的。
37
武汉大学国际软件学院
武汉大学国际软件学院
本讲主要目标
学完本讲后，你应该能够了解：
1. 数据仓库的定义； 2. 数据仓库的特点是：面向主题的、集成的、非 易失的和随时间变化的； 3. OLAP的特点和基本操作:上钻（drill up）、下 钻 (drill down) 、 切 片 (slice) 、 切 块 （dice）和旋转（Pivot，rotate) 4. OLAP的三种实现方式：ROLAP，MOLAP，HOLAP 5. 数据挖掘的定义及与传统知识处理技术的不同
HOLAP服务器的原理
MDDB and cache
Periodic load Query
Fetch, cache
Data
Warehouse
OLAP Server
user
34
武汉大学国际软件学院
数据挖掘概述
35
武汉大学国际软件学院
数 据 挖 掘 概 述
1.
为什么需要数据挖掘？
VLDB
数据挖掘
太多数据
5
武汉大学国际软件学院
数据仓库的定义和特点
数据仓库的特点
面向主题的 集成的
数据仓库
非易失的
随时间变化的
6
武汉大学国际软件学院
数据仓库的定义和特点
面向主题的
OLTP 应用
数据仓库主题
资产 保险 贷款
股票
客户财务信息
储蓄
7
武汉大学国际软件学院
数据仓库的定义和特点
集成的
Savings Current accounts Loans
OLAP工具 DM工具
多维数据
相关数据集
查询 OLTP DWMS DBMS DB
DW
16
武汉大学国际软件学院
OLAP概述
17
武汉大学国际软件学院
OLAP
1.
概
述
什么是OLAP？ OLAP是针对特定问题的联机数据访问和 分析。 通过对信息（这些信息已经从原始的数 据进行了转换，以反映用户所能理解的 企业的真实的“维”）的很多可能的观 察形式进行快速、稳定一致和交互性的 存取，允许管理决策人员对数据进行深 入观察
2
武汉大学国际软件学院
一．数据仓库的定义和特点
二．数据仓库的体系结构
三．OLAP概述 四．OLAP的基本操作
五．OLAP的实现方法
六. 数据挖掘概述
3
武汉大学国际软件学院
数据仓库的
定义和特点
4
武汉大学国际软件学院
数据仓库的定义和特点
世界公认的数据仓库概念创始人 W.H.Inmon 在 《 数 据 仓 库 》 （ Building the Data Warehouse）一书中对数据仓库 的定义是：数据仓库就是面向主题的、集 成的、非易失的（稳定性）、随时间变化 （不同时间）的数据集合，用以支持经营 管理中的决策制定过程。
随时间变化的
13
武汉大学国际软件学院
数据仓库的
体系结构
14
武汉大学国际软件学院
数据仓库的体系结构
1.
数据仓库的数据结构
高度综合级 元数据
DB
轻度综合级
集成转换
当前细节级
DSS映射
分 析 工 具
早期细节级 数据仓库的多粒度数据组织
15
武汉大学国际软件学院
数据仓库的体系结构
2.
数据仓库的体系结构
20
武汉大学国际软件学院
OLAP
4.
概
述
维成员 维的一个取值就称为该维的一个维成员。 如果一个维是多层次的，那么该维的维 成员就是不同维层次的取值的组合。 例如，考虑时间维具有日期、月份、年 这三个层次，分别在日期、月份、年上 各取一个值组合起来，就得到时间维的 一个维成员，即“某年某月某日”。
41
武汉大学国际软件学院
练
习
Unit Twenty
42
武汉大学国际软件学院
24
武汉大学国际软件学院
O L A P 的 基 本 操 作
一个OLAP操作实例：
卷烟销售分析
产品
时间
财务指标
国产烟
进口烟
Q1 Q2 Q3 Q4
收入
开销
25
武汉大学国际软件学院
O L A P 的 基 本 操 作
钻取（Dill up/Drill down）：
钻取到各级数据层次
产 品,国产烟,上海烟,中华
Warehouse Database
Refresh
Purge or Archive
Refresh
11
武汉大学国际软件学院
数据仓库的定义和特点
随时间变化的
Time 01/97 02/97 03/97
Data January February March
数据仓库
12
武汉大学国际软件学院
数据仓库的定义和特点
21
武汉大学国际软件学院
O
5.
L
A
P
概
述
OLTP与OLAP的差异
22
武汉大学国际软件学院
OLAP的
基本操作
23
武汉大学国际软件学院
O L A P 的 基 本 操 作
钻取：在一个维内部沿着层次从上到下或从下到上 的方向考察数据
上钻（Drill up）
下钻(Drill down)
切片/切块（Slice and dice） 固定某些维成员，对其它维进行考察 旋转（Pivot，rotate) 按不同顺序组织各个维，对结果进行考察
19
武汉大学国际软件学院
OLAP
3.
概
述
维的层次 人们观察数据的某个特定角度（即某个 维）还可以存在细节程度不同的多个描 述方面，我们称这个描述方面为维的层 次。 一个维往往具有多个层次，例如:
描述时间维时，可以从日期、月份、季度、 年等不同层次来描述，那么日期、月份、季 度、年等就是时间维的层次； 同样，城市、地区、国家就构成了一个地理 维的多个层次。
OLTP 应用
Customer
数据仓库
8
武汉大学国际软件学院
数据仓库的定义和特点
集成的
9
武汉大学国际软件学院
数据仓库的定义和特点
非易失的
OLTP
Load
数据仓库
Insert Update Delete
Read
Read
10
武汉大学国际软件学院
数据仓库的定义和特点
非易失的
First time load Operational Databases Refresh
O L A P 的 基 本 操 作
旋转
按不同顺序组织各个维，对结果进行考察
产 品
产 品
时间
财务指标
28
武汉大学国际软件学院
OLAP的
实现方法
29
武汉大学国际软件学院
O L A P 的 实 现 方 法
1.
OLAP服务器的实现方法
关系OLAP (ROLAP) 多维OLAP (MOLAP) 混合OLAP (HOLAP)
Data cache Warehouse OLAP Server
Data
user
32
武汉大学国际软件学院
O L A P 的 实 现 方 法
MOLAP服务器的原理
MDDB
Query Periodic load
Data OLAP Server user
Warehouse
33
武汉大学国际软件学院
O L A P 的 实 现 方 法
第二十讲 数据仓库、联机分 析处理和数据挖掘
1
武汉大学国际软件学院
本讲主要目标
学完本讲后，你应该能够了解：
1. 数据仓库的定义； 2. 数据仓库的特点是：面向主题的、集成的、非 易失的和随时间变化的； 3. OLAP的特点和基本操作:上钻（drill up）、下 钻 (drill down) 、 切 片 (slice) 、 切 块 （dice）和旋转（Pivot，rotate) 4. OLAP的三种实现方式：ROLAP，MOLAP，HOLAP 5. 数据挖掘的定义及与传统知识处理技术的不同
数 据 挖 掘 概 述
3.
数据挖掘是多学科的交叉
数据库技术 统计学
机器学习
数据挖掘
可视化
信息科学
其他学科
38
武汉大学国际软件学院
数 据 挖 掘 概 述
4.
数据挖掘与数据仓库的关系
数据挖掘是数据仓库发展的必然结果 数据仓库为数据挖掘提供应用基础
39
武汉大学国际软件学院
Questions?
40
武汉大学国际软件学院
OLAP
2.
概
述
维（Dimension） 维是人们观察数据的特定角度。 例如，企业常常关心产品销售随着时间 推移而产生的变化的情况，这时他是从 时间的角度来观察产品的销售，所以时 间就是一个维（时间维）。 企业也常常关心自己的产品在不同地区 的销售分布情况，这时他是从地理分布 的角度来观察产品的销售，所以地理分 布也是一个维（地理维）。
?
Warehouse OLAP Server
?
user
30
武汉大学国际软件学院
O L A P 的 实 现 方 法
2.
OLAP服务器的特征
查询性能 空间占用 分析查询能力
31
武汉大学国际软件学院
O L A P 的 实 现 方 法
ROLAP服务器的原理
Cache
Live fetch Query
产品
时间
指标维
国产烟
进口烟
Q1 Q2 Q3 Q4 收入
开销
杭产烟
上海烟
中华
双喜
26
武汉大学国际软件学院Βιβλιοθήκη Baidu
O L A P 的 基 本 操 作
切片
用切片的方法从不同的角度观察
标 标
Q1 时间
财 务
时间
财
务
指
中华烟
产品 产品
Q1 所有产品 所有财务指标
中华烟 所有时间 所有财务指标
指
27
武汉大学国际软件学院
有价值的知识
36
武汉大学国际软件学院
数 据 挖 掘 概 述
2.
数据挖掘的定义 就是从大量的、不完全的、有噪声的、模糊 的、随机的数据中,识别出有效的、新颖的、 潜在有用的，以及最终可理解的模式（或知识） 的非平凡过程。 需要指出的是,这里所说的知识,不是放之四海 而皆准的真理，而是相对的。
37
武汉大学国际软件学院
武汉大学国际软件学院
本讲主要目标
学完本讲后，你应该能够了解：
1. 数据仓库的定义； 2. 数据仓库的特点是：面向主题的、集成的、非 易失的和随时间变化的； 3. OLAP的特点和基本操作:上钻（drill up）、下 钻 (drill down) 、 切 片 (slice) 、 切 块 （dice）和旋转（Pivot，rotate) 4. OLAP的三种实现方式：ROLAP，MOLAP，HOLAP 5. 数据挖掘的定义及与传统知识处理技术的不同
HOLAP服务器的原理
MDDB and cache
Periodic load Query
Fetch, cache
Data
Warehouse
OLAP Server
user
34
武汉大学国际软件学院
数据挖掘概述
35
武汉大学国际软件学院
数 据 挖 掘 概 述
1.
为什么需要数据挖掘？
VLDB
数据挖掘
太多数据
5
武汉大学国际软件学院
数据仓库的定义和特点
数据仓库的特点
面向主题的 集成的
数据仓库
非易失的
随时间变化的
6
武汉大学国际软件学院
数据仓库的定义和特点
面向主题的
OLTP 应用
数据仓库主题
资产 保险 贷款
股票
客户财务信息
储蓄
7
武汉大学国际软件学院
数据仓库的定义和特点
集成的
Savings Current accounts Loans
OLAP工具 DM工具
多维数据
相关数据集
查询 OLTP DWMS DBMS DB
DW
16
武汉大学国际软件学院
OLAP概述
17
武汉大学国际软件学院
OLAP
1.
概
述
什么是OLAP？ OLAP是针对特定问题的联机数据访问和 分析。 通过对信息（这些信息已经从原始的数 据进行了转换，以反映用户所能理解的 企业的真实的“维”）的很多可能的观 察形式进行快速、稳定一致和交互性的 存取，允许管理决策人员对数据进行深 入观察
2
武汉大学国际软件学院
一．数据仓库的定义和特点
二．数据仓库的体系结构
三．OLAP概述 四．OLAP的基本操作
五．OLAP的实现方法
六. 数据挖掘概述
3
武汉大学国际软件学院
数据仓库的
定义和特点
4
武汉大学国际软件学院
数据仓库的定义和特点
世界公认的数据仓库概念创始人 W.H.Inmon 在 《 数 据 仓 库 》 （ Building the Data Warehouse）一书中对数据仓库 的定义是：数据仓库就是面向主题的、集 成的、非易失的（稳定性）、随时间变化 （不同时间）的数据集合，用以支持经营 管理中的决策制定过程。
随时间变化的
13
武汉大学国际软件学院
数据仓库的
体系结构
14
武汉大学国际软件学院
数据仓库的体系结构
1.
数据仓库的数据结构
高度综合级 元数据
DB
轻度综合级
集成转换
当前细节级
DSS映射
分 析 工 具
早期细节级 数据仓库的多粒度数据组织
15
武汉大学国际软件学院
数据仓库的体系结构
2.
数据仓库的体系结构
20
武汉大学国际软件学院
OLAP
4.
概
述
维成员 维的一个取值就称为该维的一个维成员。 如果一个维是多层次的，那么该维的维 成员就是不同维层次的取值的组合。 例如，考虑时间维具有日期、月份、年 这三个层次，分别在日期、月份、年上 各取一个值组合起来，就得到时间维的 一个维成员，即“某年某月某日”。
41
武汉大学国际软件学院
练
习
Unit Twenty
42
武汉大学国际软件学院
24
武汉大学国际软件学院
O L A P 的 基 本 操 作
一个OLAP操作实例：
卷烟销售分析
产品
时间
财务指标
国产烟
进口烟
Q1 Q2 Q3 Q4
收入
开销
25
武汉大学国际软件学院
O L A P 的 基 本 操 作
钻取（Dill up/Drill down）：
钻取到各级数据层次
产 品,国产烟,上海烟,中华
Warehouse Database
Refresh
Purge or Archive
Refresh
11
武汉大学国际软件学院
数据仓库的定义和特点
随时间变化的
Time 01/97 02/97 03/97
Data January February March
数据仓库
12
武汉大学国际软件学院
数据仓库的定义和特点
21
武汉大学国际软件学院
O
5.
L
A
P
概
述
OLTP与OLAP的差异
22
武汉大学国际软件学院
OLAP的
基本操作
23
武汉大学国际软件学院
O L A P 的 基 本 操 作
钻取：在一个维内部沿着层次从上到下或从下到上 的方向考察数据
上钻（Drill up）
下钻(Drill down)
切片/切块（Slice and dice） 固定某些维成员，对其它维进行考察 旋转（Pivot，rotate) 按不同顺序组织各个维，对结果进行考察
19
武汉大学国际软件学院
OLAP
3.
概
述
维的层次 人们观察数据的某个特定角度（即某个 维）还可以存在细节程度不同的多个描 述方面，我们称这个描述方面为维的层 次。 一个维往往具有多个层次，例如:
描述时间维时，可以从日期、月份、季度、 年等不同层次来描述，那么日期、月份、季 度、年等就是时间维的层次； 同样，城市、地区、国家就构成了一个地理 维的多个层次。
OLTP 应用
Customer
数据仓库
8
武汉大学国际软件学院
数据仓库的定义和特点
集成的
9
武汉大学国际软件学院
数据仓库的定义和特点
非易失的
OLTP
Load
数据仓库
Insert Update Delete
Read
Read
10
武汉大学国际软件学院
数据仓库的定义和特点
非易失的
First time load Operational Databases Refresh
O L A P 的 基 本 操 作
旋转
按不同顺序组织各个维，对结果进行考察
产 品
产 品
时间
财务指标
28
武汉大学国际软件学院
OLAP的
实现方法
29
武汉大学国际软件学院
O L A P 的 实 现 方 法
1.
OLAP服务器的实现方法
关系OLAP (ROLAP) 多维OLAP (MOLAP) 混合OLAP (HOLAP)
Data cache Warehouse OLAP Server
Data
user
32
武汉大学国际软件学院
O L A P 的 实 现 方 法
MOLAP服务器的原理
MDDB
Query Periodic load
Data OLAP Server user
Warehouse
33
武汉大学国际软件学院
O L A P 的 实 现 方 法
第二十讲 数据仓库、联机分 析处理和数据挖掘
1
武汉大学国际软件学院
本讲主要目标
学完本讲后，你应该能够了解：
1. 数据仓库的定义； 2. 数据仓库的特点是：面向主题的、集成的、非 易失的和随时间变化的； 3. OLAP的特点和基本操作:上钻（drill up）、下 钻 (drill down) 、 切 片 (slice) 、 切 块 （dice）和旋转（Pivot，rotate) 4. OLAP的三种实现方式：ROLAP，MOLAP，HOLAP 5. 数据挖掘的定义及与传统知识处理技术的不同
数 据 挖 掘 概 述
3.
数据挖掘是多学科的交叉
数据库技术 统计学
机器学习
数据挖掘
可视化
信息科学
其他学科
38
武汉大学国际软件学院
数 据 挖 掘 概 述
4.
数据挖掘与数据仓库的关系
数据挖掘是数据仓库发展的必然结果 数据仓库为数据挖掘提供应用基础
39
武汉大学国际软件学院
Questions?
40