数据仓库OLAP技术

ROLAP Server SQL
Result Set
Metadata Request Processing
Info. Request
Front-end Tool
Result Set
ROALP Architecture
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类（七）
region
Product Mgr. View
SALES
TIME
TIme Mgr. View
PPT文档演模板
2020/11/21
Regional Mgr. View
Ad Hoc View
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介（四）：穿透
关系型数据库
PPT文档演模板
2020/11/21
❖ 维的层次（ Generation，Level ）：人们观察数据的某个特定角度（即某个维）还可以存 在细节程度不同的各个描述方面（时间维：日期、月份、季度、年） 。
❖ 维的成员（ Member ）：维的一个取值。是数据项在某维中位置的描述。（“某年某月某 日”是在时间维上位置的描述）
❖ 多维数组：维和变量的组合表示。一个多维数组可以表示为：（维1，维2，……，维n，变 量）。（时间，地区，漫游类型，通话费）
OLAP工具在移动业务分析中 是否能发挥作用，为什么 ？
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
发展背景（一）
60年代，关系型数据库之父E.F.Codd提出了关系模型，促进了OLTP（ OnLine Transaction Processing，联机事务处理）模型的发展。
数据仓库OLAP技术
PPT文档演模板
2020/11/21
数据仓库OLAP技术
议题
v OLAP技术简介
v OLAP分析方法小结
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
v OLAP发展背景及定义 v OLAP相关基本概念 v OLAP基本特征 v OLAP多维数据结构 v OLAP多维数据分析方法 v OLAP分类 v OLAP评价准则 v OLAP新的发展特征
"Dimension Table"
Product Table
Product_id Product_Desc
Brand Size
"Dimension Table"
PPT文档演模板
Sales Table
Time_id Product_id Market_id Scenario
Market Table
Market_id Market_Desc
MOLAP的优势：
❖ 性能好、响应速度快。
❖ 专为OLAP所设计。
❖ 支持高性能的决策支持计算。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类（五）
ROLAP的缺点：
❖ 比MOLAP响应速度相差极远。 ❖ 不支持有关预计算的读写操作。 ❖ SQL无法完成部分计算。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
数据仓库OLAP技术
OLAP技术简介
OLAP分类（八）
MOLAP Architecture：
Database Server
RDBMS
Integration Server
SQL Result Set
Load
Info. Request MOLAP Server
Front-end Tool
Info. Request Result Set
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类（三）
MOLAP的逻辑存储模型：
❖ 以多维立方体和预计算来存储，实际数据的稀疏分布以及预计算是导致MOLAP空 间急剧膨胀的主要因素。
PPT文档演模板
X
X
X
X
X
2020/11/21
数据仓库OLAP技术
OLAP技术简介
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
发展背景（二）
从数据角度看，OLTP系统与OLAP系统的主要差异如下：
OLTP数据 原始数据 细节性数据 当前值数据 可更新 一次处理的数据量小 面向应用，事务驱动 面向操作人员，支持日常操作
OLAP数据 导出数据 综合性和提炼性数据 历史数据 不可更新，但周期性刷新 一次处理的数据量大 面向分析，分析驱动 面向决策人员，支持管理需要
数据仓库OLAP技术
OLAP技术简介
OLAP分类的评价标准
❖ OLAP模型必须提供多维概念模型。 ❖ 透明性准则，存储无法清除。 ❖ 存取能力准则。 ❖ 稳定的报表性能 ❖ 客户/服务器体系结构 ❖ 维的等同性准则，按照维度存储 ❖ 动态稀疏矩阵处理准则：dense,sparse ❖ 多用户支持能力准则,并行 ❖ 非受限的跨维操作，多cube,多数据库的关联查询 ❖ 灵活的报表生成 ❖ 非受限的维与维的层次
❖ 可分析性：OLAP系统能处理与应用有关的任何逻辑分析和统计分析。 ❖ 多维性：多维性是OLAP的关键属性。系统提供对数据的多维视图和分析,包括对层次维和
多重层次维的完全支持。 ❖ 信息性：不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且
具有管理大容量信息的能力
PPT文档演模板
Hybrid Architecture
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的多维数据分析方法简介（一）
OLAP的三种基本分析手段：多维视图
n 切片和切块(Slice and Dice) ：在确定某些维数据的确定情况下对其他维进行观察，在多维 数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、时间、 漫游”三维立方体中进行切块和切片,可得到各城市、各漫游类型的费用情况。
2003年 2003年1月 2003年1月1日 2003年1月2日 2003年1月3日 2003年2月
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介（二）：旋转
按照不同的顺序组合维，对数据进行考察
地 区
时间
漫 游
地区
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介（三）：切片、切 块
❖ 数据单元（ Cell ）：多维数组的取值。（2000年1月1日，上海，国际漫游，通话费XXXX 元）
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的基本特征
❖ 快速性：用户对OLAP的快速反应Βιβλιοθήκη Baidu力有很高的要求。系统对用户的大部分分析要求的响应 速度应该为秒级。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP定义
❖ 定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据) 的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进 行深入观察。
❖ 定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原 始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、 一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义) 。
❖ OLAP的目标：满足决策支持或多维环境特定的查询和报表需求，它的技术核心是 “维”这个概念，因此OLAP也可以说是多维数据分析工具的集合
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的相关基本概念
❖ 维（ Dimension ）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构 成一个维（时间维、地理维等） 。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类（一）
按照存储类型，OLAP可以分为以下三种类型：
n MOLAP（Multidimensional OnLine Analytical Processing ） ：数据以多维方式 存储，每一个数据单元（Cell）都可以通过维度的定位直接访问。 db2
MOLAP的缺点：
❖ 增加系统复杂度，增加系统培训与维护费用。 ❖ 需要进行预计算，可能导致数据急剧膨胀。 ❖ 支持维的动态变化比较困难。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类（六）
ROLAP Architecture：
Database Server
R DBMS
OLAP分类（四）
ROLAP的优势：
❖ 没有大小限制。（因为Star Schema本身不需要额外的存储空间） 。 ❖ 现有的关系数据库的技术可以沿用。 ❖ 可以通过SQL实现详细数据与概要数据的存储。 ❖ 现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、
基于成本的查询优化、位图索引、SQL 的OLAP扩展（cube，rollup）等大大提高ROALP的 速度
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的多维数据结构
❖ 超立方体结构：超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据 的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。
❖ 多立方体结构：即将超立方结构变为子立方结构。面向某一特定应用对维进行分割, 它具 有很强的灵活性,提高了数据（特别是稀疏数据）的分析效率。
n ROLAP（Relational OnLine Analytical Processing ） ：数据存放于关系型数据库 中，用户的多维查询请求由ROLAP引擎处理为SQL查询，结果以多维方式呈现。 oracle
n HOLAP（Hybrid online analytical processing ）： MOLAP与ROLAP的结合形式， 兼具MOLAP的查询效率高和ROLAP的存储效率高的优点，预存储
Distric Rt egio n
"Dimension Table"
Dollars Units Discount%
"Fact Table"
Scenario Table
Scenario Actual
2020/11/21
Profit
"Dimension Table"
数据仓库OLAP技术
OLAP技术简介
n 钻取(Drill)：在一个维内沿着从高到低或者从低到高的方向考察数据，钻取包含向下钻取 （Drill-down）和向上钻取（Drill-up） / 上卷（Roll-up）操作， 钻取的深度与维所划 分的层次相对应。
n 旋转(Rotate) / 转轴(Pivot):通过旋转可以得到不同视角的数据，按不同的顺序组织维，对结 果进行考察
MOLAP Architecture：
Database Server
RDBMS
Load
MOLAP Server
Metadata Request Processing
Info. Request
Front-end Tool
Result Set
MOALP Architecture
PPT文档演模板
2020/11/21
1993年，E.F.Codd提出了OLAP（OnLine Analytical Processing联机分析处理）概念，认为 OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也 不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到 结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Codd提出了多维数据库和多 维分析的概念，即OLAP。
n 穿透：是指从多维数据库向关系型数据库读取明细数据
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的多维数据分析方法简介（二）：钻取
考察一个特定的维 §时间维，包括每一个地区漫游业务量 §钻取到下面的层次来考察详细情况
PPT文档演模板
地 区
时间 2020/11/21
OLAP分类（二）
ROLAP存储模式：ROLAP数据以星型模式（Star Schema）或雪花型模式存储： ❖ 事实表：用来存储事实的度量值和各个维的码值。 。
❖ 维表：用来存放维的元数据（维的层次、成员类别等描述信息） 。
Period Table
Time_id Period_Desc Quarter Year