第三章：联机分析处理技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• Street<city<state<country
偏序：
• Day<{month<quarter; week}<year
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
概念分层也可以通过将给定维或属性的值离 散化或分组来定义，产生集合分组分层（setgrouping hierarchy）; 如关于维price的集合分组概念分层：
北方工业大学信息工程学院
OLAP中的多维分析操作
北方工业大学信息工程学院
OLAP中的多维分析操作
切片和切块
切片：在给定数据立方体的一个维上进行选 择操作，切片的结果是得到一个二维平面数 据，如银行分行=“分行1”
北方工业大学信息工程学院
OLAP中的多维分析操作
切片和切块
切块：在给定数据立方体的两个或多个维上 进行选择操作，切块的结果是得到一个子立 方体，如（银行分行=“分行1”OR “分行 2”）AND (时间=“2007年”OR “2008年 ”) AND（银行支行=支行1”OR “支行2” ）
第三章 联机分析处理技术 李晋宏
北方工业大学信息工程学院
内容
OLAP概述 OLAP中的多维分析操作 OLAP的基本数据模型 OLAP的衡量标准wenku.baidu.com基于SQL Server2005的OLAP实现
北方工业大学信息工程学院
OLAP概述
OLAP的由来
联机事务处理（OLTP）：利用关系数据库存 储和管理业务数据，并建立相应的应用系统 来支持日常业务运作。这种应用以支持业务 处理为主要目的。所存储的数据被称为操作 型数据或业务数据 对OLTP数据库中的数据进行再加工，形成一 个综合的、面向分析的、更好的支持决策制 定的决策支持系统（DSS）
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
联想-加快运行、存取速度
• 多级缓存 • 连接池
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP的创建步骤
• 确定分析功能 • 确定分析值 • 构造分析维 • 定义逻辑模型及存储方式
北方工业大学信息工程学院
OLAP的基本数据模型
• （0..1000] • (0..500] • (0..100] (100..500] (500..1000] (500..800] (800..1000]
或inexpensive, moderately, expensive来定义 price维
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
• 星状模式
–一个事实表：包含大批数据并且不含冗余的中 心表 –一组小的维表，每维一个
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 星状模式
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式
–是星状模式的变种 –某些维是规范化的，把数据进一步分解到附加 表中
使分析、管理或执行人员能够从多种角度对 从原始数据中转化出来的、能够真正为用户 所理解的、并真实反映企业维特性的信息进 行快速、一致、交互地存取，从而获得对数 据更深入了解的一类软件技术 从不同的角度看同样的数据！
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
如分析销售数据
• 时间周期 • 产品类别 • 分销渠道 • 地理分布 • 客户群类
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP利用一种专有的多维数据库来存 储OLAP分析所需要的数据 数据采用n维数组的多维方式存储，形 成“立方体”结构 MOLAP存储模式将数据与计算结果都存 储在立方体结构中，即将多维数据集区 的聚合、维度、汇总数据以及其源数据 的副本等信息均以多维结构存储在分析 服务器上。
ROLAP的功能
• 细节剖析 • 数据的备份和安全功能 • 数据的商业视图 • 元数据导航功能 • 维层次支持 • 模型的自定义
北方工业大学信息工程学院
OLAP的基本数据模型
MOLAP和ROLAP的比较
北方工业大学信息工程学院
OLAP的基本数据模型
混合型联机分析处理
原始数据存储在原来的关系数据库中 聚合数据则以多维的形式存储 准则
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 以关系型的结果进行多维数据的表示与存 储 • 数据的预处理程度不高，灵活性高 • 一般采用星状模式或雪花模式来表达多维 数据视图
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式与星状模式的区别
–雪花状的维表可能是规范化形式，以便减少冗 余，易于维护，节省存储空间 –由于执行查询需要更多的连接操作，雪花状结 构可能降低浏览的性能
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
事实表包括事实的名称或度量，以及每个相 关维表的关键字； 数据立方体是对多维数据存储的一种比喻；
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
概念分层（concept hierarchy）：定义一映射序列，将 低层概念映射到更一般的高层概念； 如维location的概念分层：城市—省—国家 许多概念分层隐含在数据库模式中，如location维的属 性：number, street, city, state, country等等； 全序：
钻透（drill-through）
• 钻到数据立方体的底层，到后端关系表（实时数 据库等）；
北方工业大学信息工程学院
OLAP中的多维分析操作
概化（generalize）
通过用高层抽象（如time维的year）值替换低 层抽象（如time维的day）值，概念分层可以 用于概化数据；
特化（specialize）
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的创建步骤
• 确定分析功能 • 确定分析值 • 构造分析维 • 定义逻辑模型及存储方式 • 数据管理：添加合适的聚集数据和概括数据 • 元数据存储 • 应用工具构造
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
主要特征
• 快速性 5秒 • 可分析性 • 多维性 • 信息性与数据的透明性
北方工业大学信息工程学院
OLAP中的多维分析操作
钻取Drill/Roll up , Drill down
改变维的层次，变换分析的粒度 分向上钻取和向下钻取 向上钻取：在某一维上将低层次的细节数据 概括到高层次的汇总数据，或者减少维数 向下钻取：从汇总数据深入到细节数据进行 观察或增加新维
• 维数可以被动态更新 • 可根据关系数据库管理系统的元数据产生多维视 图 • 可以快速地存取各种级别的汇总数据 • 可适应大数据量数据的分析 • 可以方便地对计算和汇总算法进行维护和修改
北方工业大学信息工程学院
OLAP的衡量标准
1993年，E.F.Codd提出了关于OLAP 的12条标准 目的是加深对OLAP的理解 已成为OLAP工具所应有的关键特性的 最小描述
通过用低层抽象（如time维的day）值替换高 层抽象（如time维的year）值，概念分层可以 用于特化数据；
北方工业大学信息工程学院
OLAP的基本数据模型
OLAP系统一般以数据仓库作为基础， 从数据仓库中抽取详细数据的一个子 集，经过必要的聚集存储到OLAP存储 器中供前端分析工具读取 为了保证信息处理所需的数据以合适 的粒度、合理的抽象程度和标准化程 度存储，按照其数据存储格式可以分 为关系OLAP（ROLAP）、多维OLAP （MOLAP）和混合OLAP（HOLAP）
北方工业大学信息工程学院
OLAP概述
数据仓库和联机分析处理（OLAP）是决策 支持系统的有机组成部分 数据仓库从分布在企业内部各处的OLTP 数据库中提取数据并对所提取的数据进行 预处理，为企业决策分析提供所需的数据 OLAP则利用存储在数据仓库中的数据完成 各种分析操作，并以直观易懂的形式将分 析结果返回给决策分析人员
OLAP的基本概念
多维数据集
• 是决策支持的支柱 • OLAP的核心 • 又称立方体或超立方体 • 三维数据可以利用三维坐标建立立方体进行表示 • 超三维数据可以利用一个多维表来进行显示
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
数据单元
• 在多维数据集中每个维都选定一个维成员后，这 些维成员的组合就唯一确定了一个数据单元
北方工业大学信息工程学院
OLAP概述
OLAP的由来
Codd提出了多维数据库和多维分析的概念， 即联机分析处理
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
维dimension
• 人们观察数据的特定角度 • 如时间维
维层次level
• 人们观察数据的某个特定角度（即某个维）还可 以存在细节程度不同的各个描述方面 • 称这多个描述方面为维的层次 • 如时间维的日、月、季、年
准则5：客户/服务器体系结构
建立统一的公共概念模式、逻辑模式和物理 模式
准则6：维的等同性准则
维上的操作是公共的
准则7：动态的稀疏矩阵处理准则
对任意给定的稀疏矩阵，存在且仅存在一个 最优的物理视图 OLAP 工具的基本物理数据单元可配置给可能 出现的维的子集
北方工业大学信息工程学院
OLAP的衡量标准
多维数据集的度量值
• 在多维数据集中有一组度量值，这些值是基于多 维数据集中事实表的一列或多列数字 • 度量值是多维数据集的核心值，是最终用户在数 据仓库应用中所需要查看的数据
事实表
维表
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
数据立方体由维和事实定义； 维是关于一个组织想要记录的透视或实体； 每一个维都有一个表与之相关联，这些表叫 维表； 每一个维表包含各种属性； 多维数据模型围绕中心主题组织； 该主题用事实表示； 事实是数值度量的；
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
维成员member
• 维的一个取值称为该维的一个维成员 • 是数据项在某维中位置的描述 • 如“2012年9月10日”是在时间维上位置的描述 • 如果一个维是多层次的，那么该维的维成员是在 不同维层次的取值组合
北方工业大学信息工程学院
OLAP概述
多维联机分析处理
MOLAP的功能
• 与多维数据库进行交互的功能 • 快速反应的功能 • 挖掘信息间内在联系的功能
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP的优缺点
• 迅速响应决策分析人员的分析请求（预处 理程度高） • 用户很难对维数进行动态变化，如增加一 维 • 对数据变化的适应能力较差-需重构多维数 据库 • 处理大量细节数据的能力差
准则8：多用户支持能力准则 准则9：非受限的跨维操作
多维数据之间存在固有的层次关系
准则10：直观的数据操纵 准则11：灵活的报表生成 准则12：非受限维与聚集层次
OLAP工具的维数应不小于15维 可以在任意给定的综合路径上建立任意 多个聚集层次
北方工业大学信息工程学院
北方工业大学信息工程学院
OLAP中的多维分析操作
旋转
变换维的方向，即在表格中重新安排维的放 置，如行列互换
北方工业大学信息工程学院
OLAP中的多维分析操作
旋转
变换维的方向，即在表格中重新安排维的放 置，如行列互换
北方工业大学信息工程学院
OLAP中的多维分析操作
钻过（drill-across）
• 执行涉及多个事实表的查询；
北方工业大学信息工程学院
OLAP的衡量标准
准则1：OLAP 模型必须提供多维概念视图 准则2：透明性准则
OLAP的数据源对用户是透明的
准则3：存取能力准则
提供高效的存取策略
准则4：稳定的报表性能
当维数和数据综合层次增加时，其报表能力 和响应速度不应该有明显的降低和减慢
北方工业大学信息工程学院
OLAP的衡量标准
偏序：
• Day<{month<quarter; week}<year
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
概念分层也可以通过将给定维或属性的值离 散化或分组来定义，产生集合分组分层（setgrouping hierarchy）; 如关于维price的集合分组概念分层：
北方工业大学信息工程学院
OLAP中的多维分析操作
北方工业大学信息工程学院
OLAP中的多维分析操作
切片和切块
切片：在给定数据立方体的一个维上进行选 择操作，切片的结果是得到一个二维平面数 据，如银行分行=“分行1”
北方工业大学信息工程学院
OLAP中的多维分析操作
切片和切块
切块：在给定数据立方体的两个或多个维上 进行选择操作，切块的结果是得到一个子立 方体，如（银行分行=“分行1”OR “分行 2”）AND (时间=“2007年”OR “2008年 ”) AND（银行支行=支行1”OR “支行2” ）
第三章 联机分析处理技术 李晋宏
北方工业大学信息工程学院
内容
OLAP概述 OLAP中的多维分析操作 OLAP的基本数据模型 OLAP的衡量标准wenku.baidu.com基于SQL Server2005的OLAP实现
北方工业大学信息工程学院
OLAP概述
OLAP的由来
联机事务处理（OLTP）：利用关系数据库存 储和管理业务数据，并建立相应的应用系统 来支持日常业务运作。这种应用以支持业务 处理为主要目的。所存储的数据被称为操作 型数据或业务数据 对OLTP数据库中的数据进行再加工，形成一 个综合的、面向分析的、更好的支持决策制 定的决策支持系统（DSS）
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
联想-加快运行、存取速度
• 多级缓存 • 连接池
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP的创建步骤
• 确定分析功能 • 确定分析值 • 构造分析维 • 定义逻辑模型及存储方式
北方工业大学信息工程学院
OLAP的基本数据模型
• （0..1000] • (0..500] • (0..100] (100..500] (500..1000] (500..800] (800..1000]
或inexpensive, moderately, expensive来定义 price维
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
• 星状模式
–一个事实表：包含大批数据并且不含冗余的中 心表 –一组小的维表，每维一个
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 星状模式
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式
–是星状模式的变种 –某些维是规范化的，把数据进一步分解到附加 表中
使分析、管理或执行人员能够从多种角度对 从原始数据中转化出来的、能够真正为用户 所理解的、并真实反映企业维特性的信息进 行快速、一致、交互地存取，从而获得对数 据更深入了解的一类软件技术 从不同的角度看同样的数据！
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
如分析销售数据
• 时间周期 • 产品类别 • 分销渠道 • 地理分布 • 客户群类
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP利用一种专有的多维数据库来存 储OLAP分析所需要的数据 数据采用n维数组的多维方式存储，形 成“立方体”结构 MOLAP存储模式将数据与计算结果都存 储在立方体结构中，即将多维数据集区 的聚合、维度、汇总数据以及其源数据 的副本等信息均以多维结构存储在分析 服务器上。
ROLAP的功能
• 细节剖析 • 数据的备份和安全功能 • 数据的商业视图 • 元数据导航功能 • 维层次支持 • 模型的自定义
北方工业大学信息工程学院
OLAP的基本数据模型
MOLAP和ROLAP的比较
北方工业大学信息工程学院
OLAP的基本数据模型
混合型联机分析处理
原始数据存储在原来的关系数据库中 聚合数据则以多维的形式存储 准则
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 以关系型的结果进行多维数据的表示与存 储 • 数据的预处理程度不高，灵活性高 • 一般采用星状模式或雪花模式来表达多维 数据视图
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的数据模型
• 雪花模式与星状模式的区别
–雪花状的维表可能是规范化形式，以便减少冗 余，易于维护，节省存储空间 –由于执行查询需要更多的连接操作，雪花状结 构可能降低浏览的性能
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
事实表包括事实的名称或度量，以及每个相 关维表的关键字； 数据立方体是对多维数据存储的一种比喻；
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
概念分层（concept hierarchy）：定义一映射序列，将 低层概念映射到更一般的高层概念； 如维location的概念分层：城市—省—国家 许多概念分层隐含在数据库模式中，如location维的属 性：number, street, city, state, country等等； 全序：
钻透（drill-through）
• 钻到数据立方体的底层，到后端关系表（实时数 据库等）；
北方工业大学信息工程学院
OLAP中的多维分析操作
概化（generalize）
通过用高层抽象（如time维的year）值替换低 层抽象（如time维的day）值，概念分层可以 用于概化数据；
特化（specialize）
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
ROLAP的创建步骤
• 确定分析功能 • 确定分析值 • 构造分析维 • 定义逻辑模型及存储方式 • 数据管理：添加合适的聚集数据和概括数据 • 元数据存储 • 应用工具构造
北方工业大学信息工程学院
OLAP的基本数据模型
关系联机分析处理
北方工业大学信息工程学院
OLAP概述
OLAP的定义与特征
主要特征
• 快速性 5秒 • 可分析性 • 多维性 • 信息性与数据的透明性
北方工业大学信息工程学院
OLAP中的多维分析操作
钻取Drill/Roll up , Drill down
改变维的层次，变换分析的粒度 分向上钻取和向下钻取 向上钻取：在某一维上将低层次的细节数据 概括到高层次的汇总数据，或者减少维数 向下钻取：从汇总数据深入到细节数据进行 观察或增加新维
• 维数可以被动态更新 • 可根据关系数据库管理系统的元数据产生多维视 图 • 可以快速地存取各种级别的汇总数据 • 可适应大数据量数据的分析 • 可以方便地对计算和汇总算法进行维护和修改
北方工业大学信息工程学院
OLAP的衡量标准
1993年，E.F.Codd提出了关于OLAP 的12条标准 目的是加深对OLAP的理解 已成为OLAP工具所应有的关键特性的 最小描述
通过用低层抽象（如time维的day）值替换高 层抽象（如time维的year）值，概念分层可以 用于特化数据；
北方工业大学信息工程学院
OLAP的基本数据模型
OLAP系统一般以数据仓库作为基础， 从数据仓库中抽取详细数据的一个子 集，经过必要的聚集存储到OLAP存储 器中供前端分析工具读取 为了保证信息处理所需的数据以合适 的粒度、合理的抽象程度和标准化程 度存储，按照其数据存储格式可以分 为关系OLAP（ROLAP）、多维OLAP （MOLAP）和混合OLAP（HOLAP）
北方工业大学信息工程学院
OLAP概述
数据仓库和联机分析处理（OLAP）是决策 支持系统的有机组成部分 数据仓库从分布在企业内部各处的OLTP 数据库中提取数据并对所提取的数据进行 预处理，为企业决策分析提供所需的数据 OLAP则利用存储在数据仓库中的数据完成 各种分析操作，并以直观易懂的形式将分 析结果返回给决策分析人员
OLAP的基本概念
多维数据集
• 是决策支持的支柱 • OLAP的核心 • 又称立方体或超立方体 • 三维数据可以利用三维坐标建立立方体进行表示 • 超三维数据可以利用一个多维表来进行显示
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
数据单元
• 在多维数据集中每个维都选定一个维成员后，这 些维成员的组合就唯一确定了一个数据单元
北方工业大学信息工程学院
OLAP概述
OLAP的由来
Codd提出了多维数据库和多维分析的概念， 即联机分析处理
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
维dimension
• 人们观察数据的特定角度 • 如时间维
维层次level
• 人们观察数据的某个特定角度（即某个维）还可 以存在细节程度不同的各个描述方面 • 称这多个描述方面为维的层次 • 如时间维的日、月、季、年
准则5：客户/服务器体系结构
建立统一的公共概念模式、逻辑模式和物理 模式
准则6：维的等同性准则
维上的操作是公共的
准则7：动态的稀疏矩阵处理准则
对任意给定的稀疏矩阵，存在且仅存在一个 最优的物理视图 OLAP 工具的基本物理数据单元可配置给可能 出现的维的子集
北方工业大学信息工程学院
OLAP的衡量标准
多维数据集的度量值
• 在多维数据集中有一组度量值，这些值是基于多 维数据集中事实表的一列或多列数字 • 度量值是多维数据集的核心值，是最终用户在数 据仓库应用中所需要查看的数据
事实表
维表
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
数据立方体由维和事实定义； 维是关于一个组织想要记录的透视或实体； 每一个维都有一个表与之相关联，这些表叫 维表； 每一个维表包含各种属性； 多维数据模型围绕中心主题组织； 该主题用事实表示； 事实是数值度量的；
北方工业大学信息工程学院
OLAP概述
OLAP的基本概念
维成员member
• 维的一个取值称为该维的一个维成员 • 是数据项在某维中位置的描述 • 如“2012年9月10日”是在时间维上位置的描述 • 如果一个维是多层次的，那么该维的维成员是在 不同维层次的取值组合
北方工业大学信息工程学院
OLAP概述
多维联机分析处理
MOLAP的功能
• 与多维数据库进行交互的功能 • 快速反应的功能 • 挖掘信息间内在联系的功能
北方工业大学信息工程学院
OLAP的基本数据模型
多维联机分析处理
MOLAP的优缺点
• 迅速响应决策分析人员的分析请求（预处 理程度高） • 用户很难对维数进行动态变化，如增加一 维 • 对数据变化的适应能力较差-需重构多维数 据库 • 处理大量细节数据的能力差
准则8：多用户支持能力准则 准则9：非受限的跨维操作
多维数据之间存在固有的层次关系
准则10：直观的数据操纵 准则11：灵活的报表生成 准则12：非受限维与聚集层次
OLAP工具的维数应不小于15维 可以在任意给定的综合路径上建立任意 多个聚集层次
北方工业大学信息工程学院
北方工业大学信息工程学院
OLAP中的多维分析操作
旋转
变换维的方向，即在表格中重新安排维的放 置，如行列互换
北方工业大学信息工程学院
OLAP中的多维分析操作
旋转
变换维的方向，即在表格中重新安排维的放 置，如行列互换
北方工业大学信息工程学院
OLAP中的多维分析操作
钻过（drill-across）
• 执行涉及多个事实表的查询；
北方工业大学信息工程学院
OLAP的衡量标准
准则1：OLAP 模型必须提供多维概念视图 准则2：透明性准则
OLAP的数据源对用户是透明的
准则3：存取能力准则
提供高效的存取策略
准则4：稳定的报表性能
当维数和数据综合层次增加时，其报表能力 和响应速度不应该有明显的降低和减慢
北方工业大学信息工程学院
OLAP的衡量标准