联机分析处理—OLAP概念和技术实施方法
联机事务处理(OLTP)和联机分析处理(OLAP)
联机事务处理(OLTP)和联机分析处理(OLAP)1.概述当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
2.什么是联机事务处理(OLTP)联机事务处理系统(OLTP),也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果。
这样做的最大优点是可以即时地处理输入的数据,及时地回答。
也称为实时系统(Real time System)。
衡量联机事务处理系统的一个重要性能指标是系统性能,具体体现为实时响应时间(Response Time),即用户在终端上送入数据之后,到计算机对这个请求给出答复所需要的时间。
OLTP数据库旨在使事务应用程序仅写入所需的数据,以便尽快处理单个事务。
OLTP数据库通常具有以下特征:1.支持大量并发用户定期添加和修改数据;2.反映随时变化的单位状态,但不保存其历史记录;3.包含大量数据,其中包括用于验证事务的大量数据;4.具有复杂的结构;5.可以进行优化以对事务活动做出响应;6.提供用于支持单位日常运营的技术基础结构;7.个别事务能够很快地完成,并且只需访问相对较少的数据。
OLTP 系统旨在处理同时输入的成百上千的事务。
OLTP系统中的数据主要被组织为支持如下事务:1.记录来自销售点终端或通过网站输入的订单;2.当库存量降到指定级别时,订购更多的货物;3.在制造厂中将零部件组装为成品时对零部件进行跟踪;4.记录雇员数据。
通常在数据库系统中,事务是工作的离散单位。
例如,一个数据库事务可以是修改一个用户的帐户平衡或库存项的写操作。
联机分析处理
联机分析处理(英语:On-Line Analytical Processing,简称OLAP),是一套以多维度方式分析数据,而能弹性地提供积存(英语:Roll-up)、下钻(英语:Drill-down)、和透视分析(英语:pivot)等操作,呈现集成性决策信息的方法,多用于决策支持系统、商务智能或数据仓库。
其主要的功能,在于方便大规模数据分析及统计计算,对决策提供参考和支持。
与之相区别的是联机交易处理(OLTP)。
∙OLAP需以大量历史数据为基础配合上时间点的差异并对多维度及汇整型的信息进行复杂的分析。
∙OLAP需要用户有主观的信息需求定义,因此系统效率较佳。
OLAP的概念,在实际应用中用广义和狭义两种不同的理解。
广义上的理解与字面意思相同,即针对于OLTP而言,泛指一切不对数据进行输入等事务性处理,而基于已有数据进行分析的方法。
但更多的情况下OLAP是被理解为其狭义上的含义,即与多维分析相关,基于立方体(CUBE)计算而进行的分析。
联机分析处理系统OLAP概述
OLAP概述 OLAP分析,又称多维分析,是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP也可以简单定义成使用户能够以多维视图分析数据的工具。
通常用来进行多维分析的维有时间、地点、产品、度量值(如销售额)等。
例如,在销售经理查看销售数据时,他可能想了解某个产品在某个地区、某段时间的销售额,并通过交叉表的功能来按不同的维对销售数据进行分析和通过挖掘功能来了解深层次的信息。
图3-20:数据的多维形式通过三维方式展现数据,并在此基础上进行分析,能够揭示出在二维方式下隐藏的关系;并通过方便的数据导航功能,使用户更易比较数据变量之间的关系,从而可以发现数据中隐藏的信息。
关系型数据库往往不能支持对数据进行逻辑分析和统计分析。
而采用OLAP系统,用户无须编程就可以定义新的逻辑、统计等方面的计算,并可将其做为分析的一部分,并以用户理想的方式给出报告。
用户可以在OLAP平台上进行数据分析,也可以连接到其他外部分析工具上,如时间序列分析工具、数据挖掘工具等。
OLAP产品根据其实现多维分析的技术以及要实现的目标而分为三类: (1)、MOLAP(多维联机分析处理)。
MOLAP将事务型数据进行综合,通过多维结构的“立方体”的数据结构来储存经综合的数据。
MOLAP通过其层次型数据库及在内存内的索引来保障数据访问的性能。
用户可以利用数据导航工具来进行钻取、交叉查询及产生关于“立方体”的报告。
根据MOLAP的技术特点,MOLAP擅长于对一定数量的数据进行大量、复杂、快速的、反复的分析。
MOLAP通常用来进行假设分析和问题求解,如在预算应用中。
图3-21:MOLAP架构图(2)、ROLAP(关系型联机分析处理)。
ROLAP在分析数据是直接到关系型数据库中取数据,而不建立自己的“立方体”。
OLAP分析
14
多维数据分析视图
对于更多维度的数据显示,需要选择维度及其成员分布在行或者列中。 在页面上可选定多个维度,但每个维度只能显示一个成员。在行或者列 中一般只选择二个维,每个维可以多个成员。例如对6维度数据,其 MTS如下图所示。 六维MTS例
鞋
鞋 鞋 鞋 …
上海
广州 广州 广州 …
3月
1月 2月 3月 …
400
150 250 300 …
11
多维类型结构(MTS)
表示方法是:每一个维度用一条线段来表示。维度中的每 一个成员都用线段上的一个单位区间来表示。
例如,用三个线段分别表示时间、产品和指标三个维的多维类型结构 如图所示。
三维MTS例
06 年 60 230 210
05 年 80 110 210
06 年 50 250 280
05 年 100 270 310
06 年 50 330 270
05 年 50 200 320
06 年 40 220
维的层次关系图
全国
江苏
北京
上海
苏州市
扬州市
宝应县
6
OLAP 概念
维的层次与类组合图
产品维
产品产地类
产品销地类
产品用途类
产品大类
产品小类
7
OLAP 数据显示与分析
8
多维数据显示
多维数据显示方法 多维类型结构(MTS) 多维数据分析视图
OLAP讲义
大量时间整理数据, 而没有时间利用数据
数据源多,一致性差
平时数据缺失, 开会时数据海洋
部门间信息“壁减或失真 如何从数据到信息?
传递渠道长,时效性差
企业要实现的目标
系统结构
OLAP发展背景
60年代,关系数据库之父E.F.Codd提出了关系模型,促进 了联机事务处理(OLTP)的发展(数据以表格的形式而非文 件方式存储)。 1993年,E.F.Codd提出了OLAP概念,认为:
OLAP准则
1993年,E.F.Codd在《Providing OLAP to User Analysis》 中提出OLAP的12条准则来描述OLAP系统:
准则1 OLAP模型必须提供多维概念视图 准则2 透明性准则 准则3 存取能力准则 准则4 稳定的报表能力 准则5 客户/服务器体系结构 准则6 维的等同性准则 准则7 动态的稀疏矩阵处理准则 准则8 多用户支持能力准则 准则9 非受限的跨维操作 准则10 直观的数据操纵 准则11 灵活的报表生成 准则12 不受限的维与聚集层次
OLAP决策分析
OLAP分析属于验证驱动型发现:用户首先提出自己的假设 ,然后利用OLAP工具检索查询以验证或否定假设。 OLAP技术主要有两个特点: 在线(On-Line):表现为对用户请求的快速响应和交互操 作,它的实现是由客户机/服务器体系结构完成的; 多维分析(Multi-Analysis):这也是OLAP技术的核心所 在。
例:电信公司中典型的分析型处理: 1.客户分类及通话特点分析 2.营销策略效果分析。
联机分析处理
分析型处理的特点
与事务型处理相比,分析型处理的特点:
a) b) 范围广,涉及的问题多。 不确定性大。
什么是联机分析处理(OLAP)
OS Java CORBA COM+ Middleware XML&WebService Patterns ONE&NET P2P Development Database Download Doc什么是联机分析处理(OLAP )(转载自北大高科网站,/)联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd 于1993年提出的,他同时提出了关于OLAP 的12条准则。
OLAP 的提出引起了很大的反响,OLAP 作为一类产品同联机事务处理 (OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP (on-line transaction processing )、联机分析处理OLAP (On-Line Analytical Processing )。
OLTP 是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
下表列出了OLTP 与OLAP 之间的比较。
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。
“维”一般包含着层次关系,这种层次关系有时会相当复杂。
通过把一个实体的多项重要的属性定义为多个维(dimension),使用户能对不同维上的数据进行比较。
因此OLAP也可以说是多维数据分析工具的集合。
OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through 等。
OLAP概述
数据仓库与OLAP实践教程作业(1)一、OLAP的发展背景60年代,关系数据库之父E.F.Codd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。
1993年,E.F.Codd提出了OLAP概念,认为OLTP 已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。
用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。
因此,E.F.Codd提出了多维数据库和多维分析的概念,即OLAP。
在过去的十年当中,根据Codd的关于OLAP的十二条准则,OLAP技术有了很大的发展,市场上的各种OLAP产品可以说是层出不穷。
在开始探讨OLAP 技术的新方向之前,我们有必要回顾一下OLAP技术在过去一段时间的发展和演化:1970年第一个OLAP工具Express出现,后来被ORACLE公司收购并重写,但是在此时已经奠定了它的雏形。
1982年 Comshare出现,它应该算是一个面向金融行业的OLAP工具,熟悉IBM解决方案的朋友应该对这个名称比较熟悉,在数据仓库刚进入中国之初,comshare还是势头很猛,目前只在IBM的主机市场上出现了。
1984年,第一个基于Mac的ROLAP工具metaphor出现,由于该产品在当时昂贵的价格以及以后Mac机用户市场的下滑,现在已经没有人在使用这个东西了。
1985年pilot面世,这是第一个高举着EIS旗帜的OLAP供应商,属于典型的C/S结构,主机为Vax也算是把 OLAP向用户更加推进了一步。
不过遗憾的是好像没有进入中国市场。
1990年 cognos Powerplay终于出现,把OLAP技术又向前推进了一步,一方面提出desktop olap的概念,同时也是第一个基于windows的OLAP工具。
为OLAP提供了更加强劲的可扩展性。
1991年 IBM收购了metaohor,成为第一个转手的OLAP产品,虽然没有什么太大的影响,但是也算是为OLAP产品的收购开了先河。
OLAP分析及应用案例分析
云端OLAP服务将采用按需付费的计费模式 ,用户只需为自己的实际使用量付费,降低 数据分析成本。
感谢您的观看
THANKS
03
选和查看所需的数据。
旋转与转置
旋转是指改变数据立方体的维度顺序,以便从不同的角度查看数据。 转置是指将数据立方体中的行和列进行交换,以便更好地适应不同的分析需求。
旋转和转置可以帮助用户更好地理解和组织数据,使其更符合特定的分析需求。
钻取
1
钻取是指深入探索数据立方体中的细节信息,从 宏观到微观逐步查看数据的层次结构。
SAP BO
简介
SAP BO(BusinessObjects)是SAP公司开发的一款商业智能工具, 提供数据查询、报表制作和数据分析功能。
特点
集成性、可靠性、安全性。
应用场景
适用于使用SAP系统的企业,帮助用户进行数据分析和可视化呈现, 支持多平台和移动设备访问。
04
OLAP应用案例分析
电商销售数据分析
广泛应用于各行业,如金融、市场营销、销售等,用于数据分析 和可视化呈现。
QlikView
01
02
03
简介
QlikView 是一款内存内 分析工具,支持实时数据 分析和快速查询。
特点
高性能、灵活性、可扩展 性。
应用场景
适用于需要处理大量数据 的企业,如零售、物流和 制造业,用于数据挖掘和 商业智能应用。
通过多维数据分析,可以更全面地了 解数据的各个方面,从而更好地支持 决策制定和业务分析。
切片与切块
01
切片是指从数据立方体中选择某一维度的数据,以查看该维度 下的数据分布情况。
02
切块是指同时选择多个维度的数据,以查看这些维度之间的数
【商务智能 精】第6章 OLAP
——第六章 联机分析处理
第六章 联机分析处理
教学要点
• 联机分析处理多维分析操作 • 联机分析处理的数据组织形式 • 联机分析处理操作语言 • 联机分析处理的系统结构 • 联机分析处理智能分析工具
OLAP技术概念
OLAP一类软件技术,它可使企业数据分析人员、企业经理 及企业其他管理人员通过对企业信息的多种可能的观察角 度进行快速、一致和交互性的存取,以获得对信息的深入 理解。
(1)快速性。用户对OLAP的快速反应能力有很高的要求。 要求系统能在几秒钟内对用户的多数分析要求做出反应。
(2)可分析性。OLAP系统应能处理与应用有关的任何逻辑 分析和统计分析。尽管系统可以事先编程,但并不意味着 系统定义了所有的应用。
(3)多维性。多维性是OLAP的关键属性。系统能够提供对 数据分析的多维视图和分析,包括对层次维和多重层次维 的支持。事实上,多维分析是分析企业数据最有效的方法, 是OLAP的灵魂。
促销维 促销键 待定促销
001
是
002
否
属性 买一送一 赠送礼物
图4.2 以时间、销售地区、产品三个维所构成的多维数据集
▪
三维以上的多维数据集
数据立方体——一个方体的格
all
0-D(apex) cuboid
time
item
location supplier
1-D cuboids
time,location
5.聚集。
6.数据单元(单元格)。多维数组的取值称为数据单元。
时间维
日期 星期几 星期数 月份
商店维
商店键 商店标识号 商店名称 地址 地区 楼层类型
零售营销
时间键 产品键 商店键 客户键 促销键 销售额 销售数量
OLAP 技 术 介 绍
OLAP 技术介绍刘可2004-08-20OLAP (on-line analytical processing) 联机分析处理,这一概念是由关系型数据库之父E.F.Codd于1993年提出的。
20世纪60年代末Codd提出关系型数据模型以后,关系型数据库与OLTP(on-line transaction processing)得到了快速的发展。
随着关系型数据库的快速发展,全球的数据量急剧膨胀,越来越多的数据被生产出来,同时人们对信息的需求也在快速的提升;而信息来源的最主要途径便是已掌握的海量数据,于是管理人员对数据的查询需求变得越来越复杂,他们贪婪的希望能够快速的尽可能多的从GB、TB甚至PB级数据中直观的了解到隐藏在这些数据背后的信息。
通俗的OLTP技术越来越力显得不从心。
于是数据仓库体系结构与OLAP技术应运而生。
数据仓库体系结构不是我在这里说的重点,这里我旨在从OLAP技术的特性(总体把握),OLAP技术的常用操作(前台分析操作),OLAP技术中数据存储方式(后台数据存储)三个角度全面介绍介绍OLAP技术。
一、O LAP技术的特性OLAP技术不同于OLTP技术,有非常多的特性,概括起来主要有如下几点特性:OLAP 技术是面向分析人员、管理人员的;OLAP技术对数据访问通常是只读的,并且一次访问大量数据;OLAP技术是面向主题的多维数据分析技术。
OLAP技术是面向分析人员、管理人员的区别于OLTP面向操作人员,OLAP技术主要面向分析人员、管理人员,他是提供分析人员、管理人员快速直观访问数据的一种途径。
使分析人员、管理人员能直观的从海量数据中获得有用信息以提供决策依据。
OLAP技术对数据访问通常是只读的,并且一次访问大量数据。
OLAP技术主要是针对海量数据的查询,通常不对数据做修改。
这种数据访问有别于OLTP中不断的对数据进行增删改操作。
同时这种查询不是简单的记录属性的检索,而是为了从海量数据中获取有用信息的针对大量数据的查询,通常一次需要查询会涉及到上百万条以上数据。
联机分析处理
联机分析处理简介联机分析处理,英文名称为On-Line Analysis Processing,简写为OLAP。
随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合,关系数据库系统已不能全部满足这一要求。
操作型应用和分析型应用,特别是在性能上难以两全,人们常常在关系数据库中放宽了对冗余的限制,引入了统计及综合数据,但这些统计综合数据的应用逻辑是分散而杂乱的、非系统化的,因此分析功能有限,不灵活,维护困难。
在国外,不少软件厂商采取了发展其前端产品来弥补关系数据库管理系统支持的不足,他们通过专门的数据综合引擎,辅之以更加直观的数据访问界面,力图统一分散的公共应用逻辑,在短时间内响应非数据处理专业人员的复杂查询要求。
1993年,E.F.Codd(关系数据库之父)将这类技术定义为“联机分析处理”。
作用联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。
它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察。
决策数据是多维数据,多维数据就是决策的主要内容。
OLAP专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员,以便他们准确掌握企业(公司)的经营状况,了解对象的需求,制定正确的方案。
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点,从而使用户对基于大量复杂数据的分析变得轻松而高效,以利于迅速做出正确判断。
它可用于证实人们提出的复杂的假设,其结果是以图形或者表格的形式来表示的对信息的总结。
BI基础资料-OLAP
联机分析处理 (OLAP)百科名片联机分析处理简写为OLAP,随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合,关系数据库系统已不能全部满足这一要求。
在国外,不少软件厂商采取了发展其前端产品来弥补关系数据库管理系统支持的不足,力图统一分散的公共应用逻辑,在短时间内响应非数据处理专业人员的复杂查询要求。
目录[隐藏]作用起源分类[编辑本段]作用联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。
它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察。
决策数据是多维数据,多维数据就是决策的主要内容。
OLAP专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员,以便他们准确掌握企业(公司)的经营状况,了解对象的需求,制定正确的方案。
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点,从而使用户对基于大量复杂数据的分析变得轻松而高效,以利于迅速做出正确判断。
它可用于证实人们提出的复杂的假设,其结果是以图形或者表格的形式来表示的对信息的总结。
它并不将异常信息标记出来,是一种知识证实的方法。
[编辑本段]起源联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。
OLAP的提出引起了很大的反响,OLAP 作为一类产品同联机事务处理 (OLTP) 明显区分开来。
Codd提出OLAP的12条准则来描述OLAP系统:准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力推测准则4 稳定的报表能力准则5客户/服务器体系结构准则6维的等同性准则准则7 动态的稀疏矩阵处理准则准则8 多用户支持能力准则准则9 非受限的跨维操作准则10 直观的数据操纵准则11灵活的报表生成准则12 不受限的维与聚集层次[编辑本段]分类当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-linetransaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLAP(在线分析处理)技术技术白皮书
OLAP(在线分析处理)技术一、发展背景60年代,关系数据库之父E.F.Cdd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。
1993年,E.F.Cdd提出了OLAP(联机分析处理)概念,认为OLTP已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。
用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。
因此,E.F.Cdd提出了多维数据库和多维分析的概念,即OLAP技术概念。
OLTP与OLAP的不同点:二、关于OLAP◆定义OLAP(联机分析处理) :是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术——OLAP委员会的定义(请特别注意,这是一类技术,而非特指某软件、或管理方法)。
OLAP的目标:是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此OLAP也可以说是多维数据分析工具的集合。
◆OLAP相关基本概念:1、维:是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。
2、维的层次:人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、年)。
3、维的成员:维的一个取值。
是数据项在某维中位置的描述。
(“某年某月某日”是在时间维上位置的描述)4、多维数组:维和变量的组合表示。
一个多维数组可以表示为:(维1,维2,…,维n,变量)。
(时间,地区,产品,销售额)5、数据单元(单元格):多维数组的取值。
(2000年1月,上海,笔记本电脑,$100000)◆OLAP的特性1、快速性:用户对OLAP的快速反应能力有很高的要求,主要是指计算机的计算的反应速度,系统应能在5秒内对用户的大部分分析要求做出反应,但对业务数据的实时信息却很难反应。
第五章联机分析处理(OLAP)-Read
第五章联机分析处理(OLAP)DW是管理决策分析的基础,若要有效地利用DW中的信息资源,必须有强大的工具对信息进行分析、决策,OLAP就是一个得到广泛用的DW技术。
OLAP专门用于支持复杂的决策分析,是支持信息管理和业务管理人员决策活动的一种决策分析工具。
它可以根据分析人员的要求,迅速、灵活地对大量数据进行复杂的查询处理,并且以直观的、容易理解的形式将查询结果提供给各种决策人员,使他们迅速、准确地掌握企业的运营情况,了解市场的需求。
OLAP技术主要有两个特点:一是在线(On-Line),表现为对用户请求的快速响应和交互操作,它的实现是由客户机/服务器体系结构完成的;二是多维分析(Multi-Analysis),这也是OLAP技术的核心所在。
§ 5.1 OLAP技术基本概念一、OLAP的定义OLAP是E.F.Codd于1993年提出的。
OLAP理事会的定义:OLAP是一种软件技术,他使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的,这些信息是从原始数据直接转换过来的,他们以用户容易理解的方式反映企业的真实情况。
OLAP大部分策略都是将关系型的或普通的数据进行多维数据存贮,以便于进行分析,从而达到联机分析处理的目的。
这种多维DB也被看作一个超立方体,沿着各个维方向存贮数据,它允许用户沿事物的轴线方便地分析数据,与主流业务型用户相关的分析形式一般有切片和切块以及下钻、挖掘等操作。
共享多维信息的快速分析。
二、OLAP的功能特征:OLAP是一种数据分析技术,其功能特征是:1、快速性用户对OLAP的快速反映有很高的要求,一般要求能在5秒内对分析要求有反映。
设计时应考虑:专门的数据存贮格式,大量的事先运算,特别的硬件设计。
2、可分析性OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。
因为事先编程并不能定义所有的应用,所以,在OLAP分析的过程中,用户无需编程就可以定义新的计算,将成为分析的一部分,且以用户希望的方式给出报告。
联机分析技术
1.特点:OLAP 在以数据仓库为数据源时,它有两个特点:在线性( On Line ):由客户机/服务器这种体系结构来完成的;多维分析:这也是OLAP 的核心所在。
2 作用:. 联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。
它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察。
决策数据是多维数据,多维数据就是决策的主要内容。
OLAP 专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员,以便他们准确掌握企业(公司)的经营状况,了解对象的需求,制定正确的方案。
3. OLAP的基本多维分析操作有钻取(Drill-up和Drill-down八切片(Slice )和切块( Dice )、以及旋转( Pivot )等。
钻取:是改变维的层次,变换分析的粒度。
它包括向下钻取 ( Drill-down ) 和向上钻取(Drill-up ) /上卷(Roll-up) 。
Drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据,或者减少维数;而Drill-down 则相反,它从汇总数据深入到细节数据进行观察或增加新维。
切片和切块:是在一部分维上选定值后,关心度量数据在剩余维上的分布。
如果剩余的维只有两个,则是切片;如果有三个或以上,则是切块。
旋转:是变换维的方向,即在表格中重新安排维的放置(例如行列互换)。
4. 五、联机分析处理的实现方式同样是仿照用户的多角度思考模式,联机分析处理有三种不同的实现方法:•关系型联机分析处理(ROLAP,Relatio nal OLAP)•多维联机分析处理(MOLAP,Multi-Dime nsio nal OLAP) •前端展示联机分析处理(Desktop OLAP)其中,前端展示联机分析需要将所有数据下载到客户机上,然后在客户机上进行数据结构/报表格式重组,使用户能在本机实现动态分析。
olap的基本概念
olap的基本概念
OLAP(联机分析处理)是一种数据动态分析模型,它以多维数据集的形式访问商业数据源的聚合和组织整理的数据。
它主要用于支持企业决策管理分析,是许多商务智能(BI)应用程序背后的技术。
OLAP最基本的概念包括多维观察、数据钻取和CUBE运算。
多维观察是指从多个观察角度的灵活组合来观察数据,从而发现数据内在规律。
数据钻取则是在数据不同层次间的变化及趋势分析,而CUBE运算则可以帮助用户从多角度分析问题。
此外,OLAP通常包括的功能还包括数据旋转、数据切片,以及对数据进行跨行列运算。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
全国
江苏 苏州市
北京 扬州市 宝应县
上海
19
维的例子
地区
产品
原点
时间
正好构成一个数据立方体,可以有更高阶的维,但
仍然称为数据立方体。
20
OLAP数据立方体的计算(物化)
数据立方体的个数
有产品(type)、城市(city)、日期(date)
三个维,则:
all
0-D(顶点)方体
city
type date
16
OLAP基本概念
维的分类:按照一定的划分标准对维的所有 取值集合的一个分类划分,用于数据钻取和 聚合。如上半年、下半年是对时间维的划分。
事实:不同维度在某个取值下的交叉点,是 对事件的度量。如(牙膏,上海,1998年 12月,批发,销售额为100000)
多维数据立方体
17
维的例子
一个电子公司的销售一般从三个方面分析销售额:
11
多维数据分析
企业的数据空间本身就是多维的。因此 OLAP的概念模型也应是多维的。
用户可以对多维数据模型进行切片、切块、 旋转坐标或进行多维的联合(概括和聚集) 分析。
12
客户/服务器体系结构
OLAP是建立在客户/ 服务器体系结构上的。 多维数据库服务器能够被不同的应用和工具
所访问。 客户端负责应用逻辑及用户界面。
13
多用户支持
当多个用户要在同一分析模式上并行工作, OLAP工具应能够提供并发访问等功能。
14
一致的报表性能
报表必须充分反映数据分析模型的多维特征, 并可按用户需要的方式来显示它
报表操作不应随维数增加而削弱,即 当数据维数和数据的综合层次增加时, 提供的报表能力和响应速度不应该有 明显的降低。
9
OLAP目标
是满足决策支持或多维环境特定的查询和报 表需求,它的技术核心是“维”这个概念, 因此OLAP也可以说是多维数据分析工具的 集合。
10
OLAP准则
1993年,E.F.Codd提出OLAP的12条准 则,其主要的准则有:
多维数据分析; 客户/服务器结构; 多用户支持; 一致的报表性能等。
5
OLAP基本思想
联机g,OLAP)在数据仓库系统中,联机 分析处理是重要的数据分析工具。
OLAP的基本思想是从多方面和多角度以多维的形 式来观察企业的状态和了解企业的变化。
OLAP是独立于数据仓库的一种技术概念 当OLAP与数据仓库结合时,OLAP的数据源为数
8
OLAP的简单定义
联机分析处理是共享多维信息的快速分析。 体现了四个特征:
(1)快速性:用户对OLAP的快速反应能力有很 高的要求。
(2)可分析性:OLAP系统应能处理任何逻辑分 析和统计分析。
(3)多维性:系统必须提供对数据分析的多维视 图和分析。
(4)信息性:OLAP系统应能及时获得信息,并 且管理大容量的信息。
据仓库,数据仓库的大量数据是根据多维方式组织 的。
6
OLAP特点
OLAP在以数据仓库为数据源时,它有两个 特点:
在线性(On Line):由客户机/服务器这种 体系结构来完成的;
多维分析:这也是OLAP的核心所在。
7
3.2 OLAP定义
联机分析处理(OLAP)是一种软件技术, 它使分析人员能够迅速、一致、交互地从各 个方面观察信息,以达到深入理解数据的目 的。这些信息是从原始数据转换过来的,按 照用户的理解,它反映了企业真实的方方面 面。( OLAP理事会)
联机分析处理—OLAP概念和技术 实施方法
1
本章学习目标:
通过 OLAP 技术概念介绍了解 OLAP 的发展和 特点。
通过多维分析学习掌握多维的基本概念。 通过 OLAP 的实施掌握 OLAP 实施方法。 通过MOLAP 与ROLAP 的学习掌握MOLAP 与
ROLAP的概念。 通过 OLAP 技术评价学习掌握对 OLAP 技术的
1993年,E.F.Codd提出了多维数据库和 多维分析的概念,即OLAP。
4
OLTP VS. OLAP
OLTP数据 原始数据 细节性数据 当前值数据 可更新 一次处理的数据量小 面向应用,事务驱动 面向操作人员,支持日常操作
OLAP数据 导出数据 综合性和提炼性数据 历史数据 不可更新,但周期性刷新 一次处理的数据量大 面向分析,分析驱动 面向决策人员,支持管理需要
1-D方体
city type city date type date 2-D方体
city type date
3-D(基本)方体 21
OLAP数据立方体的计算(物化)
一般,若有n个维,则立方体个数是 cn 0c1 n. . cn n2n
{(city,item,date),(city,item),(city,date), (item,date),(city),(item),(date),all }
评价。
2
第3章 联机分析处理--OLAP
3.1 概述 3.2 OLAP定义和基本概念 3.3 OLAP的数据模型 3.4 多维数据分析 3.5 OLAP的结构与分析工具
3
3.1 概述
60年代,关系数据库之父E.F.Codd提出 了关系模型,促进了联机事务处理(OLTP) 的发展(数据以表格的形式而非文件方式存 储)。
时间:在某一段时间内的销售情况,其度量为(年、季 度、月、旬、天)
地区:在某个地区的销售情况,度量可分为(地区、国 家、省、市)
产品:某类或某型号产品的销售情况,度量可分为(类 别、型号等)
此处,(时间,地区,产品)就构成了三个维。维 有层次结构,可以在某个层上察看数据。
18
维的例子
地区的层次
15
OLAP基本概念
变量:从现实系统抽象出来的,用于描述数 据的实际含义,即描述数据“是什么”
维:是与某一事件相关的因素在关系模型的 抽象,是人们观察数据的特定角度。如产品 维、顾客维、时间维等。
维的层次性:是由观察数据细致程度不同造 成的。如日、月、季、年是时间维的层次。
维的取值:即维的成员。如“某年某月某日” 是时间维的一个成员。
all 表示不对任何维分组,这组形成了该数据立方体的 方体格
22
OLAP数据立方体的计算(物化)
实际维上有分层,如(年、季度、月、星期、日),所以实际 的立方体个数是极大的。所以,实时计算的工作量极大,但全 部事先计算,则存储量又极大。