OLAP概述
OLAP 服务器
OLAP 服务器OLAP 服务器1. 简介1.1 概述在本章节中,将对OLAP(联机分析处理)服务器进行简要的概述和定义。
2. 功能特点2.1 数据存储与管理功能描述了OLAP服务器用于数据存储和管理的主要功能。
2.2 多维数据查询与分析功能解释了如何使用OLAP服务器进行多维数据查询和分析,并其相关特性。
3.系统架构设计讨论了在实施一个完整的 OLTP (On-Line Transaction Processing) 和 OLAS( On-line Analytical System ) 应用程序时所需考虑到的问题以及解决方案。
包括客户端、服务层、数据库等组件之间相互关系图示或描述文字说明。
4.安装配置指南提供详尽步骤来帮助用户正确地安装并配置该软件产品。
这些步骤应涵盖从软件开始直至成功运行起来为止所有必须执行操作.5.快速入门教程这一部份提供给新手迅速上手,通过几个基础例子讲解最常见情景下怎样建立自己第一个Cube.6.高级技术支持此篇幅是针对那些已经熟悉了基本操作并且希望深入学习更多高级技巧的用户。
这里会详细讲解一些复杂场景下怎样使用OLAP服务器。
7.常见问题与故障排除列出可能遇到的常见问题和相应的解决方案,以及如何进行故障排查。
8. 附件在此处列出文档所涉及到的所有附件,并提供或其他相关信息。
9. 法律名词及注释- OLAP:联机分析处理(On-Line Analytical Processing)是指通过对大量数据进行查询、汇总、统计等方式来获取有关业务过程中各种活动情况和结果变化趋势等知识性信息。
10. 结束语。
联机分析处理系统OLAP概述
OLAP概述 OLAP分析,又称多维分析,是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的并真实反映企业维特性的信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP也可以简单定义成使用户能够以多维视图分析数据的工具。
通常用来进行多维分析的维有时间、地点、产品、度量值(如销售额)等。
例如,在销售经理查看销售数据时,他可能想了解某个产品在某个地区、某段时间的销售额,并通过交叉表的功能来按不同的维对销售数据进行分析和通过挖掘功能来了解深层次的信息。
图3-20:数据的多维形式通过三维方式展现数据,并在此基础上进行分析,能够揭示出在二维方式下隐藏的关系;并通过方便的数据导航功能,使用户更易比较数据变量之间的关系,从而可以发现数据中隐藏的信息。
关系型数据库往往不能支持对数据进行逻辑分析和统计分析。
而采用OLAP系统,用户无须编程就可以定义新的逻辑、统计等方面的计算,并可将其做为分析的一部分,并以用户理想的方式给出报告。
用户可以在OLAP平台上进行数据分析,也可以连接到其他外部分析工具上,如时间序列分析工具、数据挖掘工具等。
OLAP产品根据其实现多维分析的技术以及要实现的目标而分为三类: (1)、MOLAP(多维联机分析处理)。
MOLAP将事务型数据进行综合,通过多维结构的“立方体”的数据结构来储存经综合的数据。
MOLAP通过其层次型数据库及在内存内的索引来保障数据访问的性能。
用户可以利用数据导航工具来进行钻取、交叉查询及产生关于“立方体”的报告。
根据MOLAP的技术特点,MOLAP擅长于对一定数量的数据进行大量、复杂、快速的、反复的分析。
MOLAP通常用来进行假设分析和问题求解,如在预算应用中。
图3-21:MOLAP架构图(2)、ROLAP(关系型联机分析处理)。
ROLAP在分析数据是直接到关系型数据库中取数据,而不建立自己的“立方体”。
OLAP分析
14
多维数据分析视图
对于更多维度的数据显示,需要选择维度及其成员分布在行或者列中。 在页面上可选定多个维度,但每个维度只能显示一个成员。在行或者列 中一般只选择二个维,每个维可以多个成员。例如对6维度数据,其 MTS如下图所示。 六维MTS例
鞋
鞋 鞋 鞋 …
上海
广州 广州 广州 …
3月
1月 2月 3月 …
400
150 250 300 …
11
多维类型结构(MTS)
表示方法是:每一个维度用一条线段来表示。维度中的每 一个成员都用线段上的一个单位区间来表示。
例如,用三个线段分别表示时间、产品和指标三个维的多维类型结构 如图所示。
三维MTS例
06 年 60 230 210
05 年 80 110 210
06 年 50 250 280
05 年 100 270 310
06 年 50 330 270
05 年 50 200 320
06 年 40 220
维的层次关系图
全国
江苏
北京
上海
苏州市
扬州市
宝应县
6
OLAP 概念
维的层次与类组合图
产品维
产品产地类
产品销地类
产品用途类
产品大类
产品小类
7
OLAP 数据显示与分析
8
多维数据显示
多维数据显示方法 多维类型结构(MTS) 多维数据分析视图
OLTP与OLAP
OLTP与OLAP1.OLTP与OLAP的基本概念与主要区别1.1 OLTP是什么OLTP的全称是On-line Transaction Processing,中⽂名称是联机事务处理。
其特点是会有⾼并发且数据量级不⼤的查询,是主要⽤于管理事务(transaction-oriented)的系统。
此类系统专注于short on-line-tansactions 如INSERT, UPDATE, DELETE操作。
通常存在此类系统中的数据都是以实体对象模型来存储数据,并满⾜3NF(数据库第三范式)。
1.2 OLAP是什么OLAP的全称是 On-line Analytical Processing,中⽂名称是联机分析处理。
其特点是查询频率较OLTP系统更低,但通常会涉及到⾮常复杂的聚合计算。
OLAP系统以维度模型来存储历史数据,其主要存储描述性的数据并且在结构上都是同质的。
1.3 OLAP与OLTP的主要联系和区别既然OLTP中存放了⼤量的细节数据,为什么不直接在OLTP上进⾏分析处理呢?由于OLTP主要是为了操作数据⽽设计(操作系统),⽤于处理已知的任务和负载:常见的优化在于主码索引和散列,检索特定的记录。
去优化某⼀些特定的查询语句。
⽽OLAP则是为了分析数据⽽设计(数据仓库),其查询的⽅式往往是复杂且未知的,通常会涉及⼤量数据在汇总后的计算,这种需要基于多维视图的数据操作在OLTP上执⾏的时候性能将是⾮常差的,并且是也是极其危险的。
但是OLAP系统数据来源与各种OLTP数据库。
因为OLTP系统存储的数据往往是异质的,所以OLAP系统需要把各种来源于OLTP的异质数据通过转换(ETL)做到同质并且合并。
如下是OLTP与OLAP的区别:OLTP和OLAP的主要区别总结2.1 OLAP分类:ROLAP,MOLAP,HOLAP 根据存储数据⽅式不同划分(1)ROLAP RelationalOLAP关系OLAP—数据存储在RDMS中这是⼀种通过在RDMS后端服务和客户前端之间建⽴中间层的OLAP实现⽅式。
OLAP数据库
OLAP数据库什么是OLAP数据库?OLAP数据库(Online Analytical Processing,即在线分析处理),是一种数据库技术,它可以让用户和企业精确地查看和分析大量复杂数据。
OLAP数据库的目的是帮助企业更好地理解和解释数据,以便做出更明智的决策。
与传统SQL数据库不同,OLAP数据库通过多维数据模型来组织数据,这种模型可以更好地表示一些复杂的分析问题。
OLAP 数据库通常采用基于数据立方体的查询语言,例如MDX (Multidimensional Expressions),这种语言强调多维数据分析。
OLAP数据库的优点1.快速查询:OLAP数据库是为快速查询优化的,它可以迅速响应多个查询,使得多次复杂查询变得高效。
2.数据可视化:OLAP数据库可以将查询结果可视化,例如基于数据立方体的报表,以便更好地理解和分析数据。
3.分析复杂数据:OLAP数据库可以处理海量数据,而且还能够处理比较复杂的数据,这种方式有利于找到数据之间的关联性。
4.支持决策:OLAP数据库可以帮助决策者更好地解读数据,提高决策的准确性和可靠性。
OLAP数据库的应用场景OLAP数据库可以通过多维数据立方体来解决许多分析问题。
它适用于需要一次性分析大量数据、需要实时响应多次查询、需要查找数据之间的关系、需要将查询结果可视化等场景。
例如,某公司可以使用OLAP数据库来分析其销售数据。
它可能需要了解某个特定时间段内某地区、某产品的具体销售情况,以便更好地决策。
或者,它也可以使用OLAP数据库来分析其市场情况,了解客户行为模式和需求,以便更好地制定市场策略。
还有,政府机构可以利用OLAP数据库来分析就业数据。
它们可以比较分析不同地区、不同行业、不同工作类型、不同年龄的就业状况和趋势,以便更好地制定就业政策。
总结OLAP数据库是一种强大的数据库技术,可以帮助企业更好地理解和分析复杂的数据。
它可以快速响应多个查询、分析海量数据、可视化查询结果、精确分析数据关系等。
OLAP入门
OLAP的基本概念
4.维的成员(Member) 比如,客户维的取值包括整个客户集合。由于维 度存在层次性,因此当维度具有多个层次时,维 成员由各个维层次的所有取值的组合构成。比如, 地理维由国家、省、地区3个层次构成,则“中国 福建省厦门地区”是维的一个取值。有时候,维 度取值不一定包含所有的层次,比如“中国福建 省”,它实际上也是惟一的一个取值,并不包括 其下的各个地区
OLAP的基本分析动作
5. 数据旋转
E.F.Codd 的12条准则
准则1 OLAP模型必须提供多维概念视图
• 从用户分析员的角度来看,整个企业的视图本 质上是多维的,因此OLAP的概念模型也是多 维的。
• 企业决策分析的目的不同,决定了分析和衡量 企业的数据总是从不同的角度来进行的,所以 企业数据空间本身就是多维的。
能否利用多个维度来实现维的层次。比如,定义 “大区维”、“省维”、“城市维”来代替在下图 中定义的地理维层次
如果使用多个维度来代替维的层次,将会出现 大量数据项的空缺。例如河北省不包含“温州”、 “宁波”等。 另外,这种取代还打乱了维层次中数据的层次 关系。比如省层次的数据包含其下各个市层次的数 据。如果利用多个维度来取代,由于维度之间是平 等的,维度间可进行任意的组合。比如,时间维和 地理维之间可以进行任意层次的交叉,“1995/1、 上海”、“2000、福建”,这些组合都是有意义的。 如果利用多个维度来取代,就会出现“温州、河 北”,这种在数据层次、逻辑上混乱的不合理组合。
OLAP的基本概念
5.维的分类 维不但存在层次性,而且为了分析的需要常常需要定 义“类”。类就是按照一定的划分标准对维的所有取 值集合的一个分类划分。比如,产品可分成“畅销”、 “不畅销”:移动通信品牌可分成“全球通”、“神 州行”、“小灵通”等:移动通信业务类型可分成 “通话”、“短信”。 维的层次主要是为了进行向下钻取和向上聚合,最终 让用户能够查看不同层次的数据。维的分类是对维取 值的划分,其目的通常是为了在不同的类别间进行比 较。比如“畅销”、“不畅销”产品各占产品总量的 比重,“全球通”、“神州行”、“小灵通”对移动 公司的收益贡献分别是多少,“通话”、“短信”对 移动公司的收益贡献分别是多少一个实际的系统中,
OLAP简介
OLAP(联机分析处理)。
什么是联机分析处理(OLAP)联机分析处理(OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。
OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理(OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
下表列出了OLTP与OLAP之间的比较。
OLTPOLAP用户操作人员,低层管理人员决策人员,高级管理人员功能日常操作处理分析决策DB 设计面向应用面向主题数据当前的, 最新的细节的, 二维的分立的历史的, 聚集的, 多维的集成的, 统一的存取读/写数十条记录读上百万条记录工作单位简单的事务复杂的查询用户数上千个上百个DB 大小100MB-GB100GB-TBOLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。
OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。
“维”是人们观察客观世界的角度,是一种高层次的类型划分。
“维”一般包含着层次关系,这种层次关系有时会相当复杂。
通过把一个实体的多项重要的属性定义为多个维(dimension),使用户能对不同维上的数据进行比较。
因此OLAP也可以说是多维数据分析工具的集合。
OLAP的基本多维分析操作有钻取(roll up和drill down)、切片(slice)和切块(dice)、以及旋转(pivot)、drill across、drill through等。
OLAP与OLTP系统的特点与区别
OLAP与OLTP系统的特点与区别在当今互联网时代,数据处理成为各种企业以及组织中不可或缺的重要部分。
随着数据的不断积累和增长,面临着对数据进行分析和处理的需求日益迫切。
OLAP(联机分析处理)和OLTP(联机事务处理)系统是常用的数据处理系统,它们在数据处理的不同阶段起着重要的作用。
本文将重点讨论OLAP和OLTP系统的特点和区别。
OLAP系统是一种用于进行多维分析的数据处理系统。
它主要用于对大规模数据集进行查询和分析,以便从多个维度来研究数据。
OLAP系统适用于环境中需要进行复杂多维度分析的场景,例如市场营销、销售预测、业绩评估等。
OLAP系统具有以下几个特点:1. 多维数据分析:OLAP系统可以通过各种维度对数据进行切片和切块,从而进行多维度的数据分析。
用户可以对数据进行透视、钻取和分组操作,以获取细致的数据视图。
2. 超大规模数据处理:OLAP系统能够处理海量的数据,支持从亿级到万亿级的数据规模。
这使得它成为对大数据进行高效处理和分析的理想选择。
3. 快速查询和响应:OLAP系统具有高速查询和响应能力。
它使用了预计算和预聚合技术,将数据预先计算并存储到多维数据库中,从而加快了查询速度和响应时间。
相比之下,OLTP系统主要用于处理和管理日常事务性操作数据,如订单处理、库存管理等。
它具有以下特点:1. 精确和实时的数据处理:OLTP系统对数据的准确性和实时性要求较高,因此它通常处理实时产生的数据。
它需要快速地执行大量的事务,并确保数据的一致性和可靠性。
2. 事务处理:OLTP系统采用了并发控制和锁机制,以确保多个事务的一致性和隔离性。
它支持事务的原子性、一致性、隔离性和持久性特性。
3. 高并发处理能力:OLTP系统通常需要处理大量同时发生的事务。
它使用精细的并发控制和事务管理技术,以支持多用户同时对数据库进行访问和操作。
OLAP和OLTP系统之间的区别主要体现在以下几个方面:1. 数据库设计架构:OLAP系统使用多维数据结构,通常采用星型或雪花型的数据模型,而OLTP系统通常使用关系数据库模型。
OLAP服务器的比较
OLAP服务器的比较1. 引言本文档旨在对不同的OLAP(联机分析处理)服务器进行比较和评估,以帮助用户选择适合其需求的最佳解决方案。
以下是针对各个方面细化讨论。
2. OLAP概述在这一章节中,我们将介绍什么是OLAP及其基本原理、功能和应用场景。
此外还会提供关于如何利用OLAP技术来支持企业决策制定过程等相关信息。
3. OLTP vs OLAP这里将详细阐述在线事务处理系统(Online Transaction Processing, 简称:OTLP)与联机分析处理系统之间的区别,并说明为什么需要专门设计并使用一个独立且高效率的数据库管理系统来满足数据分析需求。
4. 常见商业智能工具集成情况此部分主要列出常见商业智能(BI)工具所支持或整合了哪些市场上流行或者开源兼容性好得多种类型OALP服务端产品。
5. 关键特征比较对几款重点选取到相互竞品做深入剖析,在该章节下可以从查询速度、存储方式、可扩展性等角度去比较各个产品的优劣。
6. 性能和可扩展性在这一章节中,我们将重点讨论OLAP服务器在处理大规模数据集时的性能表现以及其可扩展性。
包括对于不同硬件配置、并发用户数等方面进行评估,并提供相应测试结果与分析。
7. 安全和权限控制本部分主要关注安全问题,如:多层次认证机制、基于角色或者对象级别精确到细致度(Granularity)去做权限管理。
8. 数据压缩技术这里会详述每种OLAP服务端所采用了哪些存储方式来实现高效率查询同时又保持低磁盘占有空间情况下达成最好平衡状态9. 高可用架构设计此处描述常见商业智能工具是怎么通过负载均衡器(Load Balancer),故障转移(Flover)策略去支撑企业生产环境10. 可视化报告功能对几款选取出得软件从图形界面友好程度上作一个简单介绍11 .附件:- OLAP服务器使用手册.pdf- 示例代码.zip12 .法律名词及注释:- OLTP: Online Transaction Processing,在线事务处理系统- OLAP: Online Analytical Processing,联机分析处理系统- BI:Business Intelligence, 商业智能。
OLAP分析及应用案例分析
云端OLAP服务将采用按需付费的计费模式 ,用户只需为自己的实际使用量付费,降低 数据分析成本。
感谢您的观看
THANKS
03
选和查看所需的数据。
旋转与转置
旋转是指改变数据立方体的维度顺序,以便从不同的角度查看数据。 转置是指将数据立方体中的行和列进行交换,以便更好地适应不同的分析需求。
旋转和转置可以帮助用户更好地理解和组织数据,使其更符合特定的分析需求。
钻取
1
钻取是指深入探索数据立方体中的细节信息,从 宏观到微观逐步查看数据的层次结构。
SAP BO
简介
SAP BO(BusinessObjects)是SAP公司开发的一款商业智能工具, 提供数据查询、报表制作和数据分析功能。
特点
集成性、可靠性、安全性。
应用场景
适用于使用SAP系统的企业,帮助用户进行数据分析和可视化呈现, 支持多平台和移动设备访问。
04
OLAP应用案例分析
电商销售数据分析
广泛应用于各行业,如金融、市场营销、销售等,用于数据分析 和可视化呈现。
QlikView
01
02
03
简介
QlikView 是一款内存内 分析工具,支持实时数据 分析和快速查询。
特点
高性能、灵活性、可扩展 性。
应用场景
适用于需要处理大量数据 的企业,如零售、物流和 制造业,用于数据挖掘和 商业智能应用。
通过多维数据分析,可以更全面地了 解数据的各个方面,从而更好地支持 决策制定和业务分析。
切片与切块
01
切片是指从数据立方体中选择某一维度的数据,以查看该维度 下的数据分布情况。
02
切块是指同时选择多个维度的数据,以查看这些维度之间的数
OLAP介绍
OLAP介绍OLAP介绍⼀、发展背景⼆、什么是OLAP?三、相关基本概念四、OLAP特性五、OLAP多维数据结构六、OLAP多维数据分析七、OLAP分类⼋、OLAP评价准则九、流⾏的OLAP⼯具⼗、OLAP发展⼗⼀、OLAP展望⼀、发展背景60年代,关系数据库之⽗E.F.Codd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式⽽⾮⽂件⽅式存储)。
1993年,E.F.Codd提出了OLAP概念,认为OLTP已不能满⾜终端⽤户对数据库查询分析的需要,SQL对⼤型数据库进⾏的简单查询也不能满⾜终端⽤户分析的要求。
⽤户的决策分析需要对关系数据库进⾏⼤量计算才能得到结果,⽽查询的结果并不能满⾜决策者提出的需求。
因此,E.F.Codd提出了多维数据库和多维分析的概念,即OLAP。
OLTP数据 OLAP数据原始数据导出数据细节性数据综合性和提炼性数据当前值数据历史数据可更新不可更新,但周期性刷新⼀次处理的数据量⼩⼀次处理的数据量⼤⾯向应⽤,事务驱动⾯向分析,分析驱动⾯向操作⼈员,⽀持⽇常操作⾯向决策⼈员,⽀持管理需要⼆、什么是OLAP?定义1 :OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。
通过对信息(维数据)的多种可能的观察形式进⾏快速、稳定⼀致和交互性的存取,允许管理决策⼈员对数据进⾏深⼊观察。
定义2 :OLAP(联机分析处理) 是使分析⼈员、管理⼈员或执⾏⼈员能够从多种⾓度对从原始数据中转化出来的、能够真正为⽤户所理解的、并真实反映企业维特性的信息进⾏快速、⼀致、交互地存取,从⽽获得对数据的更深⼊了解的⼀类软件技术。
(OLAP委员会的定义) OLAP的⽬标是满⾜决策⽀持或多维环境特定的查询和报表需求,它的技术核⼼是“维”这个概念,因此OLAP也可以说是多维数据分析⼯具的集合。
三、相关基本概念1.维:是⼈们观察数据的特定⾓度,是考虑问题时的⼀类属性,属性集合构成⼀个维(时间维、地理维等)。
OLAP数据库
OLAP数据库OLAP百家争鸣OLAP简介OLAP,也叫联机分析处理(Online Analytical Processing)系统,有的时候也叫DSS决策⽀持系统,就是我们说的数据仓库。
与此相对的是OLTP(on-line transactionprocessing)联机事务处理系统。
联机分析处理 (OLAP) 的概念最早是由关系数据库之⽗E.F.Codd于1993年提出的。
OLAP的提出引起了很⼤的反响,OLAP作为⼀类产品同联机事务处理 (OLTP) 明显区分开来。
Codd认为联机事务处理(OLTP)已不能满⾜终端⽤户对数据库查询分析的要求,SQL对⼤数据库的简单查询也不能满⾜⽤户分析的需求。
⽤户的决策分析需要对关系数据库进⾏⼤量计算才能得到结果,⽽查询的结果并不能满⾜决策者提出的需求。
因此,Codd提出了多维数据库和多维分析的概念,即OLAP。
OLAP委员会对联机分析处理的定义为:从原始数据中转化出来的、能够真正为⽤户所理解的、并真实反映企业多维特性的数据称为信息数据,使分析⼈员、管理⼈员或执⾏⼈员能够从多种⾓度对信息数据进⾏快速、⼀致、交互地存取,从⽽获得对数据的更深⼊了解的⼀类软件技术。
OLAP的⽬标是满⾜决策⽀持或多维环境特定的查询和报表需求,它的技术核⼼是"维"这个概念,因此OLAP也可以说是多维数据分析⼯具的集合。
OLAP的准则和特性E.F.Codd提出了关于OLAP的12条准则:准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能⼒准则准则4 稳定的报表能⼒准则5 客户/服务器体系结构准则6 维的等同性准则准则7 动态的稀疏矩阵处理准则准则8 多⽤户⽀持能⼒准则准则9 ⾮受限的跨维操作准则10 直观的数据操纵准则11 灵活的报表⽣成准则12 不受限的维与聚集层次⼀⾔以蔽之:OLTP系统强调数据库内存效率,强调内存各种指标的命令率,强调绑定变量,强调并发操作,强调事务性;OLAP系统则强调数据分析,强调SQL执⾏时长,强调磁盘I/O,强调分区。
OLAP 技 术 介 绍
OLAP 技术介绍刘可2004-08-20OLAP (on-line analytical processing) 联机分析处理,这一概念是由关系型数据库之父E.F.Codd于1993年提出的。
20世纪60年代末Codd提出关系型数据模型以后,关系型数据库与OLTP(on-line transaction processing)得到了快速的发展。
随着关系型数据库的快速发展,全球的数据量急剧膨胀,越来越多的数据被生产出来,同时人们对信息的需求也在快速的提升;而信息来源的最主要途径便是已掌握的海量数据,于是管理人员对数据的查询需求变得越来越复杂,他们贪婪的希望能够快速的尽可能多的从GB、TB甚至PB级数据中直观的了解到隐藏在这些数据背后的信息。
通俗的OLTP技术越来越力显得不从心。
于是数据仓库体系结构与OLAP技术应运而生。
数据仓库体系结构不是我在这里说的重点,这里我旨在从OLAP技术的特性(总体把握),OLAP技术的常用操作(前台分析操作),OLAP技术中数据存储方式(后台数据存储)三个角度全面介绍介绍OLAP技术。
一、O LAP技术的特性OLAP技术不同于OLTP技术,有非常多的特性,概括起来主要有如下几点特性:OLAP 技术是面向分析人员、管理人员的;OLAP技术对数据访问通常是只读的,并且一次访问大量数据;OLAP技术是面向主题的多维数据分析技术。
OLAP技术是面向分析人员、管理人员的区别于OLTP面向操作人员,OLAP技术主要面向分析人员、管理人员,他是提供分析人员、管理人员快速直观访问数据的一种途径。
使分析人员、管理人员能直观的从海量数据中获得有用信息以提供决策依据。
OLAP技术对数据访问通常是只读的,并且一次访问大量数据。
OLAP技术主要是针对海量数据的查询,通常不对数据做修改。
这种数据访问有别于OLTP中不断的对数据进行增删改操作。
同时这种查询不是简单的记录属性的检索,而是为了从海量数据中获取有用信息的针对大量数据的查询,通常一次需要查询会涉及到上百万条以上数据。
OLTP、OLAP介绍
OLTP、OLAP介绍⼀、什么是OLTP OLTP,即联机事务处理(Online Transaction Processing),表⽰事务性⾮常⾼的系统,⼀般都是⾼可⽤的在线系统,以⼩的事务以及⼩的查询为主,评估其系统的时候,⼀般看其每秒执⾏的Transaction以及Execute SQL的数量。
在这样的系统中,单个数据库每秒处理的Transaction往往超过⼏百个,或者是⼏千个,Select 语句的执⾏量每秒⼏千甚⾄⼏万个。
OLTP主要⽤来记录某类业务事件的发⽣,如购买⾏为,当⾏为产⽣后,系统会记录是谁在何时何地做了何事,这样的⼀⾏(或多⾏)数据会以增删改的⽅式在数据库中进⾏数据的更新处理操作,要求实时性⾼、稳定性强、确保数据及时更新成功,像公司常见的业务系统如ERP,CRM,OA等系统都属于OLTP。
OLTP系统最容易出现瓶颈的地⽅就是CPU与磁盘⼦系统。
CPU出现瓶颈常表现在逻辑读总量与计算性函数或者是过程上,逻辑读总量等于单个语句的逻辑读乘以执⾏次数,如果单个语句执⾏速度虽然很快,但是执⾏次数⾮常多,那么,也可能会导致很⼤的逻辑读总量。
设计的⽅法与优化的⽅法就是减少单个语句的逻辑读,或者是减少它们的执⾏次数。
另外,⼀些计算型的函数,如⾃定义函数、decode等的频繁使⽤,也会消耗⼤量的CPU时间,造成系统的负载升⾼,正确的设计⽅法或者是优化⽅法,需要尽量避免计算过程,如保存计算结果到统计表就是⼀个好的⽅法。
磁盘⼦系统在OLTP环境中,它的承载能⼒⼀般取决于它的IOPS处理能⼒。
因为在OLTP环境中,磁盘物理读⼀般都是db file sequential read,也就是单块读,但是这个读的次数⾮常频繁。
如果频繁到磁盘⼦系统都不能承载其IOPS的时候,就会出现⼤的性能问题。
OLTP⽐较常⽤的设计与优化⽅式为Cache技术与B-tree索引技术。
Cache决定了很多语句不需要从磁盘⼦系统获得数据,所以,Web cache与Oracle data buffer对OLTP系统是很重要的。
BI基础资料-OLAP
联机分析处理 (OLAP)百科名片联机分析处理简写为OLAP,随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合,关系数据库系统已不能全部满足这一要求。
在国外,不少软件厂商采取了发展其前端产品来弥补关系数据库管理系统支持的不足,力图统一分散的公共应用逻辑,在短时间内响应非数据处理专业人员的复杂查询要求。
目录[隐藏]作用起源分类[编辑本段]作用联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。
它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察。
决策数据是多维数据,多维数据就是决策的主要内容。
OLAP专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员,以便他们准确掌握企业(公司)的经营状况,了解对象的需求,制定正确的方案。
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点,从而使用户对基于大量复杂数据的分析变得轻松而高效,以利于迅速做出正确判断。
它可用于证实人们提出的复杂的假设,其结果是以图形或者表格的形式来表示的对信息的总结。
它并不将异常信息标记出来,是一种知识证实的方法。
[编辑本段]起源联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。
OLAP的提出引起了很大的反响,OLAP 作为一类产品同联机事务处理 (OLTP) 明显区分开来。
Codd提出OLAP的12条准则来描述OLAP系统:准则1 OLAP模型必须提供多维概念视图准则2 透明性准则准则3 存取能力推测准则4 稳定的报表能力准则5客户/服务器体系结构准则6维的等同性准则准则7 动态的稀疏矩阵处理准则准则8 多用户支持能力准则准则9 非受限的跨维操作准则10 直观的数据操纵准则11灵活的报表生成准则12 不受限的维与聚集层次[编辑本段]分类当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-linetransaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。
OLAP简介
OLAP是一个赋予动态的、企业分析的名词,这些分析是注释的、熟悉的、公式化数据分析模型的生成、操作、激活和信息合成。
能够在变量间分辨新的或不相关的关系,能够区分对处理大量数据必要的参数,而生成一个不限数量的维和指明跨维的条件表达式。
OLAP是针对特定问题的联机数据访问和分析。
通过信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察。
OLAP特点:1.假定性:需要初始的假设来给出导航数据分析的方向,最终用分析的结果来验证初始的假设。
2.快速性:用户对OLAP的快速反映能力有很高的要求。
3.可分析性:能处理与应用有关的任何逻辑分析和统计分析。
用户可以在OLAP平台上进行分析,也可以连接到其他外部分析工具上。
4.多维性:是OLAP的关键属性,系统提供对数据分析的多维视图和分析,如对层次维和多重层次维完全支持。
5.信息性:系统能及时获取信息,并能管理大容量的信息。
OLAP分类:1.关系OLAP(ROLAP)结构:使用关系或扩充关系DBMS存放并管理数据仓库,采用基于稀疏矩阵表示方法的星形结构或雪花结构存储多维数据,数据检索比MOLAP低效。
2.多维OLAP(MOLAP)结构:核心是其数据存储采用矩阵(可能是多维方阵)方式,数据检索高效。
3.混合OLAP(HOLAP)结构:结合ROLAP和MOLAP技术,在MOLAP立方体中存储高级别的聚集,在ROLAP中存储低级别的聚集。
4.桌面OLAP结构:没有自己的数据存储库,把用户的查询翻译为对数据源的查询,然后再把结果合成返回给用户。
5.客户OLAP:相对与Server OLAP,把部分数据下载到本地,为用户提供本地的多维分析。
OLAP常用分析方法:1.数据切片(Slicing)和数据切块(Dicing)2.钻取:数据上钻(Drilling-up)、数据下钻(Drilling-down)、数据上卷(Rolling-up)3.数据旋转(Pivoting/Rotating)-概括来说,数据仓库系统是指具有综合企业数据的能力,能够对大量企业数据进行快速和准确分析,辅助做出更好的商业决策的系统。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
数据仓库与OLAP实践教程作业(1)一、OLAP的发展背景60年代,关系数据库之父E.F.Codd提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。
1993年,E.F.Codd提出了OLAP概念,认为OLTP 已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。
用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。
因此,E.F.Codd提出了多维数据库和多维分析的概念,即OLAP。
在过去的十年当中,根据Codd的关于OLAP的十二条准则,OLAP技术有了很大的发展,市场上的各种OLAP产品可以说是层出不穷。
在开始探讨OLAP 技术的新方向之前,我们有必要回顾一下OLAP技术在过去一段时间的发展和演化:1970年第一个OLAP工具Express出现,后来被ORACLE公司收购并重写,但是在此时已经奠定了它的雏形。
1982年 Comshare出现,它应该算是一个面向金融行业的OLAP工具,熟悉IBM解决方案的朋友应该对这个名称比较熟悉,在数据仓库刚进入中国之初,comshare还是势头很猛,目前只在IBM的主机市场上出现了。
1984年,第一个基于Mac的ROLAP工具metaphor出现,由于该产品在当时昂贵的价格以及以后Mac机用户市场的下滑,现在已经没有人在使用这个东西了。
1985年pilot面世,这是第一个高举着EIS旗帜的OLAP供应商,属于典型的C/S结构,主机为Vax也算是把 OLAP向用户更加推进了一步。
不过遗憾的是好像没有进入中国市场。
1990年 cognos Powerplay终于出现,把OLAP技术又向前推进了一步,一方面提出desktop olap的概念,同时也是第一个基于windows的OLAP工具。
为OLAP提供了更加强劲的可扩展性。
1991年 IBM收购了metaohor,成为第一个转手的OLAP产品,虽然没有什么太大的影响,但是也算是为OLAP产品的收购开了先河。
1992年 Essbase发布,当时应该还是Arbor公司,但是在当时谁都没有想到它会成为后来的市场领先者。
1993年划时代的一年,Codd博士发表了关于OLAP的白皮书,传统上一般都会认为这是OLAP技术开始发展的一年,其实在此之前,已经有如此多的厂商尝试过这个领域了。
但是白皮书发表过之后,越来越多的人开始理解多维分析的概念。
1994年 MicroStrategy 发布,这是第一个完全基于关系型数据库的OLAP工具,所有的olap请求都被后台分割成一个或者多个SQL语句来执行。
可以说是OLAP技术和关系数据库技术的第一次亲密接触。
1995年 holos 4.0发布,这个产品应该是第一个混合性的OLAP工具,目前holos属于Crystal Decisions1995年 Oracle 收购Express,这是业界第一个大型的产品收购,同时也是第一数据库厂商对OLAP技术市场的冲击,这次收购对其他数据库厂商的触动很大。
后来几乎每一家数据库厂商都成为数据仓库市场的强劲竞争者。
1996年,BO 4.0发布,第一个同时支持OLAP和关系型数据库查询报表的工具,这再一次拉近了关系型数据库和多维OLAP分析的距离,意味着用户以后有可能不需要购买OLAP的专业展现工具了。
1997年,也就是这一年,MicroSoft又一次尝试统一标准,发布了OLE DB标准,虽然没有正式产品发布,但是这使OLAP领域第一次有了一个统一的标准。
现在的OLAP展现软件大多都支持这个标准。
1998 IBM姗姗来迟,推出自己的OLAP解决方案,其间OEM了EssBase作为OLAP Server 的引擎,曾经尝试把MOLAP结构保存在关系型数据库当中,遗憾的是,这个很好的想法在当时没能很好的实现,极差的性能导致IBM也不怎么推荐它的这一款产品。
另一方面IBM开始在中国全面推行它的商业智能的概念。
在国内掀起了一次数据仓库的热潮。
1998年,Hyperion公司与Arbor公司合并,这可能是业界的一次比较巨大的公司合并,Hyperion公司再此之后,一跃成为OLAP市场的领头羊,并持续保持领先位置。
1999年在这一年,一共发生了两件事情,一件是Microsoft的Plato正式面世,这一随SQL Server 7免费赠送的策略,让数据仓库放下它昂贵的架子,让越来越多的人能够熟悉和使用它。
另外一件事就是在国内如日中天的Platinum被CA 收购,而再此之前Platinum 刚刚收购了一家OLAP工具叫做Prodea Beacon,而这也创出了软件企业收购的记录35亿美金,次年,CA又收购了另外一家数据仓库厂商 Sterling,从此CA正式进入OLAP市场。
2000年,在SQL2000中,Microsoft把Plato改名为Analysis Services.2001年,ORACLE推出ORACLE 9i OLAP Option,实现了把多维数据库保存在关系型数据库当中的承诺。
成为业界第一个实现这种功能的产品。
OLAP技术终于可以和关系型数据库完全融合在一起了,在接下来的9i第二版当中,这个特性更是被发挥的淋漓尽致。
二、相关基本概念1.维:是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构成一个维(时间维、地理维等)。
2.维的层次:人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维:日期、月份、季度、年)。
3.维的成员:维的一个取值。
是数据项在某维中位置的描述。
(“某年某月某日”是在时间维上位置的描述)4.多维数组:维和变量的组合表示。
一个多维数组可以表示为:(维1,维2,…,维n,变量)。
(时间,地区,产品,销售额)5.数据单元(单元格):多维数组的取值。
(2000年1月,上海,笔记本电脑,$100000)三、OLAP特性1.传统OLAP系统的特点传统的OLAP系统一般都是捆绑在数据库应用系统中,作为解决方案的一部分提供给用户使用的,这种形式的解决方案就决定了传统OLAP工具的一些特点:(1) 建立数据仓库的标准不统一。
各个OLAP系统的数据接口没有通用的工业标准,用户在选择OLAP前端展现工具的灵活性受到了制约,受到数据库类型的制约,系统的扩展性和集成性不理想。
(2) 传统的OLAP工具一般都需要安装体积庞大的客户端应用程序,采用客户端/服务器(C/S)架构,提供了优秀的用户体验,可以提供复杂的分析功能。
目前越来越多的企业应用系统建立在J2EE(Java 2 Enterprise Edition)框架下,采用的是浏览器/服务器(B/S)架构,传统的工具明显无法满足要求。
(3) 对工具使用者的要求太高,传统OLAP系统的界面风格、操作流程等用户体验过于专业,企业决策者和管理者不易使用的工具没有发挥应有的价值,反而成为企业应用系统开发和使用中的负担。
2.现代OLAP的特点(1)快速性:用户对OLAP的快速反应能力有很高的要求。
系统应能在5秒内对用户的大部分分析要求做出反应。
(2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。
(3)多维性:多维性是OLAP的关键属性。
系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。
(4)信息性:不论数据量有多大,也不管数据存储在何处,OLAP系统应能及时获得信息,并且管理大容量信息。
四、目前OLAP系统的发展方向为了解决传统OLAP系统的不利因素,业界OLAP系统向着以下方向发展:(1) 数据格式应用XML(eXtensible Markup Language的缩写,可扩展标记语言),由于XML的结构化特性和可扩展性,系统开发中从分析模板的定义,数据的组织,结果的展现,均采用XML格式。
论文格式。
(2) 标准数据接口的使用。
论文格式。
由于企业应用系统变的越来越复杂,能跨操作系统,跨数据库的运行成为系统开发的重要需求,为了方便系统间集成,各大厂商开始采用统一的数据接口。
尤其是Web服务(Web Service)的出现,为客户端与数据提供者之间提供了一种可行的交互方式。
(3) 可视化组件的应用。
以图形的方式观察和认识客观事物,是人类最便捷的认知方式。
可视化技术包括科学计算可视化和数据可视化。
在数据的可视化方面,以各种不同的呈现形式展现给用户,这又被称为“前端展示”。
数据可视化在OLAP开发中起着重要的作用。
(4) 基于Web的开发逐渐成为趋势。
论文格式。
企业应用大量建立在基于Web方式的B/S架构上,具有①易于访问;②与平台无关;③较低的创建和维护成本3个优点。
原来普遍认为的基于B/S的应用程序用户体验较差的缺点,正在不断的发生改变,尤其是Web 2.0标准的发布,更强调了用户体验的增强,目前开发的基于Web的应用程序已经达到或超过了传统单机程序的易用性。
五、OLAP发展1.应用领域(1)市场和销售分析(Marketing and Sales analysis)(2)电子商务分析(Clickstream analysis)(3)基于历史数据的营销(Database marketing)(4)预算(Budgeting)(5)财务报告与整合(Financial reporting and consolidation)(6)管理报告(Management reporting)(7)利益率分析(Profitability analysis)(8)质量分析(Quality analysis)(9)OLAP标准APB-1(AQT-Analytical Query Time作为统计指标)(10)从联机分析处理到联机分析挖掘(OLAM/OLAP挖掘)六、 OLAP展望1.面向对象的联机分析处理O3LAP(Object-Oriented OLAP)2.对象关系的联机分析处理OROLAP (Object Relational OLAP)3.分布式联机分析处理DOLAP (Distributed OLAP)4.时态联机分析处理TOLAP (Temporal OLAP)七.OLAP相关产品1.HyperionHyperionEssbaseOLAPServer,在上面有超过100个的应用程序,有300多个用Essbase 作为平台的开发商。
具有几百个计算公式,支持过程的脚本预言,及统计和基于维的计算。
强大的OLAP查询能力,利用EssbaseQueryDesigner,商业用户可以不用IT人员的帮助自己构件复杂的查询。
广泛的应用支持,可以扩展数据仓库和ERP系统的价值,建立对电子商务、CRM、金融、制造业、零售和CPG(consumerpackagedgoods)等应用的分析程序。