数据仓库和联机分析处理精品PPT课件
合集下载
《数据仓库》PPT课件 (2)
数据仓库体系结构
数据库系统模式（操作型数据）
采购子系统: 订单（订单号，供应商号，商品号，类别，单价。数量，总金额，日
期， … ） 供应商（供应商号，供应商名，地址，电话，…）
销售子系统： 客户（客户号，姓名，地址，电话， … ） 销售（客户号，商品号，数量，单价，日期， … ）
库存子系统： 进库单（编号，商品号，数量，单价，日期， … ） 出库单（编号，商品号，数量，单价，日期， … ） 库存（商品号， 库房号，类别，单价，库存数量，
21
第2章 数据仓库
数据仓库体系结构
数据源
数据仓库
RDBMS 数据文件
其他
综合数据 当前数据 历史数据 元数据
分析工具 查询工具 OLAP工具 DM工具
抽取、转换、装载
精选ppt
22
第2章 数据仓库
数据仓库体系结构
数据仓库体系结构实例-税务数据仓库
数据源
ETL
数据存储
数据访问 数据展示
生产 数据库
数据集市
EXCEL
数据仓库
5-10 年
当前 详细数据
过去 详细数据
精选ppt
25
第2章 数据仓库
数据仓库体系结构
数据仓库数据的组织
• 数据由操作型环境（综合）导入数据仓库 • 数据具有不同的细节
早期细节级（过期数据） 当前细节级 轻度综合数据级（数据集市） 高度综合数据级
精选ppt
26
第2章 数据仓库
多渠道
社保库
遗留系统 数据库
E
外部 数据源
数据复制 平台
转换 T 中转区
L 加载 中转区
文档 数据
地市库
个税库
数据库系统模式（操作型数据）
采购子系统: 订单（订单号，供应商号，商品号，类别，单价。数量，总金额，日
期， … ） 供应商（供应商号，供应商名，地址，电话，…）
销售子系统： 客户（客户号，姓名，地址，电话， … ） 销售（客户号，商品号，数量，单价，日期， … ）
库存子系统： 进库单（编号，商品号，数量，单价，日期， … ） 出库单（编号，商品号，数量，单价，日期， … ） 库存（商品号， 库房号，类别，单价，库存数量，
21
第2章 数据仓库
数据仓库体系结构
数据源
数据仓库
RDBMS 数据文件
其他
综合数据 当前数据 历史数据 元数据
分析工具 查询工具 OLAP工具 DM工具
抽取、转换、装载
精选ppt
22
第2章 数据仓库
数据仓库体系结构
数据仓库体系结构实例-税务数据仓库
数据源
ETL
数据存储
数据访问 数据展示
生产 数据库
数据集市
EXCEL
数据仓库
5-10 年
当前 详细数据
过去 详细数据
精选ppt
25
第2章 数据仓库
数据仓库体系结构
数据仓库数据的组织
• 数据由操作型环境（综合）导入数据仓库 • 数据具有不同的细节
早期细节级（过期数据） 当前细节级 轻度综合数据级（数据集市） 高度综合数据级
精选ppt
26
第2章 数据仓库
多渠道
社保库
遗留系统 数据库
E
外部 数据源
数据复制 平台
转换 T 中转区
L 加载 中转区
文档 数据
地市库
个税库
数据仓库第二章——OLAP联机分析处理
（1）快速性：用户对OLAP的快速反应能力有很高的要求。 （2）可分析性：OLAP系统应能处理任何逻辑分析和统计分
析。
（3）多维性：系统必须提供对数据分析的多维视图和分析。 （4）信息性：OLAP系统应能及时获得信息，并且管理大容量
的信息。
4.1.2 OLAP准则
1993年，E.F.Codd提出OLAP的12条准则，其主 要的准则有：
6
4.1.1 OLAP的定义
1. OLAP理事会给出的定义 联机分析处理（OLAP）是一种软件技术，它
使分析人员能够迅速、一致、交互地从各个 方面观察信息，以达到深入理解数据的目的。 这些信息是从原始数据转换过来的，按照用 户的理解，它反映了企业真实的方方面面。
7
2. OLAP的简单定义
联机分析处理是共享多维信息的快速分析。 它体现了四个特征：
同时计算一些可能同时的聚集，避免不必要 的单元再次访问。
总结：
由于分块技术设计“重叠”某些聚集计算， 称该技术为多路数组聚集（Multiway array aggregation）
它同时聚集——即同时对多个维计算聚集。
44
4.2.4 MOLAP与ROLAP的比较
1.数据存取速度 2.数据存储的容量 3.多维计算的能力 4.维度变化的适应性 5.数据变化的适应性 6.软硬件平台的适应性 7.元数据管理
图4.4多维类型结构中的空间数据点
4.3.3多维数据的分析视图
在平面的屏幕上显示多维数据，是利用行、 列和页面三个显示组来表示的。例如，对上 例的四维MTS实例，在页面上选定商店维度 中“商店3”，在行中选定时间维的“1月、2 月、3月”共3个成员，在列中选定产品维中 的“上衣、裤、帽子”三个成员，以及指标 维中的“固定成本、直接销售”二个成员。 该四维数据的显示如图4.6所示。
析。
（3）多维性：系统必须提供对数据分析的多维视图和分析。 （4）信息性：OLAP系统应能及时获得信息，并且管理大容量
的信息。
4.1.2 OLAP准则
1993年，E.F.Codd提出OLAP的12条准则，其主 要的准则有：
6
4.1.1 OLAP的定义
1. OLAP理事会给出的定义 联机分析处理（OLAP）是一种软件技术，它
使分析人员能够迅速、一致、交互地从各个 方面观察信息，以达到深入理解数据的目的。 这些信息是从原始数据转换过来的，按照用 户的理解，它反映了企业真实的方方面面。
7
2. OLAP的简单定义
联机分析处理是共享多维信息的快速分析。 它体现了四个特征：
同时计算一些可能同时的聚集，避免不必要 的单元再次访问。
总结：
由于分块技术设计“重叠”某些聚集计算， 称该技术为多路数组聚集（Multiway array aggregation）
它同时聚集——即同时对多个维计算聚集。
44
4.2.4 MOLAP与ROLAP的比较
1.数据存取速度 2.数据存储的容量 3.多维计算的能力 4.维度变化的适应性 5.数据变化的适应性 6.软硬件平台的适应性 7.元数据管理
图4.4多维类型结构中的空间数据点
4.3.3多维数据的分析视图
在平面的屏幕上显示多维数据，是利用行、 列和页面三个显示组来表示的。例如，对上 例的四维MTS实例，在页面上选定商店维度 中“商店3”，在行中选定时间维的“1月、2 月、3月”共3个成员，在列中选定产品维中 的“上衣、裤、帽子”三个成员，以及指标 维中的“固定成本、直接销售”二个成员。 该四维数据的显示如图4.6所示。
数据仓库系列-联机分析处理 第四讲
LOGO
• 另一方面，能够随时监控数据仓库有许多方面的 原因，包括：
• A.决定是否对数据进行重组。 • B.决定索引结构的有效性。 • C.决定数据仓库中的数据是否溢出。 • D.决定数据的统计组成。 • E.决定剩余可用空间。
LOGO
• 如果某项技术不能高效和方便地监视数据，则这种技 • 术不适用于元数据管理。
3.企业级数据集市结构
LOGO
• 尽管自底向上结构也存在许多缺点，但它基于数据集市 构建数据仓库的由小到大，由部分到整体的思想给后来者 很大的启发。
LOGO
2.1.3 数据仓库的技术要求
• 1.数据管理技术
• （1）大批量数据管理
• 在数据仓库的所有技术中最重要的是管理大批 量数据技术。如果不能管理大批量数据，那么 数据仓库的创建与使用是不可能的。管理大批 量数据包括管理大批量数据能力和管理好大批 量数据的能力，即管理大批量数据技术要求管 理能力的满足和管理的高效率两方面要求。
据仓库的复杂查询、决策分析和知识的挖掘等功能。
•
LOGO
• （2）数据仓库的管理层包含数据管理与元数据管 理两部分。数据管理与元数据管理主要负责对数 据仓库中的数据抽取、清理、加载、更新与刷新 等操作进行管理。
LOGO
• （3）数据仓库环境支持层主要包含数据传输和数 据仓库基础两大部分。这两大部分对于数据仓库 的创建和使用来说是必不可少的，没有这两个数 据仓库的支持环境，数据仓库的创建与使用是无 法实现的。
LOGO
2. 数据存储技术
• 数据的存储技术包含多介质存储设备的管理 技术，数据存储的控制技术，数据的并行存储 与管理技术，可变长技术和锁切换技术等。
LOGO
3. 数据仓库接口技术
第十七 数据仓库与联机分析处理技术PPT课件
第14页/共25页
联机分析处理技术(续)
星形模式（Star Schema）通常由一个中心表(事实表)和一 组维表组成 如下图所示的是销售事实表 ➢维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表
第15页/共25页
联机分析处理技术(续)
雪片模式就是对维表按层次进一步细化后形成的
• 目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素 • 数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种
技术
• 决策支持系统(DSS)跨入了一个新阶段
第18页/共25页
数据挖掘技术(续)
• 二、数据挖掘和传统分析方法的区别 • 本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 • 数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征
第19页/共25页
数据挖掘技术(续)
• 三、数据挖掘的数据源 • 从数据仓库中来 • 优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少 了清理数据的工作量 • 缺点：建立数据仓库是一项巨大的工程，耗时耗力 • 从数据库中来 • 如果只是为了数据挖掘，可以把一个或几个OLTP数据库导入一个只读 的数据库中，然后在上面进行数据挖掘
第13页/共25页
联机分析处理技术(续)
• ROLAP结构 • 用RDBMS或扩展的RDBMS来管理多维数据，用关系的表来组织和存储多 维数据 • 两类表：一类是事实(fact)表，另一类是维表
• 事实表用来描述和存储多维立方体的度量值及各 个维的码值；
• 维表用来描述维信息。
• ROLAP用“星形模式”和“雪片模式”来表示多维数据模型
第十七章 数据仓库与联机分析处理技术
17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结
联机分析处理技术(续)
星形模式（Star Schema）通常由一个中心表(事实表)和一 组维表组成 如下图所示的是销售事实表 ➢维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表
第15页/共25页
联机分析处理技术(续)
雪片模式就是对维表按层次进一步细化后形成的
• 目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素 • 数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种
技术
• 决策支持系统(DSS)跨入了一个新阶段
第18页/共25页
数据挖掘技术(续)
• 二、数据挖掘和传统分析方法的区别 • 本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 • 数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征
第19页/共25页
数据挖掘技术(续)
• 三、数据挖掘的数据源 • 从数据仓库中来 • 优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少 了清理数据的工作量 • 缺点：建立数据仓库是一项巨大的工程，耗时耗力 • 从数据库中来 • 如果只是为了数据挖掘，可以把一个或几个OLTP数据库导入一个只读 的数据库中，然后在上面进行数据挖掘
第13页/共25页
联机分析处理技术(续)
• ROLAP结构 • 用RDBMS或扩展的RDBMS来管理多维数据，用关系的表来组织和存储多 维数据 • 两类表：一类是事实(fact)表，另一类是维表
• 事实表用来描述和存储多维立方体的度量值及各 个维的码值；
• 维表用来描述维信息。
• ROLAP用“星形模式”和“雪片模式”来表示多维数据模型
第十七章 数据仓库与联机分析处理技术
17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结
数据仓库,联机分析处理,数据挖掘Data WarehousingPPT演示文稿
中到低
每个事务只访问少量记 有的事务可能要访问大
录
量记录
以秒为单位计量
以秒、分钟、甚至小时 为计量单位
12
• 尽管OLTP系统和数据仓库有着许多不同的特性且 基本构建思想不同，但是他们却是紧密联系的，因 为OLTP系统是数据仓库的数据来源。
• OLTP系统并不是为了快速回答查询，也不是为了 存储分析趋势的历史数据而创建的。一般的， OLTP提供了大量的原始数据，这些数据不易被分 析。
9
d) non-volatile 数据的非易失性
• 数据仓库的非易失性是指数据仓库的数据不进行更 新处理，而是一旦数据进入数据仓库以后，就会保 持一个相当长的时间。因为数据仓库中数据大多表 示过去某一时刻的数据，主要用于查询、分析，不 像业务系统中的数据库那样，要经常进行修改、添 加，除非数据仓库中的数据是错误的。
10
e) in support of management dec的组织的根本目的在于对决策的支持。 高层的企业决策者、中层的管理者和基层的业务 处理者等不同层次的管理人员均可以利用数据仓 库进行决策分析，提高管理决策的质量。
• 企业管理人员可以利用数据仓库进行各种管理决 策的分析，利用自己所特有的、敏锐的商业洞察 力和业务知识从貌似平淡的数据发现众多的商机。 数据仓库为管理者利用数据进行管理决策分析提 供了极大的便利。
2
数据仓库的引出 1.传统数据库以及OLTP(On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中 获得了巨大的成功，但是对管理人员的决策分析要 求却无法满足。 2.因为，管理人员常常希望能够通过对组织中的大 量数据进行分析，了解业务的的发展趋势。而传统 数据库只保留了当前的业务处理信息，缺乏决策分 析所需要的大量的历史信息。 3.为满足管理人员的决策分析需要，就需要在数据 库的基础上产生适应决策分析的数据环境——数据 仓库(Data Warehose)。
每个事务只访问少量记 有的事务可能要访问大
录
量记录
以秒为单位计量
以秒、分钟、甚至小时 为计量单位
12
• 尽管OLTP系统和数据仓库有着许多不同的特性且 基本构建思想不同，但是他们却是紧密联系的，因 为OLTP系统是数据仓库的数据来源。
• OLTP系统并不是为了快速回答查询，也不是为了 存储分析趋势的历史数据而创建的。一般的， OLTP提供了大量的原始数据，这些数据不易被分 析。
9
d) non-volatile 数据的非易失性
• 数据仓库的非易失性是指数据仓库的数据不进行更 新处理，而是一旦数据进入数据仓库以后，就会保 持一个相当长的时间。因为数据仓库中数据大多表 示过去某一时刻的数据，主要用于查询、分析，不 像业务系统中的数据库那样，要经常进行修改、添 加，除非数据仓库中的数据是错误的。
10
e) in support of management dec的组织的根本目的在于对决策的支持。 高层的企业决策者、中层的管理者和基层的业务 处理者等不同层次的管理人员均可以利用数据仓 库进行决策分析，提高管理决策的质量。
• 企业管理人员可以利用数据仓库进行各种管理决 策的分析，利用自己所特有的、敏锐的商业洞察 力和业务知识从貌似平淡的数据发现众多的商机。 数据仓库为管理者利用数据进行管理决策分析提 供了极大的便利。
2
数据仓库的引出 1.传统数据库以及OLTP(On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中 获得了巨大的成功，但是对管理人员的决策分析要 求却无法满足。 2.因为，管理人员常常希望能够通过对组织中的大 量数据进行分析，了解业务的的发展趋势。而传统 数据库只保留了当前的业务处理信息，缺乏决策分 析所需要的大量的历史信息。 3.为满足管理人员的决策分析需要，就需要在数据 库的基础上产生适应决策分析的数据环境——数据 仓库(Data Warehose)。
联机分析处理
联机分析处理简介联机分析处理，英文名称为On-Line Analysis Processing，简写为OLAP。
随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合，关系数据库系统已不能全部满足这一要求。
操作型应用和分析型应用，特别是在性能上难以两全，人们常常在关系数据库中放宽了对冗余的限制，引入了统计及综合数据，但这些统计综合数据的应用逻辑是分散而杂乱的、非系统化的，因此分析功能有限，不灵活，维护困难。
在国外，不少软件厂商采取了发展其前端产品来弥补关系数据库管理系统支持的不足，他们通过专门的数据综合引擎，辅之以更加直观的数据访问界面，力图统一分散的公共应用逻辑，在短时间内响应非数据处理专业人员的复杂查询要求。
1993年，E.F.Codd（关系数据库之父）将这类技术定义为“联机分析处理”。
作用联机分析处理是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。
它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。
决策数据是多维数据，多维数据就是决策的主要内容。
OLAP专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。
联机分析处理具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。
它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。
数据仓库 Chapter 15 OLAP 数据仓库中的联机分析处理
电子
视频 炊具
*********
********* *********
*********
********* *********
*********
********* *********
*********
********* ********* 2003 2004 总计
器具
总计
*********
*********
高级特征
强大的计算 跨越维度或细节分析 通过公式推倒出的数 值 跨维计算 精良的显示 报警技术的应用 预计算和预合并 共同地制定策略 使用代理技术来生成 报表
一个分析会话中的查询步骤
联机分析处理的要求
其他分析方法的局限性
传统的工具和方法 OLTP和数据仓库环境的区别
特征 分析性能 用在单一会话中的数据 结果集的大小 反映时间 数据粒度 数据流通 访问方法 基本目的 数据模型 数据库的优化 更新频率 用户交互的范围 OLTP系统 非常低 非常有限 小 非常迅速 细节 当前的 预定义 收集和输入数据 为数据更新设计的 为了交易 非常频繁 单个交易 数据仓库 适中 小型到中型 大 迅速到适中 细节和汇总 当前和历史的 预定义和特别的 提供信息 为查询设计的 为了分析 通常是只读的 遍及所有数据内容
2004 *********
总计 ********* 年 2002 服装 ********* ********* ********* ********* 电子 ********* ********* ********* ********* 视频 ********* ********* ********* ********* 炊具 ********* ********* ********* ********* 器具 ********* ********* ********* ********* 总计 ********* ********* ********* *********
数据仓库PPT
结论： 结论：
空间数据仓库是一个多种异构数据源在单个 站点以统一的模式组织的存储， 站点以统一的模式组织的存储，它的根本目 的是服务于决策支持， 的是服务于决策支持，是空间决策支持系统 SDSS）的核心。 （SDSS）的核心。
1.5 1.5 数据仓库与数据库的比较
数据仓库（DW） 数据仓库（DW） 分析型数据环境 面向空间分析（主题）， 面向空间分析（主题）， 支持SDSS 支持SDSS 集成的综合数据 历史数据（5-10年） 历史数据（ 10年 定期加载，加载后极少更新 定期加载， 数据驱动的开发周期 CLDS） （CLDS） 数据库（DB） 数据库（DB） 操作型数据环境 面向业务， 面向业务，日常事务处理
高级数据库系统
基于WEB的空间数据库系统 的空间数据库系统 基于
90年代 90年代 到现在
空间数据分库和数据挖掘 空间属性一体化数据库系统） （空间属性一体化数据库系统）
基于XML的数据系统 的数据系统 基于
2000年 2000年 之后
第一代综合信息系统
空间数据库和联机处理 OLAP 空间数据挖掘SDM和知 空间数据挖掘 和知 识发现 KDD
集成的
具有关联机制， 具有关联机制，可为辅助决策集成多个不 同部门不同系统的大量数据异构空间。 同部门不同系统的大量数据异构空间。
稳定性
进入空间数据仓库的数据是不能或极少更 新的。 新的。
不同时间的
空间数据仓库内包含了大量历史数据， 空间数据仓库内包含了大量历史数据，时 限为5 10年 主要用于进行时间趋势分析。 限为5—10年，主要用于进行时间趋势分析。
1.2 空间数据仓库的概念
• 数据仓库的创始人 数据仓库的创始人W·H·Inmon曾经给数据 曾经给数据 仓库（ 仓库（DW）下过一个定义：数据仓库是数 ）下过一个定义： 据仓库向空间维的扩展， 据仓库向空间维的扩展，它是一个支持决 策过程的、面向主题的、集成的、稳定的、 策过程的、面向主题的、集成的、稳定的、 不同时间的空间数据的集合。 不同时间的空间数据的集合。
数据仓库ppt课件
精选编辑ppt
3
数据仓库——发展
数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提 出，主要功能是将组织透过资讯系统和联机事务处理(OLTP)经年累月 所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一 有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数 据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主 管资讯系统(EIS)之创建，帮助决策者能快速有效的从大量资料中，分 析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建 构商业智能(BI)。
精选编辑ppt
4
数据仓库——特征
1.数据仓库是面向主题的； 操作型数据库的数据组织面向事务处理任务，而数据仓库中的数
据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决 策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。 2.数据仓库是集成的；
数据仓库的数据有来自于分散的操作型数据，将所需数据从原来 的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据 仓库。 3.数据仓库是不可更新的；
元数据：是描述数据仓库内数据的结构和建立方法的数据。它为访问 数据仓库提供了一个信息目录，这个目录全面描述了数据仓库中都有 什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库 运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户 通过他来了解和访问数据。
数据集市：是从数据仓库中独立出来的一部分数据，也可称为部门数 据或主题数据。在数据仓库的实施过程中往往可以从一个部门的数据 集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注 意的就是在实施不同的数据集市时，同一含义的字段定义一定要相容， 这样在以后实施数据仓库时才不会造成大麻烦。
数据仓库技术分享ppt
Lambda架构存在的问题：
• 同样的需求要开发两套一样的代码，开发成本、维护成本极高。 • 同样资源计算两次，资源占用多。 • 实时链路和离线链路计算结果容易让人误解，昨天和今天看到的数据不一致。 • 下游需整合实时和离线处理结果。
PART/02 数仓架构
kappa架构: 使用不可改变的数据流作为主要的记录 源，而不使用数据库或文件的时间点来 表示。 Kappa架构将数据作为事件写入到持久 化的流中，对代码的修改只需要重放过 去的事件即可。
PART/02 数仓架构
03
数仓建模
PART/03 数仓建模
数仓分层
清晰数据结构 数据血缘追踪 减少重复开发 把复杂问题简单化 屏蔽原始数据的异常
PART/03 数仓建模
ODS层
DWD层 DWS层 ADS层
保持数据原貌不做任何修改，起到备份数据的作用。 数据采用压缩，减少磁盘存储空间 创建分区表，防止后续的全表扫描
比尔·恩门（Bill Inmon） 《 Building the Data Warehouse 》
数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。 通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。 数仓并不是数据的最终目的地，而是为主句最终的目的地做好准备。包括：清洗，转义，分 类，充足，合并，拆分，统计等。
PART/01 什么是数据仓库
3、相对稳定的。 操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供查询，数据进入数据仓 库以后，一般将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期 的加载、刷新。
4、反映历史变化。 操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过 去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未 来趋势做出定量分析和预测。
• 同样的需求要开发两套一样的代码，开发成本、维护成本极高。 • 同样资源计算两次，资源占用多。 • 实时链路和离线链路计算结果容易让人误解，昨天和今天看到的数据不一致。 • 下游需整合实时和离线处理结果。
PART/02 数仓架构
kappa架构: 使用不可改变的数据流作为主要的记录 源，而不使用数据库或文件的时间点来 表示。 Kappa架构将数据作为事件写入到持久 化的流中，对代码的修改只需要重放过 去的事件即可。
PART/02 数仓架构
03
数仓建模
PART/03 数仓建模
数仓分层
清晰数据结构 数据血缘追踪 减少重复开发 把复杂问题简单化 屏蔽原始数据的异常
PART/03 数仓建模
ODS层
DWD层 DWS层 ADS层
保持数据原貌不做任何修改，起到备份数据的作用。 数据采用压缩，减少磁盘存储空间 创建分区表，防止后续的全表扫描
比尔·恩门（Bill Inmon） 《 Building the Data Warehouse 》
数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合。 通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本、提高产品质量等。 数仓并不是数据的最终目的地，而是为主句最终的目的地做好准备。包括：清洗，转义，分 类，充足，合并，拆分，统计等。
PART/01 什么是数据仓库
3、相对稳定的。 操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供查询，数据进入数据仓 库以后，一般将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期 的加载、刷新。
4、反映历史变化。 操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过 去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未 来趋势做出定量分析和预测。
数据仓库技术与联机分析处理教材PPT65页
道紧在哪里。——西班牙
37、我们唯一不会改正的缺点是软弱。——拉罗什福科
xiexie! 38、我这个人走得很慢，但是我从不后退。——亚伯拉罕·林肯
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
数据仓库技术与联机分析处理教材
16、自己选择的路、跪着也要把它走 完。 17、一般情况下)不想三年以后的事， 只想现 在的事 。现在 有成就 ，以后 才能更 辉煌。
18、敢于向黑暗宣战的人，心里必须 充满光 明。 19、学习的关键--重复。
20、懦弱的人只会裹足不前，莽撞的 人只能 引为烧 身，只 有真正 勇敢的 人才能 所向披 靡。
37、我们唯一不会改正的缺点是软弱。——拉罗什福科
xiexie! 38、我这个人走得很慢，但是我从不后退。——亚伯拉罕·林肯
39、勿问成功的秘诀为何，且尽全力做你应该做的事吧。——美华纳
40、学而不思则罔，思而不学则殆。——孔子
数据仓库技术与联机分析处理教材
16、自己选择的路、跪着也要把它走 完。 17、一般情况下)不想三年以后的事， 只想现 在的事 。现在 有成就 ，以后 才能更 辉煌。
18、敢于向黑暗宣战的人，心里必须 充满光 明。 19、学习的关键--重复。
20、懦弱的人只会裹足不前，莽撞的 人只能 引为烧 身，只 有真正 勇敢的 人才能 所向披 靡。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
现有的数据库系统，主要用于事务处理 一笔订购（一张订单输入+订单细则） 一笔销售（一张销售单） 一次进料（一张进料单） 一次出料（一张出料单）
强调多用户并发环境，数据的一致性、完整性
企业信息化建设现状
在数据库技术的支持下，一大批成熟的业务信息系统投入运 行，为企业发展作出了巨大贡献
各类信息系统大多属于面向事务处理的OLTP系统 信息系统多年运行，积累了大量的数据 数据是一种宝贵的资源，但没有充分发挥作用
分析型数据 综合的，或提炼的 代表过去的数据 不更新 操作需求事先不知道 完全不同的生命周期 对性能要求宽松 一个时刻操作一集合 分析驱动 面向分析 一次操作数据量大 支持管理需求
介绍内容
为什么需要数据仓库技术 什么是数据仓库
数据仓库的概念 数据仓库的特点
什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
信息化建设的趋势
发展趋势
数据集中化 业务综合化 管理“扁平化” 决策科学化
特点
以客户为中心 以服务求发展
企业信息化建设提出了更高的要求
市场竞争日益激烈 — 创造竞争优势 需要及时、准确的做出科学决策 科学决策必须以准确、有效的数据为基础 充分利用现有数据，将它转化为信息
以客户为中心的经营管理模式 — 优化客户关系 原有系统往往以产品为中心 原有系统往往以“单据（票证）”的处理为基础 转向“以客户为中心” 强调服务，尤其是个性化服务
部门A，于星期天傍晚提交，业务增长了10% 部门B，于星期三下午提交，业务增长了15%
算法不同
部门A使用的是所有类别的帐户， 部门B使用的是所有大帐户
多次抽取，扩大了上述两个问题
用抽取程序从数据库/文件中抽取数据，并存放起来，然后又从此再 次进行抽取，从数据进入系统到提供分析往往经过8、9次的抽取。
从数据到信息
例如：“今年的帐户情况与前五年比较”
涉及大量应用：储蓄应用、贷款、即期汇票管理、信托， 而这些应用并未集成。
没有足够的历史数据： 贷款部门，拥有二年的数据 银行存折处理，拥有一年的数据 即期汇票管理只有60天的数据 现金交易处理具有18个月的数据。
数据不一致问题：同名不同义、同义不同名，例如M/F， Male/Female
外部数据和非结构化数据
操作型环境和分析型环境
不同的需求，要求将操作型环境和分析型环境相 分离
在操作型环境中支持分析应用太复杂、太困难 操作性环境不支持域（Domain）之间的联系，仅仅支
持表之间的连接 不同的数据环境要求从数据组织（结构）和管理上进行
工作
两种数据的区别
操作型数据 细节的 在存取瞬间是准确的 可更新 操作需求事先可知道 生命周期符合SDLC 对性能要求高 一个时刻操作一单元 事务驱动 面向应用续）
外部数据问题
一位分析员把华尔街杂志上的数据带进系统 另一位将商业周刊的数据进入系统 数据一旦进入系统，往往已失去“身份”，并且一位分
析员也不知道另一位分析员所输入的数据
开始时就不是同一个公共的数据源
部门A最初来源于文件XYZ 部门B最初来源于DB ABC
生产率
为了生成一个报告，必须经过
数据仓库回答的问题
数据仓库技术将为高层管理人员的科学决策提供可靠依据。 去年各个地区各个产品的销售量和销售额？ 10年以来，各个计算机厂商每个季度的销售额占有比例的变化 情况？ 如果某种产品的销售价格打9折，利润将发生怎样的变化？ 今年销售量下降的主要因素（时间、地区、商品、销售部门） 是什么？
分析处理的需求
例1：今年销售量下降的因素（时间、地区、商品、销售部门）
时间：销售 地区：销售*顾客（顾客地址所在的地区） 商品：销售*订单细则 （商品类别） 销售部门：销售*员工*部门（部门名称）
例2：某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一 季度商品销售在各类商品上的分布情况怎样？
数据管理技术发展回顾
早期阶段
数据属于特定应用，数据由用户管理
文件系统阶段
数据与（一类）应用对应，文件系统作了部分管理
数据库系统阶段
数据共享（面向整个企业），有结构的数据由DBMS统一 管理
应用需求驱动 + 技术基础 数据库数据的组织与管理大大方便应用的开发和维护
现有的数据库系统的侧重点
要求：
多个子系统中的数据（数据集成） 历史数据 汇总、综合的数据
现有数据库系统处理分析型应用存在的问题
数据可靠性（可信度） 生产率 不可能把数据转换成信息 数据动态集成问题 历史数据问题 数据的综合问题：非细节数据，多种程度的综合
数据可靠性
数据没有同一时间基准
例如：一个银行的两个部门对同一业务提交报告
获得源数据 定位和分析数据：由于同名不同义、同义不同名，很难准确
定位和分析，可能造成进一步的混乱 把数据加工成报告
要写许多程序，每个程序必须客户化（与客户环境有关） 程序会涉及公司具有的各种技术 由于定位数据困难，检索所要的数据是一件很麻烦的事 完成任务需要很长时间 定位数据 + 获得数据 + 集成报告，完成任务所需时间较长 每份报告各自需求不同，因此每份报告所需要的时间都很长。
数据仓库和联机分析处理
主要讨论内容
为什么需要数据仓库技术 什么是数据仓库 什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
介绍内容
为什么需要数据仓库技术
从技术发展的角度 从实际应用需求的角度
什么是数据仓库 什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
数据仓库的概念
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented ）、集成的（Integrated）、相对稳定的（NonVolatile）、反映历史变化（Time Variant）的数据集合，用于支 持管理决策和信息的全局共享。
对数据仓库的理解 数据仓库用于支持管理和决策，面向分析型数据处理，它不同于 企业现有的面向交易的操作型数据库； 数据仓库是对多个异构的数据源有效集成，集成后按照主题进行 了重组，并包含历史数据。
强调多用户并发环境，数据的一致性、完整性
企业信息化建设现状
在数据库技术的支持下，一大批成熟的业务信息系统投入运 行，为企业发展作出了巨大贡献
各类信息系统大多属于面向事务处理的OLTP系统 信息系统多年运行，积累了大量的数据 数据是一种宝贵的资源，但没有充分发挥作用
分析型数据 综合的，或提炼的 代表过去的数据 不更新 操作需求事先不知道 完全不同的生命周期 对性能要求宽松 一个时刻操作一集合 分析驱动 面向分析 一次操作数据量大 支持管理需求
介绍内容
为什么需要数据仓库技术 什么是数据仓库
数据仓库的概念 数据仓库的特点
什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
信息化建设的趋势
发展趋势
数据集中化 业务综合化 管理“扁平化” 决策科学化
特点
以客户为中心 以服务求发展
企业信息化建设提出了更高的要求
市场竞争日益激烈 — 创造竞争优势 需要及时、准确的做出科学决策 科学决策必须以准确、有效的数据为基础 充分利用现有数据，将它转化为信息
以客户为中心的经营管理模式 — 优化客户关系 原有系统往往以产品为中心 原有系统往往以“单据（票证）”的处理为基础 转向“以客户为中心” 强调服务，尤其是个性化服务
部门A，于星期天傍晚提交，业务增长了10% 部门B，于星期三下午提交，业务增长了15%
算法不同
部门A使用的是所有类别的帐户， 部门B使用的是所有大帐户
多次抽取，扩大了上述两个问题
用抽取程序从数据库/文件中抽取数据，并存放起来，然后又从此再 次进行抽取，从数据进入系统到提供分析往往经过8、9次的抽取。
从数据到信息
例如：“今年的帐户情况与前五年比较”
涉及大量应用：储蓄应用、贷款、即期汇票管理、信托， 而这些应用并未集成。
没有足够的历史数据： 贷款部门，拥有二年的数据 银行存折处理，拥有一年的数据 即期汇票管理只有60天的数据 现金交易处理具有18个月的数据。
数据不一致问题：同名不同义、同义不同名，例如M/F， Male/Female
外部数据和非结构化数据
操作型环境和分析型环境
不同的需求，要求将操作型环境和分析型环境相 分离
在操作型环境中支持分析应用太复杂、太困难 操作性环境不支持域（Domain）之间的联系，仅仅支
持表之间的连接 不同的数据环境要求从数据组织（结构）和管理上进行
工作
两种数据的区别
操作型数据 细节的 在存取瞬间是准确的 可更新 操作需求事先可知道 生命周期符合SDLC 对性能要求高 一个时刻操作一单元 事务驱动 面向应用续）
外部数据问题
一位分析员把华尔街杂志上的数据带进系统 另一位将商业周刊的数据进入系统 数据一旦进入系统，往往已失去“身份”，并且一位分
析员也不知道另一位分析员所输入的数据
开始时就不是同一个公共的数据源
部门A最初来源于文件XYZ 部门B最初来源于DB ABC
生产率
为了生成一个报告，必须经过
数据仓库回答的问题
数据仓库技术将为高层管理人员的科学决策提供可靠依据。 去年各个地区各个产品的销售量和销售额？ 10年以来，各个计算机厂商每个季度的销售额占有比例的变化 情况？ 如果某种产品的销售价格打9折，利润将发生怎样的变化？ 今年销售量下降的主要因素（时间、地区、商品、销售部门） 是什么？
分析处理的需求
例1：今年销售量下降的因素（时间、地区、商品、销售部门）
时间：销售 地区：销售*顾客（顾客地址所在的地区） 商品：销售*订单细则 （商品类别） 销售部门：销售*员工*部门（部门名称）
例2：某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一 季度商品销售在各类商品上的分布情况怎样？
数据管理技术发展回顾
早期阶段
数据属于特定应用，数据由用户管理
文件系统阶段
数据与（一类）应用对应，文件系统作了部分管理
数据库系统阶段
数据共享（面向整个企业），有结构的数据由DBMS统一 管理
应用需求驱动 + 技术基础 数据库数据的组织与管理大大方便应用的开发和维护
现有的数据库系统的侧重点
要求：
多个子系统中的数据（数据集成） 历史数据 汇总、综合的数据
现有数据库系统处理分析型应用存在的问题
数据可靠性（可信度） 生产率 不可能把数据转换成信息 数据动态集成问题 历史数据问题 数据的综合问题：非细节数据，多种程度的综合
数据可靠性
数据没有同一时间基准
例如：一个银行的两个部门对同一业务提交报告
获得源数据 定位和分析数据：由于同名不同义、同义不同名，很难准确
定位和分析，可能造成进一步的混乱 把数据加工成报告
要写许多程序，每个程序必须客户化（与客户环境有关） 程序会涉及公司具有的各种技术 由于定位数据困难，检索所要的数据是一件很麻烦的事 完成任务需要很长时间 定位数据 + 获得数据 + 集成报告，完成任务所需时间较长 每份报告各自需求不同，因此每份报告所需要的时间都很长。
数据仓库和联机分析处理
主要讨论内容
为什么需要数据仓库技术 什么是数据仓库 什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
介绍内容
为什么需要数据仓库技术
从技术发展的角度 从实际应用需求的角度
什么是数据仓库 什么是联机分析处理技术 联机分析处理技术实现 数据仓库系统的体系结构
数据仓库的概念
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented ）、集成的（Integrated）、相对稳定的（NonVolatile）、反映历史变化（Time Variant）的数据集合，用于支 持管理决策和信息的全局共享。
对数据仓库的理解 数据仓库用于支持管理和决策，面向分析型数据处理，它不同于 企业现有的面向交易的操作型数据库； 数据仓库是对多个异构的数据源有效集成，集成后按照主题进行 了重组，并包含历史数据。