数据仓库的体系结构
数据仓库与数据挖掘技术 第二章 数据仓库
第2章数据仓库2.1数据仓库的基本概念1. 数据仓库的数据是面向主题的数据仓库与数据挖掘技术图2-1主题间的重叠关系2. 数据仓库的数据是集成的3. 数据仓库的数据是不可更新的数据仓库与数据挖掘技术4. 数据仓库的数据是随时间不断变化的图2-2数据仓库体系结构2.2数据仓库的体系结构数据仓库与数据挖掘技术图2-3数据仓库数据组织结构2.2.1元数据1. 元数据在数据仓库中的作用2. 元数据的使用3. 元数据的分类4. 元数据的内容2.2.2粒度的概念1. 按时间段综合数据的粒度2. 样本数据库2.2.3分割问题1. 分割的优越性2. 数据分割的标准3. 分割的层次2.2.4数据仓库中的数据组织形式1. 简单堆积结构图2-4简单堆积结构数据组织形式2. 轮转综合结构数据仓库与数据挖掘技术图2-5轮转综合结构数据组织形式3. 简单直接结构图2-6简单直接结构数据组织形式4. 连续结构图2-7连续结构数据组织形式数据仓库与数据挖掘技术2.3数据仓库的数据模型2.3.1概念数据模型图2-8商品、顾客和供应商E-R图2.3.2逻辑数据模型2.3.3物理数据模型2.3.4高层数据模型、中间层数据模型和低层数据模型1. 高层数据模型2. 中间层数据模型3. 低层数据模型数据仓库与数据挖掘技术2.4数据仓库设计步骤图2-9数据仓库设计步骤2.4.1概念模型设计1. 界定系统边界2. 确定主要的主题域3. 实例2.4.2技术准备工作2.4.3逻辑模型设计1. 分析主题域2. 划分粒度层次3. 确定数据分割策略4. 定义关系模式5. 定义记录系统2.4.4物理模型设计1. 确定数据的存储结构数据仓库与数据挖掘技术2. 确定索引策略3. 确定数据存放位置4. 确定存储分配2.4.5数据仓库的生成1. 接口设计2. 数据装入2.4.6数据仓库的使用和维护1. 开发DSS应用图2-10DSS应用开发步骤2. 进一步理解需求，改善系统，维护数据仓库图2-11William H.Inmon数据仓库设计步骤数据仓库与数据挖掘技术2.5利用SQL Server 2005构建数据仓库图2-12使用Visual Studio 2005系统新建项目图2-13新建Analysis Services项目图2-14新建数据源数据仓库与数据挖掘技术图2-15新建数据源向导图2-16选择如何连接数据源图2-17连接管理器图2-18连接管理器连接测试成功窗口图2-19选择已经连接的数据库作为数据源图2-20选择连接数据源的凭证图2-21新建数据源向导完成图2-22右击新建数据源视图图2-23新建数据源视图向导图2-24选择视图的数据源图2-25选择表和视图图2-26完成新建数据源视图向导图2-27新建多维数据集图2-28多维数据集向导图2-29选择生成多维数据集的方法图2-30选择多维数据集的数据源视图图2-31检测事实数据表和维度表图2-32标示事实表和维度表图2-33选择度量值图2-34扫描维度图2-35查看维度结构图2-36完成多维数据集向导图2-37创建完成数据仓库界面习题21. 如何理解数据仓库是面向主题的、集成的、不可更改的和是随时间不断变化的。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库体系结构
数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
数据仓库四层结构体系
所谓的数据仓库架构，我也是第一次听说，改改一些概念，干脆一起来分享一下吧，没准还能成为行业标准，呵呵！该架构主要分为四层结构体系：> ODS层主要负责采集业务系统并保存一定期限内的相关业务数据。
当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。
> 数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。
实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。
> 明细数据集市层即前面所说的事实层按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。
这是OLAP 的数据基础。
> 聚合数据集市层即OLAP在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。
> 数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。
其中前3层都是属于ETL层的，问题是层次出来了我的疑问也出来了，都是属于那种别人不操心我瞎操心的事。
毕竟算是搞数据库出身的(搞过一些索引和简单的SQL调优)，最关心的还是性能问题。
数据仓库是企业级的数据中心，每天上G的数据的企业不在少数，那么多的层次，使用工具能抽的完数据吗？说实话我实在不信任ETL工具，总感觉他没我写的SQL语句效率高；即使抽的完数据，那么多的层次转换能处理的完吗；即使处理完，如果万一一个环节出现问题，能回退或重新处理吗；处理完后那OLAP该怎么调度啊；数据质量（清洗转换）到底在哪个环节处理；数据质量到底包括哪些东西(除了主外键缺失和NULL值)，兄弟比较愚笨，一直想不明白；不合质量要求的数据如何处理；入库的数据在业务库发生更改怎么办；业务数据没有时间戳怎么办；数据核对和校验工作如何进行；不管工具也好代码也好，到底有没有通用的处理流程(比如维度数据处理，原始业务数据抽取，事实表日结处理)；还有就是到现在也没搞到合适的需求设计文档的模板(如果哪位兄弟有可以帮忙提供一下)。
数据仓库系统体系结构及相应构建策略研究
之上 的 联 机 分 析 处 理 （ ｎ—Ｌｎ ｎ ｌ ｉａ Ｐｏ Ｏ ｉｅＡ ａ ｔ ｌ ｒ— ｙｃ
析 了传统 Ｄ 系统 的体 系 结构 ， 出 了两 种新 的 Ｗ 提 体 系结构 ， 针对 不 同体 系结构 ， 出 了建 设 Ｄ 并 给 Ｗ
Ｆｂ２Ｏ ｅ．Ｏ ７ ｒ
Ｖ０ ． ４ Ｎ ． １２ ｏ １
文章编号 ：０ ７ ３ ５ ２０ ） １ ０ ４ ０ １０ —１８ （ ０ ７ ０ — ０４— ３
数 据仓 库 系统 体 系结 构及 相 应 构 建 策 略研 究
安 云哲
（． １ 沈阳航空工业学院 计算机学院 ， 辽宁 沈阳 辽宁 沈阳 １０ ４ ） １０ ５
从技术实现角度提出了同构 系统 、 异构系统 、 数据仓库 的技术平台结构。 关键词 ： 数据仓库 ； 系结构 ； 体 松散耦合 ； 紧密耦合 ； 同构 系统 ； 异构系统
中图分类号 ：Ｐ １ Ｔ３ １ 文献标识码 ： Ａ
数据仓库 （ ａ ａ ｈｕｅ简记为 Ｄ 是一 Ｄ ｔ Ｗ ｒ ｏｓ， ａ ｅ Ｗ） 个 用 以更 好 地 支 持 企 业 或 组 织 的 决 策 分 析 处 理
在实 际实施 过 程 中 ， 列 四种 构 建 策 略 都 是 下 可 以存在 的 。
１ １ 直接 报表 系统 ．
现这 样 的局 面 ， 业 和 组 织不 能 根据 自身信 息 化 企
建设 的基础和对信息分析处理需求的估计存在误 区 ， 而不能 正确 选择 Ｄ 系统 的体 系 结构 是 非 从 Ｗ
某个部门应用的独立数据集市 ； 还有一些企业信 息化建设开展较早 ， 遗留系统 （ ｅａｙＳｓ ｍ） Ｌｇｃ ｙ ｅ 和 ｔ Ｏ Ｔ （ ｎＬｎ ｒ ｓｃ ｏ ｒｃｓｉ ， 机事 务处 Ｌ Ｐ Ｏ ｉ Ｔａ ａｔ ｎＰ ｅｓ ｇ 联 ｅ ｎ ｉ ｏ ｎ
数据仓库的概念和体系结构概述
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
数据仓库面试题
数据仓库面试题一、简介数据仓库是一个用于存储和管理大量数据的系统，被广泛应用于数据分析和决策支持领域。
在数据仓库领域的面试中，涉及到的题目通常围绕数据仓库的架构、设计、模型、ETL流程、性能优化等方面展开。
本文将针对数据仓库面试常见的题目进行一一解答。
二、题目解答1. 请介绍数据仓库的架构。
数据仓库的架构通常包括三层：数据源层、集成层和展示层。
数据源层是指数据仓库的原始数据来源，可以是各种业务系统中的数据库、文件、API等。
集成层负责对数据进行抽取、转换和加载（ETL）的过程，将原始数据转化为适合分析和查询的形式。
展示层是数据仓库最终呈现给用户的部分，一般使用OLAP数据模型，支持多维分析和报表功能。
2. 请介绍数据仓库的设计原则。
数据仓库的设计原则主要包括可理解性、稳定性、高性能和易扩展性。
可理解性要求数据仓库的模型和数据应该能够被用户清晰地理解和操作，遵循一致的命名规范和约定。
稳定性要求数据仓库的结构和数据应该是可靠的，能够保证数据的完整性和准确性。
高性能要求数据仓库在查询和分析时能够快速响应，通常通过索引、分区等技术来实现。
易扩展性要求数据仓库能够方便地扩展和增加新的数据源，以适应业务发展和数据增长的需求。
3. 什么是星型模型和雪花模型？星型模型和雪花模型是常见的数据仓库设计模型。
星型模型以一个中心的事实表（Fact Table）为核心，与多个维度表（Dimension Table）关联。
事实表中包含了事实（例如销售量、金额等）以及用于关联维度表的外键。
维度表包含了与事实表相关的维度（例如时间、产品、地区等），每个维度表都有一个与之关联的主键。
星型模型简单、直观，易于理解和查询。
雪花模型在星型模型的基础上进行了拓展，将维度表进一步规范化，使得维度间可以建立更多层级的关联。
即维度表可以再次分解成更小的维度表。
这样做可以提高数据的一致性和准确性，但同时也增加了模型的复杂性。
4. 请解释OLAP和OLTP的区别。
数据仓库 Chapter 8 数据仓库的基础构造
硬件
操作系统
数据库管理系统
网络软件
计算机平台
Chapter 8 数据仓库的基础构造
Contents
支持体系结构的基础构造 硬件与操作系统 数据库软件 工具收集
硬件与操作系统
硬件系统和软件系统构成了数据仓库的计算环境。 硬件选择方针
可扩展性 支持性 对厂商的鉴定 厂商的稳定性 可扩展性 安全性 可靠性 有效性：非正常结束后能继续工作 优先多任务处理 多线程：多处理器中分配线程
操作系统选用原则（NT 或者 Unix）
硬件与操作系统
平台的选择
一个计算平台就是硬件部分和软件部分 如何选用平台以支持数据仓库的体系结构
数据获取：数据抽取、数据转换、数据清洗、数据整合、数据准 备 数据存储：数据装载、存档、数据管理 信息传递：报表生成、查询处理、复杂分析
硬件与操作系统
方案1:共享磁盘 计算 平台 计算 平台
方案2:大规模数据传递
源平台
方案3:实时连接
目标平台
方案4:手动
(1)共享磁盘：回到了大型机的时代，数据的安全性受到挑战 (2)大规模数据传递：需要硬件、软件、网络（足够的带宽）的支持 (3)可行，但耗时 (4)简约
硬件与操作系统
平台的选择策略
桌面客户机 应用服务器
桌面客户机 应用服务器 应用服务器
应用服务器 数据准备 开发 数据仓库 数据集市 数据准备 数据集市 数据仓库 数据集市 开发
数据仓库 数据准备
数据集市
阶段1：最初
阶段2：成长
阶段3：成熟
硬件与操作系统
空间数据仓库体系结构框架的概念模型
空间数据仓库体系结构框架的概念模型随着信息技术的不断发展和应用，数据已成为现代社会中最重要的资源之一。
在各行各业中，数据的收集、存储、处理和应用都已成为必不可少的工作。
而在地理信息领域中，空间数据的重要性更是不言而喻。
空间数据是指与地理位置相关的数据，包括地理位置、地物、地形、地貌等信息。
这些数据的收集、管理和应用对于地理信息系统的开发和应用具有重要的作用。
随着空间数据的增多和应用需求的不断增加，空间数据仓库的开发和应用也变得越来越重要。
空间数据仓库是指将空间数据集成到一个统一的数据库中，通过数据仓库技术实现数据的快速查询、分析和应用的一种方式。
空间数据仓库的开发和应用可以帮助用户更加方便地获取和利用空间数据，提高工作效率和数据应用的质量。
在空间数据仓库的开发和应用中，数据仓库体系结构框架的概念模型是一个非常重要的工具。
数据仓库体系结构框架是指数据仓库系统中各个组成部分之间的关系模型，包括数据仓库的数据模型、数据存储、数据访问和数据应用等方面。
数据仓库体系结构框架的概念模型可以帮助用户更好地理解和应用数据仓库系统，提高数据仓库的开发和应用效率。
在空间数据仓库体系结构框架的概念模型中，数据仓库的数据模型是非常重要的一部分。
数据模型是指数据仓库系统中数据的组织和存储方式，包括维度模型和事实模型。
维度模型是指以业务过程和业务实体为基础的数据模型，用于描述数据之间的关系和属性。
事实模型是指描述事实和关系的数据模型，用于描述数据之间的关系和属性。
在空间数据仓库中，数据模型应该以地理位置为基础，将空间数据与其他数据进行关联和分析，实现空间数据的快速查询和分析。
数据存储是数据仓库体系结构框架的概念模型中的另一个重要组成部分。
数据存储是指数据仓库中数据的物理存储方式，包括数据仓库的数据结构、数据仓库的存储介质和数据仓库的备份和恢复等方面。
在空间数据仓库中，数据存储应该采用高效的存储技术，如多维数组、索引和压缩等技术，以提高数据的存储和查询效率。
数据仓库与数据挖掘 课后答案 (陈志泊 著) 清华大学出版社
第1章数据仓库的概念与体系结构1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。
4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。
5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。
6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。
7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。
8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。
9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。
10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。
11.什么是数据仓库？数据仓库的特点主要有哪些？答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。
数据仓库的特点包含以下几个方面：（1）面向主题。
数据仓库 Chapter 7 体系结构及其组成部分
复杂分析和快速响应
OLTP中用户往往进行的是孤立的短暂的查询，在OLAP 中用户则是长时间的多方位的储蓄的查询，可能会进行 Drill Down，Drill Up和切片的查询 查询结果必须能够以不同的输出方式得到结果。 数据仓库必须提供分析工具和足够的信息使用户能对问 题做出快速的反应，使制定战略决策更加快速和容易
监控所有正在进行的操作 出错的时候解决问题并恢复工作
目前市场上只有少数几种维数据仓库管理装专门设计的工具。数 据仓库管理者通过使用数据仓库数据管理系统的工具执行管理和 控制模块的功能。
Chapter Seven 体系结构及其组成部分
Contents 掌握数据仓库的体系结构 区别于其他结构的特点 体系结构的框架 技术体系结构
功能和服务
技术体系结构
信息传递
这个区域涉及很多向用户传递信息的不同的方法。 数据仓库体系结构的强大力量主要集中在信息传递部分的健壮性 和灵活性上。 基本数据仓库向MDDB载入数据，这些数据以多维信息立方体的 方式保存，供用户OLAP。 数据流
DW－》DataMarts DataMarts－》DW DW－》EIS、DM、OLAP多维数据库 功能和服务
区别于其他结构的特点
灵活性和动态性
在数据仓库设计和开发阶段并不能收集到所有的商业需求， 没有设计到的需求会在用户开始使用数据仓库后显现出来。 必须保证数据仓库体系结构足够灵活以适应额外的需求。 商业条件本身的变化也要求在数据仓库中加入新的、额外 的商业需求。
区别于其他结构的特点
元数据驱动
数据仓库技术
⑦InfoPrintBusinessIntelligenceSolution
⑧GlobalServicesBIOffering ⑨InsuranceUnderwritingProfitabilityAnalysis
• 2. Oracle数据仓库解决方案
1) Oracle数据仓库包含了一整套的产品和服务，覆盖了数据仓库定义， 设计和实施的整个过程。
• 1）建立DSS应用 • 2）理解需求，改善和完善系统，维护数据仓库
DSS应用开发的大致步骤
• 1）确定所需的数据。 • 2）编程抽取数据。 • 3）合并数据。 • 4）分析数据。 • 5）回答问题。 • 6）例行化、一次分析处理的最后、我们要决定是否将
在上面已经建立的分析处理例行化。
1.6 数据仓库的解决方案及工具介绍
三、面向对象数据模型
• 面向对象数据仓库系统包括一个面向对象的数据仓库 和各种面向对象的数据源。有两种面向对象的数据仓 库模型:未压缩模型和压缩模型。未压缩模型在面向对 象模型中保持了数据Q的原始结构。当数据源中的数据 改变时，数据仓库中的数据相应地跟着改变。这种模 型易于维护实例之间的关系，并能保持数据的完整性， 但查询性能不高。压缩模型，又叫棍合模型，把由视 图定义的各种类的属性联合起来，形成一个新类。根 据这个新的类产生新的实例，并存储到数据仓库中。 这种模型的查询性能大大提高。面向对象的数据模型 也有许多改进模式。
随时间变化的特点
• 特点： • 1）数据仓库随时间变化不断增加新的数据内容。 • 2）数据仓库也会随时间定期删除旧的数据。 • 3）数据仓库中包含大量的综合数据，这些综合数据中
很多跟时间有关，如数据经常按照时间段进行综合。随 时间的变化，这些综合数据可能需要被重新处理和在更 高层次上被综合。
数据仓库的体系结构
数据仓库的体系结构（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于数据库管理系统中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等。
（2）数据的存储与管理：是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
（3）OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为ROLAP、MOLAP和HOLAP。
ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
（4）前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
数据仓库架构及各组件方案选型
底层：数据仓库服务器的数据库作为底层，通常是一个关系数据库系统，使用后端 工具将数据清理、转换并加载到该层。 中间层：数据仓库中的中间层是使用 ROLAP 或 MOLAP 模型实现的 OLAP 服务器。 对于用户，此应用程序层显示数据库的抽象视图，这一层还充当最终用户和数据库 之间的中介。 顶层：顶层是前端应用层，连接数据仓库并从数据仓库获取数据或者 API，通常的 应用包括数据查询、报表制作、BI 数据分析、数据挖掘还有一些其他的应用开 发。 从功能应用和技术架构来展开，以下是一张中大型企业的很详细的数据仓库架构图 了。
传统上数据仓库的存储从 100GB 起，直连可能会导致数据查询处理速度慢， 因为要直接从数据仓库查询准确的数据，或者是准确的输入，过程中要过滤掉 很多非必要数据，这对数据库以及前端 BI 工具的性能要求相当高，基本性能 不会太高。
另外，在处理复杂维度分析时性能也受限，由于其缓慢性和不可预测性，很少 应用在大型数据平台。要执行高级数据查询，数据仓库应该在低级实例下被扩 展从而简化数据查询。
数据仓库架构及各组件方案选型
企业数据仓库架构
关于数据仓库，有一种简单粗暴的说法，就是“任何数据仓库都是通过数据集成 工具连接一端的原始数据和另一端的分析界面的数据库”。
数据仓库用来管理企业庞大的数据集，提供转换数据、移动数据并将其呈现给 终端用户的存储机制。许多架构方法以这样或那样的方式扩展数据仓库的能力， 我们讲集中讨论最本质的问题，在不考虑过多技术细节的情况下，整个层次架 构可以被划分为 4 层：
• 原始数据层（数据源） • 数据仓库架构形态 • 数据的采集、收集、清洗和转换 • 应用分析层
单层架构（直连）
大多数情况下，数据仓库是一个关系型数据库，包含了允许多维数据的模块， 或者分为多个易于访问的多主题信息域，最简单的数据仓库只有一层架构。
第1章数据仓库的概念与体系结构
2020/11/26
数据仓库与数据挖掘
2
背景2
基于web的应用越来越普及，各种网站积累了大量的 点击流数据
访问者的访问时间、IP地址、经常访问的页面和内容、 在网页上停留的时间等；
客户的交易、付款、产品利润、查询等数据
数据仓库与数据挖掘
第1章 数据仓库的概 念与体系结构
2020/11/26
1
背景1
企业信息化程度越来越高，产生的历史数据越来越多 常用的数据处理方法：
将已失效的历史数据简单删除，减少磁盘空间占用 对历史数据通过介质进行备份后删除，可按需查看 建立一个数据仓库系统，对业务系统及其他档案系统中
技术元数据：DW设计和管理人员使用，包括：数据源信息、数 据转换的描述、DW内对象和数据结构的定义、数据清理和数据 更新时使用的规则；源数据到目的数据映射表、用户访问权限、 数据备份和导入、信息发布历史记录
业务元数据：从单位业务的角度描述DW的元数据，如业务主题 描述，即业务主题包含的数据、查询和报表等信息
✓ DW中数据应使用一致的命名规则、格式、 编码结构和相关特性来定义
2020/11/26
数据仓库与数据挖掘
6
1.1 数据仓库的概念、特点与组成
数据仓库的特点：
面向主题； 集成的； 相对稳定的； 反映历史变化。
✓ 操作型数据库中的数据通常实时更新
✓ DW中数据主要用于决策分析，对数据的操 作主要是数据查询和少量定期更新
14
1.3 数据仓库的技术、方法与产品
数据仓库技术是为了有效的把操作型数据集成到统一的环境中， 以提供决策性数据访问的各种技术和模型的总称。
数据仓库的概念与体系结构
数据仓库的概念与体系结构概念数据仓库是指集成了企业各个部门内部数据源以及外部数据源，并将这些数据进行整合、加工、清洗、归类后，存储到一个专门的数据库中，以支持企业数据决策分析的一种技术体系。
它是一个面向主题的、集成的、可变的、非易失的数据集合，支持企业决策制定者进行分析与决策。
数据仓库是将企业海量的数据以主题为维度进行归纳与整合，清洗过后的结构化数据，不仅包括内部的数据源，还可以包含外部数据源的合并，以便于管理与分析。
相对于传统的数据库，数据仓库更加注重主题分析和决策支持。
它以可视化、图表化的方式展示数据，帮助企业进行全面、深入的分析。
体系结构数据仓库的体系结构分为三层，分别是数据采集层、数据仓库层和数据应用层。
数据采集层数据采集层主要负责收集数据，并将数据送至数据仓库层进行处理和存储。
数据采集层对数据进行抽取、转换、加载等一系列预处理操作，以确保数据的质量和可靠性。
常用的数据采集技术包括ETL（抽取、转换、加载）、CDC（变更数据捕获）等。
数据仓库层数据仓库层是数据仓库体系结构中的核心层，主要用于存储、管理和加工数据。
数据仓库层主要由数据存储和数据管理两部分组成。
数据存储部分用于存储各种类型的数据，包括企业内部数据、外部数据和第三方数据。
数据管理部分则用于管理数据仓库中的数据，包括数据的分区、索引、备份等操作。
常见的数据仓库管理系统有Oracle、Teradata、Greenplum等。
数据应用层数据应用层主要用于支持企业的数据决策分析。
该层包括各种类型的分析工具和应用程序，如智能报表、数据挖掘、机器学习、数据可视化等，可以帮助企业进行复杂的数据分析和有效的决策制定。
常见的BI工具有PowerBI、Tableau、SAS、Cognos等。
数据仓库是一种用于支持企业数据决策分析的技术体系，是由数据采集层、数据仓库层、数据应用层三个主要部分组成的。
其中数据采集层负责数据的收集和处理，数据仓库层用于存储和管理数据，数据应用层则是为企业提供分析和决策支持的关键层。
数据仓库简介-PPT课件
第1章 数据仓库与OLAP概述
❖ 1.1 决策支持系统 ❖ 1.2数据仓库 ❖ 1.3数据仓库的体系结构 ❖ 1.4 数据准备与ETL ❖ 1.5 多维模型 ❖ 1.6 元数据 ❖ 1.7 访问数据仓库 ❖ 1.8 多维数据的存储方式 ❖ 1.9 小结
10
1.1 决策支持系统
❖决策支持系统
▪ DSS(decision support system)是可扩展交互式 IT技术和工具的集合，这些技术和工具用于处理和 分析数据以及辅助管理人员制定决策。为此，这种 系统匹配管理人员的个人资源和计算机资源，以提 高决策质量。
程只操作少量数据。 反映当前情况。
通常只作为一个整体管理。
系统性能至关重要，因为可能有大 量用户同时访问。
数据仓库（决策支持）数据
面向主题：数据服务于某个特定的商务主题，例如 客户信息等。它是非规范化数据（OLAP）。
对源数据进行摘要，或经过复杂的统计计算。例如 一个月中交易收入和支出的总和。
结构是动态的，可根据需要增减。 非易变（数据一旦插入就不能改变）。 分析驱动。 一般以记录集存取，所以一个过程能处理大批数据，
44
1.5 多维模型
❖ 限制
▪ 限制数据：从立方体分离部分数据来选出分析字 段。在关系代数中称为选择、投影
▪ 切片、切块操作
❖ 聚合
▪ 将多个子多维数据集合并成更大的多维数据集。
▪ 特性
• 多维，也称作立方体（或超立方体） • 提供一种便于使用的查询数据的机制。
37
1.5 多维模型
38
1.5 多维模型
❖ 度量值（Measure）
▪ 度量值是一组值，是客户发生事件或动作的事实 记录。
▪ 如：
数据仓库的组建及存在的问题
问 题 综 台 与 交
系 统
模 型 数据 库 管 理
ｉ ．上 Ｊ
＝］■
———１一
Ｌ
— Ｔ—
——广
数据 源 包括 操 作性 的 数 据 库 系 统 和 外 部 数 据 、 数据仓 库提供 原 始数 据 ； 为 外部数 据是 由非 事 物 型 系统 产 生来 自于 像股 市行情 数据 等 资料 ． 数 据 源转 换／ 载 形成 新 数据 库 是将 数 据源 装 中涉 及主 题 的数 据 进 行 清 洁 、 滤 处 理后 加 载 到 过 数据 仓 库 ． 即将 无荧 联 的数 据 转 换 到 数据 仓 库 中 有明确 主题 的统 一 据视 网 中去 一般来 说 ． 数 原始
数据库管理系统
—
ｌ 数据开采 Ｊｌ
数据仓库管理系统
数 据库
— ＿ 『
数 仓 据 库
圉 １ 综 合决 策 支 持 系统
数据 中存 在 大量 缺 陷 和 不 一致 性 ． 为保 证 数据 质 持， 对 移植 的数据 进行 转 换 、 洁过滤 需 清 Ｏｌ ＡＰ是 针 对特 定问 题的联 机数 据访 问 和 分 析 通过 对信 包的 多种可能 的 观察 形式进 行快速 、
更 有 效 的 辅 助 决 策
企 业大 量 数据做 出汇 总的 、 多 次 的 、 面的性 善 速灵 活 的查 询 、 析及 报表 制 作 手段 分 因此 ． 市场 最 需 求 的 是 如 何 使数 据 Ｊ 孳巾的 大量信 息满 足 人 们不 断 变 化 的业 务需求 、 许能 吱 时为管理 决策 支持 提 供 服 务 如何 将 血 业 决 策 芷 持 系 统 与 Ｉ ｔ ｎ ｔＩ ｔ ｎ ｔ 术 有 机 地 结 合 ｎｅ ｅ／ｎｒ ｅ 技 ｒ ａ 采 、 供基 于 Ｗｅ ， 查 询 、 提 ｂ集 报表 、 Ｐ分 析 及数 Ｏ１ Ａ 据挖掘 为 一 的 企业 级 决 策 支 持 解 决 方 案 ． 体 已经
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10/16/2018 12:07 AM
数据仓库的实质与价值
• 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决 策支持（Decision-Support）。其实数据仓库本身并不“生产”任 何数据，同时自身也不需要“消费”任何的数据，数据来源于外部 ，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂 ”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的 过程，可以分为三层——源数据、数据仓库、数据应用：
火龙果 整理
数据仓库建模
• ①概念建模
• 概念建模为数据仓库的设计提供了一个高层次的抽象， 从各个方面描述了数据仓库的过程和体系结构，从而完成 数据仓库的实施。通常，借助于图形表示法能让设计者和 商业用户更方便的对概念模式进行表达、理解和管理。现 有的方法可以分为三类:扩展ER模型;扩展UML模型;特殊 的模型。当前概念模型存在的问题有以下： • 缺乏标准 • 概念模型安全问题 • Mining-aware design
火龙果 整理
10/16/2018 12:07 AM
数据仓库新的应用领域
随着数据仓库的技术的发展和普及，将来 可能在以下俩方面提出新的发展瓶颈和挑 战: 首先，是对新数据类型的出现，提出新的 数据仓库技术对其支持 非传统的系统架构和新的需求，在数据仓 库技术中可以找到好的解决办法
1. 2. 3. 4. 5. 6.
10/16/2018 12:07 AM
火龙果 整理
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理
Web数据仓库
10/16/2018 12:07 AM
火龙果 整理
本体数据仓库
火龙 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库体系结构及其改进 数据仓库的操作问题 展望
火龙果 整理
10/16/2018 12:07 AM
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
火龙果 整理
数据仓库新的应用环境
• 业务流程数据仓库 • 数据流，实时动态数据仓库 • 数据仓库与云计算
10/16/2018 12:07 AM
火龙果 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 新的挑战
10/16/2018 12:07 AM
火龙果 整理
逻辑建模
• ②逻辑建模
• 逻辑建模的总体任务是将概念模型转换成逻辑模型。在数 据仓库领域，目标数据库系统通常要么是关系型的，要么 是多维的。对于关系型的而言，人们普遍采用所谓的星型 、星座和雪花模型来处理数据立方体，并且各个厂商也对 这些模型提供支持。关于多维模型的实施，人们提出几种 有效的多维数据结构，如浓缩数据立方体来管理数据立方 体。当前逻辑模型最大的存在问题： • 概念数据模型与关系或者数据立方多维实现的语义差别的 问题
火龙果 整理
10/16/2018 12:07 AM
空间数据仓库
• 随着移动互联网和基于位置服务的发展， 同时卫星遥感，GPS，医药成像以及其他 空间可计算工具获得数据的普及，我们获 取了大量的关于时空的数据。但是，这些 数据的结构复杂，数据量大的特点，对其 处理和分析的技术还有一定的欠缺，近年 来，提出了空间数据仓库的概念，现在已 经存在了几个大型的空间数据仓库。例如 美国的联合国环境规划署（EP)
火龙果 整理
10/16/2018 12:07 AM
数据仓库模型与设计方法
• 数据仓库建立模型的过程实际上是一个从 关系型、规范式的数据模型向多维模型转 换的过程。其中数据仓库建模和数据仓库开
发方法是数据仓库的构建过程中最为关键的技 术环节，它直接决定数据仓库构建的成败。
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理
本体数据仓库
10/16/2018 12:07 AM
火龙果 整理
其他领域数据仓库
• 生命科学数据仓库 • 模式数据仓库
10/16/2018 12:07 AM
火龙果 整理
10/16/2018 12:07 AM
10/16/2018 12:07 AM
火龙果 整理
空间数据仓库
空间数据仓库是融合了数据仓库跟空间数据 库技术，利用这两种技术提高了对大量空间 数据的处理、分析、管理的能力，但是现在 还是存在一下几种挑战： 空间数据粒度的划分 空 间数据的分割 空间数据的集成 当前数据仓库的数据模型标准化推广 空间DW对决策系统的支持 对空间DW的多维度表示
10/16/2018 12:07 AM
火龙果 整理
数据仓库的价值
高效的数据组织形式 时间价值 集成价值 历史数据
10/16/2018 12:07 AM
火龙果 整理
提纲
数据仓库的实质与价值 数据仓库新的应用与环境 数据仓库的模型与设计方法 传统的数据仓库结构及其改进 数据仓库的操作问题 展望
10/16/2018 12:07 AM
火龙果 整理
数据仓库的实质与价值
• 从图中可以看出数据仓库的数据来源于不同的源数据， 并提供多样的数据应用，数据自下而上流入数据仓库后 向上层开放应用，而数据仓库只是中间集成化数据管理 的一个平台。 • 数据仓库从各数据源获取数据及在数据仓库内的数据转 换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以 认为是数据仓库的血液，它维系着数据仓库中数据的新 陈代谢，而数据仓库日常的管理和维护工作的大部分精 力就是保持ETL的正常和稳定。