数据仓库结构
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
数据仓库体系结构
数据仓库体系结构数据仓库是一个用于集成、管理和分析大量数据的系统。
在数据仓库中，数据从不同的源系统中提取、转换和加载，然后存储在一个统一的、可供分析的数据存储中。
为了实现这一目标，数据仓库需要一个合理的体系结构来支持数据的整合、存储和查询等功能。
数据仓库体系结构由以下几个主要组成部分组成：1. 数据源：数据源是数据仓库的基础，它可以是内部系统的数据库、外部数据提供商的数据文件、Web上的数据源等。
数据源可以包括结构化数据（如关系型数据库中的表）和非结构化数据（如文本文件、图像文件等）。
2. 数据提取：数据提取是将数据从源系统中抽取出来并转换为数据仓库可以使用的格式的过程。
数据提取可以通过批处理、定时任务或实时流式传输等方式进行。
3. 数据转换：数据转换是将提取的数据进行清洗、集成和转换的过程。
在这个阶段，数据被清理、去重、标准化和转换为统一的格式和结构，以便在数据仓库中进行分析。
4. 数据加载：数据加载是将转换后的数据加载到数据仓库中的过程。
数据加载可以分为全量加载和增量加载两种方式，全量加载是将所有数据加载到数据仓库中，而增量加载是只加载发生变化的数据。
5. 数据存储：数据存储是数据仓库中数据的物理存储方式。
常用的数据存储方式包括关系型数据库、多维数据库和列式数据库等。
数据存储的选择应根据数据的特点、查询需求和性能要求等因素进行。
6. 元数据管理：元数据是描述数据仓库中数据的数据，它包括数据的结构、定义、来源、质量等信息。
元数据管理是对元数据进行收集、存储、管理和查询的过程，它是数据仓库管理的重要组成部分。
7. 数据访问：数据访问是用户通过查询、报表和分析等方式对数据仓库中的数据进行访问和分析的过程。
数据仓库可以提供多种数据访问方式，包括在线分析处理（OLAP）、数据挖掘和数据可视化等。
8. 安全性和权限管理：安全性和权限管理是保护数据仓库中数据安全和控制用户访问权限的过程。
数据仓库应具备完善的安全措施，包括身份认证、权限控制、数据加密和审计等功能。
数据仓库四层结构体系
所谓的数据仓库架构，我也是第一次听说，改改一些概念，干脆一起来分享一下吧，没准还能成为行业标准，呵呵！该架构主要分为四层结构体系：> ODS层主要负责采集业务系统并保存一定期限内的相关业务数据。
当然也可以满足用户对明细数据的查询要求，姑且也可以算作明细数据仓库。
> 数据仓库层将ODS层经过质量检查、清洗、转换后，形成符合质量要求的公共数据中心。
实际上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。
> 明细数据集市层即前面所说的事实层按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。
这是OLAP 的数据基础。
> 聚合数据集市层即OLAP在明细数据集市层的基础上，提供基于联机分析处理(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持要求。
> 数据展现层按照用户报表要求，提供用户报表界面及预警分发机制。
其中前3层都是属于ETL层的，问题是层次出来了我的疑问也出来了，都是属于那种别人不操心我瞎操心的事。
毕竟算是搞数据库出身的(搞过一些索引和简单的SQL调优)，最关心的还是性能问题。
数据仓库是企业级的数据中心，每天上G的数据的企业不在少数，那么多的层次，使用工具能抽的完数据吗？说实话我实在不信任ETL工具，总感觉他没我写的SQL语句效率高；即使抽的完数据，那么多的层次转换能处理的完吗；即使处理完，如果万一一个环节出现问题，能回退或重新处理吗；处理完后那OLAP该怎么调度啊；数据质量（清洗转换）到底在哪个环节处理；数据质量到底包括哪些东西(除了主外键缺失和NULL值)，兄弟比较愚笨，一直想不明白；不合质量要求的数据如何处理；入库的数据在业务库发生更改怎么办；业务数据没有时间戳怎么办；数据核对和校验工作如何进行；不管工具也好代码也好，到底有没有通用的处理流程(比如维度数据处理，原始业务数据抽取，事实表日结处理)；还有就是到现在也没搞到合适的需求设计文档的模板(如果哪位兄弟有可以帮忙提供一下)。
基于CWM的数据仓库体系结构设计
基于CWM的数据仓库体系结构设计概述数据仓库是一个用于存储和管理大量结构化和非结构化数据的系统。
它可以帮助组织收集、整合和分析数据，以支持决策和业务分析。
本文将介绍基于CWM（Common Warehouse Metamodel）的数据仓库体系结构设计。
CWM是一个用于描述和管理数据仓库的元数据模型。
CWM概述CWM是由OMG（Object Management Group）开发的标准，用于描述和管理数据仓库的元数据。
它提供了一种统一的、标准的模型表示方式，使得不同厂商和工具之间的数据仓库可以互相交互和共享。
CWM包含了多个模块，包括数据仓库模块、数据挖掘模块、数据集成模块等。
每个模块都定义了一组元数据对象和关系，用于描述数据仓库的各个方面。
CWM还定义了一组标准的元数据接口，用于在不同工具之间共享和交换元数据。
数据仓库体系结构设计数据仓库体系结构设计是指对数据仓库系统进行整体的、结构化的设计。
它包括对数据仓库的组织结构、数据模型、ETL流程、查询模式等方面的设计。
数据仓库组织结构设计数据仓库的组织结构设计主要包括确定数据仓库的层次结构和维度模型。
层次结构包括源数据层、集成层、逻辑层和用户层。
维度模型是一种基于事实和维度的数据模型，用于描述数据仓库中的数据。
数据模型设计数据模型设计是指对数据仓库的数据模型进行设计和建模。
数据模型通常采用星型模型或雪花模型，其中事实表表示业务事实，维度表表示业务维度。
ETL流程设计ETL（Extract-Transform-Load）流程是指将源数据抽取、转换和加载到数据仓库中的过程。
ETL流程设计包括确定数据抽取的方式、数据转换的规则和逻辑、数据加载的策略等。
查询模式设计查询模式设计是指对数据仓库的查询接口和查询语言进行设计。
查询模式应该满足不同用户的查询需求，具有高效性和易用性。
基于CWM的数据仓库体系结构设计可以帮助组织建立一个标准化、可扩展和易于管理的数据仓库系统。
数据仓库架构与建模考试
数据仓库架构与建模考试（答案见尾页）一、选择题1. 数据仓库的架构通常分为哪几个层次？A. 持久层B. 逻辑层C. 物理层D. 应用层2. 在数据仓库中，以下哪个不是常用的数据建模工具？A. Erwin Data ModelerB. IBM Data ArchitectC. Microsoft VisioD. Oracle SQL Developer3. 在数据仓库中，以下哪个不是维度表的特点？A. 通常包含事实表中的度量值B. 包含描述性信息C. 通常是静态的D. 用于支持复杂的查询分析4. 在数据仓库中，以下哪种类型的建模技术最适合于分析型应用？A. 星型模型B. 事实星座模型C. 雪花模型D. 星型雪花模型5. 在数据仓库中，以下哪个不是ETL（提取、转换、加载）过程中的步骤？A. 提取B. 清洗C. 转换D. 压缩6. 在数据仓库中，以下哪个是维度表的设计原则？A. 尽可能少地包含数据B. 尽可能多地包含数据C. 保持数据冗余D. 保持数据一致性7. 在数据仓库中，以下哪个是事实表的设计原则？A. 尽可能少地包含数据B. 尽可能多地包含数据C. 保持数据冗余D. 保持数据一致性8. 在数据仓库中，以下哪个是雪花模型与星型模型的主要区别？A. 维度表的分布方式B. 事实表的分布方式C. 星型模型的中心化程度D. 雪花模型的规范化程度9. 在数据仓库中，以下哪个是主键与外键的主要区别？A. 主键用于唯一标识记录，外键用于建立表之间的关系B. 主键用于建立表之间的关系，外键用于唯一标识记录C. 主键和外键都用于唯一标识记录D. 主键和外键都用于建立表之间的关系10. 在数据仓库中，以下哪个是数据治理的主要目标？A. 确保数据的质量和准确性B. 提高数据处理的效率C. 减少数据冗余和不一致性D. 优化数据存储和备份策略11. 数据仓库的主要目的是什么？A. 存储原始数据B. 提供数据分析和报告功能C. 用于数据挖掘和机器学习D. 所有以上选项12. 在设计数据仓库时，以下哪个层次结构最适合存储历史数据？A. 事实层B. 维度层C. 汇总层D. 应用层13. 在数据仓库中，以下哪个术语描述了用于分析数据的模式？A. 实体B. 属性C. 关系D. 记录14. 在数据仓库中，以下哪个工具不是用于数据分析和报告的？A. 查询语言（如SQL）B. 数据可视化工具C. 数据仓库建模工具D. 数据库管理系统（DBMS）15. 在数据仓库中，以下哪个维度通常与客户相关？A. 时间B. 市场细分C. 产品D. 销售渠道16. 在数据仓库中，以下哪个过程不是数据仓库生命周期的一部分？A. 数据抽取B. 数据清洗C. 数据转换D. 数据删除17. 在数据仓库中，以下哪个步骤不是数据建模过程中的步骤？A. 概念设计B. 逻辑设计C. 物理设计D. 数据加载18. 在数据仓库中，以下哪个技术用于将多个表中的数据组合成一个视图？A. 连接B. 视图C. 索引D. 分区19. 在数据仓库中，以下哪个策略用于确保数据的质量和准确性？A. 数据验证B. 数据清理C. 数据备份D. 数据归档20. 在数据仓库中，以下哪个指标是用于衡量数据仓库性能的？A. 查询响应时间B. 数据存储容量C. 数据传输速度D. 计算资源利用率21. 在数据仓库中，以下哪个层次的结构是从下到上逐渐抽象的？A. 事实层、维度层、业务层B. 业务层、维度层、事实层C. 维度层、事实层、业务层D. 业务层、事实层、维度层22. 在数据仓库的建模过程中，以下哪个术语描述了事实表中的关键属性？A. 主键B. 外键C. 代理键D. 候选键23. 在维度建模中，以下哪个维度通常包含时间信息？A. 时间维B. 地点维C. 产品维D. 客户维24. 在构建数据仓库时，以下哪项不是常用的ETL（抽取、转换、加载）工具？A. Informatica PowerCenterB. Microsoft SQL Server Integration Services (SSIS)C. Apache NiFiD. Oracle Data Integrator25. 在数据仓库中，以下哪种类型的查询通常涉及复杂的聚合和计算？A. 交互式查询B. 批量查询C. 连续查询D. 以上都不是26. 在维度建模中，以下哪个步骤不是必要的？A. 概念设计B. 逻辑模型设计C. 物理模型设计D. 数据仓库实施27. 在数据仓库中，以下哪个选项是维度表的设计原则？A. 尽可能少地包含属性B. 尽可能多地包含属性C. 属性必须是可量化的D. 属性可以是非量化或半量化的28. 在数据仓库中，以下哪个工具通常用于验证数据质量和完整性？A. 数据清洗工具B. 数据验证工具C. 数据转换工具D. 数据存储工具29. 在数据仓库中，以下哪个层次是用于存储实际数据的？A. 物理层B. 逻辑层C. 事实层D. 业务层30. 在数据仓库中，事实表通常包含哪些关键字段？A. 序列号B. 日期/时间戳C. 统计指标（如销售额）D. 实体键31. 以下哪个选项不是数据仓库的分层架构的一部分？A. 物理层B. 服务层C. 汇总层D. 逻辑层32. 在数据仓库建模中，常用的粒度级别有哪些？A. 业务单元B. 细粒度C. 中粒度D. 宽粒度33. 下列哪种类型的数据库常用于数据仓库中？A. 关系型数据库B. 非关系型数据库C. 图数据库D. 列存储数据库34. 在数据仓库中，星型模型和雪花模型有哪些主要区别？A. 星型模型的维度通常直接连接到事实表B. 雪花模型通过多个事实表和维度表进行建模C. 星型模型的维度和事实表是物理上分离的D. 雪花模型更适用于大数据集35. 在数据仓库设计中，平衡事实和维度的重要性意味着什么？A. 确保维度数据的质量和完整性B. 减少事实表中的记录数量C. 平衡查询性能和数据冗余D. 优化数据仓库的扩展性36. 数据仓库中的ETL过程是指什么？A. 数据提取B. 数据转换C. 数据加载D. 数据集成37. 在数据仓库中，索引的主要作用是什么？A. 提高查询性能B. 增加数据冗余C. 降低数据完整性D. 减少数据量38. 在数据仓库中，事实表通常包含哪些维度？A. 时间B. 地点C. 产品39. 数据仓库中的维度表通常包含哪些属性？A. 属性值B. 维度描述C. 维度关键字D. 以上都是40. 在数据仓库中，星型模型和雪花模型有什么区别？A. 星型模型的维度表不包含聚合B. 雪花模型可以减少数据冗余C. 星型模型的事实表包含聚合D. 雪花模型更容易理解41. 在数据仓库中，哪个层次的结构包含了业务需求和数据需求？A. 企业级数据仓库B. 数据集市C. 物理数据仓库D. 以上都不是42. 在数据仓库中，如何确保数据的准确性和完整性？A. 使用主键和外键约束B. 进行数据验证和清洗C. 实施数据备份和恢复策略D. 以上都是43. 数据仓库中的数据冗余是如何产生的？A. 数据在多个地方重复存储B. 数据在不同系统间传输C. 数据从源头处就不一致D. 数据在进行聚合操作时产生44. 在数据仓库中，如何优化查询性能？B. 改变数据分区方式C. 使用更复杂的查询语句D. 以上都是45. 在数据仓库中，如何进行数据安全和隐私保护？A. 加密敏感数据B. 设置严格的访问权限C. 使用数据脱敏技术D. 以上都是二、问答题1. 什么是数据仓库？请简述其核心特点。
数据仓库的概念和体系结构概述
数据仓库的概念和体系结构概述数据仓库是指将企业各个部门和业务系统产生的大量数据进行整合、清洗、集成和存储，以满足企业决策分析和业务需求的信息系统。
数据仓库的设计和建设需要考虑到数据的整合、一致性、稳定性、易用性和安全性等方面的需求。
它是一个面向主题的、集成的、相对稳定的、可供企业管理者和决策者使用的数据集合。
1.数据源层：数据仓库的数据源可以来自企业内部的各个部门和业务系统，也可以来自外部的合作伙伴和第三方数据提供商。
数据源的选择和集成是数据仓库建设的关键环节，需要确定数据的提取方式、频率、粒度和格式等。
2.数据提取层：数据提取层负责从各个数据源中提取数据，并进行初步的清洗和转换。
数据提取可以通过批量处理、定时任务或实时流数据处理等方式进行。
在数据提取过程中，需要解决数据一致性、完整性和准确性等问题。
3. 数据集成层：数据集成层是将从各个数据源提取的数据进行整合和合并的地方。
这里的数据整合包括数据清洗、数据转换和数据聚合等操作。
数据集成层可以使用ETL（Extract、Transform、Load）工具进行数据的清洗和转换。
在数据集成层，还需要对数据进行一致性校验和冲突解决。
4.数据存储层：数据存储层是数据仓库最核心的组成部分，它负责存储整合后的数据。
数据存储层可以采用关系数据库、数据仓库等不同的技术来进行存储。
在设计数据存储层时，需要考虑到数据的存储结构、索引方式、数据分区和冗余备份等问题。
6. 数据访问层：数据访问层是用户直接访问数据仓库的接口，它提供了用户对数据仓库的查询、分析和报表生成等功能。
数据访问层可以使用OLAP（Online Analytical Processing）工具、报表工具、数据挖掘工具和BI（Business Intelligence）平台等进行实现。
7.数据安全层：数据安全是数据仓库设计和建设过程中必须要考虑的问题之一、数据安全层负责保护数据仓库中的数据不受未经授权的访问、修改和破坏。
数据仓库-系统设计说明书
数据仓库-系统设计说明书数据仓库-系统设计说明书1、引言1.1 目的本文档旨在详细描述数据仓库系统的设计方案，包括系统的架构、数据模型、数据抽取、转换和加载（ETL）流程、安全性、可用性等方面的内容。
1.2 范围本文档适用于数据仓库系统的设计过程，涵盖了系统的各个方面，以确保系统的正常运行和可扩展性。
2、系统架构2.1 总体架构本节描述数据仓库系统的总体架构，包括各个组件之间的关系和数据流。
2.2 数据仓库层次结构本节详细描述数据仓库系统的层次结构，包括数据仓库、数据集市、数据源等各个层次的定义和关系。
3、数据模型3.1 维度模型本节描述数据仓库系统所采用的维度模型，包括事实表和维度表的定义和关系。
3.2 元数据管理本节描述数据仓库系统中元数据的定义、管理和使用方式，包括元数据的存储、检索和更新机制。
4、数据抽取、转换和加载（ETL）流程4.1 数据抽取本节描述数据仓库系统中数据抽取的方式和流程，包括抽取数据的来源、频率和目标。
4.2 数据转换本节描述数据仓库系统中数据转换的方式和流程，包括数据清洗、数据集成、数据转换和数据加载的过程。
4.3 数据加载本节描述数据仓库系统中数据加载的方式和流程，包括数据加载的频率、目标和验证机制。
5、安全性5.1 用户权限管理本节描述数据仓库系统中用户权限的管理方式和机制，包括用户的注册、认证和授权过程。
5.2 数据访问控制本节描述数据仓库系统中数据访问控制的方式和机制，包括数据的保护、加密和审计功能。
6、可用性6.1 高可用性架构本节描述数据仓库系统中实现高可用性的架构设计，包括负载均衡、冗余备份和自动故障恢复机制。
6.2 容灾备份方案本节描述数据仓库系统中实现容灾备份的方案，包括数据的备份、复制和恢复策略。
7、本文档涉及附件本文档涉及的附件包括数据仓库系统的系统架构图、数据模型图、ETL流程图等相关文档。
8、本文所涉及的法律名词及注释本文所涉及的法律名词及注释包括但不限于《数据保护法》、《网络安全法》等相关法律和条款。
数据仓库面试题
数据仓库面试题一、简介数据仓库是一个用于存储和管理大量数据的系统，被广泛应用于数据分析和决策支持领域。
在数据仓库领域的面试中，涉及到的题目通常围绕数据仓库的架构、设计、模型、ETL流程、性能优化等方面展开。
本文将针对数据仓库面试常见的题目进行一一解答。
二、题目解答1. 请介绍数据仓库的架构。
数据仓库的架构通常包括三层：数据源层、集成层和展示层。
数据源层是指数据仓库的原始数据来源，可以是各种业务系统中的数据库、文件、API等。
集成层负责对数据进行抽取、转换和加载（ETL）的过程，将原始数据转化为适合分析和查询的形式。
展示层是数据仓库最终呈现给用户的部分，一般使用OLAP数据模型，支持多维分析和报表功能。
2. 请介绍数据仓库的设计原则。
数据仓库的设计原则主要包括可理解性、稳定性、高性能和易扩展性。
可理解性要求数据仓库的模型和数据应该能够被用户清晰地理解和操作，遵循一致的命名规范和约定。
稳定性要求数据仓库的结构和数据应该是可靠的，能够保证数据的完整性和准确性。
高性能要求数据仓库在查询和分析时能够快速响应，通常通过索引、分区等技术来实现。
易扩展性要求数据仓库能够方便地扩展和增加新的数据源，以适应业务发展和数据增长的需求。
3. 什么是星型模型和雪花模型？星型模型和雪花模型是常见的数据仓库设计模型。
星型模型以一个中心的事实表（Fact Table）为核心，与多个维度表（Dimension Table）关联。
事实表中包含了事实（例如销售量、金额等）以及用于关联维度表的外键。
维度表包含了与事实表相关的维度（例如时间、产品、地区等），每个维度表都有一个与之关联的主键。
星型模型简单、直观，易于理解和查询。
雪花模型在星型模型的基础上进行了拓展，将维度表进一步规范化，使得维度间可以建立更多层级的关联。
即维度表可以再次分解成更小的维度表。
这样做可以提高数据的一致性和准确性，但同时也增加了模型的复杂性。
4. 请解释OLAP和OLTP的区别。
数据仓库规范
数据仓库规范一．数据仓库层次结构规范1.1 基本分层结构系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。
在各个信息模型中存储的内容如下描述：1) SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式，以文件的方式描述系统与各个专业子系统之间数据接口的内容、格式等信息。
与该模型对应的数据是各个专业系统按照该模型的定义传送来的数据文件。
STAGE是生产系统数据源的直接拷贝，由ETL过程对数据源进行直接抽取，在格式和数据定义上不作任何改变。
与生产系统数据的唯一不同是，STAGE层数据具有时间戳。
STAGE层存在的意义在于两点：（1）对数据源作统一的一次性获取，数据仓库中其他部分都依赖于STAGE层的数据，不再重复进行抽取，也不在生产系统上作运算，减小生产系统的压力；（2）在生产系统数据已经刷新的情况下，保存一定量的生产系统的历史数据，以便在二次抽取过程中运算出错的情况下可以进行回溯。
2) ODS/DWD层（对应原模型的ODS和DW层）信息模型：简称DWD层是数据仓库的细节数据层，是对STAGE层数据进行沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进行集中。
为企业进行经营数据的分析，系统将数据按分析的主题的形式存放，跟STAGE层的粒度一致，属于分析的公共资源。
3) MID 信息模型：轻度综合层是新模型增加的数据仓库中DWD层和DM层之间的一个过渡层次，是对DWD层的生产数据进行轻度综合和汇总统计。
轻度综合层与DWD的主要区别在于二者的应用领域不同，DWD的数据来源于生产型系统，并为满足一些不可预见的需求而进行沉淀；轻度综合层则面向分析型应用进行细粒度的统计和沉淀。
4) DM信息模型：为专题经营分析服务，系统将数据按分析的专题组织成多维库表的形式存放，属于分析目标范畴的数据组织与汇总，属于分析的专有资源。
数据仓库 Chapter 7 体系结构及其组成部分
复杂分析和快速响应
OLTP中用户往往进行的是孤立的短暂的查询，在OLAP 中用户则是长时间的多方位的储蓄的查询，可能会进行 Drill Down，Drill Up和切片的查询 查询结果必须能够以不同的输出方式得到结果。 数据仓库必须提供分析工具和足够的信息使用户能对问 题做出快速的反应，使制定战略决策更加快速和容易
监控所有正在进行的操作 出错的时候解决问题并恢复工作
目前市场上只有少数几种维数据仓库管理装专门设计的工具。数 据仓库管理者通过使用数据仓库数据管理系统的工具执行管理和 控制模块的功能。
Chapter Seven 体系结构及其组成部分
Contents 掌握数据仓库的体系结构 区别于其他结构的特点 体系结构的框架 技术体系结构
功能和服务
技术体系结构
信息传递
这个区域涉及很多向用户传递信息的不同的方法。 数据仓库体系结构的强大力量主要集中在信息传递部分的健壮性 和灵活性上。 基本数据仓库向MDDB载入数据，这些数据以多维信息立方体的 方式保存，供用户OLAP。 数据流
DW－》DataMarts DataMarts－》DW DW－》EIS、DM、OLAP多维数据库 功能和服务
区别于其他结构的特点
灵活性和动态性
在数据仓库设计和开发阶段并不能收集到所有的商业需求， 没有设计到的需求会在用户开始使用数据仓库后显现出来。 必须保证数据仓库体系结构足够灵活以适应额外的需求。 商业条件本身的变化也要求在数据仓库中加入新的、额外 的商业需求。
区别于其他结构的特点
元数据驱动
数仓分层标准
数仓分层标准
一、数据源层
数据源层是整个数据仓库的起点，包含了所有需要的数据源。
这些数据源可能来自不同的地方，例如数据库、文件、API等。
数据源层的目标是确保所有数据都能被正确、完整地获取。
二、整合层
整合层的主要任务是对从数据源层获取的数据进行清洗、整合和转换，以满足后续数据模型的需要。
在这一层，数据可能会进行一些基本的处理，例如去重、填充缺失值、数据类型转换等。
三、公共维度模型层
公共维度模型层（CDM）是数据仓库的核心部分，它提供了对数据的公共视图。
在这一层，数据会被组织成公共的维度和度量，以便进行多维分析。
常见的维度包括时间、地域、产品等。
四、汇总层
汇总层是在CDM的基础上，对数据进行进一步的汇总和聚合。
这一层的目的是为了提高数据的查询效率，同时减少在应用层进行复杂计算的需要。
五、应用层
应用层是数据仓库的最顶层，它包含了可以直接提供给最终用户使用的数据。
这些数据通常是已经经过处理和格式化的，可以直接用于报表、仪表板或其他分析工具。
六、元数据层
元数据层包含了关于数据仓库中所有数据对象的描述信息。
这些描述信息有助于理解数据的来源、结构、关系和含义。
元数据对于维护数据仓库的完整性和准确性至关重要。
七、数据安全层
数据安全层关注的是如何确保数据的安全和隐私。
在这一层，会设置各种安全措施，例如访问控制、加密、审计等，以确保只有经过授权的人员才能访问特定的数据，同时防止数据的滥用或泄露。
数据仓库的体系结构
数据仓库的体系结构（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于数据库管理系统中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等。
（2）数据的存储与管理：是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
（3）OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为ROLAP、MOLAP和HOLAP。
ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
（4）前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
数据仓库架构及各组件方案选型
底层：数据仓库服务器的数据库作为底层，通常是一个关系数据库系统，使用后端 工具将数据清理、转换并加载到该层。 中间层：数据仓库中的中间层是使用 ROLAP 或 MOLAP 模型实现的 OLAP 服务器。 对于用户，此应用程序层显示数据库的抽象视图，这一层还充当最终用户和数据库 之间的中介。 顶层：顶层是前端应用层，连接数据仓库并从数据仓库获取数据或者 API，通常的 应用包括数据查询、报表制作、BI 数据分析、数据挖掘还有一些其他的应用开 发。 从功能应用和技术架构来展开，以下是一张中大型企业的很详细的数据仓库架构图 了。
传统上数据仓库的存储从 100GB 起，直连可能会导致数据查询处理速度慢， 因为要直接从数据仓库查询准确的数据，或者是准确的输入，过程中要过滤掉 很多非必要数据，这对数据库以及前端 BI 工具的性能要求相当高，基本性能 不会太高。
另外，在处理复杂维度分析时性能也受限，由于其缓慢性和不可预测性，很少 应用在大型数据平台。要执行高级数据查询，数据仓库应该在低级实例下被扩 展从而简化数据查询。
数据仓库架构及各组件方案选型
企业数据仓库架构
关于数据仓库，有一种简单粗暴的说法，就是“任何数据仓库都是通过数据集成 工具连接一端的原始数据和另一端的分析界面的数据库”。
数据仓库用来管理企业庞大的数据集，提供转换数据、移动数据并将其呈现给 终端用户的存储机制。许多架构方法以这样或那样的方式扩展数据仓库的能力， 我们讲集中讨论最本质的问题，在不考虑过多技术细节的情况下，整个层次架 构可以被划分为 4 层：
• 原始数据层（数据源） • 数据仓库架构形态 • 数据的采集、收集、清洗和转换 • 应用分析层
单层架构（直连）
大多数情况下，数据仓库是一个关系型数据库，包含了允许多维数据的模块， 或者分为多个易于访问的多主题信息域，最简单的数据仓库只有一层架构。
第1章数据仓库的概念与体系结构
2020/11/26
数据仓库与数据挖掘
2
背景2
基于web的应用越来越普及，各种网站积累了大量的 点击流数据
访问者的访问时间、IP地址、经常访问的页面和内容、 在网页上停留的时间等；
客户的交易、付款、产品利润、查询等数据
数据仓库与数据挖掘
第1章 数据仓库的概 念与体系结构
2020/11/26
1
背景1
企业信息化程度越来越高，产生的历史数据越来越多 常用的数据处理方法：
将已失效的历史数据简单删除，减少磁盘空间占用 对历史数据通过介质进行备份后删除，可按需查看 建立一个数据仓库系统，对业务系统及其他档案系统中
技术元数据：DW设计和管理人员使用，包括：数据源信息、数 据转换的描述、DW内对象和数据结构的定义、数据清理和数据 更新时使用的规则；源数据到目的数据映射表、用户访问权限、 数据备份和导入、信息发布历史记录
业务元数据：从单位业务的角度描述DW的元数据，如业务主题 描述，即业务主题包含的数据、查询和报表等信息
✓ DW中数据应使用一致的命名规则、格式、 编码结构和相关特性来定义
2020/11/26
数据仓库与数据挖掘
6
1.1 数据仓库的概念、特点与组成
数据仓库的特点：
面向主题； 集成的； 相对稳定的； 反映历史变化。
✓ 操作型数据库中的数据通常实时更新
✓ DW中数据主要用于决策分析，对数据的操 作主要是数据查询和少量定期更新
14
1.3 数据仓库的技术、方法与产品
数据仓库技术是为了有效的把操作型数据集成到统一的环境中， 以提供决策性数据访问的各种技术和模型的总称。
数据仓库的概念与体系结构
数据仓库的概念与体系结构概念数据仓库是指集成了企业各个部门内部数据源以及外部数据源，并将这些数据进行整合、加工、清洗、归类后，存储到一个专门的数据库中，以支持企业数据决策分析的一种技术体系。
它是一个面向主题的、集成的、可变的、非易失的数据集合，支持企业决策制定者进行分析与决策。
数据仓库是将企业海量的数据以主题为维度进行归纳与整合，清洗过后的结构化数据，不仅包括内部的数据源，还可以包含外部数据源的合并，以便于管理与分析。
相对于传统的数据库，数据仓库更加注重主题分析和决策支持。
它以可视化、图表化的方式展示数据，帮助企业进行全面、深入的分析。
体系结构数据仓库的体系结构分为三层，分别是数据采集层、数据仓库层和数据应用层。
数据采集层数据采集层主要负责收集数据，并将数据送至数据仓库层进行处理和存储。
数据采集层对数据进行抽取、转换、加载等一系列预处理操作，以确保数据的质量和可靠性。
常用的数据采集技术包括ETL（抽取、转换、加载）、CDC（变更数据捕获）等。
数据仓库层数据仓库层是数据仓库体系结构中的核心层，主要用于存储、管理和加工数据。
数据仓库层主要由数据存储和数据管理两部分组成。
数据存储部分用于存储各种类型的数据，包括企业内部数据、外部数据和第三方数据。
数据管理部分则用于管理数据仓库中的数据，包括数据的分区、索引、备份等操作。
常见的数据仓库管理系统有Oracle、Teradata、Greenplum等。
数据应用层数据应用层主要用于支持企业的数据决策分析。
该层包括各种类型的分析工具和应用程序，如智能报表、数据挖掘、机器学习、数据可视化等，可以帮助企业进行复杂的数据分析和有效的决策制定。
常见的BI工具有PowerBI、Tableau、SAS、Cognos等。
数据仓库是一种用于支持企业数据决策分析的技术体系，是由数据采集层、数据仓库层、数据应用层三个主要部分组成的。
其中数据采集层负责数据的收集和处理，数据仓库层用于存储和管理数据，数据应用层则是为企业提供分析和决策支持的关键层。
构筑七层结构的数据仓库
三 、 应 用 实 例
交行在 最近上 线运 行 的综合柜 员考 核 系统 中 ，
前 交 行 数 据 大 集 中模 式 的 逻 辑 结 构 和 日常 业 务 数 据 资源的存储地点 。
挖 掘 的 模 块 库 及 调 用 接 口 。 这 一 层 很 少 有 单 一 的
独 立产 品 ，多数 是和 其他 产 品 集成 在 一起 。其模
数据 整合 器
块 库 的 通 用 性 较 高 ，开 发 投 入 少 ，并 且 一 次 开 发 即可 长 期 受 益 。 第 六 层 ：图 形 接 口
图 形 接 口是 通 用 的 图 形 编 程 接 口 ，任 何 一 个 支 持 图 形 操 作 系 统 的 编 译 器 都 可 以 通 过 它 编 译 生
集 中数 据平 台 图 ２
成代码 。 第 七 层 ：信 息 浏 览 器
信 息 浏 览 器 是 向 用 户 反 映 分 析 结 果 的 窗 口。
分 比 的 基 本 应 用 。 它 利 用 一 套 存 储 过 程 在 综 合 业
务 系 统 的 日终 批 处 理 中 实 现 数 据 采 集 和 数 据 清 洗 。
由 于 只 是 一 个 小 型 的 应 用 ，限 于 条 件 没 有 进
行 数 据 挖 掘 功 能 的 扩 展 ， 但 是 这 一 应 用 的 确 使 用
在 一 起 ，为 统 一 的 历 史 数 据 分 析 提 供 坚 实 的 平 台 ，
对信息处理提供 支持。 数 据仓库 涉及 的 主要技 术包 括异 种数据 提取 、
数 据 清 洗 、数 据 变 换 、数 据 归 约 、数 据 立 方体 、在
数据仓库 耗散结构
数据仓库和耗散结构是两个不同的概念。
数据仓库主要用于数据存储和分析，它将分散的数据源进行集中处理，使人们可以从全局视角分析数据，从而更好地理解业务和做出决策。
数据仓库ETL（Extract-Transform-Load）是用于完成数据接入的过程，即从业务系统或其他数据源中提取数据，并进行数据清洗、转换和加载到数据仓库中的过程。
而耗散结构是指一个远离平衡态的开放系统，通过与外界不断交换物质和能量，可能会经历一系列非线性过程，自发地组织成有序结构。
这个理论在各个领域都有广泛的应用，包括物理学、化学、生物学、社会科学等。
因此，数据仓库和耗散结构的概念和应用场景不同。
在数据分析中，我们可以通过使用数据仓库来管理大量数据，从而为各种决策提供有力支持；而耗散结构则可以用于解释和预测各种复杂系统的行为，帮助我们更好地理解和控制这些系统。
空间数据仓库体系结构框架的概念模型
空间数据仓库体系结构框架的概念模型随着信息技术的不断发展和应用，数据已成为现代社会中最重要的资源之一。
在各行各业中，数据的收集、存储、处理和应用都已成为必不可少的工作。
而在地理信息领域中，空间数据的重要性更是不言而喻。
空间数据是指与地理位置相关的数据，包括地理位置、地物、地形、地貌等信息。
这些数据的收集、管理和应用对于地理信息系统的开发和应用具有重要的作用。
随着空间数据的增多和应用需求的不断增加，空间数据仓库的开发和应用也变得越来越重要。
空间数据仓库是指将空间数据集成到一个统一的数据库中，通过数据仓库技术实现数据的快速查询、分析和应用的一种方式。
空间数据仓库的开发和应用可以帮助用户更加方便地获取和利用空间数据，提高工作效率和数据应用的质量。
在空间数据仓库的开发和应用中，数据仓库体系结构框架的概念模型是一个非常重要的工具。
数据仓库体系结构框架是指数据仓库系统中各个组成部分之间的关系模型，包括数据仓库的数据模型、数据存储、数据访问和数据应用等方面。
数据仓库体系结构框架的概念模型可以帮助用户更好地理解和应用数据仓库系统，提高数据仓库的开发和应用效率。
在空间数据仓库体系结构框架的概念模型中，数据仓库的数据模型是非常重要的一部分。
数据模型是指数据仓库系统中数据的组织和存储方式，包括维度模型和事实模型。
维度模型是指以业务过程和业务实体为基础的数据模型，用于描述数据之间的关系和属性。
事实模型是指描述事实和关系的数据模型，用于描述数据之间的关系和属性。
在空间数据仓库中，数据模型应该以地理位置为基础，将空间数据与其他数据进行关联和分析，实现空间数据的快速查询和分析。
数据存储是数据仓库体系结构框架的概念模型中的另一个重要组成部分。
数据存储是指数据仓库中数据的物理存储方式，包括数据仓库的数据结构、数据仓库的存储介质和数据仓库的备份和恢复等方面。
在空间数据仓库中，数据存储应该采用高效的存储技术，如多维数组、索引和压缩等技术，以提高数据的存储和查询效率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据仓库的基本架构
2010年8月1日由joegh 留言»
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。
其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。
因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：
从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL 的正常和稳定。
下面主要简单介绍下数据仓库架构中的各个模块，当然这里所介绍的数据仓库主要是指网站数据仓库。
数据仓库的数据来源
其实之前的一篇文章已经介绍过数据仓库各种源数据的类型——数据仓库的源数据类型，所以这里不再详细介绍。
对于网站数据仓库而言，点击流日志是一块主要的数据来源，它是网站分析的基础数据；当然网站的数据库数据也并不可少，其记录这网站运营的数据及各种用户操作的结果，对于分析网站Outcome这类数据更加精准；
其他是网站内外部可能产生的文档及其它各类对于公司决策有用的数据。
数据仓库的数据存储
源数据通过ETL的日常任务调度导出，并经过转换后以特性的形式存
入数据仓库。
其实这个过程一直有很大的争议，就是到底数据仓库需不需要储存细节数据，一方的观点是数据仓库面向分析，所以只要存储特定需求的多维分析模型；另一方的观点是数据仓库先要建立和维护细节数据，再根据需求聚合和处理细节数据生成特定的分析模型。
我比较偏向后面一个观点：数据仓库并不需要储存所有的原始数据，但数据仓库需要储存细节数据，并
且导入的数据必须经过整理和转换使其面向主题。
简单地解释下：
(1).为什么不需要所有原始数据？数据仓库面向分析处理，但是某些源
数据对于分析而言没有价值或者其可能产生的价值远低于储存这些数据所
需要的数据仓库的实现和性能上的成本。
比如我们知道用户的省份、城市足够，至于用户究竟住哪里可能只是物流商关心的事，或者用户在博客的评论内容可能只是文本挖掘会有需要，但将这些冗长的评论文本存在数据仓库就得不偿失；
(2).为什么要存细节数据？细节数据是必需的，数据仓库的分析需求会
时刻变化，而有了细节数据就可以做到以不变应万变，但如果我们只存储根据某些需求搭建起来的数据模型，那么显然对于频繁变动的需求会手足无措；
(3).为什么要面向主题？面向主题是数据仓库的第一特性，主要是指合
理地组织数据以方面实现分析。
对于源数据而言，其数据组织形式是多样的，像点击流的数据格式是未经优化的，前台数据库的数据是基于OLTP操作组织优化的，这些可能都不适合分析，而整理成面向主题的组织形式才是真正地利于分析的，比如将点击流日志整理成页面（Page）、访问（Visit或Session）、用户（Visitor）三个主题，这样可以明显提升分析的效率。
数据仓库基于维护细节数据的基础上在对数据进行处理，使其真正地能够应用于分析。
主要包括三个方面：
数据的聚合
这里的聚合数据指的是基于特定需求的简单聚合（基于多维数据的聚合体现在多维数据模型中），简单聚合可以是网站的总Pageviews、Visits、Unique Visitors等汇总数据，也可以是Avg. time on page、Avg. time on site 等平均数据，这些数据可以直接地展示于报表上。
多维数据模型
多维数据模型提供了多角度多层次的分析应用，比如基于时间维、地域维等构建的销售星形模型、雪花模型，可以实现在各时间维度和地域维度的交叉查询，以及基于时间维和地域维的细分。
所以多维数据模型的应用一般都是基于联机分析处理（Online Analytical Process, OLAP）的，而面向特定需求群体的数据集市也会基于多维数据模型进行构建。
业务模型
这里的业务模型指的是基于某些数据分析和决策支持而建立起来的数据模型，比如我之前介绍过的用户评价模型、关联推荐模型、RFM分析模型等，或者是决策支持的线性规划模型、库存模型等；同时，数据挖掘中前期数据的处理也可以在这里完成。
数据仓库的数据应用
之前的一篇文章——数据仓库的价值中介绍过数据仓库的四大特性上的价值体现，但数据仓库的价值远不止这样，而且其价值真正的体现是在数据仓库的数据应用上。
图中罗列的几种应用并未包含所有，其实一切基于数据相关的扩展性应用都可以基于数据仓库来实现。
报表展示
报表几乎是每个数据仓库的必不可少的一类数据应用，将聚合数据和多维分析数据展示到报表，提供了最为简单和直观的数据。
即席查询
理论上数据仓库的所有数据（包括细节数据、聚合数据、多维数据和分析数据）都应该开放即席查询，即席查询提供了足够灵活的数据获取方式，用户可以根据自己的需要查询获取数据，并提供导出到Excel等外部文件的功能。
数据分析
数据分析大部分可以基于构建的业务模型展开，当然也可以使用聚合的数据进行趋势分析、比较分析、相关分析等，而多维数据模型提供了多维分析的数据基础；同时从细节数据中获取一些样本数据进行特定的分析也是较为常见的一种途径。
数据挖掘
数据挖掘用一些高级的算法可以让数据展现出各种令人惊讶的结果。
数据挖掘可以基于数据仓库中已经构建起来的业务模型展开，但大多数时候数据挖掘会直接从细节数据上入手，而数据仓库为挖掘工具诸如SAS、SPSS 等提供数据接口。
元数据管理
元数据（Meta Date），其实应该叫做解释性数据，即数据的数据。
主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。
最后做个Ending，数据仓库本身既不生产数据也不消费数据，只是作为一个中间平台集成化地存储数据；数据仓库实现的难度在于整体架构的构建及ETL的设计，这也是日常管理维护中的重头；而数据仓库的真正价值体现在于基于其的数据应用上，如果没有有效的数据应用也就失去了构建数据仓库的意义。