操作数据存储(ODS讲义)和数据集市(详解)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
![[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念](https://img.taocdn.com/s3/m/fdddbd730a1c59eef8c75fbfc77da26924c59650.png)
[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念前⾔：不是做数仓的，但是也需要了解数仓的知识。
其实分层好多因⼈⽽异，问了同事好多分层的区别也不是很清晰。
所以后续有机会还是跟数仓的同事碰⼀下吧~⼀. 各种名词解释1.1 ODS是什么？ODS层最好理解，基本上就是数据从源表拉过来，进⾏etl，⽐如mysql 映射到hive，那么到了hive⾥⾯就是ods层。
ODS 全称是 Operational Data Store，操作数据存储.“⾯向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的⼀层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装⼊本层。
本层的数据，总体上⼤多是按照源头业务系统的分类⽅式⽽分类的。
但是，这⼀层⾯的数据却不等同于原始数据。
在源数据装⼊这⼀层时，要进⾏诸如去噪(例如有⼀条数据中⼈的年龄是300 岁，这种属于异常数据，就需要提前做⼀些处理)、去重(例如在个⼈资料表中，同⼀ ID 却有两条重复数据，在接⼊的时候需要做⼀步去重)、字段命名规范等⼀系列操作。
1.2 数据仓库层DW？数据仓库层(DW)，是数据仓库的主体.在这⾥，从 ODS 层中获得的数据按照主题建⽴各种数据模型。
这⼀层和维度建模会有⽐较深的联系。
细分：1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle）3. 数据服务层：DWS（Data WareHouse Servce）1.2.1 DWD明细层?明细层(ODS, Operational Data Store,DWD: data warehouse detail)概念：是数据仓库的细节数据层，是对STAGE层数据进⾏沉淀，减少了抽取的复杂性，同时ODS/DWD的信息模型组织主要遵循企业业务事务处理的形式，将各个专业数据进⾏集中，明细层跟stage层的粒度⼀致，属于分析的公共资源数据⽣成⽅式：部分数据直接来⾃kafka，部分数据为接⼝层数据与历史数据合成。
数据仓库概述(概念、应用、体系结构)
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别
用户和系统的面向性:
转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用
事务处理和分析处理的性能要求和特性不同
事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。
数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS
详解数据仓库和数据集市：ODS、DW、DWD、DWM、DWS、ADS01数据流向02应用示例03何为数仓DWData warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
目前行业比较流行的有：AWS Redshift，Greenplum，Hive等。
数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包含：清洗、转义、分类、重组、合并、拆分、统计等主要特点•面向主题▪操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。
▪主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
•集成▪需要对源数据进行加工与融合，统一与综合▪在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。
（关联关系）•不可修改▪DW中的数据并不是最新的，而是来源于其他数据源▪数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询•与时间相关▪处于决策的需要数据仓库中的数据都需要标明时间属性与数据库的对比•DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势•数据库：用于捕获和存储数据04为何要分层数据仓库中涉及到的问题：1.为什么要做数据仓库？2.为什么要做数据质量管理？3.为什么要做元数据管理？4.数仓分层中每个层的作用是什么？5.…...在实际的工作中，我们都希望自己的数据能够有顺序地流转，设计者和使用者能够清晰地知道数据的整个声明周期，比如下面左图。
但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。
操作数据存储ODS和数据集市详解
转移一部分业务系统细节查询的功能
在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的， 在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大 的压力。
实际中往往会有实时决策的需求，上述两者都不能满足要求， 因此产生了ODS
ODS数据环境：一方面提供全局一致的、细节的、当前的数据， 可进行联机事务操作型处理。另一方面是一种面向主题的集成 的数据环境。数据量小，可辅助完成日常决策的数据分析处理，
同时可以保护投资，保留现有的应用系统。
1 ODS的定义和特点
另一方面，在DB－ODS－DW三层结构中，中间件也是 将ODS中的信息与DW系统中的信息相关联的一条途径。
3 建立ODS
3.2 ODS系统设计
物理实现
定义每个主题的数据抽取周期、抽取时间、抽取方式、 数据接口，抽取流程和规则。
物理设计不仅仅是ODS部分的数据库物理实现，设计数 据库参数、操作系统参数、数据存储设计之外，有关数 据抽取接口等问题必须清晰定义。
Data Mart
RDBMS
Metadata Exchange
Local Metadata
Local Metadata
Data Mart
RDBMS
MidTier
OLTP Tools
MidTier
MDB
End-User DW Tools
Source Hub - Data Extraction, Central Data Ware-
XX银行操作型数据存储ODS项目方案介绍
数据服务体系
客户关系管理；精准营销管理；数据挖掘及建模
基于银行的现有数据仓库或数据平台系统、呼叫中心及电子银行等的电销营销历史数据，互联网数据，以客户为中心，从基本信息、资产信息、交易行为信息、客户关系以及营销历史几大方面反映客户在银行的全貌。采用SAS分析工具对客户进行分析并分层，探索具有营销价值的客户群体，并建立各种预测模型从而提升营销成功率；实现营销目标客户名单、推荐产品的精准推送、执行、结果反馈与评估的闭环管理。
中间业务平台、金融产品代理平台、资产管理平台
资金类
内部资金管理、资金交易系统
渠道类
客户信息交互平台、移动银行、柜面系统
创新类
电子账户综合管理平台、实时营销平台
案例分享
典型客户
BRM
银行资源管理BRM（Bank Resources Management），以“一切皆资源”为理念（人、财、产品、渠道、客户、供应商、合作伙伴） 为银行构建真正“资源管理与调度型”新一代银行整体架构与模型；使得银行的经营理念回归到： 利润 = 收益（销售为核心）- 成本（高效运营） – 风险（有效管控）
核心团队
骨干团队
技术团队
20年+的行业领军人物； 15年+的从业工作经验； 10年+软件服务从业经验； 主体具有海外工作经验；
业务知识丰富的行业技术专家； 丰富项目管理经验的骨干团队； 市场反应迅捷的高层次商务人才； 多数骨干成员拥有海外工作背景；
拥有海外工作背景的员工超过10%， 大学本科及以上技术团队成员构成；
银行资源管理BRM（Bank Resources Management）为银行业务系统建设提供咨询规划、模型设计、系统开发、 维护升级等全方位服务，他将银行内部资源（人力资源、财务资源、产品资源、渠道资源）和外部资源（客户、供应商、合作伙伴）整合统一管理，提高银行整体运营&营销效率，最大程度上满足客户需求。
产品经理-10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系(一)
10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系（一）作为一名数据小白，在日常讲授和杂务工作中经常会接触到数据。
随着用户数据与金融业务数据的不断累加，数据管理与处理愈发重要。
本篇文章中，无名氏将一文说明数据库、数据仓库、数据湖、数据中台的区别与联系。
作为数据相关的产品小白，在日常学习工作中经常能或者听到大家在讨论数据库，数据仓库，数据集市，数据库数据湖还有最近比较火的数据中台，似乎这些名词都与数据存在着联系，查阅各类相关书籍，大部分书籍中的内容过于专业晦涩难懂。
那么这结合我积累的相关方面知识，向大家介绍一下上述这些名词的与联系，以及在各类企业及业务范围上的适用范围，如有不准确的地方，希望大家进行指正。
相信大部分有些许技术背景的都对数据库有一定的了解，数据库是“按照数据结构来组织、存储和管理数据的仓库”，一般分为“关系型数据库”与“非关系型数据库”。
1.关系型数据库实际上回顾过去的数据库一共有三种模型，即层次模型，网状模型，关系模型。
（1）首先层次模型的数据结构为树状结构，即是一种上下级的社团组织层级关系组织数据的一种方式：（2）带状模型的数据结构为网状网状结构，即将每个数据节点与其他很多节点都连接起来：（3）关系模型的数据结构可以看做是一个二维表格，任何数据都可以通过行号与列号来唯一确定：由于相比于层次模型和网状模型，关系模型理解和使用最简单，最终基于关系型最后数据库在各行各业应用了起来。
关系模型的数学方法第一卷涉及到关系，元组，属性，笛卡尔积，域等等令人头秃的高等数学术语，这里大家如果感兴趣可以看看相关的文献，我就不放出来催眠大家了，尽管数学原理比较复杂，但如果用事务平时学习工作的具体事务举例，就相对容易理解。
我们以某公司的员工信息表为例，该公司的员工信息可以用一个表格存起来。
并且定义如下：同时部门ID对应这另一个职能部门表：我们可以通过给定一个政府部门部门名称，查到一条部门的记录，根据部门ID，又可以记述查到该部门下的员工记录，这样三维的表格就通过ID映射建立了“一对多”的关系。
数据仓库与数据分析-第一-至第三章
数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。
2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。
操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。
其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。
三、dbms：数据库管理系统。
Dwms:数据仓库管理系统。
OLAP：联机分析处理。
Oltp基于db,olap基于dw。
四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。
在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。
五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。
2、一致性：事务在完成时，必须使所有的数据都保持一致状态。
3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。
4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。
六、决策支持系统（DSS）：分析型数据处理的典型。
决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。
DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。
分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。
七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。
数据存储与管理18数据库数据仓库数据中台数据湖数据集市的区别
数据存储与管理18数据库数据仓库数据中台数据湖数据集市的区别数据仓库vs.数据集市数据集市和数据仓库经常会被混淆，但两者的用途明显不同。
数据集市通常是数据仓库的子集;它等数据通常来自数据仓库– 尽管还可以来自其他来源。
数据集市的数据专门针对特定的用户社区(例如销售团队)，以便他们能够快速找到所需的数据。
通常，数据保存在那里用于特定用途，例如财务分析。
数据集市也比数据仓库小得多– 它们可以容纳数十千兆字节，相比之下，数据仓库可以存储数百千兆字节到PB级数据，并可用于数据处理。
数据集市可从现有数据仓库或其他数据源系统构建，你只需设计和构建数据库表，使用相关数据填充数据库表并决定谁可以访问数据集即可。
数据仓库vs.ODS操作数据存储(ODS)是一种数据库，用作所有原始数据的临时存储区域，这些数据即将进入数据仓库进行数据处理。
我们可以将其想象成仓库装卸码头，货物在此处交付、检查和验证。
在ODS中，数据在进入仓库前可以被清理、检查(因为冗余目的)，也可检查是否符合业务规则。
在ODS中，我们可以对数据进行查询，但是数据是临时的，因此它仅提供简单信息查询，例如正在进行的客户订单状态。
ODS通常运行在关系数据库管理系统(RDBMS)或Hadoop平台。
关系型数据库vs.数据仓库和数据湖数据仓库、数据湖与关系数据库系统之间的主要区别在于：关系数据库用于存储和整理来自单个来源(例如事务系统)的结构化数据，而数据仓库则用于存储来自多个来源的结构化数据。
数据湖的不同之处在于它可存储非结构化、半结构化和结构化数据。
关系数据库创建起来相对简单，可用于存储和整理实时数据，例如交易数据等。
关系数据库的缺点是它们不支持非结构化数据库数据或现在不断生成的大量数据。
这使得我们只能在数据仓库与数据湖间做出选择。
尽管如此，很多企业仍然继续依赖关系数据库来完成运营数据分析或趋势分析等任务。
内部或云端可用的关系数据库包括Microsoft SQL Server、Oracle数据库、MySQL和IBM Db2、以及Amazon Relational Database Service、Google Cloud Spanner等。
操作数据存储和数据集市
操作数据存储和数据集市
一、操作数据存储（ODS）
操作数据存储（Operational Data Store，简称ODS）是一种介于数
据库和数据仓库之间的存储系统，它可以储存操作数据库中的中间性结果，即经过处理后的原始数据，用于了解组织的运营情况来优化决策，解决实
时的问题。
ODS的核心组件是关系型数据库，它储存可用于组织决策的经过结构
化的数据。
它包含数据仓库，控制系统状态和数据流的应用，以及实时报告。
它以数据库的形式管理整个组织的数据，可以替代数据仓库和数据库
的功能，可以节省时间和成本，是一个很好的存储体系。
操作数据存储模式可以让您保存最新的数据，同时可以更有效地运行
和分析数据，以收集更多的信息。
ODS可以提供实时计算，因此它们可以
推理错误，例如超额支出，产品停产，销售情况的变化，以及客户支持和
客户服务等内容。
ODS提供了一种实时访问的方式，用户可以根据自己的实际需求随时
查询数据。
ODS允许实时导入和导出数据，并且允许快速的查询和更新数据，使用户能够根据他们的需求获得最新的数据。
二、数据集市
数据集市（Data Mart）是一种数据仓库，它可以迅速获取个性化数据，可用于支持组织的决策。
数据仓库中ODS、DW与DM之间关系
数据仓库中ODS、DW与DM之间关系在数据仓库架构中ODS（操作数据存储）、DW（数据仓库）和DM（数据集市）是不同的层次。
它们之间有明显的区别，并且相互协作来支持数据管理和分析，具体详见下图：接下来分别对ODS、DW和DM进行详细介绍。
ODS介绍ODS是操作性数据(Operational Data Store) 简称：操作性数据存储。
ODS是数据仓库中的一个中间层，它主要用于将源系统的数据进行整合和转换，但并不进行复杂的分析或聚合。
ODS 旨在保留源系统数据的完整性，支持实时或接近实时的数据访问和操作。
它通常包含原始数据和经过简单处理的数据。
特征如下：●ODS直接存放从业务抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。
●转移一部分业务系统的细节查询功能，因为ODS存放的数据与业务系统相同，原来有业务系统产生的报表，现在可以从ODS中产生。
●完成数据仓库中不能完成的功能，ODS存放的是明细数据，数据仓库DW或数据集市DM都存放的是汇聚数据，ODS提供查询明细的功能。
●ODS数据只能增加不能修改，而且数据都是业务系统原样拷贝，所以可能存在数据冲突的可能，解决办法是为每一条数据增加一个时间版本来区分相同的数据。
DW介绍DW是数据仓库(Data Warehouse)的简称：DW是一个经过专门处理和优化的数据存储区域，用于支持复杂的分析、查询和报告。
DW采用了不同的数据模型（如星型模型或雪花模型）和聚合技术，以提供快速的决策支持和报表功能。
DW具有历史数据存储、集成和标准化数据等特点，可以满足企业级的数据分析需求。
特征如下：●效率足够高，要对进入的数据快速处理。
●数据质量高，数据仓库是提供很多决策需要的数据支撑，DW的数据应该是唯一的具有权威性的数据，企业的所有系统只能从DW取数据，所以需要定期对DW里面的数据进行质量审，保证DW里边数据的唯一、权威、准确性。
●扩展性，企业业务扩展和降低企业建设数据仓库的成本考虑●面向主题，数据仓库中的数据是按照一定的主题域进行组织的，每一个主题对应一个宏观的分析领域，数据仓库排除对决策无用的数据，提供特定主题的简明视图。
第十七课--数据仓库和数据集市
任务一：设计Northwind数据库的星型模型
设计分析
事实表的主轴： Orders和OrderDetails两个表的连接。 OrderDetails中包括了数值字段：UnitPrice、Quantity及 Discount。可以推算出事实所需要的度量值：运费、销售 金额、销售数量和折扣。
第十七课--数据仓库和数 据集市
2020年7月17日星期五
数据仓库和数据集市
目标
什么是数据仓库 数据仓库系统体系结构 操作数据库与数据仓库的区别 维度建模的相关概念 维度建模的基本步骤 数据集市
2
数据仓库的定义
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（NonVolation）、反映历史变化（Time Variant）的集合数据， 用于支持管理决策和信息的全局共享。
5
相对稳定的
数据仓库中一般有大量的查询操作，但修改和删除操 作很少，通常只需要定期的加载、刷新。
6
反映历史变化的
数据仓库中的数据通常包含历史信息，系统记录了企 业从过去某一时点（如开始应用数据仓库的时点）到 目前的各个阶段的信息，通过这些信息，可以对企业 的发展历程和未来趋势做出定量分析和预测。
11
维度建模的相关概念
分析空间
数据仓库中一定量的数据，用于进行数据挖掘以发现新信息 同时支持管理决策。
切片
一种用来在数据仓库中将多个维度中的分析空间限制为数据 子集的技术。
星型模型
一种使用关系数据库实现多维分析空间的模型。
雪花模型
不管什么原因，当星型模型的维度需要进行规范化时，星型 模型就演化为雪花模型。
浅析数据库（DB）、操作数据存储（ODS）和数据仓库（DW）的区别与联系
浅析数据库（DB）、操作数据存储（ODS）和数据仓库（DW）的区别与联系文章背景：相信大部分刚接触上面三个概念的同学，都多多少少会有些迷惑，现在我就给大家简单分析下这三者的关系，希望大家对这三者的概念理解有所帮助吧。
本文主要从下面两类关系来叙述上面三者的关系：1.数据库（DB）和数据仓库（DW）的区别与联系2.操作数据存储（ODS）和数据仓库（DW）的区别与联系数据库与数据仓库的区别与联系数据库与数据仓库基础概念：数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。
数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP和OLAP概念补充：数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。
OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。
OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。
举一个具体的例子：（转自知乎作者：陈诚），个人觉得例子描述的很清晰举个最常见的例子，拿电商行业来说好了。
基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。
第一阶段，电商早期启动非常容易，入行门槛低。
找个外包团队，做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL，就能开门迎客了。
这好比手工作坊时期。
第二阶段，流量来了，客户和订单都多起来了，普通查询已经有压力了，这个时候就需要升级架构变成多台服务器和多个业务数据库（量大+分库分表），这个阶段的业务数字和指标还可以勉强从业务数据库里查询。
数据仓库和数据集市
数据仓库和数据集市上海复旦德门软件有限公司 朱建秋 博士企业从事数据仓库项目时，往往会遇到多个数据仓库软件供应商。
各供应商除了推销相关的软件工具外，同时会向企业灌输许多概念，其中，数据仓库和数据集市是最常见的。
由于术语定义不统一，另外各个供应商销售策略不一样，往往会给企业带来很大的混淆。
最典型的问题是：到底是先上一个企业级的数据仓库呢？还是先上一个部门级的数据集市？本文试图说明这两个概念之间的区别和联系，以期对具体的数据仓库项目有所裨益。
1．为什么会出现数据仓库和数据集市？“数据仓库”的概念可以追溯到80年代中期。
从本质上讲，最初数据仓库是想为操作型系统到决策支持环境的数据流提供一种体系结构模型，并尝试解决和这些数据流相关的各种问题。
在缺乏“数据仓库”体系结构的情况下，早期的决策支持环境如图1所示。
企业内部存在许多冗余的、重复建设的决策支持系统（通常是报表系统），这些系统被不同类型的用户使用，数据的抽取层次复杂，最初在OLTP 上抽取，再在抽取后的数据集上抽取，如此等等，呈“蜘蛛网”状，由于没有公共的数据源，并且数据没有时间点，导致了产生的报表可信度下降，数据不一致问题特别显著，更不用说转化为有效的决策信息。
为了解决上述问题，数据仓库应运而生。
数据仓库构建了一种以集中式的数据存储为核心的体系结构，数据存储的模式为了适应决策分析的要求，从而形成一种与原来业务系统构OLTP数据源 复制的数据集 最终用户开发的报表环境图1：早期的决策支持系统图2：数据仓库体系结构成的操作型环境（OLTP ）相独立的决策支持环境。
数据仓库最基本的体系结构如图2所示。
图2所示的以数据仓库为基础的决策支持环境，要求数据仓库能够满足所有最终用户的需求。
然而，最终用户的需求是不断变化的，而且各种类型的用户对信息的需求也不一样，这就要求数据仓库存储的数据具有充分的灵活性，能够适应各类用户的查询和分析。
另一方面，最终用户对信息的需求必须易于访问，能够在较高的性能上获得结果。
操作数据存储ODS
操作数据存储ODSODS是用于支持企业日常的、全局应用的数据集合。
ODS解决的是“日常”性问题，因而具有引入数据是可变的、数据是当前的或近期的两个特点。
由于ODS是面向全局应用，使得ODS中的数据需要面向主题来组织，并且应当是实时集成的。
ODS中的数据按照主题来组织，在企业级上要求保持一致，因此进入ODS的数据必须经过清洗和整理，才能达到集成和一致性的目的。
这也是ODS与传统数据库系统的区别。
ODS只存放当前的和近期的数据。
同数据库类似，ODS中的数据可以进行增加、删除和更新等操作，而数据仓库中的数据具有稳定性，只增不删，因此与数据仓库也是不同的。
ODS的应用一般体现在以下两个方面：(1)企业级的联机事务处理(OLTP)。
由于ODS提供的是集成的、企业级一致的数据，因此它使企业级的OLTP成为可能。
企业级的OLTP是指在实际的事务处理中常常涉及多个部门的数据，需要通过多个部门的数据协同才能更好地完成任务。
建立ODS实际上是建立了一个全局数据库，它通过ODS中的记录系统定义和参数表来建立一系列数据库与ODS记录间的双向联系，以实现企业级数据的同步。
ODS的记录系统用于说明如何从数据库向ODS抽取数据。
有了ODS的记录系统，数据库中的数据项发生变化都会反映到响应的ODS记录中。
参数表用于建立ODS中的记录向数据库的反向映射。
当ODS中的记录发生改变时，将通过参数表修改数据库中的相应项。
(2)近期的联机分析处理(OLAP)。
数据仓库主要解决企业的长期战略问题，因此在数据仓库上主要进行较长时间段数据的OLAP分析。
由于ODS中的数据量远远小于数据仓库中的数据量，因此使用ODS进行近期的OLAP分析非常有效。
但ODS中提供的OLAP功能常常没有在数据仓库中实现的那么全面。
随着ODS的引入，原来的DB—DW两层体系结构逐步转化成DB—ODS—DW三层体系结构。
ODS作为一个中间层，一方面它包含企业全局一致的、细节的、当前的或近期的数据，可以进行全局联机操作型处理；另一方面，它又是一种面向主题的、集成的数据环境，而且数据量较小，适合于辅助企业完成日常决策的数据分析处理。
数据分析师岗位资格——多选题试题及答案
数据分析师岗位资格——多选题试题及答案MLlib可以实现哪些数据分析操作？（）A、分类(正确答案)B、回归(正确答案)C、聚类(正确答案)D、降维(正确答案)机器学习主要包含以下几类模式（）A、监督学习(正确答案)B、无监督学习(正确答案)C、半监督学习(正确答案)D、强化学习(正确答案)下面哪些不是spark的机器学习库？（）A、MapReduce(正确答案)B、HDFS(正确答案)C、HBase(正确答案)D、MLlib数据分析挖掘流程不包括哪些？（）A、基层调查(正确答案)B、数据收集C、构建模型和模型评估D、分析师培养(正确答案)以下叙述正确的是。
（）A、目标变量（标签）是离散值，称为分类任务(正确答案)B、目标变量（标签）是连续值，称为回归任务(正确答案)C、垃圾邮件识别属于回归任务D、预测房屋价格属于回归任务(正确答案)数据分析挖掘流程包括哪些？（）A、明确分析目的和思路(正确答案)B、数据收集(正确答案)C、构建模型和模型评估(正确答案)D、数据应用和报告撰写(正确答案)预测性数据挖掘包括哪些方法？（）A、分类(正确答案)B、数据总结C、回归(正确答案)D、时间序列(正确答案)对商业银行来说，数据分析挖掘可应用于哪些方面？（）A、风险管理(正确答案)B、产品创新(正确答案)C、决策支持(正确答案)D、客户管理(正确答案)以下哪些选项不是数据分析类项目的主要应用场景？（）A、信用卡分期精准营销B、应急提数(正确答案)C、IT系统投产前数据测试(正确答案)D、反欺诈关系图谱数据分析挖掘是非常有价值的，它在银行业的应用体现在哪些方面？（）A、信用卡的审批额度(正确答案)B、识别贷款业务中潜藏的操作风险(正确答案)C、贵宾客户的流失预测(正确答案)D、掌银对消费者的产品推荐(正确答案)以下哪个选项是我行数据分析师的必备技能？（）A、熟悉银行业务(正确答案)B、熟悉银行数据(正确答案)C、熟悉机器学习(正确答案)D、熟悉CSS在平台建设方面，总行部署了，实现全行主要业务数据的集中存储和管理。
数据仓库、商业智能相关面试题(带答案)
1商务智能1.1数据仓库1.1.1数据仓库的4大特点(特征)？面向主题的，集成的，相对稳定的，反映历史变化的。
1.1.2数据仓库的四个层次体系结构？1. 数据源是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于RDBMS 中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等等；2. 数据的存储与管理是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)3. OLAP 服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为：ROLAP(关系型在线分析处理)、MOLAP(多维在线分析处理)和HOLAP (混合型线上分析处理)。
ROLAP 基本数据和聚合数据均存放在RDBMS 之中；MOLAP 基本数据和聚合数据均存放于多维数据库中；HOLAP 基本数据存放于RDBMS 之中，聚合数据存放于多维数据库中。
4. 前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或者数据集市的应用开辟工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
1.1.3描述一下联机分析处理OLAP？(维的概念，基本多维操作，层次结构，与OLTP的区别)OLAP (联机分析处理On-Line Analytical Processing)也叫多维DBMS。
OLAP 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
银行的数据仓库ODS历史库的区别
银行的数据仓库、ODS、历史库的区别和联系By hooyang 2013.11.7 xi’an （一）、什么是ODS面向主题的、集成的、不断变化的、当前或接近当前的数据集合，用来满足企业综合的、集成的以及操作型的处理需求。
通过统一规划，规范框架和数据，ODS可以实现操作型数据整合和各个系统之间的数据交换，能够提供实时的操作型报表，减轻数据仓库的负担。
常常被作为数据仓库的过渡。
系统应用集成中一般对各系统中数据分为两类：操作型数据,有细节化，分散化的特点；决策型数据，有综合化，集成化的特点。
数据仓库概念的提出也把数据处理划分为了操作型处理和分析型处理两种不同类型，从而建立起了DB-DW的两层体系结构。
但是有很多情况，DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,比如有些实时性决策问题,它要求获取数据周期不能太长,而且也需要一定程度的汇总。
信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS（操作型数据存储）的出现。
它像DW一样是一种面向主题，集成的数据环境，又像操作型DB一样包含着全局一致的、细节的当前的数据。
这样就构成了DB-ODS-DW的关于企业数据的三层体系结构。
ODS是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征。
（二）、下面对数据仓库、ODS和数据库进行多方面的比较：（三）、应用集成方案比较ODS技术的引入和应用，为企业在日常经营中进行实时OLAP提供了一种解决方案，使得企业无须建立一个“臃肿”的DW，就可以进行一些非战略性的中层决策，来实现对企业的日常管理和控制，同时也能获得较快的响应速度。
（四）、DW/ODS/历史库区别：数据仓库:根据通用的数据仓库模型，来构建的用于数据分析的数据库。
他是通用的，模型化的，可以扩展的。
不同厂商提供的模型有差异，银行内TD 与 IBM 在这块比较多。
ODS:根据不同的主题，或者说不同的应用，来构建的数据库。
数据处理和存储系统
数据处理和存储系统目录1数据中心概述 (3)2数据中心系统设计 (3)3系统组成 (4)4系统介绍 (5)4.1管理业务数据中心设计方案 (5)4.2实时感知数据中心设计方案 (8)4.3多媒体及文档数据中心设计方案 (10)4.4地理信息系统GIS数据中心设计方案 (11)4.5智能知识库预案辅助分析 (12)1数据中心概述数据中心是业务系统与数据资源进行集中、集成、共享、分析的资源、工具、流程等的有机组合。
数据中心的应用层包括业务系统、基于数据仓库的分析系统，数据层包括操作型数据和分析型数据以及数据与数据的集成/整合流程，基础设施层包括服务器、网络、存贮和整体IOT运行维护服务。
数据中心对来自不同业务应用的数据经过抽取、转换和加载，放入ODS、数据仓库和数据集市，进行各方面的高级业务分析，将不同来源的数据转化成实用的业务信息，为XX 管理信息系统提完整的数据支撑，实现数据的构建、保存、更新、集成、分发与共享。
2数据中心系统设计根据XX系统业务的特殊性及物联网应用的特点，考虑满足未来发展的需要，结合XX信息化一期建设情况，本项目规划设计了四个子数据中心，即管理业务中心、多媒体及档案非结构化中心、实时感知中心、GIS数据中心。
3系统组成图：数据中心系统组成管理业务数据中心：以XX一期信息化工程的XX管理信息库、XX信息库和XX信息库为基础，将满足业务应用系统需求的关系型数据库整合，形成业务应用系统的数据核心，满足XX业务数据存储以及分析的需要。
多媒体及文档非结构化数据中心：对于各种非结构化的多媒体文件、行政办公文档、业务文档、档案管理、知识管理等进行综合存储与查询分析。
对于架构数据中心的建设需要重点考虑安全问题，采用最新的文档加密技术与授权管理体系相结合，实现文档知识的安全。
实时数据中心：对于各种生产实时、人员状态实时、环境监测实时、设备监测实施等实时数据采用大容量、高性能的实时数据库综合存储，便于实时数据分析以及生产过程回放。
四、数据集市以及数据集市和数据仓库的区别
四、数据集市以及数据集市和数据仓库的区别数据集市(data mart) 起源：数据仓库规模⼤、周期长，⼀些规模⽐较⼩的企业⽤户难以承担。
因此，作为快速解决企业当前存在的实际问题的⼀种有效⽅法，独⽴型数据集市成为⼀种既成事实。
独⽴型数据集市是为满⾜特定⽤户（⼀般是部门级别的）的需求⽽建⽴的⼀种分析型环境，它能够快速地解决某些具体的问题，⽽且投资规模也⽐数据仓库⼩很多。
数据集市可以理解为是⼀种"⼩型数据仓库"，它只包含单个主题，且关注范围也⾮全局，数据集市也叫数据市场，是⼀个从操作的数据和其他的为某个特殊的专业⼈员团体服务的数据源中收集数据的仓库。
数据是从企业范围的数据库、数据仓库中抽取出来的。
重点在于他迎合了专业⽤户群体的特殊需求，其⾯向部门级业务或某⼀个特定的主题、良好解决了灵活性和性能之间的⽭盾。
数据集市可以分为两种 ⼀种是独⽴数据集市(independent data mart)，这类数据集市有⾃⼰的源数据库和ETL架构； ⼀种是⾮独⽴数据集市(dependent data mart)，这种数据集市没有⾃⼰的源系统，它的数据来⾃数据仓库。
当⽤户或者应⽤程序不需要/不必要/不允许⽤到整个数据仓库的数据时，⾮独⽴数据集市就可以简单为⽤户提供⼀个数据仓库的"⼦集"。
数据集市的特征主要有：1）规模⼩；2）⾯向部门；3）有特定的应⽤主题；4）由业务部门定义、设计和开发；5）业务部门管理和维护；6）能快速实现；7）购买⽐较便宜；8）投资快速回收；9）⼯具集的紧密集成；10）提供更详细的、预先存在的、数据仓库的摘要⼦集；11）可升级到完整的数据仓库。
数据仓库(Data Warehouse) 数据仓库(Data Warehouse) 是⼀个⾯向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合⽤于⽀持管理决策。