数据仓库架构培训

…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
Baidu Nhomakorabea
ETL
EDW 操作数据存储（ODS）
数据 质量 管理
业务系统
公司实施常用架构
数据仓库应用平台
应用层 （Portal）
报表 应用服务层 决策支持 查询
清除错 按照数 误的、 据的标 不符合 准，对 业务逻 数据进 行统一 辑的数 据
将数据 转换成 主数据 的模型
EDW数据加载
数据抽取
数据映射
数据清洗
数据标准化
数据转换
数据加载
从 HDS 或 ODS 中获取 所需数 据
将业务 系统的 数据字 段对应 到EDW 的数据 字段
清除错 按照数 误的、 据的标 不符合 准，对 业务逻 数据进 行统一 辑的数 据
前端业务应用与管理系统

应用服务层
数据服务层
数据中心存储平台
Web Server
ODS EDS
OLAP引擎 元数据管理服务 管理和审计服务 BI引擎
统
一 的 安 全 管 理
数
浏览器
据
访 问 层 代 理
DDS OLAP DM
数据交换服务 主数据管理服务
GUI应用程序
Meta Data
应用层次规划
数据 质量 管理
业务系统
数据仓库-案例3
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
ETL

ER模型：与业务系统中模型基本一致，尽量减少由于数据处理带来 的时间消耗 实时性：保存实时变化的数据
EDW数据存储
模型特点

采用3NF方式建模，采用面向对象的建模方式 从业务模型入手，结合实际的业务系统的数据，使用主题域对数据 进行抽象 建模原则

全面性：最终应该能够覆盖到客户经营活动中所有的业务数据 抽象性：从业务的角度把客户的所有业务要素抽象成若干对象，采用面 向对象的设计方法 扩展性：其体系结构应该能够适应客户今后业务的发展 高效性：应该注意不要使对象之间的关系过于复杂，导致在实际查询时 的速度过慢
ETL
EDW 操作数据存储（ODS）
数据 质量 管理
业务系统
BI系统-案例6
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
ETL
EDW 操作数据存储（ODS）
数据 质量 管理
ETL
EDW 操作数据存储（ODS）
数据 质量 管理
业务系统
数据仓库-案例5
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
ETL
EDW 操作数据存储（ODS）
数据 质量 管理
业务系统
追求卓越
不断创新
客户至上
数据集市 （DM） 应 用 服 务 层
OLAP
企业级 关系数 据模型 关系型 多维 模型
实时数据 存储
特殊应用数 据存储 （ADS）
11
主数据存储
模型特点


ER模型：与业务系统中代码信息存放方式类似 数据标准：在企业中采用统一的编码规则和标准 保留历史：保留主数据变化的版本
ODS数据存储
模型特点
应用系统 ETL
主数据管理
实施技术
实施过程
数据仓库实施方法
自下而上

从业务数据入手，建立数据模型 建立完整的后台数据
自上而下

完全基于业务需求分析的结果 以需求确定后台的数据范围
迭代开发

整个建设过程分为多个迭代过程 从关键的业务入手，即考虑后台数据，又提供前端展现
项目组架构
项目管理委员会
ODS EDS DDS DM ADS OLAP 技术元数据 查询功能
分类导航 维度 ETL信息 应用系统信息 全文检索 日志查询 权限查询
元数据存储平台
业务元数据
元数据应用平台
维护功能 业务元数据维护 技术元数据维护
业务指标
维度
管理元数据
ETL日志 应用系统日志 权限
展现功能
动态指标解释 信息展示 血缘关系
业务系统
数据仓库-案例2
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
ETL
EDW 操作数据存储（ODS）
目 录
1 2 3 4 5 6
厂商的数据仓库架构 公司的数据仓库架构 数据存储与ETL
前端业务应用与管理系统
实施过程
案例
厂商的数据仓库架构
IBM数据仓库架构
NCR数据仓库架构
SAP的数据仓库
两级数据仓库架构
公司的数据仓库架构
系统总体架构图
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
EDW 操作数据存储（ODS）
数据 质量 管理
业务系统
数据仓库-案例4
数据仓库应用平台 应用层 （Portal） 报表 应用服务层 决策支持 查询
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台 DM
OLAP
ADS
元 数 据 管 理
DDS 主数据 历史数据存储（HDS）
决策层使用
企业绩效 KPI
分析人员使用
分析型应用
管理人员使用
跨部门、跨业务应用
业务人员使用
业务报务、业务应用
应用分类
业务分类
财务
生产
销售
KPI
库存 库存分析 物流
……
成本分析
资产分析 盈利
产量 原料 质检
销量 市场 竞争对手
财务指标 生产指标 销售指标 市场
……
管理系统：元数据管理
元数据数据源 业务指标/需求 主数据 数据中心
将数据 转换成 EDW的 模型
DDS数据加载
数据抽取
数据映射
数据转换
数据汇总
数据加载
从EDW数 据存储中 获取所需 数据
将EDW存 储模型的 字段，对 应到DDS 存储模型 的字段
把数据从 EDW的 ER模型转 换为DDS 的多维存 储模型
把EDW中 的数据进 行一定程 度的汇总
DDS数据存储
模型特点

星型模型：以维度表和事实表的方式对数据进行组织和存放 面向需求：从满足应用需求的角度进行设计，从中找出维度，维和 分析变量 粒度较粗：从明细数据汇总得到
主数据加载
数据抽取
数据映射
数据清洗
数据标准化
数据转换
数据加载
从 HDS 或 ODS 中获取 所需数 据
将业务 系统的 数据字 段对应 到主数 据的数 据字段
客户方项目组
项目管理组
系统架构组
质量管理组
需求分析组
数据建模组
ETL组
应用开发组
系统测试组
售后与服务组
28
实施流程
项 目 管 理
需求定义
技术架构
技术 需求 项目准备 项目规划 源数据分析 数据建模 ETL设计 开发 集成测试 系统上线 运行维护 系统演进
业务 需求 应用设计开发
实施案例
数据中心-案例1
…
对外接口 数据挖掘 与分析系统 其它应用
元数据访问服务 BI工具引擎 ……
数据交换平台
数据存储平台
DM
OLAP
ADS
元 数 据 管 理
DDS
ETL
EDW 历史数据存储（HDS）
数据 质量 管理
业务系统
数据存储与ETL
数据存储
主数据 （MD）
操作数据存储 （ODS）
企业数据存 储 （EDW）
多维数据 存储 （DDS）