数据仓库体系培训课程
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
应用 • 业务领域查询 • 战术性决策支持 • 简单的分析（评分）
访问特征 • 当前数据访问 • 查询较多
优劣势对比 • 满足实时监控和实时业 务需求 • 不能满足中远期决策需 求
任务的连续性
ODS
战略性分析 (EDW)
用户群 • 管理人员 • 高层领导
应用 • 战略性分析 • 复杂的查询和报表 • 预测
（
控
）
缓
模
汇
集
平
冲
型
总
市
层
层
层
层
台
、
ETL软件 Datastage Powercenter 文本脚本
SASB
YHT
CMS
PMS
。。。
数据仓库典型体系架构（混合型－EDW）
Control-M Automation ETL_PLUS
前端软件（BIEE、Congnus、BO、Microstrategy）
数据存储 数据应用
EDW 特点 • 面向主题的 • 集成的 • 稳定的 • 随时间变化的 • 详细的
ODS: •时效性要求高的 •不需要需历史数据 •需要访问最始数据（审计、稽核 类）的应用
EDW: •模型区时效性可以满足要求的 •需要访问历史数据的 •基于多个系统整合数据的 •不是必须访问原始数据的应用
集市层
应用集市层 •面向应用的个性化定制。
指标库:规模指标、客户指标、盈利指标、风险指标等
汇总层
机构汇总 账户汇总
预连接/预处理 产品汇总
交易统计汇总
渠道汇总 客户汇总
基础层
客户 产品
账户 渠道
资产 财务
交易
ODS
核心 个贷 法贷 基金 存管 国结
汇总层 •提供统一的业务口径。 •避免集市的重复加工。 •随着应用建设逐步完善 •模型相对稳定，随着业务扩展可以扩展
信贷集 市
风险管 理集市
。。。
台
、
ETL软件
ETL软件
ETL软件
ETL软件
SASB
YHT
CMS
PMS
。。。
数据仓库典型体系架构（集中型－EDW）
Control-M Automation ETL_PLUS
前端软件（BIEE、Congnus、BO、Microstrategy）
、调 度
软
件
管
DB（TD、DB2、Oracle）
访问特征 • 批量插入-很少的更新 • 频繁的复杂查询
优劣势对比 • 解决企业的决策需求 • 不能满足实时监控和实 时业务需求
EDW
ODS层模型
• 简单处理 • 不考虑整合 • 考虑保留策略
• 偏源系统模型 • 部分数据保留全量 • 少量数据保留短暂历
史
基础层模型 VS. 汇总层模型
应用集市层模型
、调 度
软
件
管
库外集市
库外集市
（
控
）
DB（TD、DB2、Oracle）
平
台
缓 冲 层
模 型 层
汇 总 层
集 市 层
、
ETL软件 Datastage Powercenter 文本脚本
SASB
YHT
CMS
PMS
。。。
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。
数据仓库体系培训
主题
数据仓库体系规划 数据仓库实施方法论
Q&A
数据仓库规划步骤
指导方针
• 承前启后：着重考虑对前期工作的承接和规划成果的落地实施 • 敦本务实：实施公司、同业经验与银行实际相结合 • 远近兼顾：立足长远与满足当前需求相结合
实施路线
现状分析
体系规划
•规划数据仓库体系分阶段落地 方案与实施路线图
组
织
架
管管 控控
·
组织构 管 控
体体 架流 系系 构程
管
·
控
内
容
数据体系
数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
应用体系
应用主题·应用模式·应用方案·实施规划
运维体系
数据存储·数据质量·元数据·安全
BI环境内的数据架构
IT人员
高级分析人员 业务分析人员 决策用户
ODS: •全部源系统 •不重复保存已经入EDW的Event类 数据
EDW: •全部源系统的原始细节数据，不接 入派生和汇总数据。
ODS: •状态类数据保存当前最新数据 •日志类数据保存3个月 • 针对及其特殊的需要可以考虑 对数据保留一定时间段的历史
EDW: •一般最长在线保存7年。 •事件类数据在线保留时间会短 一些，13个月左右。
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。
组
织
架
管管 控控
·
组织构 管 控
体体 架流 系系 构程
管
·
控
内
容
数据体系
数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
ODS & EDW价值和定位
业务处理系统 (OLTP)
用户群体 • 客户 • 员工
应用 • 交易处理 • 帐务处理
访问特征 • 频繁的更新 • 偶尔的查询
数据模型 • 当前状态数据 • 很少的历史数据 • 范围比较小
OLTP 1
OLTP 2
OLTP 3
战术性查询 (ODS)
用户群体 • 一线的业务人员 • 客户
•规划数据仓库系统总体技术方案蓝图 •制定相关管理制度与工作流程
•基础数据平台与分析型系统现状总结 •银行现有数据仓库体系差距
3
数据仓库典型体系架构（星型－EDW）
Control-M Automation ETL_PLUS
、调
度
前端软件
前端软件
前端软件
前Fra Baidu bibliotek软件
软
件
（ 管
控
DM
DM
DM
DM
）
平
信用卡 集市
源数据质量检查规则、常规报告
……
ODS & EDW 特点比较
ODS : •与源系统保持一致 •基本不进行转换和整合 •当前最新数据
EDW: •第三范式模型 •进行数据整合和转换 •当前数据和历史数据
ODS 特点 • 面向数据的 • 非集成的 • 易变的 • 当前数据的 • 详细的
数据模型 数据接入
性接入； •需要随着源系统变更进行维护
不同层次应用场景
4
应用用户、决策用户会访问特定应 用
……
业务人员通过设定业务检查规则来 3 明确模型可用性
业务部门人员多数需要常规报表供 日常呈报
…… 业务人员参考整合规则来验证业务 2 正确性
POWER USER通常需要访问第二层对 数据进行深入分析
……
1 审计/风险管理等需要未经加工的 业务原始数据
模型； •随着业务统计口径变化，ETL加工逻辑
会变化；
基础层 •面向主题整合；保留详细数据和历史数
据 •按照业务驱动、逐步建设 •模型相对稳定；但是随着源系统和数据
业务标准的变化，ETL加工逻辑会长期 变化
ODS层 •解决源系统快速接入的问题；避免从源
系统频繁、重复数据抽取； •源系统一次性分析、一次性抽取、一次
访问特征 • 当前数据访问 • 查询较多
优劣势对比 • 满足实时监控和实时业 务需求 • 不能满足中远期决策需 求
任务的连续性
ODS
战略性分析 (EDW)
用户群 • 管理人员 • 高层领导
应用 • 战略性分析 • 复杂的查询和报表 • 预测
（
控
）
缓
模
汇
集
平
冲
型
总
市
层
层
层
层
台
、
ETL软件 Datastage Powercenter 文本脚本
SASB
YHT
CMS
PMS
。。。
数据仓库典型体系架构（混合型－EDW）
Control-M Automation ETL_PLUS
前端软件（BIEE、Congnus、BO、Microstrategy）
数据存储 数据应用
EDW 特点 • 面向主题的 • 集成的 • 稳定的 • 随时间变化的 • 详细的
ODS: •时效性要求高的 •不需要需历史数据 •需要访问最始数据（审计、稽核 类）的应用
EDW: •模型区时效性可以满足要求的 •需要访问历史数据的 •基于多个系统整合数据的 •不是必须访问原始数据的应用
集市层
应用集市层 •面向应用的个性化定制。
指标库:规模指标、客户指标、盈利指标、风险指标等
汇总层
机构汇总 账户汇总
预连接/预处理 产品汇总
交易统计汇总
渠道汇总 客户汇总
基础层
客户 产品
账户 渠道
资产 财务
交易
ODS
核心 个贷 法贷 基金 存管 国结
汇总层 •提供统一的业务口径。 •避免集市的重复加工。 •随着应用建设逐步完善 •模型相对稳定，随着业务扩展可以扩展
信贷集 市
风险管 理集市
。。。
台
、
ETL软件
ETL软件
ETL软件
ETL软件
SASB
YHT
CMS
PMS
。。。
数据仓库典型体系架构（集中型－EDW）
Control-M Automation ETL_PLUS
前端软件（BIEE、Congnus、BO、Microstrategy）
、调 度
软
件
管
DB（TD、DB2、Oracle）
访问特征 • 批量插入-很少的更新 • 频繁的复杂查询
优劣势对比 • 解决企业的决策需求 • 不能满足实时监控和实 时业务需求
EDW
ODS层模型
• 简单处理 • 不考虑整合 • 考虑保留策略
• 偏源系统模型 • 部分数据保留全量 • 少量数据保留短暂历
史
基础层模型 VS. 汇总层模型
应用集市层模型
、调 度
软
件
管
库外集市
库外集市
（
控
）
DB（TD、DB2、Oracle）
平
台
缓 冲 层
模 型 层
汇 总 层
集 市 层
、
ETL软件 Datastage Powercenter 文本脚本
SASB
YHT
CMS
PMS
。。。
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。
数据仓库体系培训
主题
数据仓库体系规划 数据仓库实施方法论
Q&A
数据仓库规划步骤
指导方针
• 承前启后：着重考虑对前期工作的承接和规划成果的落地实施 • 敦本务实：实施公司、同业经验与银行实际相结合 • 远近兼顾：立足长远与满足当前需求相结合
实施路线
现状分析
体系规划
•规划数据仓库体系分阶段落地 方案与实施路线图
组
织
架
管管 控控
·
组织构 管 控
体体 架流 系系 构程
管
·
控
内
容
数据体系
数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
应用体系
应用主题·应用模式·应用方案·实施规划
运维体系
数据存储·数据质量·元数据·安全
BI环境内的数据架构
IT人员
高级分析人员 业务分析人员 决策用户
ODS: •全部源系统 •不重复保存已经入EDW的Event类 数据
EDW: •全部源系统的原始细节数据，不接 入派生和汇总数据。
ODS: •状态类数据保存当前最新数据 •日志类数据保存3个月 • 针对及其特殊的需要可以考虑 对数据保留一定时间段的历史
EDW: •一般最长在线保存7年。 •事件类数据在线保留时间会短 一些，13个月左右。
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。
组
织
架
管管 控控
·
组织构 管 控
体体 架流 系系 构程
管
·
控
内
容
数据体系
数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
ODS & EDW价值和定位
业务处理系统 (OLTP)
用户群体 • 客户 • 员工
应用 • 交易处理 • 帐务处理
访问特征 • 频繁的更新 • 偶尔的查询
数据模型 • 当前状态数据 • 很少的历史数据 • 范围比较小
OLTP 1
OLTP 2
OLTP 3
战术性查询 (ODS)
用户群体 • 一线的业务人员 • 客户
•规划数据仓库系统总体技术方案蓝图 •制定相关管理制度与工作流程
•基础数据平台与分析型系统现状总结 •银行现有数据仓库体系差距
3
数据仓库典型体系架构（星型－EDW）
Control-M Automation ETL_PLUS
、调
度
前端软件
前端软件
前端软件
前Fra Baidu bibliotek软件
软
件
（ 管
控
DM
DM
DM
DM
）
平
信用卡 集市
源数据质量检查规则、常规报告
……
ODS & EDW 特点比较
ODS : •与源系统保持一致 •基本不进行转换和整合 •当前最新数据
EDW: •第三范式模型 •进行数据整合和转换 •当前数据和历史数据
ODS 特点 • 面向数据的 • 非集成的 • 易变的 • 当前数据的 • 详细的
数据模型 数据接入
性接入； •需要随着源系统变更进行维护
不同层次应用场景
4
应用用户、决策用户会访问特定应 用
……
业务人员通过设定业务检查规则来 3 明确模型可用性
业务部门人员多数需要常规报表供 日常呈报
…… 业务人员参考整合规则来验证业务 2 正确性
POWER USER通常需要访问第二层对 数据进行深入分析
……
1 审计/风险管理等需要未经加工的 业务原始数据
模型； •随着业务统计口径变化，ETL加工逻辑
会变化；
基础层 •面向主题整合；保留详细数据和历史数
据 •按照业务驱动、逐步建设 •模型相对稳定；但是随着源系统和数据
业务标准的变化，ETL加工逻辑会长期 变化
ODS层 •解决源系统快速接入的问题；避免从源
系统频繁、重复数据抽取； •源系统一次性分析、一次性抽取、一次