某某银行数据仓库建设项目方案说明
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
XX 银行
EDW/ 数据仓库项目方案
目录
第一章系统总体架构 (5)
1.1总体架构设计概述 (5)
1.1.1 总体架构的设计框架 (5)
1.1.2总体架构的设计原则 (6)
1.1.3总体架构的设计特点 (7)
1.2 EDW执行架构 (7)
1.2.1执行架构概述 (8)
1.2.2执行架构设计原则 (8)
1.2.3执行架构框架 (9)
1.3 EDW逻辑架构............................................ 1 8
1.3.1逻辑架构框架.......................................... 1 8
1.3.2数据处理流程......................................... 2 7
1.4 EDW运维架构............................................ 2 7
1.4.1 运维架构概述 (27)
1.4.2 运维架构的逻辑框架 (29)
1.5 EDW数据架构............................................ 3 6
1.5.1数据架构设计原则...................................... 3 6
1.5.2数据架构分层设计....................................... 3 8
1.6 EDW应用架构............................................. 4 1
1.6.1应用架构设计原则....................................... 4 1
1.6.2数据服务............................................... 4 2
1.6.3 应用服务 (43)
第二章ETL体系建设 ........................................... 4 4
2.1 ETL架构概述.............................................. 4 4
2.2 ETL设计方案.............................................. 4 6
2.3 ETL关键设计环节......................................... 4 6
2.3.1 接口层设计策略 (46)
2.3.2 Staging Area 设计策略................................. 4 7 2.3.3 数据加载策略 . (48)
2.3.4增量ETL设计策略..................................... 4 8 2.3.5异常处理............................................... 5 1 2.3.6作业调度和监控......................................... 5 1 2.3.7 元数据管理 (52)
2.3.8 ETL模块设计......................................... 5 2 2.3.9 ETL流程设计......................................... 5 5
2.3.10动态资源分配 ........................................... 5 8 2.3.11数据接口设计 ............................................ 6 0
第一章系统总体架构
1.1 总体架构设计概述
1.1.1 总体架构的设计框架
XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。
这三个部分共同组成了XX 银行EDW 系统。
在基础技术架构中,包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。
执行架构描述系统大的框架和模块区域,以及之间的逻辑关系;是确定生产环境的
建设要求及指导原则。
逻辑架构描述EDW 各个模块之间的数据的接口、数据流向、工具使用和采用具体
的技术实现手段或方式情况,用于规范本项目最终生产环境的建立。逻辑架构是建
立应用架构、执行架构、运维架构的基础,也是建立执行架构、应用架构以及运维
架构的原型系统。
功能组件架构描述确定系统各个大的组件组件区域的功能模块框架,以及提供的某
种服务类型。
运维架构是描述EDW 项目的运维架构标准,包括运维架构设计的内容、设计原
则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具
实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管
理。
而数据架构和应用架构的主要描述:
应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计,其中业务
需求是应用架构设计的基础,最终的应用架构将以应用系统的形式体现在执行架构
中,主要包括:应用服务和数据服务。
数据架构描述于EDW系统相关的数据流动策略,即数据在EDW系统的执行架构
下的抽取、转换、储存策略以及应采用的流程,包括数据层次和总分行之间的数据
分部情况等。数据架构是建立执行架构标准的需求定义。
下图是EDW项目总体架构的框架:
- 基础摂术架构.
数据架构
4----------------------------------------------- k
1.1.2总体架构的设计原则
总体架构在着重考虑实施要求的同时,需要为后续阶段进行规划,以保
证项目最终能够达到目标架构的设计;
总体架构的设计要基于包括XX 银行数据现状分析、实施阶段数据源情况分析、第