中信银行ODS方案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
目录
1、概述、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、16
1、1、中信银行ODS 项目建设背景及思路、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、16
1、1、1、背景、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、16
1、1、
2、建设思路、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、16
1、2、中信银行ODS 项目架构方法论、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、18
1、3、逻辑架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、20
1、4、数据架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、21
1、4、1、数据架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、21
1、4、
2、指标、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、22
1、5、技术架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、25
1、5、1、
ETL 、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、25
1、5、
2、指标服务、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、25
1、5、3、数据展示、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、26
1、6、物理架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、26
1、6、1、ODS 总行物理架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、26
1、6、
2、ODS 分行物理架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、27
2、数据模型设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、28
2、1、数据模型的设计目标、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、28
2、1、1、满足OLAP 分析、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、28
2、1、2、统一业务数据视图,保证数据的一致性、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、29
2、2、数据模型设计方法论、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、29
2、2、1、源系统调研方法论、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、29
2、2、2、源系统调研工作模
板、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、31
2、2、
3、数据模型设计方法论、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、33
2、3、相关概念、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、35
中信银行ODS 项目-技术方案
第3 页,共281 页
2、4、核心逻辑数据模型、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、36
2、4、1、主题域描述、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、36
2、4、2、主题域关系图、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
37
2、4、
3、主题域业务规则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、38
2、5、数据分析模型—客户、产品与绩效主题应用、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、43
2、5、1、统一客户视图—客户关系管理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、43
2、5、2、统一产品视图—产品管理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、51
2、5、
3、统一渠道视图-渠道分析、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、53
2、5、4、绩效考核框架、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、54
2、6、数据模型的层次化设
计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、58
2、6、1、管道层数据模型(CDM)、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、58
2、6、2、清洗与转换层数据模型
(TDM) 、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、59
2、6、
3、原始层数据模型(ODM)、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、59
2、6、4、逻辑数据模型(LDM)、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、59
2、6、5、应用数据模型(ADM)、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、60
3、数据库设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、61
3、1、数据量估算方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、61
3、2、数据库、表分区设计方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、61
3、2、1、面临的问题、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、61
3、2、2、解决方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、62
3、2、3、分区及标准、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、63
3、3、表索引设计方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
66
3、3、1、索引的存储、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、66
3、3、2、使用索引的时机、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、66
3、3、3、索引列与表达式的选择、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、66
3、3、
4、复合索引、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、67
3、3、5、避免对大表的全表扫描、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、67
3、4、代理键设计方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
68
3、5、表空间与日志空间规划方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、69
中信银行ODS 项目-技术方案
3、6、SQL 优化方法、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、71
3、6、1、一般原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、71
3、6、2、表连接原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、71
3、6、3、有效使用索引、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
72
3、7、如何避免表级锁、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、72
4、ETL 设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、73
4、1、ETL 总体方案、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、73
4、1、1、设计原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、73
4、1、2、总体架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、73
4、1、3、ETL 任
务、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、74
4、1、4、ETL 过程、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、76
4、1、
5、ETL 安全、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、77
4、1、6、方案特点、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、77
4、2、ETL 编程规则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、78
4、3、ETL 流程设计原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
80
4、4、ETL 作业调度设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、83
4、5、ETL 作业监控设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、86
4、6、ETL 作业开发原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、87
4、7、ETL 作业设计原则、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、88
4、8、文件落地处理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、88
4、9、特殊字符处
理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、89
5、前端展现、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、91
5、1、前端展现概述、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、91
5、2、报表制作方案、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、92
5、2、1、查询、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、93
5、2、2、报表、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
5、2、3、分析、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、95
5、3、报表开发过程、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、96
中信银行ODS 项目-技术方案
第5 页,共281 页
5、4、报表管理平台功能模块设计、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、97
5、5、跨系统报表管理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、98
5、6、二次开发、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
5、7、报表工具开发经验、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、101
6、统一权限管理、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、102
6、1、概述、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、102
6、2、权限管理内容、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、102
6、2、1、用户信息、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、102
6、2、2、认证方
式、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、103
6、2、3、资源权限、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、103
6、2、4、数据权限、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、104
6、3、权限管理方案、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、107
6、3、1、逻辑架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、108
6、3、2、物理架构、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
109
6、4、技术实现、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、110
6、4、1、建立统一的权限管理平台、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、110
6、4、2、应用系统、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、114
6、4、3、报表管理系统、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、114
6、4、4、报表工具、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、118
6、5、技术难点、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、123
6、5、1、单点登录、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、123
6、5、2、报表管理系统向报表工具的权限同步、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、123
6、6、实施案例介绍、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、123
6、6、1、交通银行报表综合管理平台、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、123
6、6、2、建设银行J2EE_报表管理系统应用集成方案、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、125
1、概述
1、1、中信银行ODS 项目建设背景及思路
1、1、1、背景
随着银行业务系统的不断发展与变化,不断对管理信息与数据服务的建设与发展提出要求,业务
推动数据服务的发展就是不变的发展规律,中信银行走过了从分布式业务系统到数据集中;从没有数据交换到网状交换再到未来以ODS 数据交换为核心的数据服务,随着科技规划,中信银行的数据服务可能继续发展成以ODS 为核心的架构,再发展到以总行数据计算引擎ODS(H)与分行计算引擎ODS
(B)组成的数据服务。
总之,数据服务的建设过程就是一个不断的因乱而治、逐步演进的过程。
1、1、
2、建设思路
ODS 项目作为中信银行数据服务的重要组成部分,我们在ODS 项目的建设过程中,需要逐步形
成由ETL+指标计算+数据展现作为ODS 项目根本技术手段的建设模式,从而连接源系统与目标系统, 再统计汇总并最终以适当的方式展现给数据的使用者,这些都就是由业务的抽象特性决定的。
因此,中信银行ODS 项目的建设从业务需求上主要满足三类需求:
面向目标系统或分行提供基础数据的供数需求,这类需求可能为对外供数(如外部监管、外
部交换与对帐等)做准备,也可能为计算指标与展现做准备;
面向业务管理而计算指标数据的统计需求,包含指标的计算与派生,这类需求可能就是用来满
足为某些系统提供重要参数(如平均市场利率或定价转移参数)或满足外部监管与内部管理
需要,也可能就是为进一步以合适的方式进行展现做准备;
面向最终用户的形成报表/图的展现需求,多数情况下都就是基于对基础数据、指标数据的基础
上通过展现工具将数据变为信息的过程。
中信银行ODS 项目-技术方案
第17 页,共281 页
指标数据
统计需求
基础数据
供数需求
报表/图
展现需求
图表1、中信银行ODS 项目面对的三类业务需求
根据以上抽象的三类应用需求,中信银行ODS 项目架构设计与实现应从六个方面来平衡三大需求的实现,使得有限的资源以较有效的协作方式共同发挥效用:
可扩展性:保证中信银行ODS 项目根据业务发展合理配置稳步发展,应从业务架构、数据架构、技术架构、物理架构等四个方面考虑中信银行ODS 项目的可扩展性。
如业务架构上,应
考虑业务应用的扩展性,举个例子,将分行特色应用作为全行共性应用的有益补充,旧时一
个典型的应用扩展。
数据架构的扩展能力,主要体现在数据分布与数据模型的扩展上。
技术
架构的扩展能力,主要体现在并行计算、大数据量传输处理与集群展现等扩展能力。
物理架
构的扩展能力,主要体现在硬件设备的低成本扩展能力;
高性能:保证中信银行ODS 项目事半功倍,在硬件资源有限的情况下,应尽可能的承载尽量
多的应用,又能承受用户峰值时间段压力,使得中信银行ODS 项目能够满足全行范围内的使
用者;
可管理性:保证数据多而不乱,在复杂的总分且网状交互的中信银行ODS 项目体系结构下,
能够清除得知晓系统每一个应用的转换逻辑与数据含义,在中信银行ODS 项目任何环节有变
动时,能迅速的反馈变动产生的影响,准确的帮助技术管理层判断相应的响应者与负责人,
从而保证中信银行ODS 项目的可持续发展;
高可用性:保证中信银行ODS 项目坚不可摧,主要从集群与负载均衡的角度充分考虑中信银中信银行ODS 项目-技术方案
第18 页,共281 页
行ODS 项目的健壮性;
安全性:保护中信银行ODS 项目信息不被恶意盗取,基于UAAP、CSSP 等平台的应用安全保证,另外还包括测试数据的安全保障;
可重用性:尽可能避免中信银行ODS 项目的重复投入,包括物理设备、系统软件、框架组件、规范方法以及业务应用等多个层面上的复用。
作为一个完整的中信银行ODS 项目,应综合考虑各种非功能性要求,避免出现“木桶短板”
效应。
高性能
Performance
可重用性
Reusability
可扩展性
Extensibility
可管理性
Manageability
安全性
Security
高可用性
Availability
设计原则
图表2、中信银行ODS 项目设计的考虑因素
1、2、中信银行ODS 项目架构方法论
在中信银行ODS 项目建设方面依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则采取总体规划,分层实现的方式。
纵向层面自上而下瞧,中信银行ODS 项目的架构由逻辑(应用)架构、数据架构、技术架构与物理架构四个层次组成,每个层次内部又根据设计需要进行抽
象分层,从而形成立体的中信银行ODS 项目架构方法。
逻辑(应用)架构:就是中信银行ODS 项目承载的应用体系,它描述了总行内部、分行内部以
及总分行之间所要实现的应用需求,以及支撑这些应用需求所必须的公共模块,如调度、监
控与元数据管理等非应用组件。
数据架构承载了支撑应用架构所必须的业务实体关系的分布,它通过数据模型的方式进行组
织,主要分为管道层数据模型、清洗与转换层数据模型、原始层数据模型、逻辑数据模型与
中信银行ODS 项目-技术方案
第19 页,共281 页
分析数据模型等五个层次。
管道层数据模型就是为ETL 的数据获取步骤服务的数据模型。
管道
层数据模型中只存储每次数据抽取增量的数据,在数据抽取任务开始之前要清空管道层数据
模型中的表;清洗与转换层数据模型也就是为ETL 服务的,就是ETL 在过滤、清洗、转换与装
载步骤的数据模型;原始层数据模型就是数据架构中一个有益的补充,就是形态介于数据源与逻
辑数据模型之间的一个数据模型;逻辑数据模型就是ODS 项目的核心。
逻辑数据模型主题域(Subject Area)的数据主要由原子数据粒度的数据构成;分析数据模型用来存储根据需要从
基础数据层整合形成类似数据仓库拉链表的整合数据,以及加工汇总形成的指标数据。
技术架构,就是用于支撑ODS 项目的数据分布与流动的技术框架,用到的技术有数据仓库技术、
数据库技术、ETL 技术、多维计算技术、数据展现技术等多种技术。
从支撑ODS 项目中数
据分布分层的角度瞧,从源系统到最终应用最需要关注的技术框架包含三部分,第一个就是ETL
技术框架,第二个就是指标技术框架,第三个就是数据展现技术框架。
这三类技术框分别就是对三
类主要数据需求的支撑,共同特点就是,将三类需求均视为可复用的资源进行管理与配置。
作为最底层的物理架构,就是对中信银行总行与分行物理设备与网络的合理规划部署,它通过
有效地利用硬件与网络,并能够添加硬件设备进行扩展为上层架构(技术架构、数据架构、
逻辑架构)提供支撑能力。
逻辑架构
数据架构
技术架构
物理架构
图表3 中信银行ODS 项目架构方法立体视图
中信银行ODS 项目-技术方案
第20 页,共281 页
1、3、逻辑架构
中信银行ODS 项目需要提供多层次的信息处理环境,从数据横向流向瞧,建立起“源到数据计算
引擎(ODS)再到目标应用”的三层体系结构。
各交易系统作为源系统,提供企业原汁原味的交易信息。
ODS 作为数据计算引擎互为补充,按照时间窗口与加工深度为不同层次的管理决策应用提供数据加工服务。
各管理系统作为目标应用系统,将交易信息转换成管理分析信息,并以合适的方式展现给最终
用户。
随着中信银行ODS 项目的发展,中信银行ODS 项目并不就是单向流动,而就是一个闭环,没有完全
绝对的源系统与目标系统,也就就是说源系统可能就是目标系统,目标系统也可能就是源系统。
举个例子,
当利率市场化时,对客户的评级可能直接影响贷款系统中的某笔业务的利率,此时源与目标就与原来不一样了。
因此,源系统与目标系统就是相对于某个具体应用而言的。
由于应用千变万化千差万别,这里不对具体应用作阐述。
目标应用既包括基于ODS 数据模型的一些应用,例如操作型报表等,也包括使用ODS 提供的供
数服务的应用,如零售银行报表系统等。
从纵向角度瞧,可分为总行、分行两个层次。
在分行层面,逻辑架构与总行基本相同,不同的就是数据计算引擎的组成。
源系统数据除通过ODS
下发的核心系统数据外,大多依赖于ODS 向分行下发的标准化数据,另外,分行还有一些特色系统数据;根据需要建立数据集市与目标系统,在目标系统中使用通用展现平台实现不同类型报表与展现方式的整合。
为了使总分行的数据形成一体,做到可放可收,还需要一些类似监控与调度的公共服务功能。
任务调度:对ETL 任务及子任务实现统一的调度服务、应用负载功能。
安全服务:提供用户的安全访问控制,包括ODS 系统资源与数据资源。
统一用户管理:实现时基于统一用户认证与管理,基于LDAP 服务的同意权限管理,提供统
一的认证与授权。
监控管理:提供对各种任务、资源的集中监控与管理,在监控功能实现上,需考虑总分行计
算引擎的集中监控功能的实现。
中信银行ODS 项目-技术方案
第21 页,共281 页
对公
信贷
对私
信贷
信用卡
核心
业务
第三方
存管
中间业
务平台
网上
银行
基金
代销
Call
Center
系统管理ETL服务与管理元数据管理数据质量管理安全管理加工汇总
数据集市
文件
传输ETL
ETL
数据
分发
应用
数据区
ET
L
数据源
Hyperion Cognos
报表
工具
通用展
现平台
权限
管理
报表
管理
数据
补录
应用
展现
应用系统(零售报表\风险资产计量)
分行特
色业务
分行特
色业务
分行特色数据源
数据区
报表
工具
通用展
现平台
应用
展现
ETL
数据服务
数据分发
特色
数据
(当天)
总行分
发数据
(当天)
文件
传输
分行基础数据区
数据区
分行MIS系统开发框架(规范)
ETL
分行通用MIS平台
数据服务
ALM 财务管理绩效考核
原有
目标
系统
源数据
分发
数据
全行基础数据
总行数据区
功能区
分行通用报表
图表4 逻辑架构图
1、4、数据架构
1、4、1、数据架构ODS 的数据架构如下图所示:
中信银行ODS 项目-技术方案
第22 页,共281 页
加工
图表5 数据架构图
1、4、
2、指标
为提高应用系统的处理效率,缩短系统开发周期,降低系统开发成本。
ODS 为上层应用的共性需
求提供一些指标。
指标就是从基础数据层中抽取数据,按标准的星形模型或雪花模型进行组织。
派生指标则在指标基础上进一步整合、汇总而形成。
派生指标也可以说就是指标经过加减乘除或其她复杂运算而生成的。
各类报表则就是指标、派生指标的展现。
图表6 指标示意图
中信银行ODS 项目-技术方案
第23 页,共281 页
1、4、
2、1、指标服务
提供分析数据层(ADM),即提供指标服务的目的就是:
减少数据落地,减少不必要的大数据量搬迁
加快信息处理速度,提高信息时效性
整合加工功能,减少重复加工
实现指标服务的手段就是:
贴源部署指标加工功能,尽量利用交易系统晚间闲暇时的IT 资源进行指标加工,如源系统条
件不具备,则搬迁基础数据到ODS 进行指标加工,若ODS 不适合加工,则进入目标应用加
工
针对业务主题统一设计的ADM,可按业务主题灵活部署,就是物理上的全行指标数据库
基于指标指标联合服务环境实现不落地的派生计算,对于计算代价低或者使用频率低的派生
指标现用现算,减少海量的指标数据存储
基于ODS 架构,在总分行之间灵活部署指标计算加工功能作业,兼容分行特色的同时,充分
利用总分行IT 资源
中信银行ODS 项目-技术方案
第24 页,共281 页
图表7 指标架构示意图
1、4、
2、2、指标管理
物理指标库:记录分析数据模型的星型模型的结构信息,包含维度表与事实表的表结构信息,
以及表间的相互关系;屏蔽不同分析数据模型的物理存储差异;实现对分析数据模型的业务
语义转换,形成统一的用户容易理解的多维视图;
逻辑指标库:根据具体业务应用,对物理指标库进行重新组织,形成特定的指标视图,实现
指标重用性与应用针对性的完美结合。
逻辑指标库可以认为就是一个或多个物理指标库视图。
将通用展现平台,如本公司公司的RIDE 与指标联合服务环境的结合,打通数据—>指标—>
应用的全过程。
中信银行ODS 项目-技术方案
第25 页,共281 页
1、5、技术架构
为了实现支撑中信整体的逻辑架构与ODS 项目,我们需要技术架构来支撑,以支持数据的存储与
流动,技术架构主体框架包含ETL、指标服务、数据展示三部分组成。
根据这三个不同的组成部分, 我们需要建立:
1、5、1、ETL
所谓的ETL(Extract-Transform-Load,即数据抽取、转换、装载)就就是从数据源抽取出所需的
数据,经过数据清洗,按照预先定义好的模型,将数据加载到数据库中去,主要包括:数据的抽取、
转换、清洗、装载等过程。
ETL 解决的主要问题就是:不同来源数据的异构性与质量问题。
例如:不同业务系统数据模型的差异;业务系统不同时期业务过程的差异;业务系统数据不完备带来的不一致性
等等。
需要注意的就是,ETL 并不就是简单的使用工具,也不就是简单的进行数据的加工运算,如果把ODS
瞧作就是一个人强壮的躯体,那么ETL 就好比就是心脏与血管,负责把最新鲜的血液(数据)输送到全身。
这要求ETL 的开发使用成熟的ETL 工具、遵循完善的过程规划、具有强大的功能、高度的健壮性与自动化程度。
因此,我们需要基于ETL 实施的最佳实践,对ETL 的架构与过程进行规划。
ETL 规划
就是对ETL 的抽象,与ETL 工具与项目无关;ETL 规划就是实践与经验的总结,其目的保证数据架构在具体设计与实现时的高质量、高扩展、高效率与组件化,降低实施风险与维护成本;ETL 规划的核心
就是从组件化的角度出发考虑ETL 的设计与实现,降低与ETL 工具、具体项目之间的耦合度
目前,中信银行使用的ETL 工具就是DataStage EE。
1、5、
2、指标服务
通过ETL 得到的基础数据,需要根据业务规则,进行加工汇总。
指标服务,即根据一定的业务需
求,从基础数据生成加工汇总数据,并为最终用户提供数据利用与展示的过程。
众所周知,ETL 工作
的重点与难点在将数据基础的低粒度的数据到汇总的高粒度的数据与对汇总数据针对不同应用进行加工的过程,指标服务针对的数据对象就是分析数据模型。
中信银行ODS 项目-技术方案
第26 页,共281 页
通过指标服务,可以:
提高数据的复用程度
减少数据的重复存储与传输
减少数据的低层次重复加工
规范化的指标供给与元数据管理
全局性满足大部分统计分析的数据需要
1、5、3、数据展示
数据的标准化、加工与处理,最终就是为了进行展示,数据展示的方式包括:平衡记分卡、OLAP、
仪表盘、固定报表、灵活查询等。
考虑到数据的管理与复用,根据业务需求,通过通用展示平台,如RIDE 把数据展示应用视同可
复用的技术资源封装到不同的逻辑系统中。
使得用户可以根据逻辑系统来访问ODS 的数据,同一个数据对象可以出现在多个逻辑系统中。
1、6、物理架构
中信银行ODS 项目管理从物理架构层次上分为两层:总行级中信银行ODS 项目物理层、分行级
中信银行ODS 项目物理层。
由于中信银行ODS 项目管理需要一些物理设备来部署、处理与完成如产品安装、ETL 服务、监控服务、调度服务等工作,所以中信银行ODS 项目处理流程决定了总行、分行的物理架构。
1、6、1、ODS 总行物理架构
中信银行的核心业务系统与一部分特色数据已经完成数据集中,全行的海量数据需要存储、处理
与挖掘应用。
首先在数据库服务器上对业务数据进行标准化处理,并存放在数据库服务器群集上,采
用了两台AIX 服务器进行ETL 数据加工处理,并用两台PC 服务器作为批量数据分发服务器对目标系统(如零售银行数据集市)提供数数据。
为了更好的调度任务作业,相应的采购了调度服务器与ETL
管理服务器。
中信银行ODS 项目-技术方案
第27 页,共281 页
1、6、
2、ODS 分行物理架构
为了响应各分行的业务需求,需要将总行的ODS 数据与分行数据进行加工处理。
为提高数据处理效率,直接将总行ODS 加工好的基础数据与部分总行统一加工的汇总数据返还给
分行,分行利用文件服务器接收到总行数据后,转载到分行ODS 数据库。
经过ETL 加工后的分行数
据或数据集市将为分行信息消费者提供如报表、MIS 管理等应用服务,为给分行提供更好的信息服务, 单独部署了通用展示与MIS 平台服务器一台,而各分行的业务应用如MIS 等自行选择相应的服务器。
中信银行ODS 项目-技术方案
第28 页,共281 页
2、数据模型设计
数据模型就是一种利用业界认同的数据逻辑表达规则,运用业务知识来表现业务需求的一种数据结
构规则。
它就是根据一般业务知识确定的关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图,用图形化的方法来描述企业信息需求、业务规则、业务政策与业务行为。
与具体的处理无关。
为了简化业务规则的描述方式,有效整合分散于各数据源的信息,更好地为应用集市提供信息,实现
ODS 项目的建设目标,设计出实用的数据模型就是ODS 项目中最关键的基础性工作之一。
2、1、数据模型的设计目标
2、1、1、满足OLAP 分析
本项目的数据模型就是通过多维结构来满足OLAP 分析的,解决如何对大量数据进行快速查询与多
角度展示,以便得出有利于管理决策的信息与知识的问题。
本项目的数据模型通过引入维、维分层与度量等概念,将信息在概念上视为一个立方体。
1、立方体:用三维或更多的维数描述一个对象,每个维彼此垂直。
数据的度量值发生在维的交
叉点上,数据空间的各个部分都有相同的维属性。
2、维:就是人们观察数据的特定角度,就是考虑问题时的一类属性。
属性的集合构成一个维(如时
间维、机构维等)。
3、维分层:同一维度还可以存在细节程度不同的各个描述方面(如时间维可包括年、季度、月
份、旬与日期等)。
4、维属性:维的一个取值,就是数据项在某维中位置的描述(例如“某年某月某日”就是在时间维上
位置的描述)。
5、度量:立方体中的单元格,用以存放数据。
OLAP 的基本多维分析操作有钻取(Roll up,Drill Down)、切片(Slice)、切块(Dice)及旋转
(Pivot)等。
钻取包含向下钻取与向上钻取、上卷操作,钻取的深度与维所划分的层次相对应。
上卷操作
通过维规约,在数据立方体上进行聚集。
下钻操作就是上卷操作的逆操作,由不太详细的数据
到更详细的数据。
中信银行ODS 项目-技术方案
第29 页,共281 页
切片与切块就是在一部分维上选定值后,度量数据在剩余维上的分布。
在多维数据结构中,按
照二维、三维进行切块可得到所需数据。
如在“机构、产品、时间”三维立方体中进行切块与
切片,可得到各城市、各产品的销售情况。
旋转(转轴)就是变换维的方向,即在表格中重新安排维的放置(如行列互换),通过旋转得到
不同视角的数据。
2、1、2、统一业务数据视图,保证数据的一致性
逻辑数据模型(LDM)主题之间的关系将严格保证数据的一致性。
为了提供完整统一的视图,逻
辑数据模型在设计之初,并非就是按数据源来设计的,而就是根据业务对象内在的关系与业务规则来设计的;因此,在保证数据一致性的前提下,必然会导致逻辑数据模型中的一些数据项就是无法从数据源中
获取的,这些数据项就是需要进行补录的。
补录的数据信息也需要按业务规则进行一致性检查,才能成为到ODS 数据库LDM 层的信息。
2、2、数据模型设计方法论
2、2、1、源系统调研方法论
在ODS 项目实施过程中,一项重要的基础工作就就是源系统的调研。
该项工作的好坏,将对ETL
的设计、数据模型的设计、数据质量产生较大的影响;因此,在项目启动之初,就必须对源系统的调
研引起高度重视。
在以往ODS 项目实践过程中,本公司总结了一系列源系统调研的方法,并整理出一些使用的工
作模板。
源系统调研的工作方法可用下图来说明。
图表8 源系统调研方法
中信银行ODS 项目-技术方案
第30 页,共281 页
主要工作内容如下:
2、2、1、1、系统资料调研与分析
搜集系统设计说明书、数据字典等资料,形成系统概述、逻辑模型等文档。
2、2、1、2、系统数据分析说明
通过系统调研与分析,形成系统数据分析说明,包括数据分类、业务特征分析说明、业务评估规
则说明、数据质量评估说明等。
其中,业务特征分析说明用于指导业务特征分析工作,并对逻辑数据
模型进行修改与扩充;数据分类、业务评估规则说明与数据质量评估说明用于指导数据质量评估工作。
2、2、1、
3、业务特征分析
建立数据表与主题之前的对应关系,形成业务特征分析表。
2、2、1、4、数据质量评估。