上海农商银行_ODS_ETL流程设计

上海农商银行ODS项目

ETL流程设计

当前版本：V1.0

版本日期：2010年1月29日

文件信息

文件标题ETL作业流程设计

项目名称上海农商银行ODS系统

项目经理

项目管理阶段

编写人

编写日期2009-11-12

修订记录

日期版本修订描述作者2009-11-12 V0.1 ETL流程设计，细节尚待讨论陈刚

2009-11-21 V0.2 按照实际情况修改部分流程设计陈刚

2009-12-2 V0.2 更新作业样例、SEQ JOB封装、标准化实现、

陈刚

ETL调度策略

2009-12-10 v0.3 更新完善ETL调度架构，设计思路陈刚

2010-01-31 v0.1 更新文档陈刚

目录

1ETL流程 ...................................................................................................................................... 1-4 2ETL作业设计 .............................................................................................................................. 2-5

2.1ETL作业样例 ...................................................................................................................... 2-5

2.1.1ODM->SDM层................................................................................................................ 2-5

2.1.2SDM->FDM层 ................................................................................................................ 2-5

2.2代码标准化 .......................................................................................................................... 2-8 3ETL 加载策略 ............................................................................................................................. 3-9 4ETL调度 .................................................................................................................................... 4-10

4.1调度的组成 ........................................................................................................................ 4-11

4.1.1调度模块.................................................................................................................... 4-11

4.1.2DB2数据表.................................................................................................................... 4-12

4.1.3调度流程.................................................................................................................... 4-15

ETL作业流程设计

1ETL流程

按照目前的规划，ETL流程简单概括如下：

●源头业务系统将数据卸载到文件，通过FTP方式上传至ETL服务器指定目录，供

ETL环节使用

●在拿到数据之后，ETL环节首先检查数据的完整性，确认无误后开始调度相关作业

●数据校验完毕后，对文件内容进行预处理，剔除文件中可能包含的逗号、双引号以

及回车换行等字符

●数据经过ODM(文件)->SDM(DB)->FDM(DB)三层，在相关ETL作业中被转换、

清洗，最终生成目标需要的数据

●在数据进入FDM层后，将向ALM供数，载体为文件

其中：

1.检查数据完整性的部分由shell或C程序完成，当一张目标表对应的所有文件均

确认无误后，开始对文件进行预处理，预处理完毕后，调起相应DS作业

2.ODM->SDM的文件与数据表是一一对应的关系，而SDM->FDM会存在多张SDM表

映射到同一张FDM表的情况，因此需要设置一定的依赖关系。

3.按照FDM的每一张目标表为基准，将所有有依赖关系的作业，配置先后执行的顺

序，即：假设当ODM->SDM的a、b、c三张表的ETL作业完成后，已可满足FDM

中X表取数的需求，针对X表的SDM->FDM作业即开始执行。

4.容错机制，在调度程序执行期间发生了意外错误导致中断，需要人为干预，找到问

题所在并修复后，重新执行调度程序即可，调度程序会根据作业调度表中的作业状

态继续调度过程。

5.FDM数据处理完毕后，即可向ALM供数，此部分相对独立于ODM、SDM、FDM层

之外