数据库开发流程规范

龙信思源（北京）科技有限公司

数据库开发流程规范

文件编号：

1.引言 (1)

1.1.目的 (1)

1.2.范围 (1)

1.3.术语定义................................................................................. 错误！未定义书签。

2.数据库建设 (2)

2.1.需求分析 (2)

2.2.概念模型设计 (3)

2.3. 逻辑模型设计 (4)

2.4. 物理模型设计 (5)

2.5. 数据库实现 (6)

3.ETL流程开发 (6)

3.1.定义映射关系 (6)

3.2.分析数据源质量 (6)

3.3.定义数据转换规则 (6)

3.4.确定技术架构方案 (7)

3.5.ETL开发 (7)

3.6.ETL测试 (7)

3.7.ETL优化 (7)

3.8.ETL迁移部署 (8)

3.9.运维监控 (8)

1.引言

1.1.目的

本文档是为规范数据库开发流程，指导开发人员开发标准化而制定，文档涵盖数据库开发的完整过程，具体实施可以根据文档规范进行适当调整。

1.2.范围

本文档为数据库开发的标准流程规范涉及数据开发的多个环节，包括：

数据库建设

ETL流程开发

数据管理

演示数据库搭建

1.3.业务流程图

需求分析

概念模型设计逻辑模型设计物理模型设计

数据库实现

定义映射关系

分析数据源质

量

定义数据转换

规则

确定技术架构

方案

ETL开发

ETL测试ETL优化

ETL迁移部署运维监控数据梳理数据标准化数据迁移

2.数据库开发阶段

2.1.需求分析

通过会议或者文件的形式与用户、项目经理、售前人员确认业务需求，明确系统建设的范围和边界，包含哪些功能，哪些是重点功能模块，涉及到哪些方面的数据、数据之间的关系、系统的用户量、对安全性的要求等。

2.2.概念模型设计

2.3. 逻辑模型设计

逻辑模型设计的主要内容包括：

1、分析需求，列出需要分析的主题，需求目标、维度指标、维度指标、维度层次、分析的指标、分析的方法、数据的来源、关注的对象等。

2、选择用户感兴趣的数据，通过业务需求将需要分析的指标分离抽取出来，转化成逻辑模型需要的实体。

3、在实体中需要增加时间戳，用于保存实体中各个阶段的历史数据。

4、考虑粒度层次的划分。

2.4. 物理模型设计

物理模型设计的主要内容包括：

1、实体转换为表名。

2、属性名转换为列名，确定列的属性（字段类型）。

3、业务规则的定义，（约束，检查等）。

4、性能考虑，（索引，分区等）。

2.5. 数据库实现

通过物理模型，生成数据库初始化脚本，部署数据库，创建数据库结构。

3.ETL流程开发阶段

3.1.定义映射关系

定义映射关系是首先确定候选数据源，之后通过分析数据源与目标数据库的结构，对数据源中的结构和目标库中的结构进行映射，并将映射关系整理成《数据映射关系表》。

3.2.分析数据源质量

分析数据源质量是对数据源中的数据进行全面的质量分析，分析其中是否包含空数据、噪声数据，数据是否有不一致的情况，根据数据中存在的问题整理《数据质量分析报告》

3.3.定义数据转换规则

根据《数据映射关系表》和《数据质量报告》对数据字段进行转

换规则的设计，用于把数据源中不规范的数据通过一定的策略规则满足目标数据库的要求，并将转换规则补充到《数据映射关系表》。3.4.确定技术架构方案

通过之前的步骤对项目的数据已经有了一定的了解，对转换的难度也有了认识，这里需要针对实际情况来选择一种数据抽取、转换、加载的方式，可以是通过编码来实现，也可以是采用一直ETL工具。

3.5.ETL开发

使用选择的ETL工具，根据《数据映射关系表》设计ETL流程，实现将数据源中的数据加载到数据库中。

3.6.ETL测试

开发完成ETL流程需要对流程进行测试，测试数据是否成功导入，并且数据质量达到预期的要求，在这个步骤中会不断的迭代完善ETL 流程，最终达到预期的目标。

3.7.ETL优化

根据不同的项目要求，可能会对数据的实时性或者采集周期有一定要求，针对这些需求需要对ETL的执行时间进行一定的优化，以达到需求的目标。

3.8.ETL迁移部署

从开发环境到生产环境的部署可能会存在由于环境不同造成的各种问题，在迁移部署过程中需要注意，根据项目需求部署定时任务，并测试可以正常调度。

3.9.运维监控

项目上线后，需要根据需求对ETL流程进行定期的监控，监控ETL 流程是否正常运行，入库数据是否存在异常，是否出现了之前未预料到的数据错误等，针对运维的方案需要编制《系统运维管理手册》。

3.数据管理阶段

3.1.数据梳理

项目完成后，需要梳理项目中的数据，将有价值的数据梳理出来，用于公司的数据资源。

3.2.数据标准化

按照标准增加一致性维度，地区或时间等一致维度，同时维护《数据资源信息表》。

3.3.数据迁移

通过ETL流程将整理出来的数据迁移到中央数据仓库，集中保存管理。