广西移动深度运营平台数据建模设计文档

Table of Contents
1数据建模设计介绍 (4)
1.1数据建模设计原则 (4)
1.1.1ODS数据的主要功能模块 (5)
1.1.2ODS数据模型设计原则 (5)
1.1.3ODS数据模型设计步骤 (6)
1.2数据建模命名规范 (6)
1.3简写、缩写规则和简写列表样例 (7)
1.4简写列表样例 (8)
2ODS模型说明 (10)
2.1ODS数据模型 (10)
2.2ODS S UBJECT A REA说明 (10)
2.3ODS数据库表的说明 (11)
2.4ODS数据传输周期 (22)
2.5ODS唯一索引与索引分布情况 (24)
1 数据建模设计介绍
在数据仓库/商业智能的项目中，主要涉及的任务和它们之间的关系如下图所示。

数据建模在其中比较重要，是数据映射、以及以后的ETL 和前端的开发工作的基础。

在这一章就对广西移动深度运营项目中的数据建模设计做一个介绍。

1.1 数据建模设计原则
本项目的系统架构如下图所示，需要本项目数据建模的模块是ods 和Data Mart。

数据模型的设计是一个迭代、调优的过程，是平衡业务需求、已有的数据、系统的性能等因素的过程。

这个过程中采用的一些设计原则，是接下来开展各期项目的一个参考。

Understand Data Understand Analysis Requirement Understand Business Data Profiling Data Modeling Data Mapping Data Cleansing ETL Mapping ETL Build & Deploy Front-End Mapping Front-End Build & Deploy 关注的领域
1.1.1 ODS数据的主要功能模块
ods的数据有不同的功能，因此分为不同的模块。

在本期项目中，ods内部的数据，按照它们的
1.1.2 ODS数据模型设计原则
ODS系统的特征，要求在设计数据模型时，要坚持2个基本的出发点：
1. 面向主题的、集成的、可变的、当前的细节数据集合。

2. 用于支持企业对即时性、操作性、集成的全体信息的需求
ODS的数据特征，要求数据模型坚持如下的2个要点：
1. 在业务系统与数据仓库系统之间形成一个隔离层
2. 转移一部分业务系统细节查询功能
3. 完成数据仓库中不能完成的一些功能
基于以上原则设计的ODS模型，从不同的角度来讲，也有一些缺点：
•对于业务用户来说，这个模型与业务系统的模型差不多
•查询的性能会因为多个join受影响.
•保存周期时间短，不利于历史查询
1.1.3 ODS数据模型设计步骤
ODS数据模型的设计步骤，借鉴数据仓库之父 Bill Inmon的方法。

根据广西移动的具体状况，具体的大步骤有2个。

第一个步骤是建立业务实体之间的关系；第二步是根据ODS的特殊需求，进行调优的过程；具体如下：
•建立描述基本业务关系的ER模型
o根据本期项目范围的数据需要确定主题域.
o在主题域中确定需要的实体.
o确定实体之间的关系
o增加属性.
o确认模型的结构.
o确认模型的内容.
•基于基本的ER模型，根据ODS的特征，增强模型
o分析需求
▪增加需要的数据
▪增加时间因素，确定数据传输周期
▪增加时间因素，确定数据保存周期
▪增加时间因素、确定数据增量全量传输
▪增加导出的数据
▪确定数据的粒度
o系统性能需求
▪汇总数据
▪合并实体
▪如果对一个业务流程总体进行分析，将多个实体字段组合成一个实体
（如Order流程）
▪如果数据量太大，数据分区（如partition）
1.2 数据建模命名规范
数据模型中的对象的命名规范，以SGM已有的规范为标准：
数据模型的对象命名采用英文，基于如下原则：
格式 : XX_NAME_YYY （如无必要，前缀、后缀可无）
XX: 前缀
Name: 有意义的单词或简称
YY: 后缀
数据库表名称采用英文大写，多个单词之间使用下划线连接
字段名称采用英文小写，多个单词之间使用下划线连接
这些对象在以后的项目过程中，可以进一步地丰富和优化。

1.3 简写、缩写规则和简写列表样例
简写、缩写各个系统、项目和个人都不一样。

这里是一个推荐方案，以后的项目过程中，可以进一步地丰富和优化。

模型中的对象可以用英文的全称、简写或缩写。

如果采用简写或缩写时，可以参考下面的规范。

用以下的步骤来生成词汇的简写:
•删除不必要的元音字母
•删除所有不是开头的元音字母
•如果“Y“在一个词的开头或结尾，需保留
•如果“E“在一个词的结尾并使词发音为”s”, 需保留。

例如：piece
•删除不必要的辅音，例如双辅音
•如有可能，把词的前缀和后缀替代掉
简写规则
•在一个业务方面或整个企业中简写尽量保持是唯一的。

来达到这种唯一的目标，建立并维护一个词汇简写清单和它们的定义。

•避免用一个简写来代表两个不同的词汇或两个不同的简写来代表同一个词。

•一些常用的词组可以有简写。

例如：有效日期 "Effective Date" 可以简化为"effdt"。

•企业现有的简写，即使不符合规则也可以使用。

•使用简写的前提是读者可以不用数据字典就能理解。

•当类别词（“name”和“date”）是被用做类别词的时候才可以简化。

当它们用与列名称的其它地方，不需简化。

(举例：name_suffix_txt)。

缩写是在一个企业、行业中能够被普遍理解和接受的。

•缩写绝大多数是从标准的业务或行业的用途中来的。

例如：MBA 是指“Masters of Business Administration”，NYSE 是指“New York Stock Exchange”, ATM
是指“automated teller machine”。

•当缩写比全名用得更广泛的时候，尽量用缩写。

例如：IBM 要比全称International Business Machines用得更为普遍。

•缩写是由业务惯用语中每个重要的词汇的第一个字母组成的。

缩写通常是为组织、产品、业务主题的名字创造的。

例如：IBM
•缩写可能有多种意义。

如果一个缩写有多种涵义，它的定义必须通过上下文来表达清楚。

如果缩写的定义不能从上下文中表达清楚，就不能使用它。

主题和限定词可
以用来组成上下文。

例如：ATM在银行业中指自动取款机，在网络通讯业中指一
种通讯的协议。

用ATM_DEPOSITS_MTD_QTY 要比用
ATM_SALES_MTD_QTY的涵义更为清楚。

1.4 简写列表样例
有2类单词需要简写，一种是经常使用的字段，在ERWin模型中成为Class的那一部分；另一类就是普通的单词。

这2类单词的简写，Ralph Kimball在他的书The Data Warehouse Life Cycle Toolkit 中给出样例列表，推荐使用。

SGM可以基于这个列表，逐渐积累完善成为一个较适用和完备的列表。

普通单词的简写样表：（Ralph Kimball推荐）
2 ODS模型说明
2.1 ODS数据模型
2.2 ODS Subject Area说明
2.3 ODS 数据库表的说明
2.4 ODS 数据传输周期
2.5 ODS 唯一索引与索引分布情况。