中国联通经营分析系统 数据模型培训

DW层 √ 扩展BSS核心业务实体（个人客户、集团客户、订购实例、 产品、渠道等）的衍生信息（行为、扩展属性） √ 数据预处理，提高性能 √ 支撑专题分析和数据挖掘 √ 同CRM、Billing互动，形成闭环 √ 按主题（实体）组织
√ 反范式设计（宽表、冗余、派生、标志位前移）
数据存储粒度 √ 对客户、订购实例、渠道、产品等数据的轻度加工
数据存储周期 √ 长期保留
模型增加原则
√ √
核心业务实体的把握 表名以DW_实体名_XXX，XXX重新进行命名
注意 √
9
DM层说明
作用
主题 数据模型
DM层 √ 面向分析类应用（报表、OLAP、KPI、专题等）所构建的数 据存储 √ 为主题分析提供数据 √ 为报表和指标体系提供数据支撑 √ 支持专题分析（注：根据专题所需数据粒度的不同，可以 分别来自DW层和轻度综合层。） √ 按分析类应用主题组织
ETL：GROUP
⑥
ETL：TRANSFORM2 ⑤
ETL：TRANSFORM1 ④
ETL：LOAD
③
crm-
prm-
set-
bill- cdr-
file
file
file
file file
ETL：FTP
②
源系统
crm-
prm-
file
file
set-
bill- cdr-
file
file file
ETL：EXP
至经营分析系统。 ✓ 判定文件完成情况，有双方约定来确定。 ✓ 可以设定是否进行文件合法性校验 ✓ 将ETL转变为ELT，完成生产系统的数据加载至经营分析系统STAGE
层，为后续的数据处理做准备。 ✓ 完成编码统一转换。 ✓ 完成数据模型转换。 ✓ 适度的数据冗余（打上一些标签等）
✓ 核心业务实体的行为属性扩展处理。
①
CRM
PRM
Settle ment
Billin g
。。。
4
数据架构细分
指标数据
本地KPI指标 集团KPI指标
报表数据
本地报表数据
指标库
DM
发展类
集团报表数据
中度汇总
使用类
收入类
服务类
OLAP数据
CUBE数据
结算类 财务类
数据集市
专题数据集市 地市数据集市 部门数据集市
汇总数据
轻度汇总层 业务使用 (DWA)
说明
✓ 由相应的业务源系统将数据卸载成相应的文本文件，存放相应的临时 文件存储区。
✓ 文件格式和约定遵从双方约定的规则。 ✓ 对于BILLING系统的二批话单，入库时将文件放在一个目录下，有经
营分析系统去取，然后加载至STAGE层，并调用后续的数据处理过程。 ✓ 有经营分析系统到业务系统制定的文件存储目录，将相应的文件FTP
√ 数据类型转化（VARCHAR、DATE）
注意 √ 增量/全量方式
7
DWD层说明
DWD层
作用
√ 提供BSS系统细节数据的长期沉淀 √ 为未来分析类需求的扩展提供历史数据支撑 √ 支撑轻度综合层数据生成
主题 √ 按EDM模型组织 数据模型 √ 3NF,与企业级数据模型一致
数据存储粒度 √ 存储详单、客户在、帐务资料等细节数据的原始粒度
√ 多维模型（维度、粒度选择）
数据存储粒度 √ 中度、高度汇总数据
数据存储周期 √ 视应用需求而定
模型增加原则
√ √
需求归并、性能考虑、分表策略选择 表名以DM_实体名_XXX，XXX重新进行命名。REP_XXX
注意
√ 需求梳理、归并和控制，性能考虑和分表策略选择
10
ETL说明
①ETL：EXP
②ETL：FTP ③ETL：LOAD ④ETL：TRANSFORM1 ⑤ETL：TRANSFORM2 ⑥ETL：GROUP
✓ 将数据转化为按照星型模型组织的数据。
11
提纲
体系架构 数据模型介绍 数据处理流程介绍 关键指标统计口径 主要维表编码说明
12
提纲
数据模型介绍 域划分 DWD层 DW层 DM层
13
数据模型域划分（DWD/DW）
提纲
数据模型介绍 域划分 DWD层 DW层 DM层
15
DWD客户域
✓ 客户信息 ✓ 客户关系 ✓ 客户评价 ✓ 客户服务 ✓ 竞争对手
中国联通经营分析系统 数据模型培训
路漫漫其悠远
少壮不努力，老大徒悲伤
提纲
体系架构 数据模型介绍 数据处理流程介绍 关键指标统计口径 主要维表编码说明
2
提纲
体系架构 整体介绍 分层说明 ETL说明
3
体系架构
前端应用
报表展现
即席查询 主题分析 专题分析
DSS应用
数据仓库
DM DW DWD STAGE
数据存储周期
√ √
长期保留，大于12个月 详单类数据单独考虑
√ 统一数据字典（表名、字段名、数据类型、域等） 模型增加原则 √ 表名以DWD_XXX，XXX重新进行命名，代表明确的业务意义
（特殊的DIM、CFG、MON等）
注意 √ 编码转换、单位统一、相同含义的字段名称统一
8
DW层说明
作用
主题 数据模型
不跨域的到 USER_ID的轻 度汇总，提高 性能
形成统一客户、 统一产品、统 一渠道的360 度视图，支持 深层分析
明细级数据， EDM落地，关 键统计口径下 移
和生产系统一 致
数据源情况说明
数据库 系统
Oracle
√ CRM（CRM1、CRM2） √ 帐务 √ 计费 √ 结算 √ PRM √ 结算
数据源
6
STG层说明
作用
主题 数据模型
STAGE层
√ 提供业务系统数据文件的临时存储 √ 数据稽核、数据质量保证 √ 屏蔽对业务系统的干扰 √ 屏蔽数据源的差异
√ 按照业务系统的数据模型组织 √ 与业务系统一致
数据存储粒度 √ 存储详单、客户、帐务资料等细节数据的原始粒度
数据存储周期 √ 临时性
√ 与生产系统表结构一致 模型增加原则 √ 表名以STG_XXX，XXX重新进行命名
客户信息
客户关系
客户评价
客户服务
竞争对手
DWD产品域
✓ 业务 ✓ 产品 ✓ 订购实例 ✓ 活动和活动订购
业务
产品
订购实例
活动和活动订购
DWD帐务域
✓ 缴费 ✓ 帐务 ✓ 优惠 ✓ 储值方式
缴费
帐务
优惠
储值方式
帐务
结算
ቤተ መጻሕፍቲ ባይዱDW
资源
客服
营销
客户视图
衍生数据
产品视图
渠道视图
合作伙伴视图 资源视图
……
明细数据层 (DWD)
客户域
产品域
帐务域 市场营销域 资源域 业务使用域合作伙伴域 客服域 地域域
STG CRM1 Billing PRM
SETT
客服
炫铃平台
中央音乐 平台
WAP网关
。。。
直接支持不同 应用
不跨域的、不 保留USER_ID 的汇总，常用 维度、指标支 持