经分数据模型层级
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目标：在现有数据模型的基础上，完善数据模型，明确数据模型对 3G 、固网、融合业 务的支撑，加强数据约束
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
生产系统
3
Fra Baidu bibliotek 数据分层架构-Modified
分层特征
报表 KPI 指标 焦点 应用 集市 应用 ……
业 务 应 用 数 据 集 市
在线存储周期 （省分参考）
支撑应
数据集市 (DM)
面向经分应用构建数据模型 具有独立的存储区域，支撑经分应用开发 固化成熟经分应用数据模型 部门和地市级数据集市 数据获取时间间隔：天/月 统一数据模型，按分析主题域划分 数据按分析主题域进行多维度汇总 扩展核心业务实体的衍生信息，如客户视 图、产品视图、渠道视图、流失预测等 统一数据标准（维度/指标） 轻度汇总数据的长期存储，满足用户粒度 的查询需要 数据获取时间间隔：天/月 明细数据，与ODS粒度相同 统一数据模型 统一数据标准（维度/指标等） 明细数据的长期存储，满足最细粒度的查 询需要 数据获取时间间隔：天/月 数据整合：统一数据模型、统一数据标准 、统一数据视图 数据共享：统一准实时共享数据接口、对 外数据提供 数据质量：数据稽核、质量管控 数据获取时间间隔：准实时/天/月 与业务系统保持一致 临时存储从源系统抽取的数据
支撑DM数据 支撑业务人员 作为焦点应用 支撑趋势分析 支撑深度数据 分析 与源系统的业
ODS
明细 数据层 (DWD)
客户资料永久 详单24+1个月 其它36+1个月
支撑DW 的轻 支撑专业人员 作为焦点应用 支撑趋势分析 支撑深度数据 分析
STAGE
ETL
ETL
CRM
PRM
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
1
（二）数据模型完善2-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
目标：在现有数据模型的基础上，完善数据模型，明确数据模型对 3G 、固网、融合业 务的支撑，加强数据约束
事件 主题域
ODS和DW构成企业级数据仓库核心数据存储中心， 形成企业级统一分析数据模型；与DM一起构成完整的企业分析数 据环境； 轻度汇总层-汇总数据按照应用主题划分，对明细数据层数据和衍生数据进行轻度多维汇总，支撑数据集市-多维应用数 据的生成； 数据集市面向数据应用需求，综合考虑应用访问效率、数据安全及应用访问对象等多种因素建模；
多维应用数据 数据集市 (DM) 发展类 收入类 使用类 服务类 结算类 财务类 汇总数据 轻度汇总层 (DWA) 发展类 服务类 明细数据层 客户 (DWD) 主题域 客户 主题域 使用类 财务类
计费/帐务 主题域
指标库 KPI指标 上报指标
报表数据 本地报表数据 集团报表数据 衍生数据
数据集市 地市数据集市 部门数据集市
信 息 DW 层
收入类 结算类
市场营销 主题域
客户视图 产品视图
渠道 主题域 网络/资源 主题域
客户分群 渠道视图
合作伙伴 主题域
流失预测 ……
企业管理 主题域 事件 主题域
产品/服务 主题域
ODS
产品/服务 计费/帐务 市场营销 主题域 主题域 主题域
渠道 主题域
网络/资源 合作伙伴 企业管理 主题域 主题域 主题域
Billing
OCS
ODS 源 系 统 STAGE
综合缴费 客服 卡系统 系统
集成定单 服务开 管理系统 通系统
客户资料永久 详单1～3个月（ 如果承担详单查询 ,则需6个月） 其他12+1月 日：7+1日 月：1+1月
支撑DW 的明 支撑准实时的 与统计 支撑跨系统数 算
…….
数据架构—数据分层说明-Modified
经营分析系统数据模型层级
2009年12月
（二）数据模型完善1-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
目标：在现有数据模型的基础上，完善数据模型，明确数据模型对 3G 、固网、融合业 务的支撑，加强数据约束
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS STAGE 生产系统
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
生产系统
2
（二）数据模型完善3-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
同应用生命周期
支持 KPI （如 月报）、省分 、多维分析等经 支撑部门和地 需求
DM
ETL
DW DWA DWD
ETL 数 据 仓 库 运营 数据 存储 数据 接口
综合结 算系统
轻度 汇总层 (DWA) DW
月 、 年 汇 总 5 年 ，超期离线存储 日汇总36+1个月 衍生数据12+1个 月
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
生产系统
3
Fra Baidu bibliotek 数据分层架构-Modified
分层特征
报表 KPI 指标 焦点 应用 集市 应用 ……
业 务 应 用 数 据 集 市
在线存储周期 （省分参考）
支撑应
数据集市 (DM)
面向经分应用构建数据模型 具有独立的存储区域，支撑经分应用开发 固化成熟经分应用数据模型 部门和地市级数据集市 数据获取时间间隔：天/月 统一数据模型，按分析主题域划分 数据按分析主题域进行多维度汇总 扩展核心业务实体的衍生信息，如客户视 图、产品视图、渠道视图、流失预测等 统一数据标准（维度/指标） 轻度汇总数据的长期存储，满足用户粒度 的查询需要 数据获取时间间隔：天/月 明细数据，与ODS粒度相同 统一数据模型 统一数据标准（维度/指标等） 明细数据的长期存储，满足最细粒度的查 询需要 数据获取时间间隔：天/月 数据整合：统一数据模型、统一数据标准 、统一数据视图 数据共享：统一准实时共享数据接口、对 外数据提供 数据质量：数据稽核、质量管控 数据获取时间间隔：准实时/天/月 与业务系统保持一致 临时存储从源系统抽取的数据
支撑DM数据 支撑业务人员 作为焦点应用 支撑趋势分析 支撑深度数据 分析 与源系统的业
ODS
明细 数据层 (DWD)
客户资料永久 详单24+1个月 其它36+1个月
支撑DW 的轻 支撑专业人员 作为焦点应用 支撑趋势分析 支撑深度数据 分析
STAGE
ETL
ETL
CRM
PRM
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
1
（二）数据模型完善2-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
目标：在现有数据模型的基础上，完善数据模型，明确数据模型对 3G 、固网、融合业 务的支撑，加强数据约束
事件 主题域
ODS和DW构成企业级数据仓库核心数据存储中心， 形成企业级统一分析数据模型；与DM一起构成完整的企业分析数 据环境； 轻度汇总层-汇总数据按照应用主题划分，对明细数据层数据和衍生数据进行轻度多维汇总，支撑数据集市-多维应用数 据的生成； 数据集市面向数据应用需求，综合考虑应用访问效率、数据安全及应用访问对象等多种因素建模；
多维应用数据 数据集市 (DM) 发展类 收入类 使用类 服务类 结算类 财务类 汇总数据 轻度汇总层 (DWA) 发展类 服务类 明细数据层 客户 (DWD) 主题域 客户 主题域 使用类 财务类
计费/帐务 主题域
指标库 KPI指标 上报指标
报表数据 本地报表数据 集团报表数据 衍生数据
数据集市 地市数据集市 部门数据集市
信 息 DW 层
收入类 结算类
市场营销 主题域
客户视图 产品视图
渠道 主题域 网络/资源 主题域
客户分群 渠道视图
合作伙伴 主题域
流失预测 ……
企业管理 主题域 事件 主题域
产品/服务 主题域
ODS
产品/服务 计费/帐务 市场营销 主题域 主题域 主题域
渠道 主题域
网络/资源 合作伙伴 企业管理 主题域 主题域 主题域
Billing
OCS
ODS 源 系 统 STAGE
综合缴费 客服 卡系统 系统
集成定单 服务开 管理系统 通系统
客户资料永久 详单1～3个月（ 如果承担详单查询 ,则需6个月） 其他12+1月 日：7+1日 月：1+1月
支撑DW 的明 支撑准实时的 与统计 支撑跨系统数 算
…….
数据架构—数据分层说明-Modified
经营分析系统数据模型层级
2009年12月
（二）数据模型完善1-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
目标：在现有数据模型的基础上，完善数据模型，明确数据模型对 3G 、固网、融合业 务的支撑，加强数据约束
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS STAGE 生产系统
现有数据模型层级 专题规划中数据模型层级 DM DWA DW DWD EDW ODS
DM
MID
数据集市 轻度汇总层 明细数据层 运营数据存储
ODS/DWD STAGE 生产系统
生产系统
2
（二）数据模型完善3-Modified
修订目标
规划：将ODS与DWD分离，明确ODS为生产系统模型，统一各数据源数据口径
同应用生命周期
支持 KPI （如 月报）、省分 、多维分析等经 支撑部门和地 需求
DM
ETL
DW DWA DWD
ETL 数 据 仓 库 运营 数据 存储 数据 接口
综合结 算系统
轻度 汇总层 (DWA) DW
月 、 年 汇 总 5 年 ，超期离线存储 日汇总36+1个月 衍生数据12+1个 月