大数据模型构建平台介绍v10
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模型命名自动化
➢ 表、字段自动规范命名，字段词义解析，并能不断积累 完善
模型转换自动化
➢ 逻辑模型设计完成，依据指定模型层次、主题、平台 （DB2及Hadoop）,自动生成物理模型
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
系统架构
服
逻辑模型
务 层
概念模型
准
备
数据调研
数据模型建设方法论
概念模型(二)
• 亚信面向数据数据分析核心主题的划分经过几省经验总结及参照集团规范等划分为用户、账务、业务量、用户 订购、集团客户、数据业务、专题、业务探索等
大数据模型构建平台 BDMP
BDX-SRD-Solution Support Dept. 2015-02
目录|CONTENTS
1
背景
2
Fra Baidu bibliotek
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
背景
内部需求
➢ 模型设计及开发经验丰富，但 缺乏有效载体，经验沉淀不足； ➢ 模型复制难度大，项目实施费 时费力； ➢ 项目实施往往加班加点，人力 资源复用率较低，工作效率不高
数据模型建设方法论
概念模型(一)
• 概念模型的核心模型Level0层级以及其关系的设定 • Level0级的核心是主题的划分以及主题之间的关系的确定 • 亚信面向数据管理核心主题的划分综合业界的八大主题划分，主要包括参与人、服务、资源、收入、财务等等 • 子主题的划分按照对业务系统（例如：Bss、Oss、MSS）的理解划分，例如：客户、集团、用户、账务等等 • 主题的划分以及概念和逻辑模型基本适用于DWD、主要从数据管理方便、数据可更好归类等角度考虑
BDMP 模型设计
DACP 开发维护
数据调研
开发管理
数据初始化 概念模型设计 逻辑模型设计 物理模型设计
数据管理 运行监控 维护管理
……
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
亮点
建模工具IT化
➢ 建模经验得到有效沉淀，有效提升工作效率
模型要素标准化
➢ 构建行业指标库、维度库、规则库等，建立一套标准体 系
Party Managment： 参与方管理
Revenu： 收入
包括现在和未来希望可以维护其 覆盖所有的收入源（预付费/后付
资料的参与方，包括个人客户
费，设备租赁，或者销售），销
（潜在）、集团客户、家庭客户、 售流程，预存，缴费和返还/调账
SP等供应商、员工等等
流程。以及由收入产生的账户、 账务、收入、欠费等等的信息。
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
定位
平台定位 对内
➢ 提升模型建设效率； ➢ 沉淀模型设计经验
对外
➢ 强化模型设计能力； ➢ 提升模型管控效率
与DACP的关系
➢ BDMP侧重于模型架构及设计阶段，DACP侧重于开发及维护； ➢ 模型开发及维护依然借助于DACP，与DACP形成模型全流程管理
。
Service：
.Marketing：
服务
市场
包括产品、规格、策划、服务、 订购实例等电信和其他公司向外 出售的相关信息及服务能力
使用潜在客户与联系人的列表， 覆盖所有的忠诚度，营销活动 和促销流程，以及市场份额
Finance(Cost and Contribute)：财务
是业务的财务透视，包括电信服务 提供商业务的所有成本，这个域与 所有其他的业务域相交，但是限制 自己是成本和赢利能力两个方面的 度量。 。
概念模 型
逻辑 模型
物理模 型
• 数据CRUD模型定义了数据的所有权，规定了各系统对每一类数据 的操作权限（创建、读取、更新和删除）
• 数据分布设计的目的是需要对当前企业内部的系统分布及数据在各 个系统中的分布情况进行调研，掌握目前企业已经具有的数据
• 在数据分布调研过程中，不仅要关注当前系统的情况，还需要关注 系统演化的路线，及对数据分布造成的影响
• 对数据类型进行调研和划分，确认数据的大的分类
数据模型建设阶段
数据分类设计
数据分布调研
数据CRUD调研
基础概念模型
概念模型
逻辑模型
物理模型
概念模型
▪数据仓库的概念模型是联系主观与客观的桥梁，它是一个为一定的目标设计系统、 收集信息而服务的概念性工具，具体到计算机系统设计中，概念模型是客观世界到计 算机世界的一个中间层次。概念模型的作用就是信息世界的一种架构。因此，概念模 型的设计要求创建一种基于对象的，代表实际业务的模型。由于概念模型是面向业务 层面的模型，因此概念模型主要来源于业务和需求。 ▪是一个高层次的数据模型 ▪定义了重要的业务概念和彼此的关系 ▪由核心的数据实体或其集合，以及实体间的业务关系组成 ▪设计时可以采用实体建模法，来保证概念的完整性，以及减少概念的重复
层
基
基础配置信息
础
数据层次配置 分表原则配置
层
主题域配置
物理模型
数据可视化
基础配置信息
数据层次配置 分表原则配置
主题域配置
知识库 模板库
系统 管理
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
方法论-建设步骤
数据分类设 计
数据分布调 研
数据CRUD 调研
基础概念 模型
Resouce ： 资源
电信网络、终端、物品、地域 等等的资源信息
Provision and Activation:供应链
覆盖完整供应链的订单管理和安 装流程。包含了携号转网，故障 管理（与Customer Management共享）和SLA管理。 。
Event： 事件/活动（使用者）
参与方参与电信所有活动所产生的并 且希望保留记录信息，例如： tCDRs, 客户息，以及由此产生的日志、流服 务信水信息等等。
行业需求
➢ 通信行业BI系统进入瓶颈期， 指标杂乱，管理无序，效率低下， 亟需对数据仓库进行重构； ➢ 目前多省已表达出重构需求， 工程量随时可能放大
大市场需求
➢ 亚信战略转型，放眼金融业、 电商、政企等大市场。需求一旦 纷至沓来，我们是否做好了准备？ 我们的“装备”是否先进？
借助本次模型重构的契机，依据模型设计的全流程，推出大数据模型构 建平台（Big Data Modeling Platform，简称BDMP），旨在利用IT化的 手段，沉淀建模经验，提升工作效率，让模型构架更加专业、规范，后期管 控及维护更加方便快捷。BDMP将成为我们在模型建设中的一把“利刃”
➢ 表、字段自动规范命名，字段词义解析，并能不断积累 完善
模型转换自动化
➢ 逻辑模型设计完成，依据指定模型层次、主题、平台 （DB2及Hadoop）,自动生成物理模型
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
系统架构
服
逻辑模型
务 层
概念模型
准
备
数据调研
数据模型建设方法论
概念模型(二)
• 亚信面向数据数据分析核心主题的划分经过几省经验总结及参照集团规范等划分为用户、账务、业务量、用户 订购、集团客户、数据业务、专题、业务探索等
大数据模型构建平台 BDMP
BDX-SRD-Solution Support Dept. 2015-02
目录|CONTENTS
1
背景
2
Fra Baidu bibliotek
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
背景
内部需求
➢ 模型设计及开发经验丰富，但 缺乏有效载体，经验沉淀不足； ➢ 模型复制难度大，项目实施费 时费力； ➢ 项目实施往往加班加点，人力 资源复用率较低，工作效率不高
数据模型建设方法论
概念模型(一)
• 概念模型的核心模型Level0层级以及其关系的设定 • Level0级的核心是主题的划分以及主题之间的关系的确定 • 亚信面向数据管理核心主题的划分综合业界的八大主题划分，主要包括参与人、服务、资源、收入、财务等等 • 子主题的划分按照对业务系统（例如：Bss、Oss、MSS）的理解划分，例如：客户、集团、用户、账务等等 • 主题的划分以及概念和逻辑模型基本适用于DWD、主要从数据管理方便、数据可更好归类等角度考虑
BDMP 模型设计
DACP 开发维护
数据调研
开发管理
数据初始化 概念模型设计 逻辑模型设计 物理模型设计
数据管理 运行监控 维护管理
……
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
亮点
建模工具IT化
➢ 建模经验得到有效沉淀，有效提升工作效率
模型要素标准化
➢ 构建行业指标库、维度库、规则库等，建立一套标准体 系
Party Managment： 参与方管理
Revenu： 收入
包括现在和未来希望可以维护其 覆盖所有的收入源（预付费/后付
资料的参与方，包括个人客户
费，设备租赁，或者销售），销
（潜在）、集团客户、家庭客户、 售流程，预存，缴费和返还/调账
SP等供应商、员工等等
流程。以及由收入产生的账户、 账务、收入、欠费等等的信息。
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
定位
平台定位 对内
➢ 提升模型建设效率； ➢ 沉淀模型设计经验
对外
➢ 强化模型设计能力； ➢ 提升模型管控效率
与DACP的关系
➢ BDMP侧重于模型架构及设计阶段，DACP侧重于开发及维护； ➢ 模型开发及维护依然借助于DACP，与DACP形成模型全流程管理
。
Service：
.Marketing：
服务
市场
包括产品、规格、策划、服务、 订购实例等电信和其他公司向外 出售的相关信息及服务能力
使用潜在客户与联系人的列表， 覆盖所有的忠诚度，营销活动 和促销流程，以及市场份额
Finance(Cost and Contribute)：财务
是业务的财务透视，包括电信服务 提供商业务的所有成本，这个域与 所有其他的业务域相交，但是限制 自己是成本和赢利能力两个方面的 度量。 。
概念模 型
逻辑 模型
物理模 型
• 数据CRUD模型定义了数据的所有权，规定了各系统对每一类数据 的操作权限（创建、读取、更新和删除）
• 数据分布设计的目的是需要对当前企业内部的系统分布及数据在各 个系统中的分布情况进行调研，掌握目前企业已经具有的数据
• 在数据分布调研过程中，不仅要关注当前系统的情况，还需要关注 系统演化的路线，及对数据分布造成的影响
• 对数据类型进行调研和划分，确认数据的大的分类
数据模型建设阶段
数据分类设计
数据分布调研
数据CRUD调研
基础概念模型
概念模型
逻辑模型
物理模型
概念模型
▪数据仓库的概念模型是联系主观与客观的桥梁，它是一个为一定的目标设计系统、 收集信息而服务的概念性工具，具体到计算机系统设计中，概念模型是客观世界到计 算机世界的一个中间层次。概念模型的作用就是信息世界的一种架构。因此，概念模 型的设计要求创建一种基于对象的，代表实际业务的模型。由于概念模型是面向业务 层面的模型，因此概念模型主要来源于业务和需求。 ▪是一个高层次的数据模型 ▪定义了重要的业务概念和彼此的关系 ▪由核心的数据实体或其集合，以及实体间的业务关系组成 ▪设计时可以采用实体建模法，来保证概念的完整性，以及减少概念的重复
层
基
基础配置信息
础
数据层次配置 分表原则配置
层
主题域配置
物理模型
数据可视化
基础配置信息
数据层次配置 分表原则配置
主题域配置
知识库 模板库
系统 管理
目录|CONTENTS
1
背景
2
定位
3
亮点
4
系统架构
5
方法论
6
功能架构
7
开发现状
方法论-建设步骤
数据分类设 计
数据分布调 研
数据CRUD 调研
基础概念 模型
Resouce ： 资源
电信网络、终端、物品、地域 等等的资源信息
Provision and Activation:供应链
覆盖完整供应链的订单管理和安 装流程。包含了携号转网，故障 管理（与Customer Management共享）和SLA管理。 。
Event： 事件/活动（使用者）
参与方参与电信所有活动所产生的并 且希望保留记录信息，例如： tCDRs, 客户息，以及由此产生的日志、流服 务信水信息等等。
行业需求
➢ 通信行业BI系统进入瓶颈期， 指标杂乱，管理无序，效率低下， 亟需对数据仓库进行重构； ➢ 目前多省已表达出重构需求， 工程量随时可能放大
大市场需求
➢ 亚信战略转型，放眼金融业、 电商、政企等大市场。需求一旦 纷至沓来，我们是否做好了准备？ 我们的“装备”是否先进？
借助本次模型重构的契机，依据模型设计的全流程，推出大数据模型构 建平台（Big Data Modeling Platform，简称BDMP），旨在利用IT化的 手段，沉淀建模经验，提升工作效率，让模型构架更加专业、规范，后期管 控及维护更加方便快捷。BDMP将成为我们在模型建设中的一把“利刃”