某省电信企业级大数据中心整体规划v4.0
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
开发工具
• 提供了可视化组件，已经支撑业管、电金、新媒体3个部门以及乐山分公司的 数据应用，以及资阳、眉山分公司的应用推广
资产视图 模型设计
资产目录
问题总结
数据中心能力待改进需求总结
平台架构
1、需要完善本地网的应用支撑 2、可视化管理、跨集群数据交换能力不足 3、集中运维、自动化运维能力不足 4、hadoop组件开源开发能力不足
喜 转 盘
喜 传 单
喜 刷 街
智 慧 精 选
城市经济地图
城
商
全
交
市
业
域
通
规
选
旅
治
天盾 反 欺诈
信 用 分
金 融 验 真
划
址
游
堵
喜® （拓客）
慧® （洞察）
信®（风控）
对外：需求驱动“价值运营”
能力 中台
应用服务接口：提供用户画像、推荐触达、行业洞察、风险防控等6大类288个服务接口，月均调用超1.47亿次。
数据开发
1、开发流程管控能力有待提升 2、数据开发支撑工具还需补充 3、开发工具的易用性有待提高
数据应用
1、基于数据中心的前端应用缺乏深度 2、缺少数据驱动型产品的支撑 3、资产服务（血缘、运维等）很少引用到前 端应用中
系统运维
1、系统运维智慧化程度不足 2、缺乏基础平台运维监控能力
数据安全
1、数据安全体系持续完善中
Netflix 通过AWS构建数据湖总体架构
应用场景
S3作为数据湖可以针对不同的工作负载弹性配置多个Hadoop集群
阿里巴巴与数据中台 构建数据中台，赋能前端业务
阿里数据中台，基于数据驱动的理念统筹设计，融合全域数据并按垂直业务类型进行划分，完成服务化封装。各业务前端根据商 业诉求，弹性调用封装后的数据能力，快速响应市场变化，快速创新
平台能力：企业级大数据平台规模达到1400多台， 向各地市各部门开放租户超过100个，大数据应 用上线时间缩短至3天左右。
数据能力：整合B/O/M三域数据资产，日新增 数据140T 600亿+条；数据规模超过5PB，为 集团内数据最多最全的省公司之一。
模型能力：实现建模核心能力自主掌控，构建基 础模型近2000多个。已建成客户标签体系包括习 惯偏好、消费行为等7大类10万+标签。
ZJ移动2018
依托能力中台，凸显大数据价值
按照“能力为根、安全为本、价值为魂”原则，基于企业级大数据平台积极探索集中化数据管理，对内服务精益运营、对外赋能行 业发展，实现价值变现和规模运营。
产品 平台
智慧应用百花齐放：开放用户画像、时机触发、产品推荐等5大 类46个服务接口，年支撑创新场景近30个，月均营销成功用户数 提升1倍。
Catalogue & Search
Security Token Service
IAM
KMS
Encrypted Data
Entitlements &
Access Controls
AWS上的数据湖可以帮助您
1. 收集和存储任何类型的数据，在任何规模，并以低成 本保护数据并防止未经授权的访问目录，搜索，并在 中央存储库中查找相关数据。
数据湖被多个国际组织和企业所采用
Users
Amazon Kinesis
Amazon
Amazon
S3 CollecGt lacier
& Store
API Gateway
UI - Elastic Beanstalk
APIs & UI
Search Index
Metadata Index
AWS Lambda
某省电信企业级大数据中心整体规划
让数据产生美！ Make the Data Wonderful !
目录
行业标杆 规划思路 重点措施 回顾总结
亚马逊与数据湖 AWS在云上为企业构建数据湖提供服务
数据湖（Data Lake）的概念在2011年提出后 被Gartner、哈佛大学等国际组织和学校发扬光 大，并被国内外的多个企业如IBM、EMC、普华 永道等所采用并实践；
线 下
摆摊精灵 （驻点直销）
零 售
人气精灵 （潜/熟客）
效
选址精灵
能
（加盟厅）
线 上
咪咕爱看 视频推荐
千 人
Байду номын сангаас
手机营业厅 福利社
千
地市官微
面
微服务
对内：数据驱动“智慧运营”
商用产品全线拓展：拓客类产品业务布局初步成型，意向客户超70家；客流、选址等洞察类拳头 产品收入突破千万；信用分创新风控类产品已应用于欠费免停机场景，单客户ARPU可提升1.64 元
目录
行业标杆 规划思路 重点措施 回顾总结
现状分析
数据中心建设现状
基于HADOOP架构，建设形成具备6大能力的大数据中心平台，有效支撑企业重点业务应用。
平台架构
• 完成平台扩容，搭建了研发和生产环境分离的大数据基础平台，实现以租户形 式提供存储和计算资源。
数据汇聚
• 有序推进BOM域数据整合，已汇聚IT、网络、平台共39个系统约2.2P的数据
2. 快速轻松地执行新类型的数据分析 3. 使用广泛的分析引擎进行临时分析，实时流，预测分
析，人工智能（AI）和机器学习
亚马逊与数据湖 Netflix（AWS构建数据湖案例)
全球领先的互联网在线影视服务供应商，在美国有超过3千万的订阅用户。 AWS的通过云计算、数据湖吸引和支撑了Netflix 这样规模的客户。
规划思路
优化数据中心资产能力，深化赋能型企业中台建设
借鉴AWS数据湖理念和阿里、移动公司数据中台建设经验，结合现状，进一步深化企业数据中台建设，为生产、营
销、管理、运营类数据需求提供全方位的能力支撑。
基础架构
数据湖：扩展数据汇聚能力，快速满足分析型、探索型、挖掘型业务需求
MPP架构：引入MPP架构，优化本地网及各部门数据应用支撑能力
数据汇聚
1、数据采集汇聚效率不足 2、数据采集范围尚未覆盖企业级整体数据 3、不同种类的数据存放仍需规范化 4、源系统接口不规范，数据采集不稳定
数据处理
1、实时、准实时数据处理支撑能力不足 2、数据处理的效率有待提升
数据治理
1、数据资产可视化程度偏低 2、缺少数据资产面向企业的服务能力 3、数据质量管理仍有很大的提升空间
数据管理
• 构建数据资产地图，支撑数据资产的量化、可视化运营管理，模型注册和数据 处理的配置化管理，实现从数据管理到数据资产管理的提升。
安全管理
• 提供实时/离线加密服务，形成了加解密算法库。
数据服务
• 提供标准化数据服务的统一开放共享。
平台运维
• 搭建了统一的数据中心运维平台，实现了跨系统运维资源的整合
• 提供了可视化组件，已经支撑业管、电金、新媒体3个部门以及乐山分公司的 数据应用，以及资阳、眉山分公司的应用推广
资产视图 模型设计
资产目录
问题总结
数据中心能力待改进需求总结
平台架构
1、需要完善本地网的应用支撑 2、可视化管理、跨集群数据交换能力不足 3、集中运维、自动化运维能力不足 4、hadoop组件开源开发能力不足
喜 转 盘
喜 传 单
喜 刷 街
智 慧 精 选
城市经济地图
城
商
全
交
市
业
域
通
规
选
旅
治
天盾 反 欺诈
信 用 分
金 融 验 真
划
址
游
堵
喜® （拓客）
慧® （洞察）
信®（风控）
对外：需求驱动“价值运营”
能力 中台
应用服务接口：提供用户画像、推荐触达、行业洞察、风险防控等6大类288个服务接口，月均调用超1.47亿次。
数据开发
1、开发流程管控能力有待提升 2、数据开发支撑工具还需补充 3、开发工具的易用性有待提高
数据应用
1、基于数据中心的前端应用缺乏深度 2、缺少数据驱动型产品的支撑 3、资产服务（血缘、运维等）很少引用到前 端应用中
系统运维
1、系统运维智慧化程度不足 2、缺乏基础平台运维监控能力
数据安全
1、数据安全体系持续完善中
Netflix 通过AWS构建数据湖总体架构
应用场景
S3作为数据湖可以针对不同的工作负载弹性配置多个Hadoop集群
阿里巴巴与数据中台 构建数据中台，赋能前端业务
阿里数据中台，基于数据驱动的理念统筹设计，融合全域数据并按垂直业务类型进行划分，完成服务化封装。各业务前端根据商 业诉求，弹性调用封装后的数据能力，快速响应市场变化，快速创新
平台能力：企业级大数据平台规模达到1400多台， 向各地市各部门开放租户超过100个，大数据应 用上线时间缩短至3天左右。
数据能力：整合B/O/M三域数据资产，日新增 数据140T 600亿+条；数据规模超过5PB，为 集团内数据最多最全的省公司之一。
模型能力：实现建模核心能力自主掌控，构建基 础模型近2000多个。已建成客户标签体系包括习 惯偏好、消费行为等7大类10万+标签。
ZJ移动2018
依托能力中台，凸显大数据价值
按照“能力为根、安全为本、价值为魂”原则，基于企业级大数据平台积极探索集中化数据管理，对内服务精益运营、对外赋能行 业发展，实现价值变现和规模运营。
产品 平台
智慧应用百花齐放：开放用户画像、时机触发、产品推荐等5大 类46个服务接口，年支撑创新场景近30个，月均营销成功用户数 提升1倍。
Catalogue & Search
Security Token Service
IAM
KMS
Encrypted Data
Entitlements &
Access Controls
AWS上的数据湖可以帮助您
1. 收集和存储任何类型的数据，在任何规模，并以低成 本保护数据并防止未经授权的访问目录，搜索，并在 中央存储库中查找相关数据。
数据湖被多个国际组织和企业所采用
Users
Amazon Kinesis
Amazon
Amazon
S3 CollecGt lacier
& Store
API Gateway
UI - Elastic Beanstalk
APIs & UI
Search Index
Metadata Index
AWS Lambda
某省电信企业级大数据中心整体规划
让数据产生美！ Make the Data Wonderful !
目录
行业标杆 规划思路 重点措施 回顾总结
亚马逊与数据湖 AWS在云上为企业构建数据湖提供服务
数据湖（Data Lake）的概念在2011年提出后 被Gartner、哈佛大学等国际组织和学校发扬光 大，并被国内外的多个企业如IBM、EMC、普华 永道等所采用并实践；
线 下
摆摊精灵 （驻点直销）
零 售
人气精灵 （潜/熟客）
效
选址精灵
能
（加盟厅）
线 上
咪咕爱看 视频推荐
千 人
Байду номын сангаас
手机营业厅 福利社
千
地市官微
面
微服务
对内：数据驱动“智慧运营”
商用产品全线拓展：拓客类产品业务布局初步成型，意向客户超70家；客流、选址等洞察类拳头 产品收入突破千万；信用分创新风控类产品已应用于欠费免停机场景，单客户ARPU可提升1.64 元
目录
行业标杆 规划思路 重点措施 回顾总结
现状分析
数据中心建设现状
基于HADOOP架构，建设形成具备6大能力的大数据中心平台，有效支撑企业重点业务应用。
平台架构
• 完成平台扩容，搭建了研发和生产环境分离的大数据基础平台，实现以租户形 式提供存储和计算资源。
数据汇聚
• 有序推进BOM域数据整合，已汇聚IT、网络、平台共39个系统约2.2P的数据
2. 快速轻松地执行新类型的数据分析 3. 使用广泛的分析引擎进行临时分析，实时流，预测分
析，人工智能（AI）和机器学习
亚马逊与数据湖 Netflix（AWS构建数据湖案例)
全球领先的互联网在线影视服务供应商，在美国有超过3千万的订阅用户。 AWS的通过云计算、数据湖吸引和支撑了Netflix 这样规模的客户。
规划思路
优化数据中心资产能力，深化赋能型企业中台建设
借鉴AWS数据湖理念和阿里、移动公司数据中台建设经验，结合现状，进一步深化企业数据中台建设，为生产、营
销、管理、运营类数据需求提供全方位的能力支撑。
基础架构
数据湖：扩展数据汇聚能力，快速满足分析型、探索型、挖掘型业务需求
MPP架构：引入MPP架构，优化本地网及各部门数据应用支撑能力
数据汇聚
1、数据采集汇聚效率不足 2、数据采集范围尚未覆盖企业级整体数据 3、不同种类的数据存放仍需规范化 4、源系统接口不规范，数据采集不稳定
数据处理
1、实时、准实时数据处理支撑能力不足 2、数据处理的效率有待提升
数据治理
1、数据资产可视化程度偏低 2、缺少数据资产面向企业的服务能力 3、数据质量管理仍有很大的提升空间
数据管理
• 构建数据资产地图，支撑数据资产的量化、可视化运营管理，模型注册和数据 处理的配置化管理，实现从数据管理到数据资产管理的提升。
安全管理
• 提供实时/离线加密服务，形成了加解密算法库。
数据服务
• 提供标准化数据服务的统一开放共享。
平台运维
• 搭建了统一的数据中心运维平台，实现了跨系统运维资源的整合