大数据在运营商的应用实践

列存数据库 Gbase/SybaseI Q… 关系型数据库
…
数据 治理
元数 据 数据 质量 生命 周期 ETL 调 度
Spark + Kafka
数据 应用 公共产品
分层 次
行业产品
明细产品
实时产品
Oracle/Mysql/. 内存型数据库 Redis/Voltdb/. NoSQL数据库 MongoDB/Couc hDB/… 分主 题域 客户/产品/资 源…
分布式资源管理平台（Mesos ）
数据 采集
B域
M域
O域
外部数据
物理X86主机资源
云化X86主机资源
云化存储资源池
基 础 安 全
目录
目录
CONTENT
一
二
运营商的大数据架构
大数据核心技术体系
三 运营商的应用与实践
构建 “开源+自主”大数据核心技术体系
p 运营商经过多年的建设，当前技术主要基于“开源+自主”研发结合，利用大数据核心技术， 构建面向业务应用和平台应用的实践；
在线实时查询
Ad-hoc Analysis
型应用
分析应用
和分析
自主大数据核心技术-Hadoop BEH
p 东方国信的Hadoop发行版本，是基于开源版本进行增强，兼容开源版本，能随着开源版本的升级而升级。 商业智能、数据分析& 挖掘、个性化推荐等应用 BEH-Manager (一键式系统部署、机群启停、系统& 作业监控、用户& 权限管 理、SQL 查询、数据表& 索引维护、 多租户资源分组 ) 全覆盖功能与性能基准测试(Big Data Benchmark ) 全文检索系统 HBase (列簇 式NoSQL 数据库) S qoop F lum e 访问控制与权限管理 RPC 调度 SQL 解析& 查询计划 片内二级索引 服务器端聚合 互补聚簇索引 运算 资源分组 S torm (流式数据处理) O ozie (D A G 工作流调度) P ig (高层数据流语言) 大数据应用 版国 增信 强企 业
在线计算
Hbase Impala
内存计算
TIDB/ CockroachDB Codis/Redis
非结构化计算
Elasticsearch
分析挖掘/机器学习计算
Spark MLlib RHadoo p Maho ut
Storm
MapRed uce
Xcloud
Solr/SolrCou d
集群 安全 及集 群服 务
分布式“采集+消息”队列
Logstash Flume+kafka 爬虫(spider) OGG+kafka
Kerbero s
分布式存储
HDFS 3.0 Ceph Kudu Alluxio Zookeepe r
分布式资源调度（主机、CPU、内存）
OpenStack Mesos+ Yarn+slider K8S+Docker
SaaS 层应 用能 力开 放管 理 PaaS 层平 台能 力开 放管 理 IaaS 层基 础能 力开 放管 理
数 据 安 全
k
HBase
IAAS 大数据
基础域
ZooKeepe
MapRedu ce HDFS 分布式文件系统
分平 台
存储/计算/ 服务
数据 整 合 ODS/DWD/D WA
Flume
平 台 安 全
业务应用实践
数据应用 实践 决策应用 实践 营销应用 实践 客服应用 实践 绩效应用 实践 采集分发 实践
平台应用实践（云计算+大数据平台）
整合计算 实践 服务开放 实践 资源调度 实践
Big Data API Manager（能力开放平台）
Spark streami ng
流计算
批量计算
Hive+Te z+LLap Spark SQL
通百度文库应用
行业应用
多租 户能 力开 放域
多租 户管 理
企业 级大 数据 安全 域
应 用 安 全
T-PAAS 技术平台 应用容器云平台 （K8s+Docker）
Hadoop 实时 数据 客户标签 服务 服务
D-PAAS 数据平台
汇总数据 服务 事件通知 服务
大 数 据 平 PAAS 台 域
r
Storm Mahout Spar Hive
Hive (数据仓 库) 行列混 合存储
Mahout (机器学习 算法库)
Zookeeper
YARN
压缩解压缩
批量并行导入 (支持Map /Reduce v 1& v2，Spark ，MPI 等并行计算框架) HDFS (分布式文件存储管理) 高密度计算存储均衡型定制服务器
自主研发
二次研发
开源集成和封装
自主大数据核心技术-Xcloud
p XCloud是面向分析型应用领域，基于SQL on Hadoop，结合行列混合存储技术、大规模并行化计算技
术、组合数据压缩算法及智能索引等技术构建的新型分布式数据库。 海量数据分析
ODS & OLAP Systems
计算密集型
Data Warehouse Data Mart
微服务
平台域(PaaS)
运营
技术域(T-PaaS)
数据域(D-PaaS)
开放 域 (Op en)
安全 域 (Sec urity)
基础域(IaaS) 计算 存储
运营商大数据演进架构-LVL1
大 数 据 SAAS 应 用 域
大数据门户 对内 应用 内部运营平台 传统应用 创新应用 对外 应用 外部运营平台
大数据核心技术 在运营商的应用与实践
目录
目录
CONTENT
一
二
运营商的大数据架构
大数据核心技术体系 运营商的应用与实践
三
运营商大数据架构演进方向分享
p 运营商原有大数据平台分为Iaas/Paas/Saas三层，未来运营商大数据平台将往更深层次方向 演进，主要有如下六个方面的特征；
应用域(SaaS) 1、应用域：逐渐对传统的应用进行拆解 解耦，实现应用微服务化；面向外部百 花齐放的应用，逐渐开放应用能力；面 向大数据应用变现，推进内外应用走向 互联网化的运营方式； 2、数据域：即平台域中的数据平台域， 从传统的采集、整合、服务转向数据资 产化，数据资产化特征：数据资产治理、 数据资产应用、数据资产经营； 3、技术域：即平台域中的技术平台域， 从Hadoop+ Oracle+实时流等的混搭 架构逐渐演变为资源、应用、计算/存储 的平台生态化； 4、基础域：更进一步的去IOE化，X86 及虚拟化基础设施更加弹性化； 5、安 全域：从原来的数据安全走向企业 级的 大数据安全； 6、开放域：面向内部外部用户，在数据 安全的基础上，提供逐层能力开放。