容器化大数据云平台技术架构

容器化大数据云平台技术架构

目录

一、建设背景

二、探索历程

三、平台实践

四、总结与展望

1980-2002萌芽阶段

2003-2006

突破阶段

2006-2009

成熟阶段

2017-2022

爆发阶段

2009-2016

应用阶段

2013:中国

大数据元年

1999

SaaS出现

2006

IaaS/PaaS出现

2014

FaaS出现

2013

CaaS出现

2010:OpenStack(IaaS)

2009:vSphere(IaaS)

2006: AWS(SaaS), Amazon EC2(IaaS), Zimki(PaaS)

1999: Salesforce(SaaS)2016: OpenWhisk (FaaS),Fission(FaaS) 2014: Kubernetes (CaaS), AWS Lambda(FaaS) 2013: Docker (CaaS), Marathon(CaaS) 2012: Oracle Cloud(Iaas/PaaS/SaaS) 2011: CloudFoundry(PaaS)

2009: CDH, Avro, Chukwa 2008: Hive, Pig, ZooKeeper 2007:HBase

2006: Hadoop(HDFS+MapReduce), Solr 2015:Kudu

2014: Spark,Flink

2012: YARN, Impala,Storm

2011: MapR, Hcatalog, HDP, Kafka

2010-11: Crunch, Sqoop, Flume,Oozie

•大数据的目标是充分挖

掘海量数据中的信息，

以发现数据中的价值

•云计算的目标是通过资

源共享的方式更好地调

用、扩展和管理计算和

存储等方面的资源和能

力，以提高资源利用率，

降低企业的IT成本

•云计算可以为大数据平

台的计算和存储提供资

源层的灵活性

•大数据组件部署到云平

台上，作为通用PaaS能

力，为用户带来使用上

的便利和高效

1.1大数据与云计算的发展历程

Tech vendors’ internal development MapReduce, BigTable, GFS, Cassandra

Single vendor platform

Azure, AWS,Google,Databricks

Hadoop ecosystem

Hortonworks, Cloudera, MapR

Big Data 2.0

Big Data 3.0

Specialization

Simplicity

Big Data 1.0

S p e c i a l i z a t i o n

S i m p l i c i t y

A d m i n

Development

美国知名分析机构Wikibon 把大数据技术发展大致分为3个阶段：

Bigdata 1.0:

以海量数据存储、处理为主

平台难以维护，数据开发困难

Bigdata 2.0 :

Hadoop 商业版出现 SQL on Hadoop 逐渐成熟 以批处理、流处理为主

Bigdata 3.0 :

客户需求多元化 技术栈复杂化 ABC 走向融合

1.2技术发展趋势：走向AI+Bigdata+Cloud 融合

通信网络业务平台外部合作伙伴互联网

向下完成5大类、全域数据汇聚

孵化

统一数据模型

向上服务对内生产，同时支撑价值开放运营

数据服务

能力开放

对内应用

对外变现（大数据公司）

技术引领全域贯穿

顶层架构设计资产化管理能力化输出

价值化运营数据中心

•数据应用•

......

能力

•流量查询•

......

计算

•日志解析•

......

存储

•资料数据•

......

IT 系统 中国联通拥有集中的，企业级全域数据的存储中心、计算中心、能力中心和孵化中心

数据规模（PB ）

X86服务器（台）

98.6

108.06

62.3

609765514289

2017年2018年2019年2017年2018年2019年

✧海量的计算能力、存储能力

✧PB 级数据吞吐能力、统一数据服务能力✧企业核心数据资产管理能力

✧助力数字化转型的服务型数据应用✧可价值变现的产品型数据应用

国内领先的大数据平台

生产服务平台（智算）

IaaS

基础设施

PaaS

数据中台

SaaS

应用

开

发测试

数据治理

基于容器云的数据中心操作系统

主机资源存储资源

网络资源

大数据对内应用

大数据对外应用

能力开放平台（智汇）人工智能引擎智见数据服务能力封装/开放

（）（）

业务

空间数据库智图AI 能力空间数

据能力数据能力资源能力