混合云EI解决方案大数据MRS介绍

混合云MRS解决方案FusionInsight介绍

大数据创新焦点转向云服务和融合，提供更加敏捷的云数据湖解决方案

1980年2010年2019+

数据仓库

Data Warehouse

数据湖DataLake

云数据湖Cloud DataLake

数据湖

-------

Data Marts

实时处理

机器学习

数据科学ETL

数据准备BI

报表

机器/深度学习

数据科学

BI

流分析

云数据湖

-------ETL

BI

报表

Data Marts

Data Warehouse

数据类型：关系型、非关系型、

计算资源：云虚机、BMS 、容器，资源快速发放数据存储：对象存储，存算分离

分析引擎：Hadoop, Spark, Flink, Presto, MPP, TensorFlow 数据管理：Atlas, AWS Glue, HUDI, DeltaLake …数据类型：关系型、非关系型

计算资源：物理机

数据存储：HDFS ，存算一体

分析引擎：Hadoop, Spark, Storm…数据类型：关系型

计算资源：物理机数据存储：SAN

分析引擎：Oracle Exadata 、

Teradata

云存储云Hadoop

云数仓

原始数据预清洗数据数据仓库数据集市

统一目录

统一安全

•软硬件统一云化管理，支持一键弹性发放•数据统一目录和安全，支持数据资产化•计算和存储分离，提升资源利用率

面向未来的企业云数据湖参考架构：灵活、融合、开放、多场景、高性能的数据分析平台，一站式解决分析域所有问题

即席查询实时决策

自助BI 数据科学

固定报表

数据湖统一存储

统一存储

统一目录

数据安全

HDFS | 对象元数据授权| 隐私

统一资源调度

开放数据生态工具

批

(批量ETL/ELT)

流/实时（实时ETL ）

微批

（准实时ETL ）

关系型数据日志数据

传感器（IoT ）

外部数据

流/实时分析

高级分析批/交互式分析NoSQL •流处理•内存实时分析

•交互式分析•批处理/加工•

机器学习/AI •

图计算•KV/文档•搜索

•数据集成

•数据开发•数据治理

•数据运营

数据源

虚拟入湖◆更多数据通过实时、虚拟方式入湖，数据

产生即可见、可用

◆数据大集中，开放共享、统一目录管理，

避免跨系统数据搬迁

◆多种工作负载、异构计算资源池，统一调

度，多样性融合分析

◆开放接口，支持开放实时标准，构建丰富

生态，自助式数据开发与分析

◆存储和计算分离，支持更多用户并发和更

大数据量

◆集约建设，一键发放，小时级平台搭建

数据湖

FusionInsight HD大数据平台全面升级为混合云MRS云服务

Manager

精细化监控

大集群管理

日志在线检索

容灾备份

集中告警处理

数据存储

数据管理

融合处理

Hive Spark

批处理

HetuEngine

交互式查询

HBase

实时检索

Elastic

Search

Catalog Security

YARN

Scheduler 调度

数据目录数据安全

OBS/HDFS

TXT | ORC | Parquet | CarbonData

数据存储

流处理

Kafka Redis

Flink

Superior

华为云

HUAWEI Cloud

定期连线

（版本升级、高阶

服务远程运维）

EI高阶服务

混合云大数据服务MRS

华为云Stack

HUAWEI Cloud Stack

MRS

控制面服务申请资源管理租户管理运维监控

集群部署扩容管理补丁&升级

FusionInsight 扎根社区，开放吸收全球智慧，使能千行万业

开放、繁荣、持续发展的大数据社区

…

…

“自主创新作为一种精神是值得鼓励的，

站在人类文明的基础上创新才是正确的”

——任正非2019年社区贡献：

FusionInsight 开放、融合的企业级大数据平台

永远在线

一站式平台可持续演进

易用，低成本

批交互式融合

大数据AI融合

批流融合多模分析多级可靠性保护

容灾、备份

无感知升级

全组件、多集群管理

统一元数据，统一接口

软硬一体化

社区贡献，共同演进

云演进路线

异构基础设施兼容数据接入数据仓库数据智能NoSQL 多模全文检索调度数据管理7200+ 提交者5900万+ 代码更新

1500+企业100+高校100+开源组件