2019年H3C大数据产品技术白皮书

H3C大数据产品技术白皮书

杭州华三通信技术有限公司

2020年7月

目录

1 H3C大数据产品介绍................................................................... 错误!未定义书签。

产品简介........................................................................ 错误!未定义书签。

产品架构........................................................................ 错误!未定义书签。

数据处理 ............................................................................ 错误!未定义书签。

数据分层 ............................................................................ 错误!未定义书签。

产品技术特点............................................................... 错误!未定义书签。

先进的混合计算架构........................................................ 错误!未定义书签。

高性价比的分布式集群................................................... 错误!未定义书签。

云化ETL ................................................................................ 错误!未定义书签。

数据分层和分级存储........................................................ 错误!未定义书签。

数据分析挖掘...................................................................... 错误!未定义书签。

数据服务接口...................................................................... 错误!未定义书签。

可视化运维管理................................................................. 错误!未定义书签。

产品功能简介............................................................... 错误!未定义书签。

管理平面功能：................................................................. 错误!未定义书签。

业务平面功能：................................................................. 错误!未定义书签。

2 DataEngine HDP核心技术......................................................... 错误!未定义书签。

3 DataEngine MPP Cluster核心技术 ......................................... 错误!未定义书签。

MPP + Shared Nothing架构 .................................. 错误!未定义书签。

核心组件........................................................................ 错误!未定义书签。

高可用............................................................................. 错误!未定义书签。

高性能扩展能力 .......................................................... 错误!未定义书签。

高性能数据加载 .......................................................... 错误!未定义书签。

OLAP函数..................................................................... 错误!未定义书签。

行列混合存储............................................................... 错误!未定义书签。

1H3C大数据产品介绍

1.1产品简介

H3C大数据平台采用开源社区Apache 和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C 大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。

1.2产品架构

H3C大数据平台包含4个部分：

第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管