FusionInsight LibrA技术白皮书

FusionInsight LibrA 技术白皮书

目录

1 FusionInsight LibrA产品简介 (1)

1.1 产品定位 (1)

1.2 应用场景 (2)

1.3 技术特点 (3)

2 FusionInsight LibrA软件架构 (4)

3 FusionInsight LibrA支持平台和技术指标 (6)

3.1 软件要求 (6)

3.2 硬件及本地PC要求 (9)

3.3 技术指标 (11)

4 FusionInsight LibrA核心技术 (12)

4.1 Share-nothing架构 (12)

4.2 数据分布式存储 (13)

4.3 数据分区 (14)

4.4 数据并行导入 (15)

4.5 全并行的数据查询处理 (17)

4.6 向量化执行和行列混合引擎 (18)

4.7 工作负载管理 (21)

4.8 高可靠事务处理 (22)

4.9 线性扩容 (23)

4.10 分析查询HDFS数据 (25)

4.11 三方工具兼容 (27)

4.12 跨集群数据处理 (27)

5 FusionInsight LibrA工具 (29)

5.1 客户端工具 (29)

5.1.1 Data Studio (29)

5.1.2 gsql (30)

5.2 管理、监控工具 (30)

5.3 备份恢复工具 (32)

6 FusionInsight Libra对外接口 (36)

1 FusionInsight LibrA产品简介

1.1 产品定位

1.2 应用场景

1.3 技术特点

1.1 产品定位

FusionInsight LibrA是企业级的大规模并行处理关系型数据库。FusionInsight LibrA采

用MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2

的50次方字节)级别数据量的处理能力。

FusionInsight LibrA在核心技术上跟传统数据库相比有巨大优势，可以解决很多行业用

户的数据处理性能问题，可以为超大规模数据管理提供高性价比的通用计算平台，并

可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统，统一为

上层应用的决策分析等提供服务。

FusionInsight解决方案是华为企业级大数据存储、查询、分析的统一平台，能够帮助企

业快速构建海量数据信息处理系统，通过对海量信息数据进行实时与非实时的分析挖

掘，发现全新价值点和企业商机。

FusionInsight LibrA是FusionInsight解决方案的一个子产品。FusionInsight LibrA在

FusionInsight解决方案中的位置如图1-1所示。

图1-1FusionInsight LibrA在FusionInsight解决方案中的位置

FusionInsight解决方案由4个子产品FusionInsight HD、FusionInsight LibrA、

FusionInsight Miner、FusionInsight Farmer和1个操作运维系统FusionInsight Manager

构成。

●FusionInsight HD：企业级的大数据处理环境，是一个分布式数据处理系统，对外

提供大容量的数据存储、分析查询和实时流式数据处理分析能力。

●FusionInsight LibrA：企业级的大规模并行处理关系型数据库。FusionInsight LibrA

采用MPP(Massive Parallel Processing)架构，支持行存储和列存储，提供

PB(Petabyte，2的50次方字节)级别数据量的处理能力。

●FusionInsight Miner：企业级的数据分析平台，基于华为FusionInsight HD的分布

式存储和并行计算技术，提供从海量数据中挖掘出价值信息的平台。

●FusionInsight Farmer：企业级的大数据应用容器，为企业业务提供统一开发、运行

和管理的平台。

●FusionInsight Manager：企业级大数据的操作运维系统，提供高可靠、安全、容

错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管

理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能。

1.2 应用场景

FusionInsight LibrA面向行业大数据应用，可以适用于以下场景：

●详单查询

具备PB级数据负载能力，通过内存分析技术满足海量数据边入库边查询要求，适

用于安全、电信、金融、物联网等行业的详单查询业务。

●数据仓库

具备百TB级数据支撑能力，可以高效处理百亿行多表连接查询，适用于操作数

据存储ODS（Operational Data Store）、数据仓库EDW（Enterprise Data

Warehouse）、数据集市DM（Data Mart）。

●混合负载

基于海量数据查询统计分析能力与事务处理能力，行列混存技术同时满足联机事

务处理OLTP（On-Line Transaction Processing）与联机分析处理OLAP（Online

Analytical Processing）混合负载场景。

●大数据分析

支持结构化数据PB级分析能力。分布式并行数据库集群满足PB级结构化大数据

的分析能力。

1.3 技术特点

华为FusionInsight LibrA具有如下技术特点：

●低成本

−基于分布式x86架构，客户硬件投资成本低。

−支持标准的SQL92/SQL2003规范，支持客户应用系统平滑迁移。

●高性能

通过列存储、向量化执行引擎、分布式查询处理等关键技术，实现百亿数据量查

询秒级响应。

●支持海量数据

−集群最大可扩展至256个节点，支撑PB级数据管理能力。

−集群规模按用户需求弹性伸缩，扩展业务不中断，减少用户投资成本。