如何提高HBase性能

提高HBase 性能使用LSI® Nytro™ WarpDrive® 闪存加速卡
主要结果
LSI 进行的测试表明：部署具备Nytro WarpDrive 卡的HBase BucketCache 功能为HBase 环境带来明显的性能优势。

测试结果中，对于数据统一分布，每秒操作数提高达40 倍，平均延迟降低达17 倍。

Apache HBase™是一种横向扩展分布式数据库，旨在实现不间断实时访问大量非结构化大数据的容错能力。

HBase的可扩展性在于支持包含数十亿行以及数百万列的海量数据库表。

分布数据和延迟
基于Hadoop Distributed File System (HDFS)，HBase用于为服务器集群的分散式HDFS 数据的并行处理提供低延迟随机存取和极其快速的插入和更新的性能。

然而，如果数据集超过可用的DRAM 高速缓存，这种分布式数据可对HBase读访问操作带来明显的性能损失。

挑战在于利用硬盘驱动器（HDD）体系结构有限的读写响应能力来优化低延迟随机及大批量吞吐速率。

满足对HBase的性能需求
为了满足对HBase部署项目的严格性能需求，采用了多种方法，但每种方法都有自己的挑战。

打破成本和复杂性障碍的一个解决方案是采用固态PCIe®闪存存储。

每秒I/O数超过硬盘驱动器200倍的固态存储，SSD为打破HBase系统的性能瓶颈提供了现实的解决方案。

为了利用闪存的高性能，HBase的架构中集成了具备独特BucketCache功能的闪存存储。

BucketCache 为主机内存提供补充缓存，作为从主机DRAM（LRU）缓存退出数据的临时缓存。

一方面增加额外的主机内存有助于提高性能，基于闪存的缓存可成倍提高用于HBase Region Server的DRAM有效容量。

这样能够实现更大的工作集，从而比单独使用DRAM和硬盘驱动器更快地处理更大的数据集。

而增加额外内存的方案的每千兆成本比闪存高出约25 倍，易丢失数据，且显著增加服务器能耗，同时由于Java 缓存管理的低效和管理开销，降低了缓存能力。

LSI Nytro WarpDrive卡性能出众100%读取测试（YCSBC测试）中，闪存缓存证实自身是对HBase 内存结构的重要、经济的补充。

闪存缓存展示出更高的性能，并在保证可接受性能水平情况下增加了可支持数据集的大小。

LSI 和Third Eye Consulting Services & Solutions 联合对采用1.6TB Nytro WarpDrive卡的1.0TB HBase BucketCache系统进行了基准测试，加速采用基于PCIe的闪存加速，测试结果如下：
•每秒操作数最高提高40倍。

•平均延迟降低17倍（统一分布）。

LSI Nytro与HBase：致胜的组合
这些随机读取测试清楚地表明闪存缓存是对HBase内存结构的重要、经济的补充。

HBase BucketCache功能与Nytro WarpDrive卡有助于实现更高的性能，在保证可接受性能水平的情况下增加了数据集的大小。