海量数据的分布式并行集群存储技术研究与应用

信息系统工程 │ 2019.2.20

126

INFORMATION TECHNOLOGY 信息化建设

摘要：大数据带来的海量存储压力在不同场景下催生了不同的分布式存储技术，而现代存储技术

正在向分布式、大规模集群化的方向发展。论文介绍了传统的DAS、NAS和SAN存储架构，并指出各种架构的技术优势与不足。论文提出了一种新的分布式并行集群存储架构，详细论述了新的分布式存储架构的技术优势；该项技术已用于实际生产中，并取得了令人满意的效果。

关键词：海量数据；分布式存储；存储架构；并行；集群

一、 前言

高性能存储是海量数据快速运算处理系统的保障。在高速运算时，系统要保障在短时间内对海量数据进行快速读写，否则将形成致命的“读写瓶颈”问题；其次，海量数据在高速交换过程中，系统要保障海量数据的快速读写，否则同样会形成致命的“读写瓶颈”问题；再者，在大规模集群运算中，跨节点的读写与通讯也是常见的存储“瓶颈”问题之一[1-2]。

分布式集群存储系统所具有的高性能技术指标：大容量，达到PB（1000TB）级要求；数据读写速度快，满足大规模多用户同时访问，达到10GB/秒级或更高的读写速度；稳定性高，满足7×24小时（一周7天，每天24小时）的系统无故障需求；安全可靠性高，后台故障盘恢复速度快，达到20分钟/盘或更快；在线扩容，容量的扩展不影响数据使用；系统操作及管理简单化。

二、传统存储系统架构分析

为了达到存储系统的高性能、高指标的要求，存储系统经过了几代产品的更替，其代表产品主要有DAS 架构、NAS 架构、SAN 架构等[3-5]。

（一） DAS 存储架构。DAS(Direct Attached Storage)即直接附加存储，其存储方式与普通的PC 存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部分。

DAS 的存储方式主要适用于小型网络、地理位置分散的网络及特殊应用服务器等环境。在一些特殊应用服务器上，如微软的集群服务器或某些数据库使用的原始分区，均要求存储设备直接连接到应用服务器上。

DAS 是一种低效率的结构，不方便数据保护。直连存储无法共享，也就谈不上分配与使用需求之间的平衡。

DAS 结构下的数据保护流程相对复杂，如果做网络备份，那么每台服务器都必须单独进行备份，而且所有的数据流都要通过网络传输；如果不做网络备份，那么就要为每台服务器都配一套备份软件和磁带设备，备份的复杂度增加。

（二）NAS 存储架构。NAS(Network Attached Storage)即网络附加存储，它全面改进了低效的DAS 存储方式。采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接存储设备，自身形成一个网络。这样数据存储就不再

海量数据的分布式并行集群存储技术研究与应用

张 俊 马迅飞 张进铎 李华松 向光阳

◆　是服务器的附属，而是独立网络节点，可由所有的网络用户共享（图1）。

NAS 采用一个专门用于存储的简化操作系统，通过NFS（Network File System）

或CIFS（Common Internet File 

System）命令集访问数据，以文件为传输协议，通过TCP/IP 实现网络化存储，实现文件的跨平台共享。

NAS 的可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS 文件系统。但NAS 的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

图1 NAS 网络附加存储方式

（三） SAN 存储架构。SAN(Storage Area Network)即存储区域网络。SAN 通过专用交换网络（一般是光纤交换网），将多个存储设备与多台主机连接在一起，任意一台主机通过该网络可访问其中任意一台存储设备。

SAN 具有高带宽、低延迟的优势。但SAN 价格高、可扩展性差，不能实现跨平台的数据共享，不能满足越来越庞大的高性能集群系统的需求。

SAN 由三个部分组成：存储设备，包括磁带、磁盘等；光纤通道网络连接部件，包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI 间的桥接器；应用和管理软件，包括备份软件、存储资源管理软件和存储设备管理软件。

三、分布式并行集群存储

通过分布式操作系统实现集群存储，从硬件到软件都实现了并行化。其存储架构（硬件）和文件系统（软件）都与传统的DAS、NAS 和SAN 存储架构不同。整体结构犹如一列“动车组”，存储容量越大、其性能越强。

（一） 分布式并行文件系统。其中分布式的含义为：文

件、数据被切块分散存储到不同存储节点的每一块硬盘上。

信息系统工程 │ 2019.2.20

127

INFORMATION TECHNOLOGY 信息化建设

并行的含义为：文件、数据的读写过程及运算是由多个节点并行完成的。

在写数据时，将数据切成多个小块，然后并行传输到多个存储机群节点的磁盘上；

在读取数据时，从多块磁盘上同时读取数据不同部分，然后合成为一个数据，这样做的优势是显而易见的。

首先，突破了单块磁盘的物理读写速度，整个系统的读写速度是多块磁盘的聚合读写速度。其次，系统使用的磁盘越多、存储性能越强，且容量越大性能越强（图2）。

图2 分布式集群存储系统示意图

（二）分布式存储架构。分布式存储的架构由三个部分组成:客户端（Client）、对象存储服务器（OST）及元数据服务器（MDS）。三个组成部分除了各自的独特功能外，相互之间共享诸如锁、请求处理、消息传递等模块（图3）。

客户端（Client）通过标准的POSIX 接口向用户提供对文件系统的访问。同OST 进行文件数据的交互，包括文件数据的读写、对象属性的改变等；同MDS 进行元数据的交互，包括目录管理、命名空间管理等。 

对象智能存储服务器（OST）具有一定的智能，有自己的CPU、内存、网络和磁盘系统。OST 提供数据存储、智能分布、数据管理等三个主要功能。

元数据服务器（MDS）负责向客户端提供文件系统的元数据，管理命名空间，维护目录结构、用户权限，维护数据一致性。通过MDS 的文件和目录访问管理，客户端对文件和目录的创建、删除、修改等访问控制。通过MDS 客户端得到数据所在的OST 位置，并与其建立连接，此后的读写操作就在客户端同OST 之间进行。

在多个客户端的情况下，由于有多个OST 存在，上述的工作模式就把对文件系统的访问转换为并行操作，提高系统性能。可配置两个MDS 服务器，其中一个作为备份，两个服务器采用共享方式存放元数据；当某个MDS 出现故障后，备份服务器接管服务，保证系统的正常运行。

图3 并行集群存储技术的基本架构

四、 分布式存储的技术优势

（一）保障系统高度稳定。分离数据和元数据技术，减少元数据操作（文件名的各类操作）与数据读写操作之间的互相干扰，大幅度提高系统的稳定性。

元数据与数据分离后，大量的、频繁的文件目录操作、树组织属性维护、文件操作、日志记录、授权访问等，都是在元数据服务上进行，而这些操作又都是小文件操作，其运行时间短、简单，可大幅度减少对数据服务器的操作与运行，在客观上维护了系统的稳定性。

（二）保障数据高度安全。数据安全是存储的核心问题。磁盘的损坏是客观的、必然发生的，但是，如何在不影响整个系统数据使用的条件下，尽快安全恢复故障盘的数据，是整个系统数据安全的核心[6-7]。

数据冗余与恢复不是对存储的数据进行备份及重新加载，而是把数据和相对应的奇偶校验信息存储到不同的各个

磁盘上，当一个磁盘数据发生损坏后，可以利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据（图4）。

实现少量的冗余（如20%），而对整个数据（100%）进行备份。数据的冗余与恢复过程为：将数据A 分为两部分，一半存储在A1上，一半存储在A2上；计算A1和A2每个位的“异或”结果，并存储在A3上；如果三块盘A1、A2、A3的任何一块盘损坏了，可以通过剩余的两块盘将其损坏的盘恢复出来，实现了50%的磁盘冗余，对100%的数据恢复，但需要运算成本。

系统内置自动故障探测机制，可动态探测故障。一旦硬件发生故障，可快速启动自动数据恢复流程；在恢复过程中无须人员参与，系统完全自动进行；恢复时将数据生成在其它未发生故障的存储空间上。

与传统的RAID 相比，恢复无须加入新硬盘，因此，对硬盘的检查工作要求降低；恢复工作在后台完成，极大降低对应用服务器的影响；数据恢复速度快，恢复一块盘所花费的时间仅为20分钟。

图4 存储过程中的数据冗余与恢复技术

（三）在线扩展与智能平衡。存储的需求区别于常规耗材的需求，以前用过的磁盘存有数据不能随意更换，还要满足如下要求：与后续增加的存储一起继续使用；在存储扩容时，不能停机，即“在线扩展”；平衡使用各个磁盘，避免“热岛”效应。

解决方案为：完全在线扩展，按需增加存储容量和访问带宽，有效降低初期投入成本；智能平衡，支持存储容量在线扩展，动态添加硬盘、动态添加存储服务器，存储即插即用，

扩展效率约 100TB/h，不影响应用的数据访问，帮助用户节