基于RDP编码的分布式存储系统磁盘故障修复

基于RDP编码的分布式存储系统磁盘故障修复建立维护可靠的、可扩展、低成本、高性能的分布式存储系统是云计算、大数据以及互联网公司应用后台基础的主要目标。

分布式存储系统拥有着传统集中式存储所无法比拟的优势,然而,由于分布式存储系统组件的不可靠,运行过程中存在着种种异常情况,在各种异常中磁盘故障发生的概率最高,因此如何高效、透明地恢复磁盘故障,重构磁盘数据,是分布式存储系统所面临的重大问题。

在容多错的分布式存储系统中存在着频繁的单节点故障,使得单节点故障数据修复问题成为研究的热点。

基于纠删码的分布式存储系统数据修复在现阶段主要考虑的重要因素之一是从存活磁盘读取的数据量最优,因此本文的研究重点为以下两方面：一、研究分布式存储系统中单节点故障时的磁盘数据修复问题。

通过针对分布式存储系统中存储介质的实际读取特性,设计了一种新型的基于磁盘连续读的故障修复方案。

本文提出的基于连续读的修复方案在保持单磁盘故障修复过程数据量读取量最小的前提下,最大程度维持磁盘访问的连续性,减少磁盘的跳跃性读取,加快单磁盘故障的修复效率。

本文针对RDP编码提出了相应的基于磁盘连续读的单节点故障修复方案,理论和实验均表明,该修复方案可以显著提高单节点故障修复的速率,减少修复时间。

二、设计开发支持纠删码容错存储技术的分布式存储研究平台DSRP,该平台不仅可以类似普通文件系统对文件和目录的进行存取、创建、删除等操作,还能支持各种纠删码编解码容错机制、系统扩容以及系统重复数据删除等功能。

该系统还可以为纠删码故障修复算法、重复数据删除技术以及系统磁盘扩容等算法提供实验验证平台和丰富的数据统计。