基于RAID+6编码的分布式存储系统检验盘故障修复算法研究

ｓｔｏｒｅ ｔｈｅ ｄａｔａ ｄｉｓｐｅｒｓｅｄｌｙ，ｗｈｉｃｈ ｃｏｎｔｒｉｂｕｔｅｓ ｔｏ
ｓａｖｉｎｇ ｔｈｅ ｍａｓｓ ｄａｔａ．Ｂｙ ｔｈｉｓ，ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｈａｓ ｔｈｅ ｃａｐａｂｉｌｉｔｙ ｏｆ ｄｉｓａｓｔｅｒ
ｔｏｌｅｒａｎｃｅ，ａｎｄ
ｅｆｆｅｃｔｉｖｅｌｙ．
ｈａｖｅ ｇａｉｎｅｄ ｅｘｐｌｏｓｉｖｅ ｇｒｏｗｔｈ ｉｎ
ｒｅｃｅｎｔ
ｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ ｓａｆｅｌｙ ａｎｄ ｅｆｆｉｃｉｅｎｔｌｙ ｈａｓ ｂｅｃｏｍｅ ｔｈｅ
ａｃａｄｅｍｉａ
ｔｏ
ａｎｄ
ｉｎｄｕｓｔｒｉａｌ
ｆｉｅｌｄ．Ｄｉｓｔｒｉｂｕｔｅｄ
ｓｔｏｒａｇｅ ｓｙｓｔｅｍ
ｅｍｐｌｏｙｓ ｎｅｔｗｏｒｋ ｃｏｎｎｅｃｔｉｏｎｓ
基于ＲＡＩＤ ６理论体系的编码算法：ＲＤＰ编码和ＥＶＥＮＯＤＤ编码。ＲＡＩＤ ６技术
实现了较低冗余较高容错能力、高效的随机数据存取、数据的并行处理及消除对 校验盘的访问瓶颈。ＲＡＩＤ ６技术的良好特性对整个系统性能的提升具有重要意 义。 ２）缩短再生数据在网络中的传输时间。在网络链路状况不可改变的情况下， 只有通过减少数据传输数量来节省修复时间，即减小修复带宽。网络编码思想改 变传统网络节点仅进行数据存储转发的现状，充分利用网络节点的计算编码能 力，中间节点参与编码和解码，提高单位数据的信息量，提高整个网络的吞吐量。 将网络编码思想应用到故障修复领域中，可以减少修复带宽，提高修复效率。 同时，由于单节点故障的概率远大于多个节点同时发生故障的概率，本文主 要研究单节点故障的快速修复问题。传统的单节点故障修复算法仅针对原始数据 盘故障进行修复；对于校验盘修复则需要下载所有原始数据，修复效率较低。 本文针对ＲＤＰ编码和ＥＶＥＮＯＤＤ编码，分别提出对应的校验盘快速修复算
ｅｘｃｅｐｔｉｏｎａｌ ｉｓｓｕｅ．Ａｓ
ａ
ｔｒａｎｓａｃｔｉｏｎ
ｒａｔｈｅｒ ｔｈａｎ ｔｈｅ
ｔｏ
ｒｅｓｕｌｔ，ｈｏｗ ｔｏ
ｒｅｃｏｖｅｒ
ｄａｔａ ｒａｐｉｄｌｙ ａｎｄ ｅｆｆｉｃｉｅｎｔｌｙ
ｇｕａｒａｎｔｅｅ
ｔｈｅ ｒｅｌｉａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｉｎ ｔｈｅ ｐｏｉｎｔ． Ｔ｝ｌｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ
学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借阅可以将学位论文编入中国学位论文全文数据库等有关数据库进行检索可以采用影印缩印或扫描等复制手段保存汇编学位论文
中国科学技术大学学位论文原创性声明
本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。
ｅｆｆｉｃｉｅｎｃｙ．
ｓｉｎｇｌｅ ｎｏｄｅ ｆａｉｌｕｒｅ ｈａｐｐｅｎｓ ｍｏｒｅ ｏｆｔｅｎ
ＳａｌＴｌｅ
Ｍｅａｎｗｈｉｌｅ，ｓｉｎｃｅ
ｆａｉｌｕｒｅ’Ｓ ｈａｐｐｅｎｉｎｇ
ｔｈａｎ
ｍｕｌｔｉｐｌｅ ｎｏｄｅｓ
ａｔ ｔｈｅ
ｔｉｍｅ，ｔｈｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ ｍａｉｎｌｙ ｓｔｕｄｉｅｓ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ
ｌ
摘要
Ａｂｓｔｒａｃｔ
Ａｂｓｔｒａｃｔ
Ｗｉｍ
ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ａｎｄ ｔｈｅ、杭ｄｅ ｓｐｒｅａｄ ｏｆ
ｒｅｓｏｕｒｃｅｓ
ｍｕｌｔｉｍｅｄｉａ ａｐｐｌｉｃａｔｉｏｎ，ｉｎｆｏｒｍａｔｉｏｎ
ｙｅａｒｓ．Ｈｏｗ ｔｏ ｓｔｏｒｅ ｔｈｅ ｓｔｕｄｙｉｎｇ ｆｏｃｕｓ ｉｎ ｔｈｅ
ｅｆｆｉｃｉｅｎｔｌｙ．Ｔｈｉｓ
ｄｉｓｓｅｒｔａｔｉｏｎ ｆｏｃｕｓｅｓ
ｏｎ
ＲＤＰ ｃｏｄｅ
ａｎｄ
ＥＶＥＮＯＤＤ ｃｏｄｅ，ｗｈｉｃｈ ａｒｅ ａｐｐｌｉｅｄ ｉｎ ｔｈｅ
ＲＡＩＤ ６ ｓｙｓｔｅｍｓ．ＲＡＩＤ－６
ｔｅｃｈｎｉｑｕｅ
ｈａｓ ｔｈｅ ｃａｐａｂｉｌｉｔｙ ｏｆ ｌｏｗｅｒ ｒｅｄｕｎｄａｎｃｙ ａｎｄ
ｓａｙ，ｄｅｃｒｅａｓｉｎｇ
ｂａｎｄｗｉｄｔｈ．Ｎｅｔｗｏｒｋ
ｃｏｄｉｎｇ ｉｄｅａｓ ｂｒｅａｋ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎ ｏｆ ｔｒａｄｉｔｉｏｎａｌ
ｕｓｅ
ｎｅｔｗｏｒｋ
ｎｏｄｅ ｆｏｒ ｄａｔａ ｓｔｏｒａｇｅ ａｎｄ ｆｏｒｗａｒｄ，ａｎｄ ｍａｋｅ ｆｕｌｌ
ｏｆ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ａｎｄ
１）ｎｌｅ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ Ｗｈｅｎ
ｃｈｏｏｓｉｎｇ
ｏｆ ｄａｔａ ｒｅｇｅｎｅｒａｔｉｏｎ ｅｎｃｏｄｉｎｇ ａｌｇｏｒｉｔｈｍ，ｔｈｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ
ｔｈｅ ｅｒａｓｕｒｅ－ｃｏｄｅｓ－ｂａｓｅｄ
ｓｅｌｅｃｔｓ ｔｈｅ ｅｘｃｌｕｓｉｖｅ ＸＯＲ ｏｐｅｒａｔｉｏｎ，ｗｈｉｃｈ ｈｅｌｐｓ ｔｏ ｒｅｇｅｎｅｒａｔｅ ｄａｔａ
ｃｏｄｉｎｇ ａｂｉｌｉｔｙ ｏｆ ｎｅｔｗｏｒｋ ｎｏｄｅ，ＳＯ ｔｈａｔ ｔｈｅ ｉｎｔｅｒｍｅｄｉａｔｅ ｎｏｄｅｓ Ｃａｎ ｐａｒｔｉｃｉｐａｔｅ ｉｎ ｔｈｅ
ｅｎｃｏｄｉｎｇ
ａｎｄ
ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ，ｗｈｉｃｈ ｃｏｎｔｒｉｂｕｔｅｓ ｔｏ
ｅｘｐａｎｄｉｎｇ
ｔｈｅ ｄａｔａ
ｉｎｆｏｒｍａｔｉｏｎ
号公开
口保密（——年）
作者签名：岛刀公∥父
签字日期：塑！垒垒互亟兰１ ９
导师签名：《垒！盘业刍纭 导师签名：王：聋！鱼出
摘要
摘要
近年来，随着信息技术的飞速发展及多媒体应用的广泛普及，信息资源呈爆 炸式增长。如何对数据信息进行安全高效存储，成为学术界和工业界的研究热点。 分布式存储系统利用网络连接将数据进行分散存储，实现海量数据存储并具备容 灾能力，有效克服了集中式存储系统的弊端。 相比于集中式存储，分布式存储系统提升了数据存储容量及数据并行操作能 力。然而，在带来性能提升的同时，由于大量存储设备的存在，节点故障变得更 为普遍。工业界己将节点故障作为日常事务而非异常进行处理。如何在发生节点 故障时，快速高效恢复数据以保证系统的可靠性成为研究热点。 本文将主要研究分布式存储系统中校验盘故障的快速修复问题。提高故障节 点的恢复速度，可以从提高再生数据的生成效率及提高再生数据在网络中的传输 效率两方面入手。据此，本文的工作内容主要为以下两个方向： １）高效的数据再生算法。本文在选择基于纠删码的编码算法时，选择仅需 异或（ｘｏｇ）操作便能实现的编码方案，实现数据的快速高效生成。本文主要研究
ｓｔａｔｕｓ ｃａｎｎｏｔ
ｏｎ
ｔｈｅ Ｉｎｔｅｍｅｔ ｎｕｍｂｅｒ ｏｆ
Ｗｈｅｎ ｔｈｅ ｎｅｔｗｏｒｋ
ｂｅ
ｃｈａｎｇｅｄ，ｒｅｄｕｃｉｎｇ ｔｈｅ
ｔｏ
ｔｒａｎｓｍｉｓｓｉｏｎ ｄａｔａ ｉｓ ｔｈｅ ｏｎｌｙ ｗａｙ ｔｏ ｔｈｅ ｒｅｃｏｖｅｒｙ
ｓａｖｅ
ｔｈｅ ｒｅｃｏｖｅｒｉｎｇ ｔｉｍｅ，ｔｈａｔ’Ｓ
法。通过对ＲＤＰ和ＥＶＥＮＯＤＤ码编码算法的研究，充分利用行校验盘的数据特
性，结合网络编码思想，实现对角线校验盘的快速高效修复。理论研究表明，相 比于传统修复算法，该算法可显著减少校验盘故障修复过程中耗费的带宽资源，
从而提高修复效率。
关键词：
分布式存储系统ＲＤＰ码ＥＶＥＮＯＤＤ码校验盘故障修复修复带宽
ａｌｓｏ ｏｖｅｒｃｏｍｅｓ ｔｈｅ
ｄｉｓａｄｖａｎｔａｇｅｓ ｏｆ ｔｈｅ ｃｅｎｔｒａｌｉｚｅｄ
ｓｔｏｒａｇｅ
ｓｙｓｔｅｍｓ
Ｃｏｍｐａｒｅｄ ｗｉｔｈ
ｔｈｅ
ｃｅｎｔｒａｌｉｚｅｄ ｓｔｏｒａｇｅ
ｓｙｓｔｅｍ，ｄｉｓｔｒｉｂｕｔｅｄ
ｓｔｏｒａｇｅ
ｓｙｓｔｅｍ
ｅｘｐａｎｄｓ
ｔｈｅ ｄａｔａ ｓｔｏｒａｇｅ ｃａｐａｃｉｔｙ
作者签：冬立型叁丛
签字日期：三竺！！生苎旦望日．
中国科学技术大学学位论文授权使用声明
作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学 位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。
ｈｏｗ ｔｏ ｒｅｃｏｖｅｒｙ ｔｈｅ
ｓｉｎｇｌｅ ｎｏｄｅ ｆａｉｌｕｒｅ’Ｓ ｒａｐｉｄｌｙ．Ｆｏｒ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｓｉｎｇｌｅ ｎｏｄｅ
ｆｏｃｕｓ
ｏｎ
ｆａｉｌｕｒｅ’Ｓ ｒｅｃｏｖｅｒｙ ａｌｇｏｒｉｔｈｍｓ
ｔｈｅ
ｒｅｃｏｖｅｒｙ
ｏｆ ｏｒｉｇｉｎａｌ
ｄａｔａ ｄｉｓｋ，ｔｈｅ
ｂｏｔｔｌｅｎｅｃｋｓ ｔｏ ｐａｒｉｔｙ ｄｉｓｋｓ．Ｔｈｅｓｅ
ａｄｖａｎｔａｇｅｓ
ｏｆ ＲＡＩＤ一６
ｔｅｃｈｎｉｑｕｅ
ｐｒｏｍｏｔｅ
ｔｈｅ ｗｈｏｌｅ ｓｙｓｔｅｍ’Ｓ
ｐｅｒｆｏｒｍａｎｃｅ．
１ｌｌ
Ａｂｓｔｒａｅｔ
２）Ｓｈｏｒｔｅｎｉｎｇ
ｔｈｅ ｒｅｇｅｎｅｒａｔｉｏｎ ｄａｔａ’Ｓ ｔｒａｎｓｍｉｓｓｉｏｎ ｔｉｍｅ ｌｉｎｋ
ａｎｄ ｉｍｐｒｏｖｅｓ
ｔｈｅ ａｂｉｌｉｔｙ ｏｆ ｐａｒａｌｌｅｌ ｏｐｅｒａｔｉｏｎ．
Ｕｎｆｏｒｔｕｎａｔｅｌｙ，ａｌｔｈｏｕｇｈ ｔｈｅ ｓｙｓｔｅｍ’Ｓ
ｐｅｒｆｏｒｍａｎｃｅ
ｈａｓ ｂｅｅｎ ｉｍｐｒｏｖｅｄ，ｎｏｄｅ ｆａｉｌｕｒｅ
ｂｅｃｏｍｅｓ ｍｏｒｅ ｃｏｍｍｏｎ，ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｅｘｉｓｔｅｎｃｅ ｏｆ ｌａｒｇｅ ｎｕｍｂｅｒｓ ｏｆ ｓｔｏｒａｇｅ ｄｅｖｉｃｅｓ． Ｉｎｄｕｓｔｒｉａｌ ｃｏｍｍｕｎｉｔｙ ｈａｓ ｒｅｇａｒｄｅｄ ｔｈｅ ｎｏｄｅ ｆａｉｌｕｒｅ ａｓ ｄａｉｌｙ
ａｃｃｅｓｓ
ｈｉｇｈｅｒ
ｆａｕｌｔ－ｔｏｌｅｒａｎｃｅ ｔｅｃｈｎｉｑｕｅ
ａｎｄ
ａｌｓｏ ｈａｓ ｔｈｅ
ｔｏ ｄａｔａ ｒａｎｄｏｍｌｙ ｉｎ
ｃａｎ
ａｎ
ｅｆｆｅｃｔｉｖｅ ｗａｙ．
ＲＡＩＤ一６
ａｃｃｅｓｓ
ｃａｎ
ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ａｎｄ ｉｔ ａｌｓｏ
ｅｌｉｍｉｎａｔｅ ｖｉｓｉｔｉｎｇ
ｒｅｃｏｖｅｒｙ ｏｆｐａｒｉｔｙ ｄｉｓｋ ｎｅｅｄｓ ｔｏ ｄｏｗｎｌｏａｄ ａｌｌ ｔｈｅ ｏｒｉｇｉｎａｌ ｄａｔａ ｔｏ
ｒｅｐａｉｒ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅ
ｒｅｃｏｖｅｒｙ ｅｆｆｉｃｉｅｎｃｙ ｉｓ ｃｏｍｐａｒａｔｉｖｅｌｙ ｌｏｗ．
Ｔｈｉｓ ｄｉｓｓｅｒｔａｔｉｏｎ ｐｕｔｓ
ｆｏｒｗａｒｄ
ｒｅｃｏｖｅｒｙ
ｄａｔａ
ｏｆ ｎｏｄｅ ｆａｉｌｕｒｅ，ｔｗｏ ｍｅｔｈｏｄｓ ａｒｅ
ｒｅｇｅｎｅｒａｔｉｏｎ
ａｖａｉｌａｂｌｅ：ｉｍｐｒｏｖｉｎｇ
ｉｔｓ
ｔｈｅ
ｅｆｆｉｃｉｅｎｃｙ ｏｆ
ａｎｄ ｔｈｅ
ｅｆｆｉｃｉｅｎｃｙ
ｏｆ
ｎｅｔｗｏｒｋ ｔｒａｎｓｍｉｓｓｉｏｎ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓ
ｄｉｓｓｅｒｔａｔｉｏｎ ｉｓ ｍａｉｎｌｙ ｄｉｖｉｄｅｄ ｉｎｔｏ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｔｗｏ ａｓｐｅｃｔｓ：
ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｆａｓｔ ｒｅｃｏｖｅｒｙ ａｌｇｏｒｉｔｈｍｓ ｏｆ
ｐａｒｉｔｙ ｄｉｓｋ
ｔｏ
ＲＤＰ
ｃｏｄｅ ａｎｄ
ＥＶＥＮＯＤＤ
ｃｏｄｅ．Ｗｉｔｈ
ｔｈｅ ｓｔｕｄｙ
ｏｆ ＲＤＰ
ｕｓｅ
ａｎｄ
ＥＶＥＮＯＤＤ ｃｏｄｅｓ’ｅｎｃｏｄｉｎｇ ｐａｒｉｔｙ
ａｌｇｏｒｉｔｈｍｓ，ｔｈｅｓｅ ａｌｇｏｒｉｔｈｍｓ
ｍａｋｅ ｔｈｅ ｂｅｓｔ
ｏｆ ｒＯＷ
ｄｉｓｋ’Ｓ ｄａｔａ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ；ｗｉｔｈ ｔｈｅ ｈｅｌｐ
ｃａｎ
ｏｆ ｎｅｔｗｏｒｋ ｃｏｄｉｎｇ
ｉｄｅａｓ，ｔｈｅｓｅ
ｃａｎ
ａｌｇｏｒｉｔｈｍｓ
ｒｅａｌｉｚｅ
ｃｏｄｉｎｇ
ｐｅｒ ｕｎｉｔ ａｎｄ ｅｎｌａｒｇｉｎｇ ｔｈｅ ｎｅｔｗｏｒｋ ｔｈｒｏｕｇｈｐｕｔ
ｃａｐａｃｉｔｙ．Ａｐｐｌｙｉｎｇ ｎｅｔｗｏｒｋ
ｉｄｅａｓ ｉｎｔｏ ｔｈｅ ｆｉｅｌｄ ｏｆ ｄｉｓｋ ｆａｉｌｕｒｅ ｒｅｃｏｖｅｒｙ Ｃａｎ ｄｅｃｒｅａｓｅ ｒｅｃｏｖｅｒｙ ｂａｎｄｗｉｄｔｈ ａｎｄ ｉｎｃｒｅａｓｅ ｔｈｅ ｒｅｐａｉｒｉｎｇ
ｃａｓｅ
ｏｆ ｎｏｄｅ
ｆａｉｌｕｒｅ ｂｅｃｏｍｅｓ
ａ
ｐｏｐｕｌａｒ ｒｅｓｅａｒｃｈ
ｗｉｌｌ
ｍａｋｅ
ａ
ｓｔｕｄｙ ｏｆ ｔｈｅ
ｆａｓｔ ｒｅｃｏｖｅｒｙ ａｌｇｏｒｉｔｈｍ
ｔｏ
ｔｈｅ
ｒｅｃｏｖｅｒｙ ｏｆ ｐａｒｉｔｙ ｄｉｓｋ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ．Ｉｎ ｏｒｄｅｒ ｔｏ ｓｐｅｅｄ ｕｐ ｔｈｅ