MassCloud云存储系统构架及可靠性机制
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｍｉｇ ： ｕ ｎ Ｃｌ ｄ． ｏ
从 以 ｝ 存储 系统 以及相 关可靠 性策 略的描述 中可 以看 出 ， ： 对 不同 的存 储 系统 所 使用 的 可靠 性策 略存 在
长， 数据存 储 已经发展 为 ． ，Ｂ，Ｂ级 ， ｒ Ｐ ｚ Ｂ 存储需 求刘‘ 储 系统 的设 计 和存 储可 靠性 、 存 仔储 效率 形成 了巨大 的
挑战 ．
纵 观存储 系统的发 展 ， 从早 期 的 磁盘存储 、 Ｉ 逐 步发展 为 以 Ｄ Ｓ Ｎ Ｓ Ｓ Ｎ Ａ Ｒ Ｄ， Ａ ， Ａ ，Ａ …为 代表 的网络存储 系 统， 近年来 比较 流行 的多为分 布式文件 系统 以及存储 系统 ． ： ｎｉ ｉ ¨ 是一 个 旨在 为文件 系统或 者备份 应 如 Ａ ｔ ｕｔ ２ ｑ ｙ Ｊ 用提供存 储服 务的大规 模分布 式存储 系统 ， 系统采用 安全 日志技术 保证 数据完 整性和 系统 的可 靠性 ， 存 该 保 日志 的多个副 本 ， 同时 基于拜 占庭容错 协议保 证副本之 间 的一 致性 ； ａｓｎｒ＿ 是 一个 用 于存储 结构 化数 据 Ｃｓ ｄ ３．０ ０ １ ８ ２ １ ．３．２ ：０．８ ６ ｊ ｉ ｎ １０ —９ ０．０ １ ０ ０ １ ｓ
Ｍａｓ ｌｕ ｓＣ ｏ ｄ云存 储 系 统 构 架 及 可 靠 性 机 制
马玮 骏 ， 吴海 佳 刘 鹏 ，
（ ． 放 １解 工 人学 指 挥 自动 化学 院 ， 苏 南 京 江 ２００ ； ． 军 胛 大 学 气 象 学 院 ， 苏 南京 １ ７ ２ 解放 ０ ２ ｌ０ ） １１１
的分 布式 海量 存储系 统 ， 该系 统借鉴 了很多数 据库 的设 计 和实现思 想 ， 免 了大规 模分 布式存储 系统 中的单 避
点故 障问题 ， 旨在提供 高可靠性 、 高性 能 的存储 服务 ； 文献 ［ ］ 绍 ｒ一种 使用 ｄ ａｈ 进行存 储 资源 管理 的 、 ４介 Ｃｃ ｅ 在 网格 环境下 基于 Ｇ ｉ Ｔ ｒ Ｆ Ｐ提供 分布 式存储 服 务的部 署和实 现方式 ； Ｙ Ｒ ｓ ｒ 是一 个可扩 展 的商用分 布 ｄ Ｈ Ｄ ｔ 』 Ａ ｏ 式存储 系统 ， 系统 的特点在 于能够 自我维护 ， 该 自动地 进行故 障恢 复 ， 对数 据 和网络 进行 重 建 ；ａｄｔ ｅ 是 Ｓｎ Ｓ ｎ ｏ
第３ ９卷第 ３期
２１ ０ １年 ５门
— ＝＝ — ＝ ＝＝ ＝
河 海 大 学 学 报 （自 然 科 学 版 ）
Ｊｕ ａ ｏ ｏ ａ Ｕ ｉｅｓｔ（ ａｕａ ｏ ｒ ｌ ｆＨ ｈ ｉ ｎｖｒｉ Ｎ ｔｒｌ￣ｄ ｎｅ） ｎ ｙ ｅｃ ｓ
Ｖｏ ． ９ Ｎｏ． １３ ３ Ｍａ ＯＩ ｖ２ １
关键 词 ：Ｍ ｓＣｏｄ 云存储 ； ａｓ ｌ ； ｕ 纠删码 ； 副本 冗余 ； 存储 可靠性 中图分类 号 ：Ｐ ３ Ｔ３３ 文献标 志码 ： Ａ 文章 编号 ：００ １８ （０ １０ — ３８ ０ １０ —９ ０ ２ １ ）３ ０４ — ７
随着计 算机 与 网络技 术 的不 断发 展 ， 们 对 于信 息存 储 的要 求 越 来越 高 ， 据 文件 的 大小 呈 指数 级增 人 数
摘 要 ：为 了解 决分布式 存储 系统的存储 容量 、 可靠性 以及效 率问题 ， 首先提 出了高可 靠性 海量 云存
储 系统 Ｍ ｓＣｏｄ的分层 体 系结构 ， ａｓｌ ｕ 并在 此构 架的基础上提 出 了基 于纠删码机 制的快 速编解 码算 法
— —
双表 法 ， 以及 基 于纠删码 、 副本 冗余和 Ｒ Ｉ 术相 结合 的 Ｍ ｓＣｏｄ可靠性保 证策略 ， ＡＤ技 ａｓｌ ｕ 并且 进
一
个 ＰＰ环境下基 于 Ｄ Ｔ的分 布式存储 系统 ， 系统 旨在解 决 电信基 础设施 与 一般 Ｄ Ｔ之 间的性 能 问题 ， ２ Ｈ 该 Ｈ
为用 户提供一个 强一致性 的 、 高可靠性 和伸缩 性 的存 储 系统 ； Ｒ Ｑ 是一 个 基 于对 象存 储技 术 的分 布式 存 Ｃ Ａ 储 系统 ， 该系 统将负载 分布到 多个对 象副本 的方式来 提高 系统 的性 能和 可靠性 ， 同时采用 优化 的复制链来 保
证副 本之 间的强一致性 ；蓝鲸 ” ］ 中科 院计算技 术研 究 所研究 的大规模 网络存储 系统 ， 系 统致 力于 解 “ 是 该
决高 性能计算 环境 中的仔储 子系统 的瓶颈 问题 ， 充分 利 用存储 空 间和 并发 数据 传输 能 力 ， 实现 高性 能 、 成 低
本 的海量存储 ； 文献 ［Ｏ 设 计 了一 个基 于 ｝Ｐ的分布式 存 储系 统 ， 系统 采 用结 构 化 Ｐ Ｐ路 山机制 、 １３ 】 ２ 该 ２ 动态 自 适应 的副本管理 、 信任 机 制 和激 励 机 制 为用 户提 供 高 效 、 靠 的分 布 式 存 储 服 务 ； 布 式 网 络 存 储 系 统 可 分 Ｄ Ｓ一ｊ Ｎ Ｓ１ 结合 了 Ｃ Ｎ和 Ｐ Ｐ的技术 优势 ， 储节点 以 Ｐ Ｐ方式 工作 以快速完 成用户 对文 件数据 的请 求任 务 ； １ Ｄ ２ 仔 ２ 文献 ２ 提｝ 了一 种基 于对等计算 模式 的云存储 文 件 系统通 用模 ， 采用 Ｋ ｄｍ ｉ算 法 构建 了原 型 系统 １］ ｛ １ 并 ａｅ ｌ ａ
行 了测试 与分析 ． 结果表 明 ： 双表 法 具 有较 高的编 解码 效 率 ， 广域 网环境 下不 会成 为 性 能瓶 颈 ； 在 Ｍａ Ｃｏ ｄ 用 ４组（ 块 硬盘 ） 为每 个低功耗 存储 节 点 包含 的硬 盘数 ， ｓ１ 采 ｓ ｕ ８ 作 云存储 站 点层 采 用 ３个副
本， 分布 式环境 下 冗余倍数 取 ２ 文件 分块数取 ８能 够保 证 系统整体 可靠性在 ０９ ， ， ．９以上 ．
从 以 ｝ 存储 系统 以及相 关可靠 性策 略的描述 中可 以看 出 ， ： 对 不同 的存 储 系统 所 使用 的 可靠 性策 略存 在
长， 数据存 储 已经发展 为 ． ，Ｂ，Ｂ级 ， ｒ Ｐ ｚ Ｂ 存储需 求刘‘ 储 系统 的设 计 和存 储可 靠性 、 存 仔储 效率 形成 了巨大 的
挑战 ．
纵 观存储 系统的发 展 ， 从早 期 的 磁盘存储 、 Ｉ 逐 步发展 为 以 Ｄ Ｓ Ｎ Ｓ Ｓ Ｎ Ａ Ｒ Ｄ， Ａ ， Ａ ，Ａ …为 代表 的网络存储 系 统， 近年来 比较 流行 的多为分 布式文件 系统 以及存储 系统 ． ： ｎｉ ｉ ¨ 是一 个 旨在 为文件 系统或 者备份 应 如 Ａ ｔ ｕｔ ２ ｑ ｙ Ｊ 用提供存 储服 务的大规 模分布 式存储 系统 ， 系统采用 安全 日志技术 保证 数据完 整性和 系统 的可 靠性 ， 存 该 保 日志 的多个副 本 ， 同时 基于拜 占庭容错 协议保 证副本之 间 的一 致性 ； ａｓｎｒ＿ 是 一个 用 于存储 结构 化数 据 Ｃｓ ｄ ３．０ ０ １ ８ ２ １ ．３．２ ：０．８ ６ ｊ ｉ ｎ １０ —９ ０．０ １ ０ ０ １ ｓ
Ｍａｓ ｌｕ ｓＣ ｏ ｄ云存 储 系 统 构 架 及 可 靠 性 机 制
马玮 骏 ， 吴海 佳 刘 鹏 ，
（ ． 放 １解 工 人学 指 挥 自动 化学 院 ， 苏 南 京 江 ２００ ； ． 军 胛 大 学 气 象 学 院 ， 苏 南京 １ ７ ２ 解放 ０ ２ ｌ０ ） １１１
的分 布式 海量 存储系 统 ， 该系 统借鉴 了很多数 据库 的设 计 和实现思 想 ， 免 了大规 模分 布式存储 系统 中的单 避
点故 障问题 ， 旨在提供 高可靠性 、 高性 能 的存储 服务 ； 文献 ［ ］ 绍 ｒ一种 使用 ｄ ａｈ 进行存 储 资源 管理 的 、 ４介 Ｃｃ ｅ 在 网格 环境下 基于 Ｇ ｉ Ｔ ｒ Ｆ Ｐ提供 分布 式存储 服 务的部 署和实 现方式 ； Ｙ Ｒ ｓ ｒ 是一 个可扩 展 的商用分 布 ｄ Ｈ Ｄ ｔ 』 Ａ ｏ 式存储 系统 ， 系统 的特点在 于能够 自我维护 ， 该 自动地 进行故 障恢 复 ， 对数 据 和网络 进行 重 建 ；ａｄｔ ｅ 是 Ｓｎ Ｓ ｎ ｏ
第３ ９卷第 ３期
２１ ０ １年 ５门
— ＝＝ — ＝ ＝＝ ＝
河 海 大 学 学 报 （自 然 科 学 版 ）
Ｊｕ ａ ｏ ｏ ａ Ｕ ｉｅｓｔ（ ａｕａ ｏ ｒ ｌ ｆＨ ｈ ｉ ｎｖｒｉ Ｎ ｔｒｌ￣ｄ ｎｅ） ｎ ｙ ｅｃ ｓ
Ｖｏ ． ９ Ｎｏ． １３ ３ Ｍａ ＯＩ ｖ２ １
关键 词 ：Ｍ ｓＣｏｄ 云存储 ； ａｓ ｌ ； ｕ 纠删码 ； 副本 冗余 ； 存储 可靠性 中图分类 号 ：Ｐ ３ Ｔ３３ 文献标 志码 ： Ａ 文章 编号 ：００ １８ （０ １０ — ３８ ０ １０ —９ ０ ２ １ ）３ ０４ — ７
随着计 算机 与 网络技 术 的不 断发 展 ， 们 对 于信 息存 储 的要 求 越 来越 高 ， 据 文件 的 大小 呈 指数 级增 人 数
摘 要 ：为 了解 决分布式 存储 系统的存储 容量 、 可靠性 以及效 率问题 ， 首先提 出了高可 靠性 海量 云存
储 系统 Ｍ ｓＣｏｄ的分层 体 系结构 ， ａｓｌ ｕ 并在 此构 架的基础上提 出 了基 于纠删码机 制的快 速编解 码算 法
— —
双表 法 ， 以及 基 于纠删码 、 副本 冗余和 Ｒ Ｉ 术相 结合 的 Ｍ ｓＣｏｄ可靠性保 证策略 ， ＡＤ技 ａｓｌ ｕ 并且 进
一
个 ＰＰ环境下基 于 Ｄ Ｔ的分 布式存储 系统 ， 系统 旨在解 决 电信基 础设施 与 一般 Ｄ Ｔ之 间的性 能 问题 ， ２ Ｈ 该 Ｈ
为用 户提供一个 强一致性 的 、 高可靠性 和伸缩 性 的存 储 系统 ； Ｒ Ｑ 是一 个 基 于对 象存 储技 术 的分 布式 存 Ｃ Ａ 储 系统 ， 该系 统将负载 分布到 多个对 象副本 的方式来 提高 系统 的性 能和 可靠性 ， 同时采用 优化 的复制链来 保
证副 本之 间的强一致性 ；蓝鲸 ” ］ 中科 院计算技 术研 究 所研究 的大规模 网络存储 系统 ， 系 统致 力于 解 “ 是 该
决高 性能计算 环境 中的仔储 子系统 的瓶颈 问题 ， 充分 利 用存储 空 间和 并发 数据 传输 能 力 ， 实现 高性 能 、 成 低
本 的海量存储 ； 文献 ［Ｏ 设 计 了一 个基 于 ｝Ｐ的分布式 存 储系 统 ， 系统 采 用结 构 化 Ｐ Ｐ路 山机制 、 １３ 】 ２ 该 ２ 动态 自 适应 的副本管理 、 信任 机 制 和激 励 机 制 为用 户提 供 高 效 、 靠 的分 布 式 存 储 服 务 ； 布 式 网 络 存 储 系 统 可 分 Ｄ Ｓ一ｊ Ｎ Ｓ１ 结合 了 Ｃ Ｎ和 Ｐ Ｐ的技术 优势 ， 储节点 以 Ｐ Ｐ方式 工作 以快速完 成用户 对文 件数据 的请 求任 务 ； １ Ｄ ２ 仔 ２ 文献 ２ 提｝ 了一 种基 于对等计算 模式 的云存储 文 件 系统通 用模 ， 采用 Ｋ ｄｍ ｉ算 法 构建 了原 型 系统 １］ ｛ １ 并 ａｅ ｌ ａ
行 了测试 与分析 ． 结果表 明 ： 双表 法 具 有较 高的编 解码 效 率 ， 广域 网环境 下不 会成 为 性 能瓶 颈 ； 在 Ｍａ Ｃｏ ｄ 用 ４组（ 块 硬盘 ） 为每 个低功耗 存储 节 点 包含 的硬 盘数 ， ｓ１ 采 ｓ ｕ ８ 作 云存储 站 点层 采 用 ３个副
本， 分布 式环境 下 冗余倍数 取 ２ 文件 分块数取 ８能 够保 证 系统整体 可靠性在 ０９ ， ， ．９以上 ．