分布式文件系统性能研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
颈。
分 布式 文件 系统 是指 网络 中的多个存 储节 点 通过 网络 组织起 来 ，并通 过 网络来 完成 各存 储节 点 时 的 通信和控制 的文件 系统。典型 的分布式 文件 系统 ，如 Ｌ ｕ ｓ ｔ ｒ ｅ … ，Ｇ Ｆ Ｓ（ Ｇ ｏ ｏ ｇ ｌ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） ［ ２ Ｊ ，Ｈ Ｄ Ｆ Ｓ （ Ｈａ ｄ ｏ ｏ ｐ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） Ｅ ３ ］ 等 ，将 元数 据 和应用 程 序数据 分 开存储 ，因为元 数据 和应 用 程 序数 据
分 布 式 文 件 系统 性 能 研 究
赵铁 柱
（ 东莞理工学 院
袁华强
５ ２ ３ ８ ０ ８ ）
工程技术研究 院 ，广东 东莞
摘要 ：随着海量数据存储和 Ｌ ／ Ｏ密集型应 用的发展 ，Ｉ ／ 件 系统 是 解 决 Ｉ ／ ０瓶 颈 问题 的 重 要 途 径 。如 何 系统 地研 究分 布 式 文 件 系统 的 性 能 因 子 和 优 化 方 案 ，是 一
的存储和访 问各有特性 ，可以针对这些个性 ，分而治之并优化 ，明显提高整个系统的 Ｉ ／ Ｏ的性能 。并行 文 件 系统 （ 也称 分布 式并 行文 件 系统 ） ，如 Ｇ Ｐ Ｆ Ｓ（ Ｇ ｅ ｎ ｅ ｒ ａ ｌ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） ［ ４ ｊ ，Ｐ Ｖ Ｆ Ｓ（ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｖ ｉ ｒ ｔ ｕ — ａ ｌ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） Ｊ ，ｐ Ｎ Ｆ Ｓ（ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｎ Ｆ Ｓ ） ｊ ，是 一种 特 殊 的分 布 式 文 件 系统 ，所 谓 并 行 文 件 系 统 是 指应 用于多机环境的网络文件系统 ，单个文件的数据采用分条等形式存放于不同的 Ｉ ／ ０节点之上 ，支持多机 多个 进程 的并 发存取 ，同时支 持元 数据 和数 据 的分 布存放 ，并 提供 单一 的 目录 空间 。而要 实 现一个 完 整 的并行文件系统 ， 需要实现如下两个方面 ：第一 ，实现单一的文件映像 ，并行文件存放在盘阵上的具体 分 布情 况对 于用 户来 说是 透 明 的 ，并行 文 件系统 在用 户看 来是 一完 整 的树 型结构 ，在 调用 时 只要 给 出文 件名即可 ；第二 ， 采用条带化 （ Ｓ ｔ ｒ ｉ ｐ ｅ ）和分区 （ Ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ ）技术 ，支持一个文件数据在多个磁盘之上和 多 个进 程之 间的分 布 ，即多个 进程 并发 读 写多个 磁 盘上 的数 据 。 分布式 文 件系统 具 有 Ｐ Ｂ级海 量数据 存储 容 量 ，高 聚合 并 发 带 宽 ， 高 可 扩展 性 ，高可 靠 性 ，易 管 理 和使用等特点 。能够有效地解决分布式存储系统 中海量数据存储和 Ｉ ／ ０瓶颈问题 ，成为了目前存储工业 界和学术界的研究热点 。分布式文件系统是任何大规模分布式计算环境的重要组成部分 ，它的性能直接 影 响着整个分布式计算环境的执行效率 。因此 ，分布式文件系统的 Ｉ ／ ０研究和性能优化是一个极具挑战 性 和研究 价值 的工 作 。本文 将 系统地 综述 分布 式文 件 系统性 能研 究现 状 ，分析 并挖 掘 出分布 式 文件 系统 的关键性能影响因子 ，为分布式文件系统性能研究和性能优化提供重要的指导价值。
近年来 ，网络应用的快速普及和云存储的推广 ，网络数据呈现海量的增长态势越发明显。信息资源 的爆炸性 增 长 ，对存储 系统 的容量 、可 扩 展 性 、数 据 可 用 性 以 及 Ｉ ／ Ｏ性 能 等 方 面 提 出 了越 来 越 高 的要 求。随着互联 网技术的飞速发展 ， 服务器技术 ，网络技术和存储技术都得到 了快速的发展。虽然计算 ， 传输和存储三大 Ｉ Ｔ基础设施都得到了飞速的发展 ， 但相 当于计算 （ 数据处理 ）和传输而言 ，存储技术 相 对发 展缓 慢 ，这主 要是 由于 在 Ｉ ／ ０子 系统 方 面 缺 乏 相应 的提 高 ，导 致 Ｉ ／ Ｏ成 为 了存 储 系统 的 主要 瓶
１ 分 布 式 文 件 系统 性 能 研 究 综 述
目 前 ，分布式文件系统性能研究主要可分为 ４ 方面 ：系统配置参数分析与调优研究 ，元数据访问优
收 稿 日期 ： ２ ０ １ ３一 （ 】 ４一 叭
基金项 目： 广东省 自然科学基金资助项 目 （￥ ２ ０ １ ２ ０ ４ ０ ０ ０ ７ ７ ４ ６ ） ；国家 自然科学基金资助项 目 （ ６ １ １ ７ ０ ２ １ ６） 。 作者简介 ：赵铁柱 （ １ ９ ８ ３ 一） ，男 ，湖南娄底人 ，博士 ，主要从事分布式并行计算 、分布式存储 、云计算 等研究 。
个重要研 究课题 。本文 系统地 阐述 了分布 式文件 系统的性能研 究现状 ，挖掘 并分析 了分布 式 文件 系统 的关键 性能影响 因子 ，为分布式文件 系统的设计 和性 能优 化研 究提供 支持。
关 键 词 ：分 布 式 文件 系统 ；数 据 存 储 ；性 能 因 子 ；性 能优 化 中图 分 类 号 ：Ｔ Ｐ ３ １ ｌ 文 献标 识码 ：Ａ 文 章 编 号 ：１ ０ ０ ９— ０ ３ １ ２（ ２ ０ １ ４ ）０ １— ０ ０ ２ ０— ０ ５
第２ ｌ 卷 第 １期 ２ ０ １ ４ 年 ２ 月
Ｊ ＯＵＲＮ ＡＬ Ｏ Ｆ ＤＯＮ ＧＧＵＡＮ ＵＮＩ ＶＥ ＲＳ Ｉ Ｔ Ｙ ＯＦ Ｔ Ｅ Ｃ ＨＮＯ Ｌ ＯＧ Ｙ
东 莞 理 工 学 院 学 报
Ｖ ０ 】 ． ２ ｌ Ｎ ｏ ． １
Ｆ ｅ ｂ． ２ ０１ ４
分 布式 文件 系统 是指 网络 中的多个存 储节 点 通过 网络 组织起 来 ，并通 过 网络来 完成 各存 储节 点 时 的 通信和控制 的文件 系统。典型 的分布式 文件 系统 ，如 Ｌ ｕ ｓ ｔ ｒ ｅ … ，Ｇ Ｆ Ｓ（ Ｇ ｏ ｏ ｇ ｌ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） ［ ２ Ｊ ，Ｈ Ｄ Ｆ Ｓ （ Ｈａ ｄ ｏ ｏ ｐ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） Ｅ ３ ］ 等 ，将 元数 据 和应用 程 序数据 分 开存储 ，因为元 数据 和应 用 程 序数 据
分 布 式 文 件 系统 性 能 研 究
赵铁 柱
（ 东莞理工学 院
袁华强
５ ２ ３ ８ ０ ８ ）
工程技术研究 院 ，广东 东莞
摘要 ：随着海量数据存储和 Ｌ ／ Ｏ密集型应 用的发展 ，Ｉ ／ 件 系统 是 解 决 Ｉ ／ ０瓶 颈 问题 的 重 要 途 径 。如 何 系统 地研 究分 布 式 文 件 系统 的 性 能 因 子 和 优 化 方 案 ，是 一
的存储和访 问各有特性 ，可以针对这些个性 ，分而治之并优化 ，明显提高整个系统的 Ｉ ／ Ｏ的性能 。并行 文 件 系统 （ 也称 分布 式并 行文 件 系统 ） ，如 Ｇ Ｐ Ｆ Ｓ（ Ｇ ｅ ｎ ｅ ｒ ａ ｌ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） ［ ４ ｊ ，Ｐ Ｖ Ｆ Ｓ（ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｖ ｉ ｒ ｔ ｕ — ａ ｌ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ） Ｊ ，ｐ Ｎ Ｆ Ｓ（ Ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ Ｎ Ｆ Ｓ ） ｊ ，是 一种 特 殊 的分 布 式 文 件 系统 ，所 谓 并 行 文 件 系 统 是 指应 用于多机环境的网络文件系统 ，单个文件的数据采用分条等形式存放于不同的 Ｉ ／ ０节点之上 ，支持多机 多个 进程 的并 发存取 ，同时支 持元 数据 和数 据 的分 布存放 ，并 提供 单一 的 目录 空间 。而要 实 现一个 完 整 的并行文件系统 ， 需要实现如下两个方面 ：第一 ，实现单一的文件映像 ，并行文件存放在盘阵上的具体 分 布情 况对 于用 户来 说是 透 明 的 ，并行 文 件系统 在用 户看 来是 一完 整 的树 型结构 ，在 调用 时 只要 给 出文 件名即可 ；第二 ， 采用条带化 （ Ｓ ｔ ｒ ｉ ｐ ｅ ）和分区 （ Ｐ ａ ｒ ｔ ｉ ｔ ｉ ｏ ｎ ）技术 ，支持一个文件数据在多个磁盘之上和 多 个进 程之 间的分 布 ，即多个 进程 并发 读 写多个 磁 盘上 的数 据 。 分布式 文 件系统 具 有 Ｐ Ｂ级海 量数据 存储 容 量 ，高 聚合 并 发 带 宽 ， 高 可 扩展 性 ，高可 靠 性 ，易 管 理 和使用等特点 。能够有效地解决分布式存储系统 中海量数据存储和 Ｉ ／ ０瓶颈问题 ，成为了目前存储工业 界和学术界的研究热点 。分布式文件系统是任何大规模分布式计算环境的重要组成部分 ，它的性能直接 影 响着整个分布式计算环境的执行效率 。因此 ，分布式文件系统的 Ｉ ／ ０研究和性能优化是一个极具挑战 性 和研究 价值 的工 作 。本文 将 系统地 综述 分布 式文 件 系统性 能研 究现 状 ，分析 并挖 掘 出分布 式 文件 系统 的关键性能影响因子 ，为分布式文件系统性能研究和性能优化提供重要的指导价值。
近年来 ，网络应用的快速普及和云存储的推广 ，网络数据呈现海量的增长态势越发明显。信息资源 的爆炸性 增 长 ，对存储 系统 的容量 、可 扩 展 性 、数 据 可 用 性 以 及 Ｉ ／ Ｏ性 能 等 方 面 提 出 了越 来 越 高 的要 求。随着互联 网技术的飞速发展 ， 服务器技术 ，网络技术和存储技术都得到 了快速的发展。虽然计算 ， 传输和存储三大 Ｉ Ｔ基础设施都得到了飞速的发展 ， 但相 当于计算 （ 数据处理 ）和传输而言 ，存储技术 相 对发 展缓 慢 ，这主 要是 由于 在 Ｉ ／ ０子 系统 方 面 缺 乏 相应 的提 高 ，导 致 Ｉ ／ Ｏ成 为 了存 储 系统 的 主要 瓶
１ 分 布 式 文 件 系统 性 能 研 究 综 述
目 前 ，分布式文件系统性能研究主要可分为 ４ 方面 ：系统配置参数分析与调优研究 ，元数据访问优
收 稿 日期 ： ２ ０ １ ３一 （ 】 ４一 叭
基金项 目： 广东省 自然科学基金资助项 目 （￥ ２ ０ １ ２ ０ ４ ０ ０ ０ ７ ７ ４ ６ ） ；国家 自然科学基金资助项 目 （ ６ １ １ ７ ０ ２ １ ６） 。 作者简介 ：赵铁柱 （ １ ９ ８ ３ 一） ，男 ，湖南娄底人 ，博士 ，主要从事分布式并行计算 、分布式存储 、云计算 等研究 。
个重要研 究课题 。本文 系统地 阐述 了分布 式文件 系统的性能研 究现状 ，挖掘 并分析 了分布 式 文件 系统 的关键 性能影响 因子 ，为分布式文件 系统的设计 和性 能优 化研 究提供 支持。
关 键 词 ：分 布 式 文件 系统 ；数 据 存 储 ；性 能 因 子 ；性 能优 化 中图 分 类 号 ：Ｔ Ｐ ３ １ ｌ 文 献标 识码 ：Ａ 文 章 编 号 ：１ ０ ０ ９— ０ ３ １ ２（ ２ ０ １ ４ ）０ １— ０ ０ ２ ０— ０ ５
第２ ｌ 卷 第 １期 ２ ０ １ ４ 年 ２ 月
Ｊ ＯＵＲＮ ＡＬ Ｏ Ｆ ＤＯＮ ＧＧＵＡＮ ＵＮＩ ＶＥ ＲＳ Ｉ Ｔ Ｙ ＯＦ Ｔ Ｅ Ｃ ＨＮＯ Ｌ ＯＧ Ｙ
东 莞 理 工 学 院 学 报
Ｖ ０ 】 ． ２ ｌ Ｎ ｏ ． １
Ｆ ｅ ｂ． ２ ０１ ４