分布式文件系统与传统文件系统的比较研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据库技术 ・ Ｄ ａ ｔ ａ Ｂ ａ ｓ ｅ Ｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ
分布式文件系统 与传统文件系统的比较研究
文／ 涂 远
１前 言
分 析 了 分 布 式 文 件 系统 体 系设 计 的核 心构 架组 成，考 察 了 Ｈ Ｄ Ｆ Ｓ架构 文件 系统 的结构 特 点， 讨论 了与 Ｌ ｉ ｎ ｕ ｘ Ｆ Ｓ架构 文 件 系 统 的 区别。 通过 分析 可知 ， 目前使 用的 Ｈ Ｄ Ｆ Ｓ的设 计 架构 中文 件 系统 ，
Ｊ ａ ｖ ａ的 图是 主 要 使 用 的 界 面 ，执
（ ２ ）大量 的半结构化 的数据集 是储存在 Ｈ ａ ｄ ｏ ｏ ｐ的文件 系统 中，Ｈａ ｄ ｏ ｏ ｐ的文件系统 的 数据 可 以随机存 放，分 布式进 行 。Ｈａ ｄ ｏ ｏ ｐ的 分布 式独 立文件 系统是 Ｈａ ｄ ｏ ｏ ｐ Ｄｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ。ＨＤＦ Ｓ开 放 式 文件 系 统 便 是 Ｈａ ｄ ｏ ｏ ｐ 计算模式 的核 心成分 了，相当于 Ｌ ｉ ｎ ｕ ｘ中传统 的 文件 系 统在 Ｌ ｉ ｎ ｕ ｘ模式 中起 的核 心 作用 。 在 Ｈａ ｄ ｏ ｏ ｐ集 群 模 式 中，ＨＤＦ Ｓ分 布 式 存 储 着 各个节 点上 的文 件数 据 。传 统 的文件 系统
项 目管 理 系 统 的 设 计 与 开 发 ［ Ｊ ］ ．扬 州 大
以资助应用研究和试验发展研 究项 目为主 。 目前，江 西省 教 育厅科 技项 目网络 申报 评审管理系 统已投入应 用，通 过项 目网络评审 系统 的实施 ，实现 了教 育厅年度科技计划项 目 的专家 网上评审 ，促进 了评 审工作的严谨性和 科 学 性 ，提 高 了工 作 效 率 ，保 证 了 立 项 科 学 公
分析软件在文件系统 中的表现形式 以及运行状 态 ，设计软件的思路便一 目了然 ，甚至会有 一
些 意 想 不 到 的 收 获 ，开 发 者 不 经 意 隐藏 的表 现
随着 集群 的扩 大，Ｎ ａ ｍ ｅ Ｎ ｏ ｄ ｅ的性 能成 为 了系统 瓶颈 ，最后 作者 阐 述 了有 关的观点 。
后 存 储 系 统 。Ｈａ ｄ ｏ ｏ ｐ可 以 实 现 一 个 分 布 式 文
行 任 务分 解 比较繁 琐 ，并行 处理
及 其 不方 便。Ｈ Ｄ Ｆ Ｓ的 文 件 系 统 在 执 行任 务 的 时候 ，存 储数 据是 分 布 式的， 处理 数据 是 集 中式 的， 设 计 这种模 式 使得 执行任 务 不 能 独 立 进行 ，对 Ｎ ａ ｍ ｅ Ｎ ｏ ｄ ｅ完全 依 赖 。
【 ４ ］季鹏 ．项 目网络评 审系统设计 与应 用 ［ Ｊ 】 ．
备专家聘 请完成 后上交到教育厅领导对专家聘 请 的结果进 行批 复，得到最后的参评专家。最
后 对 参评 的 专 家 生 成 专 家 评 审 账 号 并 在 规 定 的
时 间开 放 。
河北省科学 院学报 ， ２ ０ １ ０ （ ０ ３ ） ． ［ ５ 】 鄢碧 鹏 ， 李志 强 ，蒋洪 ． 基于 Ｗ ｅ ｂ 的科研
２分析与比较
２ ． １ 分 布 式 文件 系统
分布式文件系统呈现如下特点 ： （ １ ） Ｈａ ｄ ｏ ｏ ｐ借鉴 了Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ 计算模型， Ｍａ ｐ Ｒ ｅ ｄ ｕ ｅ ｅ 和Ｈ ａ ｄ ｏ ｏ ｐ是两个独立的计算模型，
这 两 个 计 算 模 型 又 可 以互 相 配 合 运 行 ；
在 Ｈａ ｄ ｏ ｏ ｐ计算模 式 中设计 分布 式文件 系
＜ ＜上接 １ ８ ７页
出学科大类，每一个学科大类又划分若干个评
审小组。
为 了促进 江 西省 高校科 学技 术研 究 的发
系统 的 开 发 ［ Ｊ ］ ．科 技 情 报 开 发 与 经
济 ， ２ ０ ０ ９（ ０ １ ） ．
息， ２ ０ １ ４（ １ ０ ） ．
ຫໍສະໝຸດ Baidu
组聘 请专 家，教育厅管理员调入专家库相应专 家 （ 剔 除 申报 人所 在 单位 专 家 ）， 从 中 选 出 适
合评 审本 小 组 的 预 备 专 家 以及 组 长 。 各 小 组 预
科学研究项 目，适 当兼顾 软科 学研究项 目。在
基 础 研 究 、应 用 研 究 、试 验 发 展 三 类 项 目中 ，
Ｌ ｉ ｎ ｕ ｘ，计 算 模 式 清 晰 可 见 ，十 分 明 了 。 经 过
目前 ， “云 计 算 ” 这 种 便 捷 的 、 按 需 访
问的网络模式 ， 是广泛推行的新型互联网模式， 这种 网络模 式的特 点是：大量 的分布式计算机 执行计算分布 ，本地计算机或远 程服 务器不执 行分布计算操作 。数据 中心运 行计算模 式与互 联 网执行计算 的模式是相似 的，用户 只需将 网 络链接的资源通过分布式文件 系统链接 到所 需 要的应用上 ，并在计算机执行运 算操 作，对 应 的计算机响应 需要 的命令 字符 ，运行计算，最
展 ，江西省教育厅和省财政 厅每年均对江西省 专家聘 请批 复模 块： 系统 设计按 每个 小 高校科学技术研 究进行专 项拨款 ，其资助范围 主要 是江 西省 本科 及 高职 高专类 普通 高等 学
校 。江 西 省 高 等 学 校 科 技 项 目立 项 主 要 是 自然
［ ３ ］ 王 冰 ，邢 国 光 ，肖 林 ．有 关 科 技 项 目 申报 系统 的 开 发 与 设 计 … ． 决 策 与 信
件系统 ，进行数据 处理 时非常高效、可靠及可 伸缩 ，在 “ 云计算 ”的网络模 式中应 用非常广
泛 。基 于 分 布 式 文 件 系 统 的特 点 ， 用 户 可 以轻
方法也呈现出一定的规律性来。
松地 构架 和使 用分布 式计 算平 台。Ｈａ ｄ ｏ ｏ ｐ的
【 关 键 词 】Ｈ ａ ｄ ｏ ｏ ｐ 布 式 文件 系 统
分布式文件系统 与传统文件系统的比较研究
文／ 涂 远
１前 言
分 析 了 分 布 式 文 件 系统 体 系设 计 的核 心构 架组 成，考 察 了 Ｈ Ｄ Ｆ Ｓ架构 文件 系统 的结构 特 点， 讨论 了与 Ｌ ｉ ｎ ｕ ｘ Ｆ Ｓ架构 文 件 系 统 的 区别。 通过 分析 可知 ， 目前使 用的 Ｈ Ｄ Ｆ Ｓ的设 计 架构 中文 件 系统 ，
Ｊ ａ ｖ ａ的 图是 主 要 使 用 的 界 面 ，执
（ ２ ）大量 的半结构化 的数据集 是储存在 Ｈ ａ ｄ ｏ ｏ ｐ的文件 系统 中，Ｈａ ｄ ｏ ｏ ｐ的文件系统 的 数据 可 以随机存 放，分 布式进 行 。Ｈａ ｄ ｏ ｏ ｐ的 分布 式独 立文件 系统是 Ｈａ ｄ ｏ ｏ ｐ Ｄｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ Ｆ ｉ ｌ ｅ Ｓ ｙ ｓ ｔ ｅ ｍ。ＨＤＦ Ｓ开 放 式 文件 系 统 便 是 Ｈａ ｄ ｏ ｏ ｐ 计算模式 的核 心成分 了，相当于 Ｌ ｉ ｎ ｕ ｘ中传统 的 文件 系 统在 Ｌ ｉ ｎ ｕ ｘ模式 中起 的核 心 作用 。 在 Ｈａ ｄ ｏ ｏ ｐ集 群 模 式 中，ＨＤＦ Ｓ分 布 式 存 储 着 各个节 点上 的文 件数 据 。传 统 的文件 系统
项 目管 理 系 统 的 设 计 与 开 发 ［ Ｊ ］ ．扬 州 大
以资助应用研究和试验发展研 究项 目为主 。 目前，江 西省 教 育厅科 技项 目网络 申报 评审管理系 统已投入应 用，通 过项 目网络评审 系统 的实施 ，实现 了教 育厅年度科技计划项 目 的专家 网上评审 ，促进 了评 审工作的严谨性和 科 学 性 ，提 高 了工 作 效 率 ，保 证 了 立 项 科 学 公
分析软件在文件系统 中的表现形式 以及运行状 态 ，设计软件的思路便一 目了然 ，甚至会有 一
些 意 想 不 到 的 收 获 ，开 发 者 不 经 意 隐藏 的表 现
随着 集群 的扩 大，Ｎ ａ ｍ ｅ Ｎ ｏ ｄ ｅ的性 能成 为 了系统 瓶颈 ，最后 作者 阐 述 了有 关的观点 。
后 存 储 系 统 。Ｈａ ｄ ｏ ｏ ｐ可 以 实 现 一 个 分 布 式 文
行 任 务分 解 比较繁 琐 ，并行 处理
及 其 不方 便。Ｈ Ｄ Ｆ Ｓ的 文 件 系 统 在 执 行任 务 的 时候 ，存 储数 据是 分 布 式的， 处理 数据 是 集 中式 的， 设 计 这种模 式 使得 执行任 务 不 能 独 立 进行 ，对 Ｎ ａ ｍ ｅ Ｎ ｏ ｄ ｅ完全 依 赖 。
【 ４ ］季鹏 ．项 目网络评 审系统设计 与应 用 ［ Ｊ 】 ．
备专家聘 请完成 后上交到教育厅领导对专家聘 请 的结果进 行批 复，得到最后的参评专家。最
后 对 参评 的 专 家 生 成 专 家 评 审 账 号 并 在 规 定 的
时 间开 放 。
河北省科学 院学报 ， ２ ０ １ ０ （ ０ ３ ） ． ［ ５ 】 鄢碧 鹏 ， 李志 强 ，蒋洪 ． 基于 Ｗ ｅ ｂ 的科研
２分析与比较
２ ． １ 分 布 式 文件 系统
分布式文件系统呈现如下特点 ： （ １ ） Ｈａ ｄ ｏ ｏ ｐ借鉴 了Ｍａ ｐ Ｒｅ ｄ ｕ ｃ ｅ 计算模型， Ｍａ ｐ Ｒ ｅ ｄ ｕ ｅ ｅ 和Ｈ ａ ｄ ｏ ｏ ｐ是两个独立的计算模型，
这 两 个 计 算 模 型 又 可 以互 相 配 合 运 行 ；
在 Ｈａ ｄ ｏ ｏ ｐ计算模 式 中设计 分布 式文件 系
＜ ＜上接 １ ８ ７页
出学科大类，每一个学科大类又划分若干个评
审小组。
为 了促进 江 西省 高校科 学技 术研 究 的发
系统 的 开 发 ［ Ｊ ］ ．科 技 情 报 开 发 与 经
济 ， ２ ０ ０ ９（ ０ １ ） ．
息， ２ ０ １ ４（ １ ０ ） ．
ຫໍສະໝຸດ Baidu
组聘 请专 家，教育厅管理员调入专家库相应专 家 （ 剔 除 申报 人所 在 单位 专 家 ）， 从 中 选 出 适
合评 审本 小 组 的 预 备 专 家 以及 组 长 。 各 小 组 预
科学研究项 目，适 当兼顾 软科 学研究项 目。在
基 础 研 究 、应 用 研 究 、试 验 发 展 三 类 项 目中 ，
Ｌ ｉ ｎ ｕ ｘ，计 算 模 式 清 晰 可 见 ，十 分 明 了 。 经 过
目前 ， “云 计 算 ” 这 种 便 捷 的 、 按 需 访
问的网络模式 ， 是广泛推行的新型互联网模式， 这种 网络模 式的特 点是：大量 的分布式计算机 执行计算分布 ，本地计算机或远 程服 务器不执 行分布计算操作 。数据 中心运 行计算模 式与互 联 网执行计算 的模式是相似 的，用户 只需将 网 络链接的资源通过分布式文件 系统链接 到所 需 要的应用上 ，并在计算机执行运 算操 作，对 应 的计算机响应 需要 的命令 字符 ，运行计算，最
展 ，江西省教育厅和省财政 厅每年均对江西省 专家聘 请批 复模 块： 系统 设计按 每个 小 高校科学技术研 究进行专 项拨款 ，其资助范围 主要 是江 西省 本科 及 高职 高专类 普通 高等 学
校 。江 西 省 高 等 学 校 科 技 项 目立 项 主 要 是 自然
［ ３ ］ 王 冰 ，邢 国 光 ，肖 林 ．有 关 科 技 项 目 申报 系统 的 开 发 与 设 计 … ． 决 策 与 信
件系统 ，进行数据 处理 时非常高效、可靠及可 伸缩 ，在 “ 云计算 ”的网络模 式中应 用非常广
泛 。基 于 分 布 式 文 件 系 统 的特 点 ， 用 户 可 以轻
方法也呈现出一定的规律性来。
松地 构架 和使 用分布 式计 算平 台。Ｈａ ｄ ｏ ｏ ｐ的
【 关 键 词 】Ｈ ａ ｄ ｏ ｏ ｐ 布 式 文件 系 统