AFS在高能物理计算系统中的应用
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
技术的巨大进步 ， 高能物理研究产生的数据量 越来越大， 以中国科学院高能物理研究所（ 以下 简称高能所） Ｂ Ｓ 的 Ｅ 实验为例 ， 在未来 ５ 年内， 将有近 ５ Ｂ的数据产 生。为了分析海量 的原 Ｐ
利 用 ＡＦ Ｓ统 一管理 用户 并提 供用户 目录 ， 实现
更安全 的用户管理 和跨平 台、 跨网域的文件共
由于集群系统被用户共 享使用 ， 一旦某 一
个用户的帐号出现问题 ， 就可能给其他用户的
存储技术。
４４ ０
数据安全带来严重的威胁 。然而在传统的集群
系统 中， 无论是 ＮＩ 服务， Ｓ 还是 Ｌ Ａ Ｄ Ｐ服务 ， 其 安全性都不尽如人意 ， 由用户带来的诸如弱 口 令、 弱加密方式等安全问题越来越突出， 恶意攻 击或入侵行为越来越成为集群 系统面临的严重 问题。因此 ， 集群 系统要求有一种安全性更高 的用户管理模式， 以提升整个集群系统 的安全
ＮＦ Ｓ网络文 件 系统 。 １ ４ 集群 wk.baidu.com统要 求更 高的 数据安 全性 ．
Ａ Ｓ提供了基于 Ｋ ｒｅｏ 的用户身份认 Ｆ ｅｂｒｓ 证 机 制和基 于 ＡＣ ＡｃｅｓＣ ｎｒｌ ｉ ） Ｌ（ ｃｓ ｏ ｔｏ Ｌｓ 的访 ｔ 问控制模式 ， 不但在通讯 、 身份认证和信息保存 等方面全面采用了数据加密技术， 而且将身份 认证与文件访问控制结合起来 ， 能够实现更加 细腻的访 问控制粒度 ， 提供 比传统文件系统更
１１ 集群用 户数量 较 多 ， 求提供统 一的帐户 ． 要 管理 系统
户的统一管理、 数据安全管理、 文件共享管理 、
以及 文件 一致 性 等方 面 ， 规模 集 群 系统 都 面 大 临着 严重 的挑 战 。
集群系统拥有强大的计算资源 ， 往往被大
量 用户 共 享 使 用 。但 是 随着 用 户 量 的 不 断 增
频繁。因此 ， 提供高可用的数据共享能力 、 保持数据文件的安全性 和一致性 、 保证数 据访 问的效 率是高
能物理计算环境 中必须解决 的问题 。论文将 Ａ Ｓ Ｆ 分布式文件系统应用于高能 物理 计算 系统 中 ， 不仅能 够提供较高安全水平的用户 管理 功能， 能够提供跨 网络 、 而且 跨平 台的文件共享 功能 ， 并有效地 控制用 户文件副本 。同时 ， 科学的配置 Ａ Ｓ的复制卷也提高 了整个计算环境数据调用 的效率 。 Ｆ
性能 。
组成 ， 拥有 Ａ Ｓ Ｆ 所有 的服务 和组件， 能够实现 Ａ Ｓ的全部功能。Ａ Ｓ通过统一规则 的全局 Ｆ Ｆ 名 字 空 间 将不 同 Ｃ ｌ虚 拟 化 成 一个 庞 大 的全 ｅｌ 局文件系统 ， 用户可以在全球任意地方通过唯
一
的逻辑路径访问某一个 Ａ Ｓ目录， Ｆ 具有非常
的性能瓶颈 ， 急需要一种能够支持大规模并发 数据访问的用户集中管理模式 。 １２ 集群 系统 要 求用 户 管 理具 备 更高 的安 全 ．
性
基 金 项 目：本 项 目 由 国 家 ８ ３ 计 划 项 目 ６ ２０ Ａ １ ２ 和 中国科学院知识创新工程重大项 ０ ６ Ａ０ ＡＩ ０ 目 Ｋ Ｃ 一Ｙ Ｊ Ｘ１ ｗ一１ 课题 资助 。 ７ 作者简 介： 许冬 （ ９ ７ ， ， １７ 一）男 中国科学 院高能物理 研究所工程师， 中国科学 院研究生 院硕士研 究生 ， 主 要研究方向 ： 分布式 文件 系统 ， 大型集 群技 术及海量
优越 的共享能力。
１３ 集群系统要求提供较高的数据共享能力 ． 随着高能物理数据规模 的扩展 ， 数据分析 工作的压力越来越大 ， 高能物理研究领域普遍 采用 了分工合作的方式开展研究 。这种分工合 作必须以强大的数据共享能力为基础。特别是 在高能物理计算中经常使用的函数库和分析程 序， 由于直接决定分析结果的正确与否 ， 其共享 就显得更加重要。但 目前传统的集群系统一般 采用 Ｎ Ｓ网络文件系统共享存储资源， Ｆ 其数据 共享 局 限于 局域 网 内部 ， 且没 有 提供 统 一 的名 字空间， 用户在开发数据分析程序时 ， 对函数库 和程序 的调用就无法指定 固定 的路径， 程序的 通用性不强 ， 以， 所 高能物理计算 的需求必然要 求 采 用 一 种 共 享 能 力 更 好 的 文 件 系 统来 替 代
第３卷 第 ３ ０ 期
２１ ０ ０年 ３ 月
核电子学与探测技术
Ｎｕ ｌａ ｌ ｔｏ ｉ ｃｅｒＥ ｅ ｒｎｃ ｃ ｓ＆ Ｄ ｔｃｉｎＴｅｈ ｏｏ ｙ ｅｅｔ ｃ ｎ ｌｇ ｏ
Ｖ０ ０ Ｎｏ ３ Ｌ３ ．
Ｍａ ． ２ １ ｒ ００
Ａ Ｓ在 高 能 物理 计算 系统 中的应 用 Ｆ
加， 用户管理的难度也越来越高 ， 集群系统需要 将大量的用户实行集中管理 。在高能物理计算 系统中， 传统的以 ＮＩ Ｉ Ａ Ｓ或 Ｐ管理用户的模 Ｄ 式在 大 规模 并 发数 据访 问情 况 下 ， 出现 了严 重
本文介绍了高能所将 Ａ Ｓ ＦＥ 分布式文件
收稿 日期 ：０ ００ —３ ２ １－２０
享。
１ 需求分析
把 Ａ Ｓ分布式文件系统应用于高能物理 Ｆ 始数据， 在高能物理研究领域普遍采用 了集群 技术作为数据处理和数据分析 的手段。近些年 计算系统中， 主要是基于如下因素 ： 来， 随着大规模集群系统 ， 甚至超级集群系统的 不断出现 ， 集群管理难度越来越高 ， 特别是在用
许 冬ｈ ，闫晓飞 ， 。 程耀东 陈 刚 ， ， 于传 松
（． １中国科学院高能物理研究所 ， 北京 １０４ ； 中国科学 院研究生 院， ００９２ ． 北京 １０４） ００９
摘要 ： 高能物理 的科学计算是典型 的数据密集型计算 ， 作业对数据的依赖 程度较 高， 数据调用非常
关键词 ： 集群 ； Ｆ ； Ａ Ｓ 用户管理 ； 共享 ； 复制卷 中图分类号 ： Ｔ ３ １ Ｐ ９ 文献标识码 ： Ａ 文章编 号 ： ０ ５ －９４ ２ １ ） ３０ ４ —６ ２ ８ ３ （０ ００ —４ ００ ０
系统应用 于集群 计算 系统 的方 案 。该方 案通过
随着高能物理研究的高速发展和相关探测
利 用 ＡＦ Ｓ统 一管理 用户 并提 供用户 目录 ， 实现
更安全 的用户管理 和跨平 台、 跨网域的文件共
由于集群系统被用户共 享使用 ， 一旦某 一
个用户的帐号出现问题 ， 就可能给其他用户的
存储技术。
４４ ０
数据安全带来严重的威胁 。然而在传统的集群
系统 中， 无论是 ＮＩ 服务， Ｓ 还是 Ｌ Ａ Ｄ Ｐ服务 ， 其 安全性都不尽如人意 ， 由用户带来的诸如弱 口 令、 弱加密方式等安全问题越来越突出， 恶意攻 击或入侵行为越来越成为集群 系统面临的严重 问题。因此 ， 集群 系统要求有一种安全性更高 的用户管理模式， 以提升整个集群系统 的安全
ＮＦ Ｓ网络文 件 系统 。 １ ４ 集群 wk.baidu.com统要 求更 高的 数据安 全性 ．
Ａ Ｓ提供了基于 Ｋ ｒｅｏ 的用户身份认 Ｆ ｅｂｒｓ 证 机 制和基 于 ＡＣ ＡｃｅｓＣ ｎｒｌ ｉ ） Ｌ（ ｃｓ ｏ ｔｏ Ｌｓ 的访 ｔ 问控制模式 ， 不但在通讯 、 身份认证和信息保存 等方面全面采用了数据加密技术， 而且将身份 认证与文件访问控制结合起来 ， 能够实现更加 细腻的访 问控制粒度 ， 提供 比传统文件系统更
１１ 集群用 户数量 较 多 ， 求提供统 一的帐户 ． 要 管理 系统
户的统一管理、 数据安全管理、 文件共享管理 、
以及 文件 一致 性 等方 面 ， 规模 集 群 系统 都 面 大 临着 严重 的挑 战 。
集群系统拥有强大的计算资源 ， 往往被大
量 用户 共 享 使 用 。但 是 随着 用 户 量 的 不 断 增
频繁。因此 ， 提供高可用的数据共享能力 、 保持数据文件的安全性 和一致性 、 保证数 据访 问的效 率是高
能物理计算环境 中必须解决 的问题 。论文将 Ａ Ｓ Ｆ 分布式文件系统应用于高能 物理 计算 系统 中 ， 不仅能 够提供较高安全水平的用户 管理 功能， 能够提供跨 网络 、 而且 跨平 台的文件共享 功能 ， 并有效地 控制用 户文件副本 。同时 ， 科学的配置 Ａ Ｓ的复制卷也提高 了整个计算环境数据调用 的效率 。 Ｆ
性能 。
组成 ， 拥有 Ａ Ｓ Ｆ 所有 的服务 和组件， 能够实现 Ａ Ｓ的全部功能。Ａ Ｓ通过统一规则 的全局 Ｆ Ｆ 名 字 空 间 将不 同 Ｃ ｌ虚 拟 化 成 一个 庞 大 的全 ｅｌ 局文件系统 ， 用户可以在全球任意地方通过唯
一
的逻辑路径访问某一个 Ａ Ｓ目录， Ｆ 具有非常
的性能瓶颈 ， 急需要一种能够支持大规模并发 数据访问的用户集中管理模式 。 １２ 集群 系统 要 求用 户 管 理具 备 更高 的安 全 ．
性
基 金 项 目：本 项 目 由 国 家 ８ ３ 计 划 项 目 ６ ２０ Ａ １ ２ 和 中国科学院知识创新工程重大项 ０ ６ Ａ０ ＡＩ ０ 目 Ｋ Ｃ 一Ｙ Ｊ Ｘ１ ｗ一１ 课题 资助 。 ７ 作者简 介： 许冬 （ ９ ７ ， ， １７ 一）男 中国科学 院高能物理 研究所工程师， 中国科学 院研究生 院硕士研 究生 ， 主 要研究方向 ： 分布式 文件 系统 ， 大型集 群技 术及海量
优越 的共享能力。
１３ 集群系统要求提供较高的数据共享能力 ． 随着高能物理数据规模 的扩展 ， 数据分析 工作的压力越来越大 ， 高能物理研究领域普遍 采用 了分工合作的方式开展研究 。这种分工合 作必须以强大的数据共享能力为基础。特别是 在高能物理计算中经常使用的函数库和分析程 序， 由于直接决定分析结果的正确与否 ， 其共享 就显得更加重要。但 目前传统的集群系统一般 采用 Ｎ Ｓ网络文件系统共享存储资源， Ｆ 其数据 共享 局 限于 局域 网 内部 ， 且没 有 提供 统 一 的名 字空间， 用户在开发数据分析程序时 ， 对函数库 和程序 的调用就无法指定 固定 的路径， 程序的 通用性不强 ， 以， 所 高能物理计算 的需求必然要 求 采 用 一 种 共 享 能 力 更 好 的 文 件 系 统来 替 代
第３卷 第 ３ ０ 期
２１ ０ ０年 ３ 月
核电子学与探测技术
Ｎｕ ｌａ ｌ ｔｏ ｉ ｃｅｒＥ ｅ ｒｎｃ ｃ ｓ＆ Ｄ ｔｃｉｎＴｅｈ ｏｏ ｙ ｅｅｔ ｃ ｎ ｌｇ ｏ
Ｖ０ ０ Ｎｏ ３ Ｌ３ ．
Ｍａ ． ２ １ ｒ ００
Ａ Ｓ在 高 能 物理 计算 系统 中的应 用 Ｆ
加， 用户管理的难度也越来越高 ， 集群系统需要 将大量的用户实行集中管理 。在高能物理计算 系统中， 传统的以 ＮＩ Ｉ Ａ Ｓ或 Ｐ管理用户的模 Ｄ 式在 大 规模 并 发数 据访 问情 况 下 ， 出现 了严 重
本文介绍了高能所将 Ａ Ｓ ＦＥ 分布式文件
收稿 日期 ：０ ００ —３ ２ １－２０
享。
１ 需求分析
把 Ａ Ｓ分布式文件系统应用于高能物理 Ｆ 始数据， 在高能物理研究领域普遍采用 了集群 技术作为数据处理和数据分析 的手段。近些年 计算系统中， 主要是基于如下因素 ： 来， 随着大规模集群系统 ， 甚至超级集群系统的 不断出现 ， 集群管理难度越来越高 ， 特别是在用
许 冬ｈ ，闫晓飞 ， 。 程耀东 陈 刚 ， ， 于传 松
（． １中国科学院高能物理研究所 ， 北京 １０４ ； 中国科学 院研究生 院， ００９２ ． 北京 １０４） ００９
摘要 ： 高能物理 的科学计算是典型 的数据密集型计算 ， 作业对数据的依赖 程度较 高， 数据调用非常
关键词 ： 集群 ； Ｆ ； Ａ Ｓ 用户管理 ； 共享 ； 复制卷 中图分类号 ： Ｔ ３ １ Ｐ ９ 文献标识码 ： Ａ 文章编 号 ： ０ ５ －９４ ２ １ ） ３０ ４ —６ ２ ８ ３ （０ ００ —４ ００ ０
系统应用 于集群 计算 系统 的方 案 。该方 案通过
随着高能物理研究的高速发展和相关探测