基于Linux集群的并行计算
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第３ ６卷 第 １ 期
Ｖ Ｌ３６ ｏ
・
计
算
机
工
程
２１ ０ ０年 １月
Ｊａ ｎｕａ ｙ ０１ ｒ ２ ０
Ｎｏ１ ．
Ｃｏ ｐｕｔ ｒＥｎｇ ｎｅ ｒ ｎ ｍ ｅ ｉ ｅ ｉｇ
软 件技 术 与数据 库 ・
文章编号：１ｏ ＿ ２２１）—ｏ６ － 文献标识码： ００ ３ ８ ００ ｌ＿ ４ ０ — ４ （ ０ ０— ３ Ａ
网相连 的实验环境 ，采 用集群工作框架和并行计算 的关键技术 ，提出基于 Ｌｎ ｘ集群的并行计算系统环境。在该环境 上对 系统 的性能进行 ｉｕ 测试 ，结果证 明了系统 的可行性 。
关健词 ： ｉ ｘ Ｌｎ 集群 ；并行计算 ；系统性能 ；负载均衡 ｕ
Ｐａ ａ ｌ ｌ ｏ ｐｕｔｎｇ Ｂａ ｅ ｎ Ｌｉ ｒ ｌｅ ｍ Ｃ ｉ ｓ ｄ ０ ｎｕｘ Ｃｌ ｔ ｒ ｕｓｅ
Ｗ ＡＮ Ｇ ａｉｔ Ｈ ．ａｏ１ ＬＩ Ｓｈｕ．ｅ Ｕ ｆｎ
．
Hale Waihona Puke Baidu
（． ｃ ｏ ｌ ｆ ｏ ｕ ｅ ｃ ｎ ｅａ ｄ ｅ ｈ ｏｏ ｙ Ｈｅ ａ ｏｙｅ ｈ ｉ Ｕｎｖ ｒｉ ， ｉ ｚ ｏ４ ４ ０ ； １ Ｓ ｈ ｏ Ｃ ｍｐ ｔｒ ｉ ｃ ｃ ｎ ｌｇ ， ｎ ｎＰ ｌｔｃ ｎ ｃ ｉｅ ｓ ｙ Ｊａ ｕ ５ ０ ３ ｏ Ｓ ｅ ｎ Ｔ ｔ ｏ ２ Ｃ ｌ ｇ ｆ ｍｐ ｔｒ ｃ ｎ ｅ ｎ ｅ ｈ ｏｏ ｙ Ｊ ｉ ｎ ｖ ｒｉ ， ｈ ｎ ｃ ｕ ０ ３ ０ ． ｏｌ ｅｏ ｅ Ｃｏ ｕｅ ｉ ｃ ｄＴ ｃ ｎ ｌｇ ， ｉ ｎＵ ｉｅｓ ｙ Ｃ ａ ｇ ｈ ｎ １ ０ ２ ） Ｓｅ ａ ｌ ｔ
ｈｉ ｈ ｅ ｐｅ ｓ ， ｉ ｃ ｌ ｍａ ｇ ｍｅ ｔ ｃ ｍｐｌｘ ｏ ｒ ｔｏ ｎｄ Ｓ Ｕ Ｔｏ ｓ ｌ ｅ ｔ ｅ ｅｐｒ ｂ ｅ ， ｈｉ ａ ｅ ｓ ｓｔ ｅ ｌ ｂ ｃ ｎ ｉ ｏ ｆ ｏ ｎ ｃ ｉ ｎ ｂｅ ｅ ｎ ｇ ｘ ｎ ｅ ｄ ｆ ｕ ｔ ｎａ ｅ ｎ ， ｏ ｉ ｅ ｐｅ ａ ｉ ｎ ａ Ｏ Ｏ ． ｏ ｖ ｈ ｓ ｏ ｌ ｍｓ ｔ ｓｐ ｐ ｒｕ ｅ ｈ ｏ ｄ ｔ ｎ ｏ ｎ ｅ ｔ ｔ ｅ ａ ｉ ｃ ｏ ｗ ＰＣ ｎ ｈ ｍｅ ， ｄ ｐ ｓｔ ｅ ｋ ｙ ｔ ｃ ｎ ｌ ｇ ｅ ｆ ｈ ｌ ｓ ｅ ｎ ｒ ｌｅ ｏ ｕ ａ ｉ ｎ ａ ｄ ｐ ｏ ｏ ｅ ａ ａ ｌｌ ｏ ｕ ｉ ｇ ｓ ｓｅ ｃ ｒ ｕ ｔ ｎ ｅ ｂ ｓ ｄ ｏ ａ ｄ Ｅｔ ｅ ｔ ａ ｏ ｔ ｅ ｅ ｈ ｏ ｏ ｉ ｓｏ ｔ ｅｃ ｕ ｔ ｒａ ｄ ｐａ ａ ｌｌ ｍｐ ｔ ｔ ， ｎ ｒ ｐ ｓ ｓｐ ｒ ｌｅ ｍｐ ｔｎ ｙ ｔ ｍ ｉ ｍｓａ ｃ ａ ｅ ｎ ｈ ｃ ｏ ｃ ｃ ｈ ｎ ｘ ｃｕ ｔ ｒ Ｔｈ ｅ ｔ ｏ ｔ ｙ ｔ ｍ ｅ ｆ ｒ ｎｃ ｓｃ ｒｉ ｄ ｏ ， ｎ ｓ ｓｅ ａ ａ ｌ ｂ ｌ ｙ ｉ ｒ ｖ ｄ ｔ ｅ Ｌｉ ｕ ｌ ｓ ｅ ． ｅ ｔ ｓ ｅ ｓ ｓｅ ｐ ｒｏ ｍａ ｅ ｉ ａｒ ｅ ｎ ａ ｄ ｔ ｙ ｔ ｍ ｖ ｉａ ｉｉ ｓｐ ｏ ｅ ． ｔ ｈ ｈｅ ｔ
器 并 行 执 行一 个作 业 ，以提 高 计 算 效 率 ； 行 计 算机 的结 构 、 并
在大多数模式下 ，集群中所有的计算机拥有一个共 同的
名 称 ，集 群 内任 一 系 统 上 运 行 的 服 务 可 被 所 有 的 网络 客 户 所
算领域的主流平台之一。 ．
１ 集群与并行计算
集群（ ｌｓ ｒ是一组相互独立 的服务器在 网络中表现为 Ｃｕ ｔ ） ｅ 单一 的系统 ，并以单一系统的模式加以管理 ，以此单一系统 为客户提供高可靠性的服务。
ｌ 商 化 专 网 品或业络
图 １ Ｃｌｓｅ ｕ ｔｒ体系结构
并行 计算（ａａｌ ｏ ｕｉｇ［是 用若干（ Ｐ ｒｌ ｌ ｍｐ ｔ ）１ ｅＣ ｎ ３ 几到几千） 处理
［ ｙｗｏ ｄ ］Ｌｎ ｘｃ ｓｅ； ａａｌｌ ｏ ｕｉｇ ｓｓ ｍ ｅｆｒ ｎ ｅ ｌａ ｑ ｉｂｉｍ Ｋｅ ｒ ｓ ｉｕ ｌ ｔｒｐ ｒｌ ｍｐ ｔ ；ｙｔ ｐｒｏｍａｃ ；ｏｄｅ ｕｌ ｒ ｕ ｅｃ ｎ ｅ ｉ ｕ
网络 的 高 速 发 展 带 来 了服 务 需 求 的 线 形 增 长 ，当 访 问 需
［ ｓ ａ ｔ ｏ ｅｃ ｍｍｏ ｓｒｉ ｌ ｎｉｇｔｅｐｏｅｓｏ ａａｌｌ ｏ ｅｉｇｏ ｅｓｅ ｉｌｅ ｌｓｅ，ｈ ｒ ａｅｓｖ ｒｌ ｕｓｉｎ，ｕ ｈａ Ａｂ ｔ ｃ］Ｆ ｒｔ ｏ ｒ ｈ ｎｕ ｅ，ｍｐｅ ｔ ｒｃｓ ｆ ｒｌ ｍｐ ｔ ｎｔ ｐ ｃａｉ ｄｃｕｔｒｔｅｅ ｒ ｅｅａ ｑ ｅｔ ｓ ｓｃ ｓ ｍｅ ｎ ｈ ｐ ｅｃ ｎ ｈ ｚ ｏ
编 程 环境 和应 用 可 用性 和 单一 系统 影 像基 础设 施
ＯＳ
求增长时 ，服务器会在很短 的时间内超载 ，集群技术 由此应 运而生。 目前 ，集群 系统 已在 多个领域获得应用 ，如科学研
究计算、石油勘探 、天气预报、生物信息处理、信 号处理等 。
可以预见 ，随着对称多处理机 产品的大量使用和高性能 网络 产 品的完善 ，以及各种软硬件 支持 的增 多和 系统软件、应用 软件 的丰富 ，新一代 高性 能集群 系统必将成为未来高性能计
中 图分类号： Ｐ９． Ｔ３３２ ０
基 于 Ｌ ｎ ｘ集群 的 并行 计 算 ｉｕ
王海 涛 ，刘淑芬
（．河南理工 大学 计算机科 学与技术学 院，焦作 ４ ４ ０ ；２ 吉林大学计算机科学与技术学 院，长春 １０ ２ ） １ ５０３ ． ３ ０ ０
摘
要 ：对 普通 用户来说 ，在专业集群 中进行并行计算 的处理 ，存在费用高、管理困难和操作复杂等问题。针对该 问题，利用 Ｐ ｃ和 以太
Ｖ Ｌ３６ ｏ
・
计
算
机
工
程
２１ ０ ０年 １月
Ｊａ ｎｕａ ｙ ０１ ｒ ２ ０
Ｎｏ１ ．
Ｃｏ ｐｕｔ ｒＥｎｇ ｎｅ ｒ ｎ ｍ ｅ ｉ ｅ ｉｇ
软 件技 术 与数据 库 ・
文章编号：１ｏ ＿ ２２１）—ｏ６ － 文献标识码： ００ ３ ８ ００ ｌ＿ ４ ０ — ４ （ ０ ０— ３ Ａ
网相连 的实验环境 ，采 用集群工作框架和并行计算 的关键技术 ，提出基于 Ｌｎ ｘ集群的并行计算系统环境。在该环境 上对 系统 的性能进行 ｉｕ 测试 ，结果证 明了系统 的可行性 。
关健词 ： ｉ ｘ Ｌｎ 集群 ；并行计算 ；系统性能 ；负载均衡 ｕ
Ｐａ ａ ｌ ｌ ｏ ｐｕｔｎｇ Ｂａ ｅ ｎ Ｌｉ ｒ ｌｅ ｍ Ｃ ｉ ｓ ｄ ０ ｎｕｘ Ｃｌ ｔ ｒ ｕｓｅ
Ｗ ＡＮ Ｇ ａｉｔ Ｈ ．ａｏ１ ＬＩ Ｓｈｕ．ｅ Ｕ ｆｎ
．
Hale Waihona Puke Baidu
（． ｃ ｏ ｌ ｆ ｏ ｕ ｅ ｃ ｎ ｅａ ｄ ｅ ｈ ｏｏ ｙ Ｈｅ ａ ｏｙｅ ｈ ｉ Ｕｎｖ ｒｉ ， ｉ ｚ ｏ４ ４ ０ ； １ Ｓ ｈ ｏ Ｃ ｍｐ ｔｒ ｉ ｃ ｃ ｎ ｌｇ ， ｎ ｎＰ ｌｔｃ ｎ ｃ ｉｅ ｓ ｙ Ｊａ ｕ ５ ０ ３ ｏ Ｓ ｅ ｎ Ｔ ｔ ｏ ２ Ｃ ｌ ｇ ｆ ｍｐ ｔｒ ｃ ｎ ｅ ｎ ｅ ｈ ｏｏ ｙ Ｊ ｉ ｎ ｖ ｒｉ ， ｈ ｎ ｃ ｕ ０ ３ ０ ． ｏｌ ｅｏ ｅ Ｃｏ ｕｅ ｉ ｃ ｄＴ ｃ ｎ ｌｇ ， ｉ ｎＵ ｉｅｓ ｙ Ｃ ａ ｇ ｈ ｎ １ ０ ２ ） Ｓｅ ａ ｌ ｔ
ｈｉ ｈ ｅ ｐｅ ｓ ， ｉ ｃ ｌ ｍａ ｇ ｍｅ ｔ ｃ ｍｐｌｘ ｏ ｒ ｔｏ ｎｄ Ｓ Ｕ Ｔｏ ｓ ｌ ｅ ｔ ｅ ｅｐｒ ｂ ｅ ， ｈｉ ａ ｅ ｓ ｓｔ ｅ ｌ ｂ ｃ ｎ ｉ ｏ ｆ ｏ ｎ ｃ ｉ ｎ ｂｅ ｅ ｎ ｇ ｘ ｎ ｅ ｄ ｆ ｕ ｔ ｎａ ｅ ｎ ， ｏ ｉ ｅ ｐｅ ａ ｉ ｎ ａ Ｏ Ｏ ． ｏ ｖ ｈ ｓ ｏ ｌ ｍｓ ｔ ｓｐ ｐ ｒｕ ｅ ｈ ｏ ｄ ｔ ｎ ｏ ｎ ｅ ｔ ｔ ｅ ａ ｉ ｃ ｏ ｗ ＰＣ ｎ ｈ ｍｅ ， ｄ ｐ ｓｔ ｅ ｋ ｙ ｔ ｃ ｎ ｌ ｇ ｅ ｆ ｈ ｌ ｓ ｅ ｎ ｒ ｌｅ ｏ ｕ ａ ｉ ｎ ａ ｄ ｐ ｏ ｏ ｅ ａ ａ ｌｌ ｏ ｕ ｉ ｇ ｓ ｓｅ ｃ ｒ ｕ ｔ ｎ ｅ ｂ ｓ ｄ ｏ ａ ｄ Ｅｔ ｅ ｔ ａ ｏ ｔ ｅ ｅ ｈ ｏ ｏ ｉ ｓｏ ｔ ｅｃ ｕ ｔ ｒａ ｄ ｐａ ａ ｌｌ ｍｐ ｔ ｔ ， ｎ ｒ ｐ ｓ ｓｐ ｒ ｌｅ ｍｐ ｔｎ ｙ ｔ ｍ ｉ ｍｓａ ｃ ａ ｅ ｎ ｈ ｃ ｏ ｃ ｃ ｈ ｎ ｘ ｃｕ ｔ ｒ Ｔｈ ｅ ｔ ｏ ｔ ｙ ｔ ｍ ｅ ｆ ｒ ｎｃ ｓｃ ｒｉ ｄ ｏ ， ｎ ｓ ｓｅ ａ ａ ｌ ｂ ｌ ｙ ｉ ｒ ｖ ｄ ｔ ｅ Ｌｉ ｕ ｌ ｓ ｅ ． ｅ ｔ ｓ ｅ ｓ ｓｅ ｐ ｒｏ ｍａ ｅ ｉ ａｒ ｅ ｎ ａ ｄ ｔ ｙ ｔ ｍ ｖ ｉａ ｉｉ ｓｐ ｏ ｅ ． ｔ ｈ ｈｅ ｔ
器 并 行 执 行一 个作 业 ，以提 高 计 算 效 率 ； 行 计 算机 的结 构 、 并
在大多数模式下 ，集群中所有的计算机拥有一个共 同的
名 称 ，集 群 内任 一 系 统 上 运 行 的 服 务 可 被 所 有 的 网络 客 户 所
算领域的主流平台之一。 ．
１ 集群与并行计算
集群（ ｌｓ ｒ是一组相互独立 的服务器在 网络中表现为 Ｃｕ ｔ ） ｅ 单一 的系统 ，并以单一系统的模式加以管理 ，以此单一系统 为客户提供高可靠性的服务。
ｌ 商 化 专 网 品或业络
图 １ Ｃｌｓｅ ｕ ｔｒ体系结构
并行 计算（ａａｌ ｏ ｕｉｇ［是 用若干（ Ｐ ｒｌ ｌ ｍｐ ｔ ）１ ｅＣ ｎ ３ 几到几千） 处理
［ ｙｗｏ ｄ ］Ｌｎ ｘｃ ｓｅ； ａａｌｌ ｏ ｕｉｇ ｓｓ ｍ ｅｆｒ ｎ ｅ ｌａ ｑ ｉｂｉｍ Ｋｅ ｒ ｓ ｉｕ ｌ ｔｒｐ ｒｌ ｍｐ ｔ ；ｙｔ ｐｒｏｍａｃ ；ｏｄｅ ｕｌ ｒ ｕ ｅｃ ｎ ｅ ｉ ｕ
网络 的 高 速 发 展 带 来 了服 务 需 求 的 线 形 增 长 ，当 访 问 需
［ ｓ ａ ｔ ｏ ｅｃ ｍｍｏ ｓｒｉ ｌ ｎｉｇｔｅｐｏｅｓｏ ａａｌｌ ｏ ｅｉｇｏ ｅｓｅ ｉｌｅ ｌｓｅ，ｈ ｒ ａｅｓｖ ｒｌ ｕｓｉｎ，ｕ ｈａ Ａｂ ｔ ｃ］Ｆ ｒｔ ｏ ｒ ｈ ｎｕ ｅ，ｍｐｅ ｔ ｒｃｓ ｆ ｒｌ ｍｐ ｔ ｎｔ ｐ ｃａｉ ｄｃｕｔｒｔｅｅ ｒ ｅｅａ ｑ ｅｔ ｓ ｓｃ ｓ ｍｅ ｎ ｈ ｐ ｅｃ ｎ ｈ ｚ ｏ
编 程 环境 和应 用 可 用性 和 单一 系统 影 像基 础设 施
ＯＳ
求增长时 ，服务器会在很短 的时间内超载 ，集群技术 由此应 运而生。 目前 ，集群 系统 已在 多个领域获得应用 ，如科学研
究计算、石油勘探 、天气预报、生物信息处理、信 号处理等 。
可以预见 ，随着对称多处理机 产品的大量使用和高性能 网络 产 品的完善 ，以及各种软硬件 支持 的增 多和 系统软件、应用 软件 的丰富 ，新一代 高性 能集群 系统必将成为未来高性能计
中 图分类号： Ｐ９． Ｔ３３２ ０
基 于 Ｌ ｎ ｘ集群 的 并行 计 算 ｉｕ
王海 涛 ，刘淑芬
（．河南理工 大学 计算机科 学与技术学 院，焦作 ４ ４ ０ ；２ 吉林大学计算机科学与技术学 院，长春 １０ ２ ） １ ５０３ ． ３ ０ ０
摘
要 ：对 普通 用户来说 ，在专业集群 中进行并行计算 的处理 ，存在费用高、管理困难和操作复杂等问题。针对该 问题，利用 Ｐ ｃ和 以太