建立异构机群系统并行计算环境的一种解决方案

万方数据
计算机工程与应用 !""#$#!
Y%
1 1 建立新 ()*+,-./,0. 文件 ! 1 1 断开 %&’ 服务器连接
（72,< ） （*2- ） ； 895:<,5*2--.*4
通过 %&’ 获取可 用 节 点 机 后 ， 有 两 种 节 点 分 配 方 式 供 用 户选择： 选择在 OPQ RBS’P 列表控件列出的可用节点机， 定义 自己的虚拟机群系统； 直接应用管理平台自动建立的 ()*+,-.I 使得节点位置对用户透明， 用户不必关心哪些节点参 /,0. 文件， 与执行自己的并行任务。此外， 利用 %&’ 还可以对各节点机配 置独占使用或共享等属性， 以满足各类并行计算需求。
/, ,/ MY(8,:+254 E3 \+254-)(.\N ； 4+.[ 获取可执行文件子目录中的相应可执行文件名 862D-)(.53YaH.*X,6 1 Y862D-)(.Y(8,:+254 6*8 I8 Y862D-)(.5 Y(8,:+254 ： [ 远程复制可执行代码 /, <2-.
F F 1 1 读节点机状态
,/ MI- =Y-()*+,-.= I) =Y-()*+,-.= E3 ="=N ； 4+.（$_> ） ： (8,:+2543\.H86 Y(8,:+254 ： ]> $_] \
1 1 显示出错信息并退出执行 !F F .05. C
（54<.66 ， ； =G5： @2 -2<.5 /2?-<>-= ） /86,-4/ （" ） ； .H,4
#$!
并行任务发送
V%SRW 提供的是字符操作界 面 ， 用 户 必 须 了 解 各 节 点 机
及其状态， 键入多条命令来完成各节点机并行程序副本的复制 和执行并行程序， 才能完成并行任务的发送和运行， 这对于用
图! 机群系统并行计算管理平台
户来说显然是比较复杂的、 不方便的。 并且对于异构机群系统， 各节点机能运行的二进制可执行文件是互不兼容的， 因此在执 行一个 ’%VX 并行程序前， 不仅要完成各节点机可执行程序副 本的复制操作， 还必须能判别节点机型， 以提供适当的可执行 程序。 对于上述问题，可以通过修改 (8,6?- 和实现交互 操 作 来 解 决 。 (8,6?- 是 V%SRW 的 一 个 5+.00 文 件 ， 其 功 能 是 设 置 对命令行参数作出 解 释 并 执 行 相 应 操 作 。 V%SRW 的运行环境， 如果将 (8,6?- 命令文件修改为能识别各节点机，并自动 复 制 相应的二进制可执行代码， 就可使并行任务发送过程对用户透 明， 同时也适应异构机群系统。 V8,6?- 的主要修改代码如下：
图% 机群系统软件层次结构示意图
#
图形化并行计算管理平台
在机群系统上开发图形并行任务发送、 负载平衡及节点、 处理机状态监视等功能，
!
机群系统的组建
自建机群系统可以充分利用现有的计算机资源和网络设
可为用户提供具有一定体系结构透明性、 任务位置透明性及并 行透明性的机群并行计算环境， 该文开发的并行计算管理平台 的主界面如图 ! 所示。
612-789 操 作 系 统 ， 当 没 有 并 行 计 算 任 务 时 ， 系 统 还 可 在 612-789 环境下正常工作。
基金项目： 四川省机群并行计算重点实验室资助
作者简介： 罗省贤 （%WV\> ） ， 女， 教授， 主要研究方向为地震数据处理方法、 高性能计算与网络计算。邹晖， 硕士。
!:/&+-;&： )9 0K, AC390,? 0,AK27C7=L 19 -,D,C7G,- [31AOCL， K1=K G,?@7?E/2A, A7EG3012= 19 G7991JC, JL 3912= 0K, 2,087?O /2- A7EG3012= 973?A,9 0K/0 8, K/D, 07 A7290?3A0 0K, AC390,? 9L90,E$I7E, 7@ 0K, 1EG7?0/20 G?7JC,E9， 93AK /9 A7EG3012=> C7/- J/C/2A, ， D193/C E72107?12= ， 12 0K, AC390,? G/?/CC,C A7EG3012= ,2D1?72E,20 /?, -19A399,- 12 0K19 G/G,?， /2- 72, 7@ 0K, 97C30172 @7? 0K, AC390,? G/?/CC,C A7EG3012= ,2D1?72E,20 19 G30 @7?8/?-$ <,=>#+?/： ’C390,?， ’C390,? G/?/CC,C A7EG3012= ,2D1?72E,20， ’7EG3012=>C7/- H/C/2A, ， &HI ， .1=K G,?@7?E/2A, A7EG3012=
（8954)4 3 954)4?5； /26 8954)4 ； 8954)4 3 8954)4IJ-.H4 ） C
并行程序名和进程数的选择都可在并行计算管理平台上 由交互操作完成， 从而屏蔽了字符界面下由用户发命令的操作 细节， 简化了并行任务的发送操作。
8)4 3 8954)4IJ)446,95； 1 1 8)4 获 得 可 用 节 点 的 属 性 结 构
建立异构机群系统并行计算环境的一种解决方案
罗省贤 邹 晖 （成都理工大学， 成都 U%""VW）
B>E/1C： CCEXA-30$,-3$A2
摘 要 机群技术的快速发展， 使得充分利用现有网络和计算机资源建立机群系统以提供高性能计算能力成为可能。 文
章讨论了建立基于网络的机群系统并行计算环境的一些主要问题， 如负载平衡、 可视 化 监 控 等 ， 并提出和实现了建立机 群并行计算平台的一种解决方案。 关键词 机群系统 并行计算环境 负载平衡
（该属性结构由 %&’ 定义）
1 1 检查节点机是否空闲或还可接收任务
（546*(8 （8)4IJ7)0?. ， （ ,/ （ =/6..= ） 33 " ） KK 546*(8 （8)4 IJ ） =L29I5+)6,-D= ） 33 " ） C 7)0?. ，
#$#
可视化监控
为了使机群并行系统有效地运行， 应当能够实时监控机群
备资源，一般采用通用 ()* 网络将几十台或上百台微机或工 作站连接起来， 就可完成机群硬件系统的基本组建， 这对于一 般 用 户 来 说 容 易 实 现 。 机 群 系 统 的 操 作 系 统 可 使 用 +,- ./0
#$%
计算节点的分配与负载平衡策略
;&<’. 环境确定节点的机制 是 根 据 E/AK12,@1C, 文 件 给 出
+2545 M-NM"N
3 8954)4IJ-)(. ； 1 1 将可用节点机名赋给
（I- =Y()*+,-.Z,0.= ） ,/ ME N ； 4+.- [ 若 不 存 在 新 定 义 ()*+,-./,0. 文 件， 则用缺省 ()*+,-./,0. 文件
用范围较广的开放源代码自由软件， 可根据用户需求统一管理 和调度机群系统的软硬件资源， 其特点之一就是容易实现新的 调度策略。文章为了高效快速地获取节点机信息， 没有靠调用 而是写代码直接 %&’ 的应用程序去间接地读取节点机的状态， 连接 %&’ 服务器， 读取各个节 点 机 的 状 态 ， 检测出节点机是否 可用、 是否具有接收更多任务的能力等状态。并且每当发送一 次并行任务时， 先筛选出最空闲或负载最轻的节点机， 重建最 新 ()*+,-./,0. 文 件 供 节 点 分 配 使 用 ， 可 以 有 效 地 平 衡 整 个 机 群系统的负载， 获得高性能的并行计算能力。连接 %&’ 读取节 点机状态的部分代码如下：
系统各节点的状态，该文采取两个途径来获得节点的状态， 并 使得有关状态信息的显示动态化和可视化。 （^ ） 节点状态监控 在机群系统并 行 计 算 管 理 平 台 上 ， 先 通 过 %&’ 读 出 节 点 状态信息， 然后在节点状态显示窗口中以颜色和图形标识出各 节点机的当前状态， 状态意义如表 ^ 所示。 通过将机群系统各节点的状态信息可视化， 使系统管理员能 掌握机群系统的当前负载状况， 并有助于及时排除节点机故障。
1 1 连接 %&’ 服务器
（895:5.67.6 ） ； *2-3 *-4!5.67.6 （*2-;3 " ） ,/ （54<.66 ， ； /86,-4/ =*)--24 *2--.*4 42 5.67.6>-= ）
()*+,-.Z,0.3=YC()*+,-.X,6F 1 ()*+,-.5$YC)6*+F= /, [ 检查并获得各节点机信息 0,543\*)4 Y()*+,-.Z,0.K5.< I.] 1 >[ 1 <] K 46 I5 ]>"^!]]]K +.)<I=Y-8=\ /26 (8,:+254 ,- Y0,54 ； <2
（ -()*+,-.3\.H86 Y(8,:+254 ： ]$_ ： > M"I‘N_> ） ] \
1 1 获得 %&’ 服务器状态
（*2- ， ； 954)4?5 3 895:54)4-2<. == ， @ABB， @ABB） （954)4?5 33 @ABB ） ,/ C （895:.66-2 ） ,/ C （ （.66(5D 3 895:D.4.66(5D （*2- ） ） E3 @ABB） C ,/