松耦合实时集群计算机系统软件及其安装实现

第 7卷 第 19期 2007年 10月
167121819 (2007) 1925166204
科 学 技 术 与 工 程
Science Technology and Engineering
Vol. 7 No. 18 Sep. 2007
Ζ 2007 Sci. Tech. Engng.
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
19期
暴 杰 ,等 :松耦合实时集群计算机系统软件及其安装实现
51 67
及管理员的人工干涉命令 , 建立并调整任务分配 表 ,并将任务分配表通过网络通信广播至各计算单 元 。实时集群中的应用程序又是依据任务分配表 来确定在每一个计算单元中要处理那些数据 ,有哪 些单元需要本单元的中间计算结果 ,并向管理员工 作台返回任务完成情况 。数据处理模块驻留在计 算节点上 ,数据处理软件在获得原始数据后 ,立即 读取由负载平衡软件建立和管理的任务分配表 ,来 确定要处理的数据量 、处理方式 、结果去向等 ,处理 完规定的数据之后 ,向负载平衡软件报告任务完成 情况 ,负载平衡软件由此判断各计算单元应用程序 的工作状态 。人机接口是集群系统与用户的交互 通道 ,负责发布命令和干涉集群系统的运行 。因 此 ,基于硬件节点在物理空间上的分散性和软件运 行的逻辑分散性给系统安装带来了麻烦 。
2 松耦合 集 群 计 算 机 系 统 软 件 特 点 和 安 装 所考虑的问题
松耦合集群计算机一般由网络设备连接计算 节点 、控制台节点 、服务器节点 (由向集群系统提供 原始数据的通信服务器和存储系统处理结果的数 据库服务器 )构成 。而集群系统软件由平台软件和 应用软件两部分构成 。平台软件是在网络硬件和 网络操作系统的支持下为用户提供动态多任务 、分 布式的和负责负载平衡的并行计算环境的软件 。 应用软件是用户为完成自己的特定任务而拥有的 软件 ,必须有平台软件的支持才能正常工作 。因 此 ,应用软件和平台软件并不是很分明 ,可能会是 有机的整体 。对于通用系统来说 ,应用软件独自存 在 ,但运行必须在平台软件的环境下 。在平台软件 和应用软件开发完成后 ,要形成集群计算机系统 , 就必须将软件系统进行安装 ,从安装工作量和方便 程度 ,用户希望像单机系统的软件安装那样自动进 行 。对于松耦合集群计算机系统来说 ,系统软件安 装就更繁琐 。这是因为由网络构成的集群计算机 和单台计算机有很大的区别 。而目前的集群系统 软件的安装大多是通过单机安装方式来完成的 。
参 考 文 献
集群计算机系统软件具有两大特点 :一是由若 干软件模块组成 ;二是在构成可用的计算资源时不 同部分软件运行在不同节点 ,这就要求我们在安装 时要给各节点选择其所需的软件 。本程序就完成 了这样的功能 , 并且在实际应用中经验证是可行 的 。该软件具备较完善的功能 ,且操作简单 。为用
图 3 集群系统安装软件功能结构图
……} / /搜集 IP函数 void collect_ip ( GtkW idget 3 widget, gpointer data ) { …… p ing ( dest_ip ) ; / /自定义的搜索函数 ,此函数类似于网络
操作系统的 Ping命令或函数 } / /处理 ICMP数据包 void handle_icmp ( char 3 p tr, int len) { …… p rintf ( " % d bytes from % s\ n" , icmp len, inet_ntoa ( dest. sin
[ 0 ]; strcpy ( hostname, he - > h_name) ; exit( 1) ; } else { fp rintf ( stderr, " host name error: % s% s\ n" , argv, hstrerror( h_er2 rno) ) ; exit ( 1) ; } }
⑤配置集群有关信息 ; ⑥将设置好的集群文件和集群系统软件传送 至各节点 (可做成在退出安装程序前自动完成 ) ; ⑦启动各节点的集群程序 ,观察控制台上显示 信息 ,确定安装成功否 ; ⑧启动演示程序 ,验证集群正常工作否 ; ⑨结束全部安装 。
3 实时集群系统软件安装实现方案
实现目标要求 ,以往使用的是客户 /服务器模 式安装和用安装光盘分别去每一个节点进行安装 的方法 。这两种方法都要做大量的重复工作 ,费时 费功 。为了克服上述安装的不便 , 本文提出第三 种 :只在集群中安装节点上进行操作 ,就可把集群 系统软件分别安装在各节点 。显然这样做省工省 力又不易出差错 。这里给出基于 L inux操作系统的 集群软件的安装程序的功能结构如图 2所示 。
4 部分主要代码及安装界面
依据上述的原理 ,可编写如下程序 (主要是发 送 、接收和处理 ICM P包 )框架 ,即可完成安装程序 的主要功能 。程序的运行主界面如图 3示 。
/ /发送 ICMP应答请求数据包 void send_icmp ( void) { ……
n = sendto ( sockfd, message _ buf, len, 0, ( struct sockaddr 3 ) &dest, sizeof ( dest) ) ;
①启动网络中的一个节点 (或从发行光盘引 导 ,直接进入安装程序 ) ;
②运行集群系统软件光盘上的安装程序 setup , 再按屏幕提示操作 ;
③setup 程序首先检查同一网络上的计算节点 , 并列出其计算机名和 IP地址 ;
④按照网络上的 IP地址 ,设置集群控制台 、数 据服务器 (通信 、数据库 ) 、计算节点 ;
……} / /接收 ICMP数据包 void recv_icmp ( void) { …… n = recvfrom ( sockfd, message_buf, sizeof (message_buf) , 0, ( struct sockaddr3 ) &dest, &addrlen) ;
5168
科 学 技 术 与 工 程
7卷
图 2 集址向各节点拷贝各自所需文件 ;第五 ,启 动各节点主控程序 ,并且执行演示程序 ,验证集群 计算机系统是正常的 。最后 ,退出安装 。
图 2是安装软件所涉及的各功能块 。其中最主 要的是各节点 IP地址的获取 。那么又怎样取得各 节点的 IP地址呢 ? 实际上 , IP协议的一个组成部分 ICM P ( Internet Control M essage Protocol) 协议 ,即控 制报文协议 ,主要用于提供差错报告 。 ICM P 在处 理几种类型的差错情况时 ,总是向发出数据报的源 站报告 。而且 ,凡使用 IP的计算机都能接受 ICM P 包 ,并对差错报告进行响应 。所以 ,我们利用这个 特点 ,从一个节点发出 ICM P包 ,其他在线的各节点 都可能会收到该 ICM P包 ,此时就会向发出 ICM P包 的节点返回自己的 IP地址等信息 。这就是获取 IP 地址的方法 。也是安装软件得以实现的原理 。
松耦合实时集群计算机系统软件及其安装实现
暴 杰 1 薛弘晔 1, 2
(西安科技大学 1 ,西安 710054, 西北工业大学 2 , 西安 710065)
摘 要 针对松耦合集群计算机系统 ,分析了实时集群软件构造及其特点 ,提出了利用 ICM P包实现集群计算机系统软件安 装方法 。在 L INUX操作系统下 ,用 GNU C语言开发出了安装软件 ,并已用于一个实时集群系统软件的安装 。 关键词 集群计算机 实时 Internet控制信息协议 中图法分类号 TP391. 41; 文献标识码 A
_addr) ) ; } / /p ing函数 int p ing ( char 3 argv) { struct hostent 3 he; p rintf ( " = = = = = = = = = % s\ n" , argv) ; if ( inet_aton ( argv, &dest. sin_addr) = = 1) { strcpy( hostname, argv) ; } else { he = gethostbyname ( argv) ; if( he! = NULL ) { dest. sin_addr = 3 ( struct in_addr3 ) he - > h_addr_ list
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
19期
暴 杰 ,等 :松耦合实时集群计算机系统软件及其安装实现
51 69
5 结束语
户减轻了许多安装工作量 。
国家 2003年火炬计划项目 (2003EB011441)资助
第一作者简介 :暴 杰 ( 1977—) ,硕士研究生 ,男 ,研究方向 : 网
络与高性能计算 。
图 1 实时集群计算机系统机构
器 、计算等节点上 。负责动态收集本单元的硬件 、 操作系统 、应用软件 、网络通信等工作状态信息 。 通过网络通信程序报告给控制台上的监控程序 。 网络通信模块驻留在控制台 、数据库服务器 、计算 等节点上 ,负责集群内部各计算单元之间 、集群和 控制台之间 ,通过高速网络设备传输控制信息 、任 务分配表 、原始任务数据 、中间处理结果 、输出解算 结果等信息和数据 。负载平衡模块驻留在控制台 节点上 ,根据系统中各个计算单元的状态信息 ,以
1 实时集群计算机软件构成
许多科学与工程领域的发展越来越依赖于高 性能计算 ,而高性能计算已成为继理论分析 、物理 实验之后的第三种科研手段 ,在不少领域计算已经 取代了实验 ,而且许多突破性的研究成果得益于高 性能并行计算 。高性能并行计算技术不仅对科学 研究 ,而且对国家经济和国防建设起着举足轻重的 作用 。各国都在投入了大量资金推行该项技术的 研究 。我国也不例外 ,在投入经费的同时 ,还投入 了大量人力 ,而且也已有应用成果 。如图 1 所示为 国内具有自主知识产权的 、实时松耦合集群计算机 系统结构 ,分软件部分和硬件部分 。