集群系统的管理与任务实验指导书

集群系统的管理与任务实验指导书

1.XCAT简介

一个普通的小规模集群系统（节点小于10）在没有集群管理软件进行管理的情况下，通过手动安装、配置每台计算节点，其工作量的多少是可想而知的，以一个包含10个节点的集群系统为例，在每一台计算节点上安装操作系统、配置并行计算机环境、同步集群用户，在保证不出错的情况下，花费的时间大约是两个小时，10个计算节点一共需要20个小时左右，这还是一个比较小的集群系统，如果像石油勘探、天气预报等使用的动辄几百个节点的集群系统，照这种方法逐个配置计算节点，虽然耗费的时间太多，而且要重启计算节点也必须逐个进行，操作极其繁琐，因此需要集群管理软件来管理集群系统，提高工作效率。

XCAT（Extreme Cluster Administration Toolkit）是由大型计算设备提供商IBM开发的一套集群管理套件，在IBM的刀片箱上集成了一个KVM的硬件模块，该模块控制着箱内的所有刀片，包括电源开关、启动顺序等，XCAT可以控制KVM模块，用户可以通过该套件实现集群计算节点的管理，使得集群管理更容易，用户只需要安装好管理节点，配置好XCAT的相关参数，就可以通过XCAT控制计算节点的安装

（使用PXE网络启动和KickStart），配置、重启等操作，特别是使用XCAT安装计算节点，在管理节点上设置安装源以后，运行发送命令，计算节点就会自动从管理节点同步安装文件，自动将管理员设置好的软件包等安装到计算节点上，无需管理员诸葛安装和配置每台计算节点，为集群管理员节省了大量时间。

2.XCAT的配置

XCAT能帮助管理员有效地管理集群，避免了手动管理每一个集群计算节点的麻烦。只需要载管理节点上安装和配置好XCAT的运行环境，就能使集群的管理更加简单，接下来介绍XCAT的安装与配置。

1)XCAT安装的前提条件

管理节点上至少要有两个网卡，一个对内部的计算节点进行管理，一个对外提供计算应用。除此之外，还需要如下4个XCAT的软件包。

xcat-dist-core-1 . 2 . 0-RC3.tgz

xcat-dist-doc-1 . 2 . 0-RC3.tgz

xcat-dist-ibm-1 . 2 . 0-RC3.tgz

xcat-dist-oss-1 . 2 . 0-RC3.tgz

2)安装XCAT

①解压缩前面列出的XCAT必须的4个软件包，如果

将这4个软件包解压到/opt/xcat 目录下则运行如下命令。

[root@manager]#tar-xzvpf

xcat-dist-core-1 .2 .0-RC2.tgz-C /opt/xcat

[root@manager]#tar-xzvpf xcat-dist-oss-1 . 2 .

0-RC2.tgz-C /opt/xcat

[root@manager]#tar-xzvpf xcat-dist-ibm-1 . 2 .

0-RC2.tgz-C /opt/xcat

[root@manager]#tar-xzvpf xcat-dist-doc-1 . 2 .

0-RC2.tgz-C /opt/xcat

②安装包解压完成后，会在/opt/xcat 中生成安装脚本setupxcat，载生成的文件夹中进行XCAT的首次安装。

[root@manager]#./setupxcat

③配置网络时间同步服务器（NTP）。设置NTP的目的是为了使集群中的计算节点能自动管理节点上同步时间，避免了手动修改每台计算节点造成的时间不统一的问题，首先我们载管理节点上设置好NTP服务器端，编辑/etc/ntp.conf 配置文件，载文件中输入如下内容。

#vi /etc/ntp.conf

server

server 127.127.1.0

fudge 127.127.1.0 stratum 10

driftfile /var/lib/ntp/drift

编辑ntp.conf完成后，需要载服务器开启NTP服务，使系统自动的时候自动加载NTP服务，命令如下。

#chkconfig --level 345 ntpd on

④定义集群

XCAT对计算节点的管理主要依靠集群设备中硬件的定义信息表，这个表由管理员载集群管理节点上配置，表2-1列出了常用的几个表名及用途。

表2-1 XCAT中的表

表

名

用途

site.tab

xCAT住配置表，集群的全局定义表，是整个XCAT中最重要的一个表，它定义了rsh 路径、rcp路径、安装计算节点需要的tftp目录、集群的域名解析服务器地址、管理节点的名称、使用的作业管理系统名称、资源调度器名称等

nodehm.t ab

XCAT的计算节点硬件管理表，记录了节点名称、高级系统管理适配器、电源类型、终端类型等硬件信息

Nodelist.t ab

定义集群中多有节点的名称、节点从属组、运行状态等

Nodepos.t记录了每个节点所安放的物理位置

ab

noderes.ta b

定义节点组名称、节点的启动方式、tftp 服务器IP地址、nfs服务器IP地址、安装启动的网卡设备名称等

Nodetype. tab

定义节点的系统类型、构架，使用的镜像类型及从属的组名称

passwd.ta

b

定义各种管理设备使用的用户及密码

postscript s.tab

定义kickstar等安装结束后配置节点的相关脚本

Postdeps.t

ab

定义postscripts中脚本的相互依存关系

Networks. tab

定义节点所使用的网段、掩码、网关、DNS 信息

conserver.

tab

定义节点通过何种方式转发console信息mp.tab 定义节点的管理设备及在插槽的位置

mpa.tab 定义管理设置的类型及使用何种方式进行管理等

定义好XCAT 管理集群的表以后，就可以在系统管理节点上创建DNS服务、收集计算节点的MAC地址、创建DHCP 服务等，按照传统的方式配置这些服务，不仅需要管理员非