IBM高性能集群系统简介

IBM高性能集群系统简介

孙守红

分子系统生物学中心

2008年10月

IBM 高性能集群系统硬件配置

•IBM-HPCluster

–管理节点: ibm3850

–IO 节点: 两台ibm3850

–刀片中心：三台IBM-HS21

–存储：DS3400 磁盘柜

•硬件防火墙：LENOVO网御

•UPS：美国顶尖40KW

IBM 高性能集群系统

•操作系统：RedHat4 As×86-64•集群管理系统：XCAT

•集群文件系统：Lustre

•集群作业管理系统：PBSpro

•集群并行软件：

•MPI

•PVM

需用户启动的进程

•MPI

–“mpd&”

–“mpdboot–n 10 –f .mpdhosts”

–“mpdallexit”

•PVM

–“pvm pvm.hosts”

–“pvm-> conf ->halt”

•所有并行都将通过PBS进行作业调度。

已实现并行的生物软件

•生物软件

–Hmmer: 基于PVM的并行软件；

–Meme：基于MPI的并行软件；

–Mpiblast:基于MPI的并行软件；

–InterproScan：利用PBSpro并行的软件。

如何使用IBM集群系统•申请建立集群用户

–集群用户的前提要求

•熟悉UNIX/LINUX基础命令

•理解PERL/SHELL基础编程

•了解相应生物软件的命令行使用

–首先填写《高性能计算系统使用申请表》;

–阅读《高性能集群计算系统管理条例》

–了解集群使用及基本编程；

•将数据送交分析，无须建立帐户

–提供原始数据和分析需求;

–将收取所用机时费

高性能集群计算系统管理条例

一．IBM高性能集群计算系统简介

IBM高性能集群系统是研究所纳入分子系统生物学中心管理的大型服务器。主要用于生物信息学分析。IBM高性能集群计算系统是刀片式高性能集群计算系统，配备40个主频2.33GHz，两路四核的计算节点，双IO节点和管理节点。操作系统是Redhat4AS4-LINUX，配备Lustre并行文件管理系统及PBSpro作业调度管理系统。

二．申请使用

IBM集群服务器将通过两种方式向所内外开放。一是通过申请建立集群用户自己分析数据；二是我们将代为分析数据。对于申请使用IBM高性能机群计算系统的人员都必须首先填写《高性能计算系统使用申请表》。每个帐户标准资源配备是10G硬盘空间，40CPUs和500小时免费机时。如需更大的硬盘空间，请另行申请。由于集群架构的特殊性及其管理使用的复杂性，集群用户必需在上机前仔细阅读分子系统生物学中心提供的集群系统简介。而且在经过上机培训后，了解集群的相应配置信息及系统使用说明后上机使用。

三．用户相关的文件系统使用说明

1、/lustre/home

用户家目录及用户作业计算结果的输出与保存。用户帐号建立时，由系统自动创建每个用户的子目录。

2、/lustre/database

用于常用公共数据库的保存。

3、/lustre/biosoftware

用于系统并行程序和生物分析专用软件的安装。

四．计算资源的分配原则

计算资源原则上将按照申请使用的先后循序分配（first come, first serve）。当资源紧张时，将优先面向所内高性能计算用户。所有可利用的计算资源将分为几个不同计算任务群。每个用户一次可利用任务群是一个。如有特别需要，请向系统管理员另行申请。

五．账户管理

严禁任何有意的危害集群系统的黑客行为。一经发现有类似行为，将告知其课题组负责人并关闭其帐户。账户处于非活动状态一个月以上，账户将自动被关闭。需另行申请激活。六．收费标准

用户申请费为200/个/年；上机培训费100元/人；机时费为0.2元/小时。

本规定为试行条例，如有变动将另行告知。

仪器设备共享预约平台网址http://159.226.24.173/xitong/xtshy

e.html

用PBSpro提交作业的方法•提交作业

•“qsub ”

•qsub–l select=1:ncpus=1 test_script •检查作业的运行状态

•“qstat–f ”

•“qstat–f 6 “

•“qstat–anst”/#详细列表

•删除作业

•“qdel”

•“qdel6”

•igdb:

•Req'd Req'd Elap

•Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time •----------------------------------------------------------------------

•6059[].igdb shsun q1 hmm --20 20 ---- B --

•--

•Job Array Began at Wed Sep 17 at 10:24

•6059[1].igdb shsun q1 hmm 28021 20 20 ----R 120:1

•b01n01/0+b01n02/0+b01n03/0+b01n04/0+b01n05/0+b01n06/0+b01n07/0+b01n08/0•+b01n09/0+b01n10/0+b01n11/0+b01n12/0+b01n13/0+b01n14/0+b02n01/0+b02n02/0•+b02n03/0+b02n04/0+b02n05/0+b02n06/0

•--

•6059[2].igdb shsun q1 hmm 28051 20 20 ----R 120:1

•b01n01/1+b01n02/1+b01n03/1+b01n04/1+b01n05/1+b01n06/1+b01n07/1+b01n08/1•+b01n09/1+b01n10/1+b01n11/1+b01n12/1+b01n13/1+b01n14/1+b02n01/1+b02n02/1•+b02n03/1+b02n04/1+b02n05/1+b02n06/1

•--

•6059[3].igdb shsun q1 hmm 28081 20 20 ----R 120:1

•b01n01/2+b01n02/2+b01n03/2+b01n04/2+b01n05/2+b01n06/2+b01n07/2+b01n08/2•+b01n09/2+b01n10/2+b01n11/2+b01n12/2+b01n13/2+b01n14/2+b02n01/2+b02n02/2•+b02n03/2+b02n04/2+b02n05/2+b02n06/2

•--

•6059[4].igdb shsun q1 hmm 28111 20 20 ----R 120:1

•b01n01/3+b01n02/3+b01n03/3+b01n04/3+b01n05/3+b01n06/3+b01n07/3+b01n08/3•+b01n09/3+b01n10/3+b01n11/3+b01n12/3+b01n13/3+b01n14/3+b02n01/3+b02n02/3•+b02n03/3+b02n04/3+b02n05/3+b02n06/3

•--

•6059[5].igdb shsun q1 hmm 28141 20 20 ----R 120:1

•b01n01/4+b01n02/4+b01n03/4+b01n04/4+b01n05/4+b01n06/4+b01n07/4+b01n08/4•+b01n09/4+b01n10/4+b01n11/4+b01n12/4+b01n13/4+b01n14/4+b02n01/4+b02n02/4•+b02n03/4+b02n04/4+b02n05/4+b02n06/4

•--

•6059[6].igdb shsun q1 hmm 28171 20 20 ----R 120:1

•b01n01/5+b01n02/5+b01n03/5+b01n04/5+b01n05/5+b01n06/5+b01n07/5+b01n08/5•+b01n09/5+b01n10/5+b01n11/5+b01n12/5+b01n13/5+b01n14/5+b02n01/5+b02n02/5•+b02n03/5+b02n04/5+b02n05/5+b02n06/5

•--

•6059[7].igdb shsun q1 hmm 28201 20 20 ----R 120:1

•b01n01/6+b01n02/6+b01n03/6+b01n04/6+b01n05/6+b01n06/6+b01n07/6+b01n08/6•+b01n09/6+b01n10/6+b01n11/6+b01n12/6+b01n13/6+b01n14/6+b02n01/6+b02n02/6•+b02n03/6+b02n04/6+b02n05/6+b02n06/6

•--

•6059[8].igdb shsun q1 hmm 28231 20 20 ----R 120:1

•b01n01/7+b01n02/7+b01n03/7+b01n04/7+b01n05/7+b01n06/7+b01n07/7+b01n08/7•+b01n09/7+b01n10/7+b01n11/7+b01n12/7+b01n13/7+b01n14/7+b02n01/7+b02n02/7•+b02n03/7+b02n04/7+b02n05/7+b02n06/7

•--

•6059[9].igdb shsun q1 hmm 28151 20 20 ----R 120:1

•b02n07/0+b02n08/0+b02n09/