深圳超算HPC使用手册v3.2

2
目录
目录......................................................................................................3 1. 基本环境........................................................................................ 5 2. 系统软件环境................................................................................ 7
分区名
GG 分区
GK 分区
FN 分区
YW 分区
节点数
960
640
128
520
CPU 型号
Intel5650
Intel5650
AMD 6136
Intel5650
CPU 核数
12
2.66GHz
2.66GHz
2.4GHz
2.66GHz
内存
24G
24G
128G
48G
IB 网络
20G
20G
20G
20G
本地硬盘
149G
149G
300G
149G
共享硬盘
256T
835T
256T
1800T
5
曙光 6000 超级计算主机系统的存储分为两种：每个计 算节点配备的本地磁盘和由存储节点建立的高速并行文件 系统。
其中本地硬盘不建议普通用户大量使用，仅供计算节点 操作系统使用（以及计算所需的临时文件），用户的所有操 作都应该在账号所对应的$HOME（该$HOME 所在的位置 为高速并行文件系统）下进行，用户登录时，会自动被引导 到自己账号的$HOME 下面。
4
国家超级计算深圳中心采用由中科院和曙光公司联合 研制的曙光 6000 超级计算系统，该系统整体计算能力实测 峰值为 1.271 千万亿次浮点运算（1.271PFLOPS）。于 2011 年 11 月 16 日投入运行。本文主要介绍曙光 6000 超级计算 系统的使用方法和环境。
1. 基本环境
为了方便管理和使用，曙光 6000 超级计算系统高性能 计算区分成 4 个逻辑分区可供所有用户使用，用户可以根据 不同的业务需求选择适合自己计算类型的分区。
2.2 作业调度系统
目前在曙光 6000 超级计算机上使用的作业管理系统是 IBM Platform LSF 8.0.2(Load Sharing Facility)作业管理系统。
2.3 编译器和并行实现
曙光 6000 主机系统支持 OpenMP 和 MPI 两种并行方 式。OpenMP 为共享内存方式，仅能在一个计算节点内并 行，最大线程数不能超过该节点处理器核心数（GG/GK/YW 分区为 12，Fn 分区为 32）。MPI 则是分布式并行，计算作 业可以在一个或者若干个节点上进行，最大进程数仅受用户 账号所能调用的 CPU 总数限制。目前常见的支持 InfiniBand 网络的 MPI 实现是 MVAPICH2 和 OpenMPI。
在/home-gg/env 目录下分别有设置编译环境的脚本，用户可 以 source 脚本， 如用户想使用 openmpi 1.4.4 的 gnu 版本，命令为: source /lsfhome/env/openmpi-1.4.4-gnu.sh 或者 . /lsfhome/env/openmpi-1.4.4-gnu.sh
gg0110, gk0110 上使用) 使用 intel 或者 pgi 编译器之前先 source 对应环境变量, source /home-gg/env/intel-12.1.sh 或者 source /home-gg/env/pgi-2011.sh
8
MPI 库 MPI 库安装在/home-gg/compiler/mpi 下。目前有 mpich2-1.4.1p1-gnu.sh mpich2-1.4.1p1-intel.sh mpich2-1.4.1p1-pgi.sh mvapich2-1.8a1p1-gnu.sh mvapich2-1.8a1p1-intel.sh mvapich2-1.8a1p1-pgi.sh openmpi-1.4.4-gnu.sh openmpi-1.4.4-intel.sh openmpi-1.4.4-pgi.sh
深圳超算 HPC 使用手册 v3.2
系统运行部 2015 年 9 月 1 日
1
更新记录
2015/8/12-Ver3.1
更新项目
更新状态
VPN 登陆方式的改变说明。 已完成
去除龙芯相关内容。
已完成
排版规划以及内容更新。 施工中
文档字体规范（暂定） 正文字体：微软雅黑三号 标题 1 字体：微软雅黑二号 标题 2 字体：微软雅黑三号 表格字体：微软雅黑五号
7
2.4 公共软件位置 编译器 GG/GK 分区共安装 3 套编译器： 系统自带 gnu 4.3.4 (gcc, g++, gfortran) intel compiler 2011 (icc, icpc, ifort) pgi compiler 2011 (pgcc, pgcpp, pgfortran) ( 目 前 只 能 在
3.4 作业管理.......................................................................... 21 附件 A.常用的作业提交模板...........................................................25
鉴于存储空间的有限和数据安全的考虑，请用户务必做 到及时下载计算结果文件并清理空间。
用户可以通过 VPN 验证后使用 ssh 工具进入登录节点， 使用 LSF 作业调度系统提交作业。
由于考虑到如果用户在公共节点运行可能会引起节点 宕机的测试程序，中心禁止在登录节点运行程序以及下载数 据。
程序编译请登陆后跳转到编译节点，数据传输请连接 ftp 服务器进行上传以及下载。
2.1 操作系统............................................................................ 7 2.2 作业调度系统.................................................................... 7 2.3 编译器和并行实现............................................................. 7 2.4 公共软件位置.................................................................... 8 3. 使用方法...................................................................................... 10 3.1 登录和传输文件.............................................................. 11 3.1.1 VPN 登陆.........................................................................11 3.1.2 终端登录....................................................................... 12 3.2 编译...................................................................................15 3.3 作业提交.......................................................................... 16
web 方式提交作业.................................................................................................16 命令行方式提交作业.............................................................................................. 19
3
1 普通串行计算..................................................................... 25 2 普通 MPI 并行作业............................................................26 3 多个计算步骤的计算脚本................................................. 26 4 共享内存(openmp)并行作业.......................................... 28 5 OpenMP+MPI 混合并行作业........................................ 28 6 mpich2 并行作业(RAW 方式)..........................................30 附录 B：商用软件使用方法........................................................... 32 1 Fluent 软件........................................................................... 32 2 ANSYS 软件........................................................................... 34 3 CFX 软件................................................................................36 4 ABAQUS 软件........................................................................38 5 MARC 软件............................................................................40 6 NASTRAN 软件......................................................................42 7 LSDYNA 软件.........................................................................44 8 DYTRAN 软件........................................................................ 46 9 HFSS 软件..............................................................................48 附录 C：技术支持............................................................................ 49
6
2. 系统软件环境
2.1 操作系统
计算节点和前端接入节点的操作系统均为 64 为 SuSE Linux Enterprise Server(SLES)11SP1，提供标准的 64 位 Linux 操作系统环境。用户需要熟悉一些基本的 Linux 命令行操作， 特别是文件目录操作，并能熟练使用一种编辑器（vi 或 emacs 等）。