2014年高性能计算机用户使用简介_v1[1]
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 用户常用的文件系统
空间 HOME主目录 GPFS空间 公用数据空间 环境变量 $HOME $WORKDIR $DATADIR 说明 quota管理，备份 quota管理，不备份 统一管理
公用软件
临时空间
$APPDIR
$TMPDIR
统一管理
定期删除
百度文库
– 请使用环境变量访问，如：
• 进入GPFS空间：cd $WORKDIR
上图表为子系统1（Uranus）的情况，子系统2（Neptune）与子系统1 的配置完全相同
3
系统登录
• 系统登录
– 域名登陆：uranus.hpc.cma.gov.cn （子系统1）
或uranus-bk.hpc.cma.gov.cn （子系统2）
– 均衡负载：各系统配置3个登录节点，根据节点的负载，自动分 配到较空闲的一个
示例２：MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe launch wrf.exe (launch用于将进程自动绑定到CPU，会提高性能）
示例3：OpenMP+MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe hybird_launch wrf.exe (hybird_launch用于将进程自动绑定到CPU ，会提高性能）
– 取消作业：llcancel
• llcancel -X [cluster_name] [jobid] //通过子系统名和作业号删除某一作业
– 查看队列信息：llclass
• llclass -X {cluster_name | all} //查看某一个子系统或所有子系统的队列资源情况
• man Command 查询详细命令使用方面
编译环境
• Fortran compiler(V14.1)
– xlf, (xlf90, xlf95,) serial code
– mpxlf, (mpxlf90, ..)
– xlf_r, (xlf90_r)
MPI code
OpenMP
• C compiler(V12.1)
– xlc, …, mpxlc, …, xlc_r
– 具体可进入目录查询 – 环境变量中已做相应的配置
公用数据
• 存储目录：$DATADIR
• 已存储数据：
– 观测资料(aob/rainfall/sat/sst等） – 全球分析和预报资料（fnl/gfs/t639等） – 再分析资料（ecmwf/ncep/jma）
– 背景场资料（colm/geodata等）
• 设置作业队列的墙钟时间
– 通过wall_clock_limit选项来设置 – 基本格式：#@ wall_clock_limit = 时：分：秒
或#@ wall_clock_limit = 秒
作业管理
• 用户作业临时目录的使用
– 在/cma/g7/JOB_TMP目录下创建“用户名/作业号”的临时目录
• #@ comment=模式名称
– 关键字必须写 – “#@ comment = Others ”将导致作业无法提交运行 – 有新增模式或应用，请联系信息中心高性能计算室管理员
• #@ jobtype=?? (serial 或parallel)
– 执行交互作业时选择serial队列
• 请使用loadleveler提交作业！
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
3（256GB）
4 （256GB）
96
128
队列基本设置-cl_cmb
队列名称 normal （缺省队列） largemem operation 72 （128GB） minijob 2304 计算节点数量 300+ （128GB） 70（256GB） CPU核数 9999+ 2240 普通并行作业队列 大内存队列，用于对内存需求量大的作业运行。 业务/准业务作业专有队列 说明
– 如man llq 或man llclass等查看更详细的信息
队列基本设置-cl_cma
队列名称 normal （缺省队列） largemem operation 72 （128GB） minijob 2304 计算节点数量 300+ （128GB） 68（256GB） CPU核数 9999+ 2176 普通并行作业队列 大内存队列，用于对内存需求量大的作业运行。 业务/准业务作业专有队列 说明
• 数据格式： NetCDF、GRIB1、GRIB2、BIN等 • 当前数据量：150TB+
系统环境变量
• 环境变量设置
– 用户登录后缺省的shell是ksh
– 通过$HOME/.profile和$HOME/.kshrc文件设置环境变量
• 系统环境变量
– export OBJECT_MODE=64 – export PATH=$APPDIR/cdo/bin:$APPDIR/grads/bin:$APPDIR/ferret/bin:$APPDIR/hdf4 /bin:$APPDIR/hdf5/bin:$APPDIR/netcdf/bin:$APPDIR/nco/bin:$APPDIR/ncview/ bin:$APPDIR/wgrib/bin:$APPDIR/wgrib2/bin:$APPDIR/ghostscript/bin:$APPDIR /imagemagick/bin:$APPDIR/ncl/bin:$PATH – export NCARG_ROOT=$APPDIR/ncl – export GADDIR=$APPDIR/grads/data – export GASCRP=$APPDIR/grads/lib – export LIBPATH=$APPDIR/netcdf/lib:$APPDIR/udunits/lib:$LIBPATH
• 节点命名
– cm{a|b}FNnNN
– {a|b}：子系统1或子系统2；FN：机柜号；NN：机柜内节点编号
– 登录节点： cma18n01, cma18n02, cma19n03 cmb18n01,cmb18n02,cmb19n03
系统登录
• 修改口令
– 在登录节点执行：$passwd
文件系统（1）
中国气象局
高性能计算机系统 使用简介
2014年7月
内容
系统概况
系统登录
文件系统
公有软件/公用数据
系统环境
作业管理
系统概况
节点分类
登录节点 计算节点 大内存计算节点 前后处理节点 服务节点 管理节点
服务器
P460 P460 P460 P460 P460 P750
数量
4 481 58 15 2 2
配置
说明
32CPU核（3.55GHz） 用户登录 256GB内存 32CPU核（3.55GHz） 计算任务 128GB内存 32CPU核（3.55GHz） 计算任务 256GB内存 32CPU核（3.55GHz） 前后处理等任务 256GB内存 32CPU核（3.55GHz） 运行Loadleveler等 256GB内存 软件服务 8CPU核（3.6GHz） 32GB内存 用于安装、维护、控 制节点
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
5（256GB）
2 （256GB）
160
64
作业管理
• 调度策略
– 用户作业将被系统自动分配到合适的子系统运行 – 各class的优先级别一样； – 同一class，如果不指定墙钟时间，系统认为优先级别一样，先来先服 务； – 如指定的墙钟时间不一样，认为墙钟时间短的优先级高。
示例１：串行作业
• • • • • • • • • • • • #!/bin/ksh # @ job_type = serial # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ input = /dev/null # @ error = ./out/$(jobid).err # @ output = ./out/$(jobid).out # @ executable = example1 # @ notification = complete # @ notify_user = sunjing@cma18n01 # @ class = serial # @ queue
• 如用户lijuan提交的作业ID号为cma20n02.23510.0，则创建的临时空间目录为：
lijuan/cma20n02.23510
– 用户在作业的脚本（cmd文件）中可通过$JOBDIR环境变量来使用 ，不需单独设置此变量 – 用户作业结束时生成结束标记 – 根据标记删除3天前结束的作业的临时目录
谢 谢！
• 进入临时空间： cd $TMPDIR
– 系统自动迁移策略：
• 超过6个月未使用的数据，系统自动迁移至二级存储；
• 超过1年未使用的数据，从二级存储自动迁移至带库；
• 文件系统使用率超过90%，自动迁移用户3个月未使用的数据。
6
文件系统（2）
• 查看限额quota
– 在登录节点执行：$cmquota <username> – 如：$cmquota lijuan
公用软件
• 安装目录：$APPDIR • 已安装：
– cdo-1.6.0、cmor-2.7.1、curl-7.30.0、expat-2.1.0、ferret-6.3、 fftw-3.3.3、ghostscript-9.04、grads-1.8、grads-2.0.2、
grib_api-1.9.18、netcdf-4.1.3、ncl-6.2.0等
具体使用帮助参考： http://www.bhpcc.org.cn/demo/note3.html
作业卡的编写
• #@ network.MPI = sn_all,shared,us
• #@ tasks_per_node = 32
– 每个节点4个CPU共32个CPU核，即每个节点可使用32个CPU核
作业管理
• 现有两个作业集群（子系统）：cl_cma，cl_cmb • 常用命令
– 提交作业：llsubmit
• llsubmit [cmdfile] //提交作业
– 显示作业状态：llq
• • • • llq -X all //显示两个子系统的作业情况 llq -X cl_cma //显示子系统1 cl_cma的作业情况 llq -X cl_cmb //显示子系统2 cl_cmb的作业情况 llq -X all -l [jobid] //通过作业号查看某一作业的详细信息
空间 HOME主目录 GPFS空间 公用数据空间 环境变量 $HOME $WORKDIR $DATADIR 说明 quota管理，备份 quota管理，不备份 统一管理
公用软件
临时空间
$APPDIR
$TMPDIR
统一管理
定期删除
百度文库
– 请使用环境变量访问，如：
• 进入GPFS空间：cd $WORKDIR
上图表为子系统1（Uranus）的情况，子系统2（Neptune）与子系统1 的配置完全相同
3
系统登录
• 系统登录
– 域名登陆：uranus.hpc.cma.gov.cn （子系统1）
或uranus-bk.hpc.cma.gov.cn （子系统2）
– 均衡负载：各系统配置3个登录节点，根据节点的负载，自动分 配到较空闲的一个
示例２：MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe launch wrf.exe (launch用于将进程自动绑定到CPU，会提高性能）
示例3：OpenMP+MPI作业
• • • • • • • • • • • • • • • #!/bin/ksh # @ job_type = parallel # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ error = ./out/$(jobid).err # @ output =./out/$(jobid).out # @ notification = complete # @ notify_user = sunjing@cma18n02 # @ network.MPI = sn_all,shared,us # @ node = 6 # @ tasks_per_node = 32 # @ class = normal # @ queue export TARGET_CPU_LIST=-1 poe hybird_launch wrf.exe (hybird_launch用于将进程自动绑定到CPU ，会提高性能）
– 取消作业：llcancel
• llcancel -X [cluster_name] [jobid] //通过子系统名和作业号删除某一作业
– 查看队列信息：llclass
• llclass -X {cluster_name | all} //查看某一个子系统或所有子系统的队列资源情况
• man Command 查询详细命令使用方面
编译环境
• Fortran compiler(V14.1)
– xlf, (xlf90, xlf95,) serial code
– mpxlf, (mpxlf90, ..)
– xlf_r, (xlf90_r)
MPI code
OpenMP
• C compiler(V12.1)
– xlc, …, mpxlc, …, xlc_r
– 具体可进入目录查询 – 环境变量中已做相应的配置
公用数据
• 存储目录：$DATADIR
• 已存储数据：
– 观测资料(aob/rainfall/sat/sst等） – 全球分析和预报资料（fnl/gfs/t639等） – 再分析资料（ecmwf/ncep/jma）
– 背景场资料（colm/geodata等）
• 设置作业队列的墙钟时间
– 通过wall_clock_limit选项来设置 – 基本格式：#@ wall_clock_limit = 时：分：秒
或#@ wall_clock_limit = 秒
作业管理
• 用户作业临时目录的使用
– 在/cma/g7/JOB_TMP目录下创建“用户名/作业号”的临时目录
• #@ comment=模式名称
– 关键字必须写 – “#@ comment = Others ”将导致作业无法提交运行 – 有新增模式或应用，请联系信息中心高性能计算室管理员
• #@ jobtype=?? (serial 或parallel)
– 执行交互作业时选择serial队列
• 请使用loadleveler提交作业！
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
3（256GB）
4 （256GB）
96
128
队列基本设置-cl_cmb
队列名称 normal （缺省队列） largemem operation 72 （128GB） minijob 2304 计算节点数量 300+ （128GB） 70（256GB） CPU核数 9999+ 2240 普通并行作业队列 大内存队列，用于对内存需求量大的作业运行。 业务/准业务作业专有队列 说明
– 如man llq 或man llclass等查看更详细的信息
队列基本设置-cl_cma
队列名称 normal （缺省队列） largemem operation 72 （128GB） minijob 2304 计算节点数量 300+ （128GB） 68（256GB） CPU核数 9999+ 2176 普通并行作业队列 大内存队列，用于对内存需求量大的作业运行。 业务/准业务作业专有队列 说明
• 数据格式： NetCDF、GRIB1、GRIB2、BIN等 • 当前数据量：150TB+
系统环境变量
• 环境变量设置
– 用户登录后缺省的shell是ksh
– 通过$HOME/.profile和$HOME/.kshrc文件设置环境变量
• 系统环境变量
– export OBJECT_MODE=64 – export PATH=$APPDIR/cdo/bin:$APPDIR/grads/bin:$APPDIR/ferret/bin:$APPDIR/hdf4 /bin:$APPDIR/hdf5/bin:$APPDIR/netcdf/bin:$APPDIR/nco/bin:$APPDIR/ncview/ bin:$APPDIR/wgrib/bin:$APPDIR/wgrib2/bin:$APPDIR/ghostscript/bin:$APPDIR /imagemagick/bin:$APPDIR/ncl/bin:$PATH – export NCARG_ROOT=$APPDIR/ncl – export GADDIR=$APPDIR/grads/data – export GASCRP=$APPDIR/grads/lib – export LIBPATH=$APPDIR/netcdf/lib:$APPDIR/udunits/lib:$LIBPATH
• 节点命名
– cm{a|b}FNnNN
– {a|b}：子系统1或子系统2；FN：机柜号；NN：机柜内节点编号
– 登录节点： cma18n01, cma18n02, cma19n03 cmb18n01,cmb18n02,cmb19n03
系统登录
• 修改口令
– 在登录节点执行：$passwd
文件系统（1）
中国气象局
高性能计算机系统 使用简介
2014年7月
内容
系统概况
系统登录
文件系统
公有软件/公用数据
系统环境
作业管理
系统概况
节点分类
登录节点 计算节点 大内存计算节点 前后处理节点 服务节点 管理节点
服务器
P460 P460 P460 P460 P460 P750
数量
4 481 58 15 2 2
配置
说明
32CPU核（3.55GHz） 用户登录 256GB内存 32CPU核（3.55GHz） 计算任务 128GB内存 32CPU核（3.55GHz） 计算任务 256GB内存 32CPU核（3.55GHz） 前后处理等任务 256GB内存 32CPU核（3.55GHz） 运行Loadleveler等 256GB内存 软件服务 8CPU核（3.6GHz） 32GB内存 用于安装、维护、控 制节点
与业务合用资源，优先级低于业务作业，业务高峰时 间将被抢占，墙钟时间1小时 串行队列
业务串行队列
serial
serial_op
5（256GB）
2 （256GB）
160
64
作业管理
• 调度策略
– 用户作业将被系统自动分配到合适的子系统运行 – 各class的优先级别一样； – 同一class，如果不指定墙钟时间，系统认为优先级别一样，先来先服 务； – 如指定的墙钟时间不一样，认为墙钟时间短的优先级高。
示例１：串行作业
• • • • • • • • • • • • #!/bin/ksh # @ job_type = serial # @ initialdir = /u/sunjing/loadl # @ comment = WRF (模式名称） # @ input = /dev/null # @ error = ./out/$(jobid).err # @ output = ./out/$(jobid).out # @ executable = example1 # @ notification = complete # @ notify_user = sunjing@cma18n01 # @ class = serial # @ queue
• 如用户lijuan提交的作业ID号为cma20n02.23510.0，则创建的临时空间目录为：
lijuan/cma20n02.23510
– 用户在作业的脚本（cmd文件）中可通过$JOBDIR环境变量来使用 ，不需单独设置此变量 – 用户作业结束时生成结束标记 – 根据标记删除3天前结束的作业的临时目录
谢 谢！
• 进入临时空间： cd $TMPDIR
– 系统自动迁移策略：
• 超过6个月未使用的数据，系统自动迁移至二级存储；
• 超过1年未使用的数据，从二级存储自动迁移至带库；
• 文件系统使用率超过90%，自动迁移用户3个月未使用的数据。
6
文件系统（2）
• 查看限额quota
– 在登录节点执行：$cmquota <username> – 如：$cmquota lijuan
公用软件
• 安装目录：$APPDIR • 已安装：
– cdo-1.6.0、cmor-2.7.1、curl-7.30.0、expat-2.1.0、ferret-6.3、 fftw-3.3.3、ghostscript-9.04、grads-1.8、grads-2.0.2、
grib_api-1.9.18、netcdf-4.1.3、ncl-6.2.0等
具体使用帮助参考： http://www.bhpcc.org.cn/demo/note3.html
作业卡的编写
• #@ network.MPI = sn_all,shared,us
• #@ tasks_per_node = 32
– 每个节点4个CPU共32个CPU核，即每个节点可使用32个CPU核
作业管理
• 现有两个作业集群（子系统）：cl_cma，cl_cmb • 常用命令
– 提交作业：llsubmit
• llsubmit [cmdfile] //提交作业
– 显示作业状态：llq
• • • • llq -X all //显示两个子系统的作业情况 llq -X cl_cma //显示子系统1 cl_cma的作业情况 llq -X cl_cmb //显示子系统2 cl_cmb的作业情况 llq -X all -l [jobid] //通过作业号查看某一作业的详细信息