OpenPBS作业管理系统介绍

正在运行的作业数目限制
• 服务器级
– s s max_running=value(最多正在运行作业的数目) – s s max_user_run=value(最多单个用户作业数目) – s s max_group_run=value(最多单个组任何用户运行 的作业数目)
• 队列级
– s q qname max_running=value – s q qname max_user_run=value – s q qname max_group_run=value
当前任务状态
• 得到PBS的当前状态：qstat
当前节点状态
• pbsnodes - {a|l }] [ -s server ] -a 列出所有结点及其属性，属性包括“state” 和“properties” -c 清除结点列表中的“offline”或“down”状态 设置，使结点可以被分配给作业。 -l 以行的方式列出被标记的结点的状态 -o 将指定结点的状态标记为“offline”。这将 帮助管理员暂时停止某些结点的服务。 -r 清除指定结点的“offline”状态 -s 指定服务器
MPI作业脚本
# Sample PBS script for MPICH #PBS -l nodes=16 #PBS -j oe #PBS -m ae #PBS -M dawning@dawning.com.cn NP=$(wc -l $PBS_NODEFILE | awk '{print $1}') echo "nodes ($NP cpu total):" sort $PBS_NODEFILE | uniq cd $PBS_O_WORKDIR mpirun -machinefile $PBS_NODEFILE -np $NP <filename>
PBS的常用命令
提交作业
$ qsub test.pbs -l nodes=16 -l 用于描述作业需要的资源，例如： nodes=4 (4 节点 每节点 1个 CPU ) nodes=2:ppn=2 (2节点 每节点 2个CPU) nodes=1:ppn=2+2:ppn=1 (1个双CPU节 点 和 2个单CPU的节点)
安装配置客户端
客户端server_name与config的路径和配置 与服务器端的完全一样 • 加为开机自动启动 chkconfig –add pbs_mom
服务的启动
• 服务器端启动 修改/etc/pbs.conf 把start_sched=0 改 为1 /etc/init.d/openpbs start • 客户端启动 /etc/init.d/pbs_mom start
OpenPBS的安装配置
OpenPBS运行的前提条件
• 服务器与计算节点的rsh必须能正常使用 • 对某个用户的配置
– ${HOME}/.rhosts，加入所有主机名
• 对所有用户的配置
– 计算节点/etc/hosts.equiv是服务器名 – 服务器/etc/hosts.equiv是所有计算节点名
当前节点状态
节点状态
节点名
CPU数
其他常用命令
• qselect –q [队列名] • qdel - Deletes a task in the queue. qdel job_identifier ... • qhold - Suspends a job in the queue. qhold job_identifier ... • qrls - Reactivates a suspended job in the queue. qrls job_identifier ... • qrerun 重新运作作业 • qmove 目标队列 作业ID
设置服务器与百度文库列的资源限制
• 服务器级 s s resources_default.resource_name=value • 队列级 s q qname resources_default.resource_name=value
资源
• 作业执行中需要的东西。 例如：某个特定的节点、某个软件包， 或者是CPU时间，内存等。 • qsub –l cput=00:10:00 script
PBS 作业脚本
脚本组成说明
• 注释,以“#”开头 • PBS指令,以“#PBS”开头 • 命令,其他开头
简单脚本
# test.pbs ,列出所有节点 #PBS -l nodes=16 # oe output and error as output (do not create *.e*) # eo output and error as error (do not create *.o*) #PBS -j oe # send email on event # a abort # b begin e end # n never #PBS -m ae # send email to following user #PBS -M dawning@dawing.com.cn NP=$(wc -l $PBS_NODEFILE | awk '{print $1}') echo "using nodes ("$NP"):" cat $PBS_NODEFILE
资源描述
• • • • • • • • • • • • • cput file nice pcput pmem pvmem vmem walltime arch host nodes other software 作业总共需要的CPU时间. 作业要创建的文件大小. 作业优先级（nice值）. 作业中单个进程需要的CPU时间. 作业中单个进程需要的物理内存大小. 作业中单个进程需要的虚拟内存大小. 作业总共需要的虚拟内存大小. 作业运行的实际时间. 作业需要的系统体系结构. 作业运行的节点名. 作业运行需保留的节点数. 其他资源. 作业需要的软件的名称.
设置队列级的访问控制
• • • • s q qname acl_host_enable=true s q qname acl_hosts+=hostname.domain s q qname acl_user_enable=true s q qname acl_users+=user@hostname.domain • s q qname acl_group_enable=true • s q qname acl_groups=group_name,[…] 缺省为允许所有组
OpenPBS服务器管理
PBS服务器管理命令
设置服务器级的访问控制
• s s acl_host_enable=true 指明是否使用acl_hosts属性，缺省为 false • s s acl_hosts+=hostname.domain 缺省值允许所有的主机 • s s acl_user_enable=true • ss acl_users+=user@hostname.domain
安装服务器端
• 用源码来安装 #./configure --set-serverhome=/var/spool/pbs --set-defaultserver=server_name #make #make install
服务器端的目录结构
服务器端的配置
• 向/var/spool/pbs/server_name中添加服 务器节点的主机名 • 将集群中所有计算节点的主机名加入 /var/spool/pbs/server_priv/nodes中，每 个节点一行,如 node01 np=2 • 将/var/spool/pbs/mom_priv/config中的， $clienthost改为$clienthost server_name
创建队列
• 自动创建队列 #cd /var/spool/pbs #qmgr <pbs_config.sample
PBS的使用步骤
• 准备：编写描述改作业的脚本，包括作业名， 需要的资源等。 • 提交：使用qsub命令将该作业提交给PBS服务 器 • 排队：服务器将该任务排入适当的队列 • 调度：服务器检查各工作节点的状态是否符合 该作业的要求，并进行调度。 • 执行：当条件满足时，作业被发给相应的执行 服务器执行。程序运行时执行服务器会收集程 序的标准输出和标准错误流，等程序结束时， 将这些信息返回给用户。
• PBS （Portable Batch System） PBS最初由NASA的Ames研究中心开发， 为了提供一个能满足异构计算网络需要 的软件包，特别是满足高性能计算的需 要。它力求提供对批处理的初始化和调 度执行的控制，允许作业在不同主机间 的路由。
OpenPBS的组成
• 主要有用户服务器pbs_server，作业调 度器pbs_sched，节点执行器pbs_mom 三部分组成，三者之间协同工作，共同 实现作业管理、作业调度和负载平衡等 工作，原理如下图:
OpenPBS作业管理系统
曙光信息产业（北京）有限公司 技术支持中心 戴荣
提纲
• • • • • • OpenPBS作业管理系统简介 OpenPBS作业管理系统的安装与配置 OpenPBS作业脚本 OpenPBS常用命令 OpenPBS服务器管理 OpenPBS图形界面
OpenPBS系统简介
OpenPBS
PBS的图形界面
Xpbs主窗口
• Xpbs主窗口主要有以下几个部分组成： 菜单，主机，队列，作业和提示信息。 • 菜单包括手工更新数据、自动更新数据、 提交作业、跟踪作业、参数选择、关闭 和帮助等。
PBS图形界面(xpbs)
Xpbsmon图形界面监控
• Xpbsmon是PBS的节点监控的图形界面， 可以直观的显示PBS所运行的系统环境 中所有节点机的工作状态。 • Xpbsmon的配置文件是 $PBS_LIB/xpbsmon/xpbsmonrc和 $HOME/.xpbsmonrc ($PBS_LIB默认/usr/lib,$HOME为/root)
谢谢