作业提交查询qstat
PBS,QSUB常用命令
PBS,QSUB常用命令1、后台提交作业qsub语法: qsub [-a date_time] [-A account_string] [-e path] [-h] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options] [-n Node_allocation_Method [-L v1,[v2,[v3,[v4]]]]] [-M user_list] [-N name] [-o path] [-p priority] [-q pool] [-r y|n] [-u user_list] [-v variable_list] [-V] [script]参数: script参数被省略时，该命令可以从标准输入获得脚本文件名。
-a 间。
格式为[[[[CC]YY]MM]DD]hhmm[.SS]。
CC表示世纪，YY 表示年（后两位数字），MM表示月（两位数字），DD表示天（两位数字），hh表示小时（两位数字），mm表示分（两位数字），SS 表示秒（两位数字）。
如果DD指定的是未来日子，而未指定MM，则MM缺省值为当前月，否则，MM的缺省值为下个月。
如果hhmm 指定的未来时间，而未指定DD,则DD的缺省值为当天，否则，DD的缺省值为明天。
如果提交作业时使用该选项，当指定时间还没到时，作业状态显示为”W”。
-e 指定错误输出文件名，格式为[hostname:]path_home。
Hostname是返回错误输出文件的主机名，path_home是错误输出文件的绝对路径，如果指定了相对路径，则相对用户的主目录。
不使用该选项时，缺省值是在用户主目录下，以“作业名.e作业ID”命名的文件-o 指定输出文件名，格式为[hostname:]path_home。
缺省值是在用户主目录下，以“作业名.e作业ID”命名的文件-h 指定在提交作业时，设置用户级’u’挂起。
PBS简要使用说明
PBS作业调度系统简要使用说明提交作业以test01用户登录到lxcn01..04任一节点,并ssh到lx0110上使用qsub命令行提交作业下面是418号作业的输出使用脚本提交作业脚本内容如下：提交作业及查看作业状态（要查看列详尽作业相关请执行qstat -f job_id）：下面的为419号作业标准输出部分截图作业提交脚本编写参考其实质是shell脚本，只不过添加了一些PBS参数或设定而已常用的PBS选项有：这里要特别说明一下是的#PBS -l，其格式与qsub -l是一样的，下面举例说明ex1: qsub -l nodes=5等价于脚本中的#PBS -l nodes=5,表示使用集群中任意五个节点来执行该作业ex2: qsub -l nodes=2:server+14等价于脚本中的#PBS -l nodes=2:server+14,表示使用集群中的两个server节点与另外十四个节点来执行该作业ex3: qsub -l nodes=4:ppn=2等价于脚本中的 #PBS -l nodes=4:ppn=2，表示该作业需要四个节点且每个节点都有两个虚拟处理器空闲ex4: qsub -l nodes=lx0111:ppn=4+lx0112:ppn=2等价于脚本中的#PBS -l nodes=lx0111:ppn=4+lx0112:ppn=2，表示该作业需要lx0111上的四个空闲处理器与lx0112上的两个空闲处理器来共同完成注：更详细用法请参照官方手册常用命令pbsnodes: 查看节点状态相关参数有：-a 列出所有结点及其属性，属性包括“state”和“properties”-o 将指定结点的状态标记为“offline”。
这将帮助管理员暂时停止某些结点的服务-l 以行的方式列出被标记的结点的状态，如-l free，-l offline-c 清除结点列表中的“offline”或“down”状态设置，使结点可以被分配给作业-r 清除指定结点的“offline”状态qsub: 作业提交，前面已有举例qdel: 取消作业，指定相关作业的ID号即可，非结束态的作业才能被取消qhold: 挂起作业qrls: 取消挂起qstat:查看作业状态qstat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]参数说明：-f jobid 列出指定作业的信息-a 列出系统所有作业-i 列出不在运行的作业-n 列出分配给此作业的结点-s 列出队列管理员与scheduler所提供的建议-R 列出磁盘预留信息-Q 操作符是destination id，指明请求的是队列状态-q 列出队列状态，并以alternative形式显示-au userid 列出指定用户的所有作业-B 列出PBS Server信息-r 列出所有正在运行的作业-Qf queue 列出指定队列的信息其中，有以下几种状态C：作业完成E：作业退出H：作业挂起中Q：作业排队中R：作业运行中T：作业被移走W：作业等待中S：作业中断更多更详细内容：Do Not Touch!!!通过队列资源控制实现对用户可用资源的控制先建立一个队列test00并指定队列成员能使用的最大CPU核数为100,命令如下qmgr -c 'create queue test00'qmgr -c 'set queue test00 queue_type = Execution'qmgr -c 'set queue test00 resources_max.procct = 100'qmgr -c 'set queue test00 acl_group_enable = True'qmgr -c 'set queue test00 acl_groups = users'qmgr -c 'set queue test00 enabled = True'qmgr -c 'set queue test00 started = True'队列创建好后，测试提交；测试脚本如下：[test01@lx0110 ~]$ cat test.pbs#PBS -N test00#PBS -q test00#PBS -l nodes=10:ppn=12NP=`cat $PBS_NODEFILE | wc -l`cd $PBS_O_WORKDIR#cat $PBS_NODEFILE | uniqecho Job started at `date`sleep 20echo Job finished at `date`测试结果如下：[test01@lx0110 ~]$ qsub test.pbsqsub: Job exceeds queue resource limits MSG=cannot satisfy queue max procct requirement。
qsub命令选项
qsub 命令选项2012-02-15 17:14SGE qsub 命令选项笔记qsubqsub命令用来向SGE提交批处理作业，SGE支持单或多节点作业。
qsub [ options ] [ command | -- [ command_args ]]1. -@ optionfile (contains all valid options) 就是把qsub命令的可选项组合成一定功能的语句，保存在一个文件中。
qsub -a optionfilename jobfilename2. -a date_time 设置作业什么时候可以执行。
格式：CC YY MMDDHHMM.SS 如201109272213.21 qsub -a 201109272213.21 ../simplejob3. -A account_string Identifies the account to which the resource consumption of the job should be charged 设置一个作业的账户名,便于统计该账户使用的资源等信息 qsub -A testaccountname jobname4. -ac 添加名/值对到作业上下文 -dc 删除。
-sc 设置（修改）。
Contexts provide a way to dynamically attach and remove meta- information to and from a job. The context variables are not passed to the job's execution context in its environment The outcome of the evaluation of all -ac, -dc, and -sc options or corresponding values in qmon is passed to defined JSV instances as parameter with the name -ac.5. -ar ar_id 分配已提交作业，作为它的一部分，给已存在预约。
sge qsub常用命令 -回复
sge qsub常用命令-回复SGE（Sun Grid Engine）是一种常用的集群管理系统，用于调度和管理计算集群中的作业。
在SGE系统中，用户可以使用qsub命令来提交作业并管理计算资源。
本文将详细介绍SGE qsub常用命令，并为读者提供一步一步的指导，以便更好地使用SGE系统。
一、SGE系统简介SGE系统是一个用于集群管理的开源软件，由Sun Microsystems公司开发。
它提供了一种灵活的方式来调度和管理作业，使得计算资源可以被高效地利用。
SGE系统具有良好的可扩展性和容错性，并且支持各种类型的作业调度策略。
二、qsub命令基本用法1. 提交作业使用qsub命令可以提交作业到SGE系统中。
提交作业的基本语法如下：qsub [options] [script]其中，options是一些可选参数，script是一个用于定义作业的Shell 脚本。
2. 查看作业状态使用qstat命令可以查看当前正在运行或等待运行的作业状态。
查看作业状态的基本语法如下：qstat [options]其中，options是一些可选参数，用于指定查看作业的条件。
3. 删除作业使用qdel命令可以删除已经提交的作业。
删除作业的基本语法如下：qdel [options] job_id其中，options是一些可选参数，job_id是要删除的作业的标识符。
三、qsub常用参数解析在使用qsub命令时，可以通过指定一些可选参数来调整作业的执行方式和资源要求。
下面是一些常用参数的解析：1. -cwd指定作业在当前工作目录中运行。
2. -N job_name为作业指定一个名称。
3. -pe parallel_environment num_slots指定作业运行所需的并行环境和并行任务的数量。
4. -l resource_list指定作业所需的资源列表，例如CPU数量、内存大小等。
5. -o output_file指定作业的标准输出保存到哪个文件中。
PBS管理系统--torque
PBS 管理系统（一）作业提交系统Torque 个人安装总结(PBS)PBS 是功能最为齐全，历史最悠久，支持最广泛的本地集群调度器之一。
PBS 的目前包括openPBS，PBS Pro 和Torque 三个主要分支。
其中OpenPBS 是最早的PBS 系统，目前已经没有太多后续开发，PBS pro 是PBS 的商业版本，功能最为丰富。
Torque 是Clustering 公司接过了OpenPBS，并给与后续支持的一个开源版本。
下面是本人安装torque 的过程。
一、Torque 安装在master（管理结点上）1、解压安装包[root@master tmp]# tar zxvf torque-2.3.0.tar.gz2、进入到解压后的文件夹./configure --with-default-server=mastermakemake install3、（1）[*********************.0]#./torque.setup<user><user>必须是个普通用户（2）[*********************.0]#makepackages把产生的 tpackages , torque-package-clients-linux-x86-64.sh,torque-package-mom-linux-x86-64.sh 拷贝到所有节点。
（3）[root@mastertorque-2.3.0]# ./torque-package-clients-linux-x86_64.sh --install[*********************.0]#./torque-package-mom-linux-x86_64.sh --install（4）编辑/var/spool/torque/server_priv/nodes （需要自己建立）加入如下内容master np=4node01 np=4........node09 np=4（5）启动pbs_server,pbs_sched,pbs_mom,并把其写到/etc/rc.local 里使其能开机自启动。
qsub命令选项
qsub 命令选项2012-02-15 17:14SGE qsub 命令选项笔记qsubqsub命令用来向SGE提交批处理作业，SGE支持单或多节点作业。
qsub [ options ] [ command | -- [ command_args ]]1. -@ optionfile (contains all valid options) 就是把qsub命令的可选项组合成一定功能的语句，保存在一个文件中。
qsub -a optionfilename jobfilename2. -a date_time 设置作业什么时候可以执行。
格式：CC YY MMDDHHMM.SS 如201109272213.21 qsub -a 201109272213.21 ../simplejob3. -A account_string Identifies the account to which the resource consumption of the job should be charged 设置一个作业的账户名,便于统计该账户使用的资源等信息 qsub -A testaccountname jobname4. -ac 添加名/值对到作业上下文 -dc 删除。
-sc 设置（修改）。
Contexts provide a way to dynamically attach and remove meta- information to and from a job. The context variables are not passed to the job's execution context in its environment The outcome of the evaluation of all -ac, -dc, and -sc options or corresponding values in qmon is passed to defined JSV instances as parameter with the name -ac.5. -ar ar_id 分配已提交作业，作为它的一部分，给已存在预约。
PBS作业调度系统
PBS的环境变量
变量名
说明
登陆SHELL继承来的变量 $PBS_O_HOST $PBS_O_QUEUE $PBS_O_WORKDIR $PBS_JOBID $PBS_JOBNAME $PBS_NODEFILE
$PBS_QUEUE
包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL， $SHELL和$TZ。
# 这是一个并行作业脚本的例子 #PBS -N vasp.Hg #PBS -j oe #PBS -l nodes=2:ppn=12:amd #PBS -q low
echo "This jobs is "$PBS_JOBID@$PBS_QUEUE NP=`cat $PBS_NODEFILE | wc -l` cd $PBS_O_WORKDIR mpirun -np $NP -machinefile $PBS_NODEFILE ./vasp
93.node1 test.pbs
zhaocs
95.node1 vasp.Hg
vasp
111.node1 structure
amber
Time Use S Queue -------- - ----0 R default 0 E default 0 Q default
qdel 93.node1 注：用户只能删除自己的作业，管理员可以删除所有用户作业
qsub提交的节点名称
qsub提交的作业的最初队列名称
qsub提交的作业的绝对路径
作业被PBS系统指定的作业号
用户指定的作业名，可以在作业提交的时候用qsub –N <作业名> 指定，或者在PBS脚本中加入#PBS –N <作业名>。
PBS系统指定的作业运行的节点名。该变量在并行机和机群中使 用。当在PBS脚本中用#PBS –l nodes=2:ppn=2指定程序运行的 节点数时，可以使用$PBS_NODEFILE在脚本中引用PBS系统 指定的作业运行的节点名。比如：
浪潮培训教材
CQB集群使用手册
陈芳进、余大启
11
目录
集群硬件配置
集群软件配置
登录、退出系统 主要目录使用 计算任务投放 软件安装及使用规范 关机和启动 维护人员联系方式
12
一：集群硬件配置
1、中心集群共有28个节点，352个cpu，具体是1-16为cpu集群 （队列名沿用大启设置的workq），内存24G；17-24为gpu集群 （队列名为gpu），每个含有一个gpu，内存是48G，其中节 点17为测试节点内存为196G，每节点为12个cpu；25-28为大内 存快速节点，分别是192G和256G内存（队列名暂定为big） ，每节点是16个cpu。主网络连接为infiniband，管理为千兆以 太网，并做必要的汇聚。节点17为测试节点，不在队列里 面。
17
三：登录、退出系统
1. 登录方式 SSH： 缺省提供，该登录方式有一定强度的加密安全保证 软件可以使用Putty, Sshclient, Xmanager等 2. 文件上传与下载 SFTP： 缺省提供，暂不提供FTP方式 Windows下传送文件： Sshclient, Xmanager等自带文件传输功能 软件还可以使用SecureFX、WinSCP等
1
sed是非交互式的编辑器。它不会修改文件，除 非使用shell重定向来保存结果。默认情况下，所 有的输出行都被打印到屏幕上。 sed编辑器逐行 处理文件（或输入），并将结果发送到屏幕。
sed -n ‘1,2p’ 1tce-a.pdb#打印1-2行 sed -i '2,5d' 1tce-a.pdb #删除第二到第五行 sed -e ‘/N/,/GLU/d’ 1tce-a.pdb #删除包含“N”的行到包 含“GLU”的行之间的行 多个e连用
sge qsub常用命令
sge qsub常用命令1. 提交作业：```bashqsub <script>```其中 `<script>` 是要提交的作业脚本。
2. 指定作业名称：```bashqsub -N <job_name> <script>```其中 `<job_name>` 是作业的名称。
3. 指定队列：```bashqsub -q <queue_name> <script>```其中 `<queue_name>` 是要提交作业的队列名称。
4. 指定作业的优先级：```bashqsub -p <priority> <script>```其中 `<priority>` 是作业的优先级，范围通常是 -1024 到 1023，数值越小优先级越高。
5. 指定作业的资源需求：```bashqsub -l <resource要求> <script>```其中 `<resource 要求>` 可以是内存、处理器核心数、运行时间等。
例如： ```bashqsub -l mem=4G,ncpus=4 <script>```6. 查看作业状态：```bashqstat```显示所有作业的状态。
7. 查看特定作业的状态：```bashqstat -j <job_id>```其中 `<job_id>` 是作业的 ID。
8. 取消作业：```bashqdel <job_id>```其中 `<job_id>` 是要取消的作业的 ID。
这只是一些 `qsub` 命令的常用示例，具体的命令和参数可能因 SGE 集群的配置和需求而有所不同。
你可以查阅 SGE 的文档以获取更详细和全面的信息。
16、SGE作业调度系统的简介
16、SGE作业调度系统的简介SGE作业调度系统的简介⼀、常见的⼏种作业调度系统Condor是⼀个资源管理和作业调度系统，是来⾃Wisconsin-Madison⼤学的研究项⽬。
充分利⽤⼯作站的空闲时间是Condor的最显著特征。
Condor管理的机群由⽹络中的⼯作站组成，⼯作站可以⾃愿加⼊或退出。
Condor监测⽹络中所有⼯作站的状态，⼀旦某台计算机被认为空闲，便把它纳⼊到资源池中。
在资源池中的⼯作站被⽤来执⾏作业。
Sun⽹格引擎（Sun Grid ，SGE）是⼀种来⾃于SUN Microsystem的分布式资源管理和调度系统，它⽤来在基于UNIX的计算环境中优化软件和硬件资源的使⽤。
SGE能⽤于查找资源池内的闲置资源并利⽤这些资源；它同样⽤于通常的⼀些事务中，例如管理和调度作业到可⽤资源中。
负载共享设施（Load Sharing Facility，LSF）是由加拿⼤平台计算公司研制与开发的，由Toronto⼤学开发的Utopia系统发展⽽来。
在使⽤范围上，LSF不仅⽤于科学计算，也⽤于企业的事务处理。
功能上，除了⼀般的作业管理特性外，它还在负载平衡、系统容错、检查点操作、进程迁移等⽅⾯作了很好的努⼒，并⼒图使之实⽤化。
便携式批处理系统（Portable Batch System，PBS）是⼀个资源管理和调度系统，它接受批处理作业（具有控制属性的shell脚本），保留和保护作业直到它开始运⾏。
因为⼀个批处理作业是⼀个⽆需⽤户⼲预的，在计算机系统后台运⾏的程序，在批处理作业运⾏过程中，⽤户⽆法实时地得到作业运⾏结果，所以PBS只能在作业执⾏后，将作业结果返回给提交者。
⽬前，PBS包含开源免费的OpenPBS、商业付费的PBS Pro、Torque三种分⽀。
⼆、SGE 常见指令1. qsub 提交任务-cwd#从当前⼯作路径运⾏作业-wd working_dir#定义⼯作⽬录-o path定义标准输出⽂件路径、⽂件名-e path#定义标准错误输出⽂件路径、⽂件名-j y[es]|n[o]#定义作业的标准错误输出是否写⼊到输出⽂件中-now y[es]|n[o]#⽴即执⾏作业-a date_time#作业开始运⾏时间-b y[es]|n[o]#指定运⾏程序是⼆进制⽂件还是脚本⽂件，默认n-m b|e|a|s|n#定义邮件发送规则。
Tesla GPU 集群服务器使用手册
T esla GPU集群服务器使用手册v0.93 (2010-1-11)一、系统环境简介T esla GPU集群服务器域名为，IP地址为159.226.49.76（暂定），内部用户可以在办公网内直接使用SSH登录该集群，外部用户同样需要经过防火墙身份认证之后（认证过程请参见《深腾7000远程登录指南》）再进行SSH登录。
数据的上传与下载仍然是通过scp或者sftp方式进行。
T esla GPU集群服务器的系统环境如下： 1）硬件环境：● 头节点1个，机器名console，配备一颗Intel Xeon E5504四核处理器，2.0GHz 主频，2*4MB缓存，8G内存，6块300GB SAS硬盘，工作于Raid5模式。
● 计算节点90个，存在两种不同硬件配置，其机器名分别如下：c0101-c0110、c0201-c0203、c0301-c0305（共18个节点）以上节点配置一颗AMD Phenom 9850四核处理器，2.5GHz主频，4*256KB 二级缓存，4MB三级缓存，3块T esla C1060 GPU处理器，8GB内存，一块500GB SATA硬盘。
c0204-c0233、c0401-0442（共72个节点）以上节点配置一颗Intel Xeon E5410四核处理器，2.33GHz主频，2*6MB二级缓存，2块T esla C1060 GPU处理器，8GB内存，一块500GB SATA硬盘。
各节点间通过DDR 4X Infiniband高速网络和千兆以太网进行连接，分别用于计算数据和系统管理信息的通讯。
2）软件环境：RHEL 5.3 x64操作系统，内核版本2.6.18-128.el5。
GNU C/C++/Fortran编译器。
Nvidia CUDA T oolkit 2.1开发工具。
Mvapich/OpenMPI并行编程环境。
Atlas/GotoBlas数学函数库。
T orque/Maui资源管理系统及作业调度器。
HPC基本使用说明
HPC基本使用说明本文将介绍HPC基本使用说明，包括HPC集群的连接与登录、作业提交与管理、文件传输等内容。
一、连接与登录连接HPC集群需要一台已安装SSH（Secure Shell）软件的计算机。
SSH是一种安全的网络协议，用于在不安全的网络中进行安全的远程登录与文件传输。
1.打开SSH软件，在主机名（或IP地址）栏中输入HPC集群的IP地址，设置端口号为默认的222. 输入用户名和密码进行登录。
首次登录时，会提示输入密码，并可能要求输入一次性验证码（如Google Authenticator生成的验证码），完成登录后可以设置公私钥进行免密码登录。
3.登录成功后，将进入用户的个人主目录。
二、作业提交与管理在HPC上提交作业需要编写作业脚本，作业脚本通常是一个文本文件，其中包含了作业的执行命令和相关参数。
1.编写作业脚本。
作业脚本使用专门的语法，指定作业所需的资源（如CPU核数、内存）和执行命令。
一般需指定作业的名称、作业的工作目录和输出文件的名称等信息。
2. 提交作业。
使用作业提交命令将作业脚本提交到HPC集群中执行。
常用的作业提交命令有qsub、sbatch等，具体命令根据集群的使用规则而定。
3. 监控作业状态。
使用作业状态查询命令查看作业的执行状态，如qstat、squeue等。
可以获得作业的ID、状态（排队中、运行中、完成等）、开始和结束时间等信息。
4. 控制作业执行。
可以使用作业控制命令对作业进行操作，如qdel （取消作业）、qhold（暂停作业）等。
三、文件传输HPC集群通常提供了多种文件传输的方式，包括本地文件传输和远程文件传输。
1. 本地文件传输。
在本地计算机上使用SCP（Secure Copy）命令将文件从本地传输到HPC集群，或从HPC集群传输到本地。
也可以使用SFTP（SSH文件传输协议）进行交互式的文件传输。
2.远程文件传输。
在连接HPC集群的计算机上使用SCP或SFTP命令进行文件传输。
qsub,qdel,qmgr,qstat,qhost查看任务
qsub,qdel,qmgr,qstat,qhostPBS 是公开源代码的作业管理系统，在此环境下运行，用户不需要指定程序在哪些节点上运行，程序所需的硬件资源由PBS 管理和分配。
1、PBS 命令PBS 提供4 条命令用于作业管理。
(1) qsub 命令—用于提交作业脚本命令格式：qsub [-a date_time] [-c interval] [-C directive_prefix][-e path] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options][-M user_list][-N name] [-o path] [-p priority] [-q destination] [-r c][-S path_list] [-u user_list][-v variable_list] [-V][-W additional_attributes] [-z][script]参数说明：因为所采用的选项一般放在pbs 脚本中提交，所以具体见PBS 脚本选项。
例：# qsub aaa.pbs 提交某作业，系统将产生一个作业号qsub -cwd -S /bin/bash -l vf=1.5G,p=8,h=compute-0-15 -P project -q all.q -p 100 -N test -o std.o -e std.e run.sh-cwd #指定当前路径为工作目录，sge的日志会输出到当前路径。
-S #指定远程计算节点的shell路径-l #指定资源请求，多个请求用逗号(,)隔开vf=1.5G #任务的预估内存，内存估计的值应稍微大于真实的内存，内存预估偏小可能会导致节点跑挂。
h=compute-0-15 #指定任务跑在compute-0-15节点上p=8 #指定要申请的CPU核心数-q #指定要投递到的队列，如果不指定的话，SGE会在用户可使用的队列中选择一个。
linxu常用命令
（1）ls 查看文件内容；（2）cd filename 跳转进入文件夹；cd ..返回上级目录；（3）ls –altr 按时间排列文件夹中内容；ls –ld 查看文件权限；ls –l 查看文件权限ls –ll 查看文件夹具体情况（4）cd .. 返回上级目录；（5）which filename 寻找文件；（6）cp -R /…/…/ /…/ 拷文件；（7）./filename 执行程序；（8）选中——复制；右键——粘贴；（9）r-可读-4；w-可写-2；x-可执行-1；（10）k kill掉程序；（11）output 输出文件；（12）top 查看当前进程；（13）runtext 运行脚本；（14）pwd 查看当前路径；（15）chmod ×××filename(修改文件权限，r-4，w-2，x-1) chmod ×××* -R 文件夹（修改文件夹权限）chmod ×××-R /…/…（修改路径权限）；（16）编译命令vim filename开始编译I推出Esc不保存推出：q！保存退出：wq！（17）pbs系统管理：qstart 提交任务qstat 查看任务运行状态qstat –f 查看进程qstat –f jobid 列出指定任务的信息qstat –a 列出系统所有任务qstat –i 列出不再运行的任务qstat –n 列出分配给每个任务的节点qstat –r 列出所有正在运行的任务qstat –au useid 列出指定用户的所有信息qstat –B 列出pbs sever信息trace job 跟踪任务运行状况qsub pbs 提交执行脚本pbsqdel 删除任务号（18）mkdir systemtool 管理系统工具；（19）pbs脚本文件执行变量的含义：PBS -N 指定名称（dmol3）PBS -o 输出到文件的名字（output）PBS -e 输出错误到此文件（err）PBS –1 walltime=10：00：00（单个任务最长计算时间）PBS –1 nodes=1-14，ppn=8（20）sleep 50 文件睡50秒（21）mv 移动文件（22）man 查看命令（23）clear 清屏（24）rm –rf 删除目录或文件命令（25）ctrl c退出任务ctrl z 暂停前台工作（26）ssh c1-1 进入1节点（27）命令& 前台转后台运行bg 进程号转后台运行fg 进程号转前台运行（28）mpdall exit 在自己的pbs运行脚本中执行完任务关闭自己的mpi（29）df –h查看磁盘空余空间du –h 查看目录占用空间（30）chown 修改文件所有者或组chown username filename 将文件filename所有者改为username，然后用chmod更改username对文件filename的访问权限即可chown –R username：group /home/zhaohaijing 将路径/home/zhaohaijing中所有文件的所有者和组更改为用户username和组group注：/usr/bin/chown chown 命令/etc/group 包含组标识的文件/etc/passwd 包含用户标识的文件（31）常用作业管理命令查看队列中的作业状态：qstat挂起作业：qhold取消挂起：qrls终止作业：qdel 和canceljob查看作业状态：checkjob交换两个作业的排队顺序：qorder选择符合特定条件的作业的作业号：qselect显示队列中作业的信息：showq显示节点信息：pbsnodes 和qnodes。
lsf系统常用的命令
lsf系统常用的命令摘要：一、引言二、lsf 系统简介三、lsf 系统常用命令1.lsf.py2.qsub3.qstat4.qacct5.ls6.cd7.pwd8.mkdir9.rm10.cp11.mv12.cat13.more14.less15.tail16.head17.grep18.find19.sort20.uniq21.wc22.ps23.kill四、总结正文：一、引言本文将介绍lsf 系统常用的命令，帮助用户更好地理解和使用该系统。
二、lsf 系统简介LSF（Load Sharing Facility）是一种为并行作业管理提供强大、灵活且可扩展的框架的作业调度系统。
它主要用于高性能计算环境中，支持多种并行编程模型，如MPI、OpenMP 等。
三、lsf 系统常用命令以下是lsf 系统的一些常用命令：1.lsf.py：lsf 系统的入口文件，用于提交作业、查看作业状态等。
2.qsub：用于提交作业的命令。
3.qstat：用于查看作业状态的命令。
4.qacct：用于查看作业详细信息的命令。
5.ls：用于列出目录内容的命令。
6.cd：用于更改当前工作目录的命令。
7.pwd：用于显示当前工作目录的命令。
8.mkdir：用于创建目录的命令。
9.rm：用于删除文件的命令。
10.cp：用于复制文件的命令。
11.mv：用于移动或重命名文件的命令。
12.cat：用于查看文件的命令。
13.more：用于分页查看文件的命令。
14.less：用于分页查看文件的命令。
15.tail：用于查看文件尾部的命令。
16.head：用于查看文件头部的命令。
17.grep：用于查找指定字符串的命令。
18.find：用于查找文件的命令。
19.sort：用于对文件内容进行排序的命令。
20.uniq：用于去除文件中重复行的命令。
21.wc：用于统计文件中字数、行数和字节数的命令。
22.ps：用于查看进程状态的命令。
23.kill：用于终止进程的命令。
PBS作业调度使用方法
PBS作业调度使用方法PBS（Portable Batch System）是一种常用的作业调度系统，广泛应用于高性能计算领域。
它可以帮助用户合理利用计算资源，提高作业的执行效率。
下面将介绍PBS作业调度的使用方法。
第一步：了解PBS系统在开始使用PBS之前，用户需要了解PBS系统的基本原理和工作机制。
PBS系统由三个主要组件组成：作业队列、作业调度器和计算节点。
作业队列是存放待执行作业的地方，作业调度器负责根据预设规则从队列中选择合适的作业进行调度，计算节点是具体的计算资源。
了解这些组件的工作原理，可以帮助用户更好地使用PBS系统。
第二步：编写PBS作业脚本1.指定作业名称：使用#PBS-N命令指定作业的名称，便于区分和管理不同的作业。
3. 指定作业运行位置：使用#PBS -l nodes命令指定作业在计算节点上的运行位置。
可以指定节点的数量和类型。
4.指定作业输出和错误信息：使用#PBS-o和#PBS-e命令指定作业的输出和错误信息保存的文件。
5. 指定作业执行脚本：使用#PBS -l select和#PBS -l place命令指定作业执行的脚本。
6.指定作业执行的其他参数：用户还可以根据自己的需要指定其他的作业执行参数，如内存占用、运行环境等。
第三步：提交作业在编写完PBS作业脚本之后，用户可以使用qsub命令将作业提交给PBS系统进行执行。
qsub命令的基本语法如下：``````其中，X是所需的节点数，Y是每个节点所需的CPU数，Z是每个节点所需的内存数，W是作业的运行时长。
output_file和error_file分别是指定的输出和错误文件，PBS_script是用户编写的PBS作业脚本。
第四步：管理和控制作业在作业提交之后，用户可以使用qstat命令查看作业的状态和进度。
qstat命令可以显示当前队列中的所有作业及其相关信息，包括作业ID、状态、所需资源等。
用户还可以使用qdel命令取消正在执行或排队的作业。
浪潮HPC集群作业调度系统使用培训
PBS命令
qsub 作业提交脚本 qstat [参数] qdel 作业号
Inspur group 2017/04/1110集群作业调度统使用方法PBS命令详解
提交作业的命令 qsub 作业提交脚本 此命令执行后,会给出个作业号 查询作业命令 qstat [参数]
13
集群作业调度系统使用方法
PBS命令详解
作业删除命令 qdel 作业号 其中作业号为qsub提交后系统所给出的一个号码
注意事项
1、非管理员只能删除自己提交的作业 2、在提交作业时估计自己需要运行的时间把其写进作业提交脚 本里。 3、Maui里的策略一但制定了，对于作业的优先级，普通用户是 不可见且不可调的。
Inspur group 2017/04/11
14
PBS脚本写作
脚本包含三部分：
资源声明：即规定所需要的节点数，核数，作业名，所要递交的队列
环境变量：即运行作业时，需要的各个节点的基本属性，比如某些软件的路径等
可执行程序：即需要通过MPI来运行的并行程序
如下例子说明
脚本声明部分：
#PBS -N vasp
Inspur group 2017/04/11
8
集群作业调度系统说明
Maui是Cluestering公司为了弥补torque自带的调度器 pbs_shced的调度策略而开发了一款调度器软件 。 Maui优先级系统
Inspur group 2017/04/11
9
集群作业调度系统使用方法
Torque应该如何使用?
PBS历史:
Inspur group 2017/04/11
5
VASP软件介绍
0.00 0.25
TiO2_anatase.cell
隐藏文件
缩放倍数为1
命名为TiO2 基矢 体系中有8个 氧原子，4和 钛原子
各个原子的坐标
KPOINTS输入文件: 控制K点的选取方式
• 按普通格式手动输入各个k点(推荐用在计算能带时)
k-points entered manually 5 Reciprocal 0.500 0.000 0.500 1.00 0.475 0.000 0.475 1.00 0.450 0.000 0.450 1.00 0.425 0.000 0.425 1.00 0.400 0.000 0.400 1.00 标题或注释行，无特别意义 K点的数目 以字母R开头表示k点是按倒格子坐标系 前三个数是k点的坐标，最后一个数是相应k 点的权重(下面共5个k点)
POTCAR输入文件: 赝势文件
Si 的一种势函数的部分内容
US Si 4.00000000000000000 parameters from PSCTR are: VRHFIN =Si: s2p2 LEXCH = CA EATOM = 115.7612 eV, 8.5082 Ry GGA = -1.4125 -1.4408 .0293 -.9884 eV TITEL = US Si LULTRA = T use ultrasoft PP ? IUNSCR = 1 unscreen: 0-lin 1-nonlin 2-no RPACOR = 1.580 partial core radius POMASS = 28.085; ZVAL = 4.000 mass and valenz RCORE = 2.480 outmost cutoff radius RWIGS = 2.480; RWIGS = 1.312 wigner-seitz radius (au A) ENMAX = 150.544; ENMIN = 112.908 eV EAUG = 241.945 …………
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
删除线表示不常用
8
作业管理操作说明
1. 运行 使作业无需排队，直接运行（需要管理员权限）
2. 停止、释放 使作业暂时停止、恢复作业运行
3. 删除 删除一个作业
4. 保存检查点 手动保存当前时刻作业检查点
5. 获取检查点、从检查点恢复 获取所有已保存检查点，可以从中选择一个检查点恢复作业运行
WEB作业管理
主要内容
1
• 一、作业提交流程 • 二、WEB作业提交及管理 • 三、命令行作业提交及管理 • 四、常见问题及错误
作业提交流程
2
• 作业提交一览
Ssh至登录节点（202.112.88.40）
新建工作目录(mkdir test) 进入工作目录(cd test
编辑作业提交脚本（vi）
提交作业脚本(qsub) 查看作业运行状态(qstat)
9
作业管理右键操作
WEB作业管理
10
查看作业详细信息
WEB作业管理
11
查看作业输出
WEB作业管理
12
查看作业调度日志
命令行作业提交准备
13
一、注意先要申请帐号，获得帐号后，通过远程登录，执行以下操作，完成 无密码访问配置：
1：”cp /opt/ssh/ssh-configure/hostfile .” 2:” /opt/ssh/ssh-configure/step1.exp username” 3:” /opt/ssh/ssh-configure/step2.exp username password”
二、服务器集群节点信息： 刀片节点 cu01~cu05 胖节点：fat GPU节点：gpu 管理节点：mu01（禁止在管理节点上运行自己的任务）
命令行作业提交
14
• qsub xx.sh -l nodes=2:ppn=4 需要2个节点，每个节点上4核 -e path 错误信息输出的路径 -o path 正常输出信息输出的路径 -q batch 作业提交队列（目前有batch和gpu两个队列）
作业管理
18
• 查看作业输出 • qpeek jobid
作业管理
19
• 删除作业（自己提交的任务） qdel jobid
作业管理
20
• 查看所有节点信息
pbsnodes
21
作业脚本xx.sh编写如下： #PBS –N job_name #PBS –l nodes=2:ppn=4 #PBS –P zhangsan sleep 1000
作ቤተ መጻሕፍቲ ባይዱ提交
16
• 并行脚本编写（拷贝下面粗体脚本内容，存储为xx.sh） #/bin/bash EXEC=“/home/【你的用户名】/【可执行文件】" ARGS="" echo $PBS_NODEFILE cat $PBS_NODEFILE > ~/nodefile NP=`cat $PBS_NODEFILE | wc -l` /opt/intel/impi/4.0.3.008/intel64/bin/mpirun -hostfile ~/nodefile -
2. 正确输出 作业的正确输出文件路径（默认输出在工作目录下）
3. 错误输出 作业的错误输出文件路径（默认输出在工作目录下）
4. 报警 可以选择是否要在作业开始、结束或发生故障时报警
5. 检查点 指定作业是否设置检查点，以及作业添加检查点时间间隔（只支持串行 作业）
WEB作业管理
7
作业列表:当前登录用户所有已提交作业
np $NP $EXEC $ARGS cat ~/nodefile 注意：一般情况只要复制上面的脚本，修改红色部分就可以了。不要用中文
作业提交
17
• 查询 qstat • 无参数 查询所有作业信息 • -B 查询服务器状态 • -Q 查询队列状态 • -n 查询每个作业的基本信息 • -f jobid 查询指定作业的详细信息
作业提交
15
• 串行脚本编写 -N 作业名 -l nodes=2:ppn=4 需要2个节点，每个节点4个核 -l nodes=cu01 指定具体计算节点cu01 -l nodes=cu01+cu02 指定具体节点cu01,cu02
注意：提交作业时，1个作业不要占用集群所有资源。如当前6个节点每个 节点12个核，不要使用nodes=
WEB作业提交-基本属性
3
• 1. 作业提交基本属性：http://202.112.88.40:8080/TSJM
WEB作业提交-基本属性
4
作业提交基本属性介绍
1. 作业名称 自定义作业名称，用于区分该作业与其他作业（必填，英文）
2. 队列 选择作业所要提交的队列（必选）
3. 资源（必填，串行作业为1:1） 作业运行所需要的资源。以节点数：核数形式列出 如2:4，即需要2个节点，每个节点4个核心 注意：节点数不要超过5，每节点核心不要超过10
4. 工作目录 指定作业运行的工作目录。作业运行产生的中间数据将存放在此目录
5. 作业提交脚本（必填） 指定作业提交脚本（也可以在线编辑）
WEB作业提交-高级属性
5
• 1. 作业提交高级属性
删除线表示不常用
6
作业提交高级属性介绍
1. 选择网络 集群中多套网络时，选择作业运行所在网络（IB，千兆）