高性能计算系统(HPC)软件实施方案

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
计算中心计算管理系统从功能实现来说,分为四个子模块系统,他们分别为:
2:高性能计算平台——分系统组成
高性能计算平台——仿真计算分系统
双路计算服务器、双路GPU计算服务器、16路胖节点计算服务器组成。
硬件组成
软件配置
CAE高性能计算软件由于其计算方式的不同,对CPU、内存、IO等的要求也不同,具体分为三大类:IO密集型,通讯密集型和支持GPU加速类型。
考虑因素
应用软件兼容性Linux和Windows的互兼容性CPU兼容性厂家对操作系统的支持时间
操作系统
安装方式
Windows
图形服务器本地硬盘配置一块系统盘,全部空间都分配给c:盘。安装过程中选择带“图形界面的Windows Server”。
Linux
2路服务器本地配置一块系统盘。16路服务器本地多块配置一块系统盘。操作系统安装过程中选择“Desktop User”模式,安装完成后配置Yum,Yum源放置到/apps/rhel68下面,方便后续随时增减安装包。配置PAM动态认证插件,实现动态SSH配置,提升系统安全性。每台机器需要配置IB驱动和并行运行环境,保证并行计算可以通过IB口进行通信。并行运行环境需要配置MPICH、Open MPI和Intel MPI几种,并优先使用Intel MPI。
/opt/xcat
-
集群管理软件
/apps/<appname>
C:\(本地盘)
应用软件安装位置
计算数据区
/data
/data/<密级>/<user>
S:\(映射盘)
用户计算作业临时存储空间,不同密级的任务数据文件分开
存储规划
3:项目实施——集群时钟同步
针对本集群数百台服务器规模的集群,必须保证所有服务器时钟同步,因此,需要在两台管理节点上配置时钟同步服务(NTP),可以基于用户本身的院所时钟进行同步设定。所有计算节点和图形节点基于管理节点的时钟进行时间同步。Linux端: 通过crontab定时任务进行时间同步设定Windows端:设定通过samba AD域进行时间同步。
资源分组调度
根据现有的仿真计算软件的计算特性,主要分为两组:胖节点——主要负责如ansys、abaqus这类适合大内存计算,尽量减少跨节点网络延迟影响的类别。另外胖节点CPU性能相对较好,适合对CPU运算能力要求较高的程序调用。刀片节点——主要负责多节点跨机并行,通过多节点分布式计算加速运行。通常适用于MPI子进程耦合通信较少,常驻内存分布式计算的程序调用。如CFX、FLUENT等。
用户接入网络
万兆
用户访问仿真系统平台或连接远程可视化应用
3:项目实施——防火墙规划
源地址
目标地址
端口
协议
说明
外部访问
门户服务器
8443,8080
TCP
https(http)访问
外部访问
门户服务器
6522,21000-22000
TCP
数据上传、下载
外部访问
门户服务器
6001-6100
TCP
计算过程二维显示
高性能计算平台覆盖范围
2:高性能计算平台——软件架构
功能分系统
同时,从业务层面来说,使用该系统的主要组件包括:数据: 包括仿真设计数据,用户的模型数据等。任务: 包括计算仿真任务,三维设计任务。用户: 管理用户、仿真用户、设计用户等用户角色。管理: 系统中间件、运行环境、资源调度、资源访问等系统功能组件。
IO密集型仿真应用
CPU绑定:每种应用软件调试CPU绑定。针对16路服务器,以CPU为单位进行性能调试,按照1,2,4,8,16的CPU数量,分别计算并行加速比,找出最优加速比,并作为默认值推荐用户使用对应的最优计算CPU数。对于支持断点续算的应用软件,调试断点续算功能。并行计算过程中如果使用第三方MPI,优先使用Intel MPI。
硬件组成
安装资源管理与调度系统软件,接收任务,实现远程桌面级或应用级的访问模式。同时,需要注意的是,远程设计分系统对应的存储访问方式:Linux图形服务器通过万兆以太网或配置的infiniband网络,使用NFS共享方式连接存储。Windows图形服务器通过万兆以太网,使用CIFS共享方式连接存储。
时间同步
3:项目实施——应用软件许可证服务规划
由于高性能计算系统是一个网络分布式计算模式,所以,我们采取网络浮动的方式来部署相关CAE软件的许可授权。相关的CAE软件授权服务器我们安装在门户节点上,这样既可以让高性能计算集群和图形服务器可以访问到,也可以后期让全院网络可达的用户也可以访问许可证资源。
3:项目实施——应用软件安装调试规划
类型
运行操作系统
安装位置
优先运行服务器
GPU加速型仿真应用
Linux
/apps(共享盘)
GPU服务器
IO密集型仿真应用
Linux
/apps(共享盘)
16路服务器
通讯密集型仿真应用
Linux
/apps(共享盘)
2路服务器
前后处理类图形应用
Linux/Windows
高性能计算平台——管理分系统
管理分系统主要是资源管理、作业调度、集群管理、安全控制等管理平台。设备包括:4台双路机架式服务器。两台门户服务器,安装作业调度系统,实现双机冗余。两台资源管理与调度服务器,安装资源管理与调度软件实现fail-over冗余机制。并部署有LDAP主从认证服务、数据库。
硬件组成
整体规划
数据区
Linux挂载点
Linux下主要目录结构
Windows相应挂载(安装)位置
说明
永久数据区
/apps
/apps/<密级>/<user>
H:\(映射盘)
用户HOME,需要长期保存的数据直接放到用户的HOME目录下,不同密级的用户HOME目录分开
ቤተ መጻሕፍቲ ባይዱ
/opt/intel
-
Intel并行计算套件安装位置
高性能计算(HPC)系统软件实施方案
目 录
OUTLINE
01
建设概述
02
03
实施介绍
软件架构
1、建设概述
建设背景研究院为满足其科研需求,拟建设一套300万亿次级别的高性能计算系统,同时提供300个前后处理环境。该系统作为研究院面向全院的集中、统一、共享的计算中心,解决仿真分析工作中求解过程的密集计算能力需求和图形工作站分散管理、利用率比较低的问题。建设要求本方案对研究院下属相关科室现有网络技术、存储技术、服务器技术及用户需求进行了深入的调研和分析,立足于用户,着眼于实用性、可操作性,并对获取的资料进行研究、分析和归纳,且对本项目的软硬件现状、需求等重点内容进行了总结。
远程可视化网络
万兆
Plant 3D/Pro E、HSC chemistry、CHECWORKS、Fluent、CFX、MCNP、MVP、RMC、ANSYS WORKBENCH、ADINA、LSDYNA、ABAQUS、钠钠热交换器热工分析程序、Delmia、ICIDO、vpower、RELAP5、ICEM、严重事故分析软件、、Material Studio、Crystal_MD、Mateo、Crystal_MC、Cluster_Dynamics、Redieff等
温度优先调度
计算和三维设计应用在调度分配的时候优先分配到CPU温度最低的服务器上,为睿频加速创造条件。从而获得更好的计算或图形设计性能。
绿色节能调度
每台服务器上配置CPUSpeed,在CPU空闲的时候,CPU维持低频率,低功耗运行。在调度上以CPU或节点为最小单位,通过CPU绑定,未分配的CPU或节点处于完全空闲状态,从而降低系统功耗。可根据需要配置休眠和唤醒(或关机和开机)策略,在节点闲置超过一定时间后转入休眠(关机)模式,并在一定条件下自动唤醒(开机)。从而达到最大化节能的效果。
/apps(共享盘)C:\(本地磁盘)
Linux/Windows图形服务器
CAD三维设计类应用
Windows
C:\(本地磁盘)
Windows图形服务器
类型
调试方式
GPU加速型仿真应用
CPU绑定:按CPU为单位分配,并实现CPU绑定,避免进程漂移,提高计算性能。GPU绑定:每台GPU服务器上配置了两块Nvidia K80卡,按GPU卡位单位实现绑定,避免多个任务争抢GPU,实现加速性能最大化。每台服务器上最多运行两个GPU加速仿真计算。调试多GPU加速的支持效果,对支持多GPU加速效果好的应用软件,以节点为单位进行作业分配。调试多节点GPU加速的支持效果,支持多节点GPU加速效果好的应用软件,在有条件的情况下分配多个GPU计算节点进行计算。对于支持断点续算的应用软件,调试断点续算功能。并行计算过程中如果使用第三方MPI,优先使用Intel MPI。
通讯密集型仿真应用
CPU绑定:每种应用软件调试CPU绑定。以节点为单位进行性能调试,按照1,2,4,8,16,32,64的节点数量,分别计算并行加速比,找出最优加速比,并作为默认值推荐用户使用对应的最优计算节点数。对于支持断点续算的应用软件,调试断点续算功能。并行计算过程中如果使用第三方MPI,优先使用Intel MPI。
1、建设概述
建设架构特点计算模块化统一存储空间高速互联网络高效自治的软件栈
整体架构图
目 录
OUTLINE
01
建设概述
02
03
实施介绍
软件架构
2:业务逻辑图
数字化设计过程
CAD建模主要用于对工程或产品进行建模,输出数字化图纸前处理主要是基于CAD模型建立合理的有限元分析模型,并设置必要的边界条件或求解参数仿真计算主要是借助求解器对模型进行有限元分析并给出计算结果,此过程一般需要大量求解计算多学科、多目标优化是针对同一个模型,使用不同学科的应用软件进行联合仿真优化后处理部分则根据工程或产品模型与设计要求,对有限元分析结果进行用户所要求的加工、检查,辅助用户判定计算结果与设计方案的合理性
应用权限分配
应用权限由安全员为指定角色来分配,即应用权限被分配给指定角色;而特定角色被指定给用户,这样应用权限就随着角色身份被分配给了用户。而平台支持单用户多角色身份,所以用户能同时分属多个角色,而随之具有灵活丰富的角色权限。根据功能定位不同和使用软件的不同,一般管理员仅分配管理相关的功能,如设备管理、系统管理、系统监控;而普通账号则分配仿真计算相关应用、三维设计相关应用。
软件配置
高性能计算平台——远程设计分系统
远程设计分系统主要用于CAE前后处理及CAD模型设计类应用软件的交互式设计操作。设备包含:56台图形服务器/工作站组成,分成Linux图形服务器(26台 OS:RHEL 6.8),Windows图形服务器(30台 OS:Windows Server 2012 R2)两组。
外部访问
门户服务器
许可证服务端口
TCP
许可证服务
外部访问
图形服务器
7389(win),6001-6100(Linux)
TCP
远程设计
本方案集群内部不设置防火墙策略,只通过外置的防火墙来打开特定的服务器相关端口来保证用户访问业务系统。
防火墙规划
3:项目实施——存储规划
存储分为两个区域,一个为永久数据区;另一个是计算数据区,只临时存放作业的计算数据,作业完成后6个月,作业相关数据自动删除,用户可以基于权限修改到期删除时间。永久数据区和计算数据区的大小比例为2:8。存储系统支持IB和万兆两种访问方式,支持NFS和CIFS两种协议。
前后处理类图形应用
前后处理软件安装在Linux或者Windows端,实现应用访问模式。
CAD三维设计类应用
CAD三维设计类软件安装到windows图形工作站上,实现应用级或桌面级的访问模式。
3:项目实施——应用软件安装调试方式
3: 项目实施——调度管理策略规划
调度策略
优先级调度
为满足定制化的作业优先级调度策略,需要对单位、部门、项目的优先级实现不同层次的分配管理。实现方式:通过新增单位、部门、项目的优先级的权重属性,系统管理员可以通过修改用户所在单位、部门或项目的优先级的权重属性,从而管理不同用户提交作业的作业优先级。目前,我们的作业优先级的公式如下:默认作业优先级=单位优先级*0.2+部门优先级*0.2+用户优先级*0.2+项目优先级*0.4。
软件配置
目 录
OUTLINE
01
建设概述
02
03
实施介绍
软件架构
3: 项目实施规划
规划内容
3:项目实施——系统规划
本方案建议Linux操作系统安装Redhat Enterprise Linux 6.8(RHEL6.8),Windows操作系统安装Windows Server 2012标准版,10个用户。
系统安装遵循原则
3:项目实施——网络规划
功能网络
网络类型
运行应用
监控网络
千兆
系统管理和命令发布
存储网络
Infiniband
用户或仿真计算对IO的数据访问
计算网络
Infiniband
JMCT、JSNT、快堆堆芯组件变形分析程序、Fluent、CFX、Geant-4、OpenFOAM、COMSOL、LSDYNA、ABAQUS、Material Studio、Lammps、VASP等
相关文档
最新文档