【高性能计算中心】高性能计算中心建设方案总体设计

【高性能计算中心】高性能计算中心建设
方案总体设计
高性能计算中心建设方案总体设计
1
目录
2
1.1建设目标
根据用户的实际应用需求，拟扶植高机能计算系统一套，该系统包罗以下指标：
计算系统主要由刀片集群组成，辅以大批的SMP胖节点和前后处理节点，其中刀片集群峰值达到16.12TFLOPS，胖节点峰值达到1.17TFLOPS。

建设存储系统一套，需要使用稳定可靠并行存储系统，总容量达到288TB，访问带宽达到3.0GBps。

扶植文件服务器存储系统一套，需要使用稳定可靠的磁盘阵列服务器，总容量达到21TB。

前后处理节点4台，每台配置高端显卡。

收集系统应根据应用需求，配置最先进的FDR 56 Gbps Infiniband收集，为了包管可管理性和可靠性，应配置单一大端口Infiniband交换机。

管理收集考虑机能和布线的最佳挑选，使用万兆上联方案。

根据用户应用需求，配置功能强大作业调度系统，并配置可实现与现有应用集成的web
portal，可实现基于图形化的互动作业，提高用户使用体验。

1.2方案选型说明
1.2.1高性能计算系统选型
本次投标的高性能计算系统为曙光的整体解决方案，XXX（以下简称“XXX”）是一家在天津注册，在XXX 和XXX大力推动下，以国家“863”计划重大科研成果为基础组建的高新技术企业。

XXX做为国内抢先的高机能计算解决方案供应商，具有丰富的高机能项目经验和齐全的高机能计算解决方案，承担了多个国家重大超等计算机的扶植事情，其扶植的“曙光
4000A”，“曙光5000A”和“曙光星云”等多个系统的扶植，多次入选全球Top500计算排
行榜的前列。

曙光在国内高性能计算市场占有很大的市场份额，从2009年至今，连续4年夺得中国
TOP100排行榜的第一名，超过了国内国际所有竞争对手。

曙光作为一个自主创新的国产的高机能计算解决方案供应商，也更符合本项目的自助可控、保密的要求。

3
1.2.2存储系统选型
本次投标的并行存储系统为曙光Parastor200存储系统，存储系统作为高性能计算系统的存储介质，数据的可靠性和稳定性是第一位的。

曙光并行存储系统技术先进，安全、稳定、可靠，部署在国家超级计算深圳中心的“星云”高性能计算集群系统，使用的就是曙光Parastor200存储，单一命名空间，总容量16PB，为目前国内最大的单一存储系统。

Parastor并行存储系统具有高性能、高IOps性能、高扩展性、海量存储等特点。

1.2.3作业调度系统选型本次投标的作业调度系统、应用门户系统系统软件选择曙光Gridview的解决方案。

曙光Gridview集群管理系统是行业内使用最广泛、最成熟、最安全的商用作业调度系统之一，有大量的成功案例，在
超算中心、高校、企业都有大量运用。

工程计算门户（包括Fluent、Ansys、Abaqus、CFX、LS-Dyna、Nastran等CAE并行计算软件接口，并要求提供与自研并行计算软件接口）可以实现基于各个维度的实时统计，用户可以根据实时统计来选择空闲资源来提高作业轮转效率。

支持丰富的License调度，可以根据最新情况在资源管理
和作业调度系统中加入新的管理策略。

1.2.4网络安全与身份认证系统选型
1.2.4.1产品选型原则
根据国家有关法律法规，并结合XXX高机能计算信息系统通讯收集的实际要求。

我们建议使器具有国内自主知识产权的产物，并且要完全符合XXX高机能计算信息系统提出的产物资质要求：所有产物是经公安部、国家信息安全测评认证中心、XXX、中国人民束缚军信息安全产物测评认证中心等国家权势巨子测试通过，并获得安全产物销售答应证，是在国内政府构造、银行、部队、电子政务等系统接纳较多，运转稳定的国产防火墙、入侵防备系统、内网安全管系统和网闸等安全产物，在功能、机能与管理性等方面能够满足XXX高机能计算信息系统的需求。

4
1.2.4.2产品选型要求
1、在产物选型时，需要厂家可以供给个性化的安全产物。

只有这样才干包管系统的安
全充分满足客户的现状，才能有针对的为用户的应用和业务提供安全保证。

国内具有自主知识产权的安全产品可以随时根据用户的要求对产品进行相应的改
进，使产品更加适合用户的实际需要，而不是一般的通用性产品。

2、采用可提供本地化服务的厂家的产品。

可以提供本地化服务产品对用户的安全至关
重要，可以及时供给应急安全响应服务，如在病毒或黑客入侵事件发生的时候，可以在第一时间进行响应，最大程度的保护用户好处。

3、在选择产品时需要保证符合相应的国际、国内标准，尤其是国内相关的安全标准。

如国内的安全等级标准、漏洞标准，安全标准以及国际的CVE、ISO、ISO、
ISO等标准。

4、产品在使用上应具有友好的用户界面，并且可以进行相应的客户化工作，使用户在
管理、使用、维护上尽量简单、直观。

5、所挑选的安全产物尽可能为同一厂家产物，以种于日常保护、升级、装备联动等。

5
1.3系统拓扑图
图3-1系统拓扑图
1.4系统方案说明（详细说明）
➢高性能计算平台整体物理CPU为848核，总峰值17.3056万亿次；其中瘦节点（刀
片）总峰值16.12万亿次，胖节点1.17万亿次，满足招标要求；
➢痩节点接纳最新发布的Intel Xeon E5-2680 V2处理器，每CPU 10核，主频2.8GHz；
胖节点接纳最新发布的AMD Opteron 6376处理器，每CPU 16核，主频2.3GHz；
处理器性能高于招标要求高8%；
➢刀片和胖节点服务器内存容量2.816TB，满足要求。

➢系统配置前后处理服务器，4台W580I-G10服务器，128GB内存，2颗XXX XeonE5-2670八核处理器(2.6GHz)，满足要求。

每台服务器配置1块NVIDIAQuadroK4000显卡，显存3GB，显存比要求高20%，CUDA核心为招标要求的2.1倍。

➢系统配置了一台36口mellanox FDR Infiniband交换机作为主要计算节点——刀
6。