高性能计算解决方案

IBM 解决方案
考虑到本平台需要同时支持以上几种应用的需求， 因此 IBM 公司建议在总体架构上建议采用对称多处 理器(SMP)服务器和 PC 服务器集群架构混合的思 路，通过跨平台资源调度软件建立统一的计算网格 环境，实现经济性和实用性的统一; 在数据存储方面， 建议采用 SAN 架构的存储服务器，与专用的 I/O 节点 相连接，计算节点通过网络并行文件系统访问外存储 系统，形成一个数据网格系统，为用户和应用程序屏 蔽访问异质文件系统的复杂性。逻辑架构如下图所 示:
通过集群管理软件，可以将整个系统根据需要分割 成为若干个子集群，并进行相应的安全性设置，以满 足特定项目的保密性需求。
SMP 服务器
p5 575 是 IBM 针对高性能计算需求推出的最新型号 服务器，主要技术特点如下:
• 性能强大 p5 575 专为高性能计算优化，每台服务器包含 16 路 1.9 GHz IBM POWER5+ 微处理器。每个双核处理 器芯片具有 1.9MB 的二级和 36MB 的三级专用高速
45
IBM 教育行业解决方案
节点，可以很好地满足以使用共享内存方式的并行应 用。节点应采用处理能力尽可能高的 CPU,并提供尽 可能高的内存访问带宽，以满足应用软件处理大系统 模型的需求，保证系统具有最高的使用效率。这种架 构也是目前全球高性能计算平台的主流发展趋势。
在 PC 服务器集群方面，推荐采用配置双核处理器的 服务器，和采用单核处理器的型号相比，在处理能力 和性能 / 功耗比上有很大优势。为了简化系统管理、 提高总体可靠性，建议采用刀片服务器架构，并采用 Infiniband 高性能网络连接选件，以满足某些应用对 节点间高速通讯的要求。
此外建议配置两台p5 520服务器作为整个系统的管 理节点。
下面是系统的总体架构，整个系统的聚合峰值浮点 运算能力超过每秒 2.4 万亿次。
46
P5 520 管理节点
高性能计算解决方案
5 台 p5 575
千兆以太网 交换机
SAN 交换机
DS4800 存储服务器
3 套刀片中心 (42 片 HS21 刀片)
统一的 集群系统管理
SMP 服务器 集群
应用门户
子集群 子集群
并行文件系统 跨平台资源调度软件
Linux 集群
存储服务器
通过这样模块化的设计，中心可以形成一个开放的、 易于扩展的、高性能的信息处理与交换系统，实现一 个高吞吐率的海量计算、海量存储和海量通讯服务 平台，为中心的研究和开发工作提供良好的支持。
此外，p5 575 支持虚拟化引擎技术: “微分区”技 术能够在一个节点上建立多达 160 个 LPAR，从而 能有效地每个将处理器的能力最多分给 10 个 LPAR
使用; “共享处理器池”提供公共的处理能力，可以 在分区之间共享该处理器池以提高利用率和吞吐量， 同时可以动态地更换改处理器池以满足不断变化的 环境; 虚拟 I/O 支持物理上共享磁盘驱动器和通信适 配器，它有助于减少昂贵设备的数量，并能改善系统 的管理和提高利用率。它还支持在分区之间进行高 速安全的通信，以帮助提高性能。这些功能允许对服 务器资源进行再调整，这样企业就可以更加轻松地 应对需求的变化。
欢迎拨打免费订购热线: 800-810-1818-5831 或 010-84981188-5831 欲了解更多细节请登陆 http://www-900.ibm.com/cn/industry/education/
47
IBM 教育行业解决方案
Linux® 操作系统。动态 LPAR 支持系统管理员重新 分配系统资源，而无需重新启动系统或分区。如果 AIX 5L V5.3、SLES 9 或 RHEL AS 3 被选择在分区 上运行，则用户可以利用硬件同时运行多线程的长 处，与采用单线程的处理器吞吐量相比，这最多可以 使处理器的吞吐量提高达 30%(基于 rPerf3 项目)， 所提高的量取决于正在分区上运行的应用程序本身。
Infiniband 交换机
两台 x3650 存储节点
10GB Infiniband 连接 SAN 光纤通道连接 千兆以太网连接
整个系统除了提供对SMP和集群两种架构的良好支 持以外，还对系统未来的扩展提供了良好的支持。目 前IBM System p5 575可以在一个机柜支持多达192 路处理器，IBM 刀片中心支持在一个机柜内扩展到 336 路处理器(采用双核处理器)。通过成熟的 IBM 集 群管理软件，整个系统可以扩展到数千个节点。
p5 575 Node 24 Inch Frame Layout
Feature 5793 42U high frame 350 volt bulk power assembly with fully redundant bulk power assembly on back
Twelve 2U p5 575 nodes -total 192 processors
高性能计算解决方案
高性能计算解决方案
行业需求
目前在高性能计算平台的选择上，主流的有对称多 处理器(SMP)和 PC 服务器集群(Cluster)两种架构选 择。前者可以满足大多数应用程序的运行需求，但是 价格相对较高，对于经费有限的用户，难于满足对计 算能力的需求; 后者需要应用具有良好的可扩展性， 而且由于单节点的内存大小受到限制，对于某些对 内存数量需求大的应用来说需要增加很多通信开销， 降低了处理效率。而且部件的增多也造成系统总体 可靠性的降低和总体运作成本的增加。
在 SMP 服务器方面，由于大多数基于 OpenMP 的应 用扩展性有限，当 CPU 超过 16 个时不会有性能上很 大的提升，而基于 MPI 的应用则更适合采用集群方 式，因此，我们推荐采用多台 16 个 CPU 的系统作为
欢迎拨打免费订购热线: 800-810-1818-5831 或 010-84981188-5831 欲了解更多细节请登陆 http://www-900.ibm.com/cn/industry/education/
在 SAN 存储服务器方面，推荐采用 IBM DS4800 光 纤存储服务器，配制 10TB 光纤磁盘阵列。IBM DS4800 是目前业界第一个支持 4GB 光纤接口的磁 盘产品，也是目前业界高速缓存(Cache)最大的中端 磁盘产品，可配置16GB Cache，是其他产品的两倍 以上，性能远远超过其它厂商同级产品。由于 DS4800 可以支持 224 个硬盘驱动器和超过 65TB 的 FC 扩展能力，为中心今后的发展预留了很大空间。
缓存。每个节点的峰值内存带宽高达 200GBps，每 个节点支持的最大内存容量为 2 5 6 G B 。由于 POWER5 芯片支持单线程和并发多线程操作模式， 在操作系统看来，每个CPU相当于2路SMP处理器， 单机可以支持 32 个活动的线程，在相同主频下提供 比 POWER4 更高的性能。根据 Linpack 高性能测试， 单台 p5 575 的实际计算能力达到 111.4 GFlops*(每 秒 1114 亿次)，系统效率近 92%，在所有 16 路服务 器中排名第一。
在 Linux 集群方面，我们推荐采用刀片式服务器作为 计算节点，可以简化系统管理和运作开销，并便于今 后升级。我们建议每台刀片式服务器两颗低功耗的 双核 2.66GHz Xeon WoodCrest 处理器(65W, 4M 缓存)和4GB PC2-5300 FBDDR内存，73.4GB的万 转 SAS 硬盘。所有刀片放置在 3 套刀片中心内，峰 值浮点运算能力为每秒 17875 亿次，可以很好支持 并行运算和网格应用的需求。此外，配置 2 台 x3650 服务器作为 I / O 节点。节点之间可以选择通过 InfiniBand 高性能网络连接，此外配置千兆以太网作 为管理网络。
AIX 5L V5.3 Linux AIX 5L V5.3 Linux AIX 5L V5.3
Hale Waihona Puke Baidu
storage
2 CPUs Virtual I/O
Server
Virtual Virtual SCSI adapter
1 CPU 2 CPUs 3 CPUs
Linux AIX 5L AIX 5L V5.2 V5.3
* 来源: http://performance.netlib.org/performance/ html/PDSreports.html
• 最大化的资源利用率和灵活性 p5 575支持IBM先进的虚拟化技术，可以大大提高客 户的生产力。通过 POWER Hypervisor，并结合最新 的操作系统，用户可以建立动态的逻辑分区( 动态 LPAR)，从而同时运行 AIX 5L V5.2、AIX 5L V5.3 或
48
高性能计算解决方案
• 高密度和高可靠性的系统设计 随着用户对系统运作成本的关注，系统的密度和功 耗得到了越来越多的关注。p5 575 集群节点提供了 不可思议的计算密度，在单一系统机架中可以包含
192 颗处理器(12 个 16 路 p5 575 集群节点)，并且 支持不同种类节点的混合，提供了非同一般的密度 和灵活性。
以用于支持并行程序的开发、排错、运行与分析，支 持32 位和64 位的 MPI-2 标准，支持字符或图形界面 的性能工具。最新版本的 PE3.2 已经支持对使用标 准的MPI的并行程序产生的任务(全体或单个)设定断 点序列，同时允许管理员或批处理做业等设定断点 序列，即使应用已经在运行。
对于Linux 环境，IBM同样提供了针对 Power平台优 化的数学函数库和资源管理软件，可以同样提供非 凡的性能和系统可靠性。
总体架构设计
在具体系统平台的选择上，SMP 集群部分我们建议 选用 5 台 IBM System p5 575 高性能计算机，每台 配置 16 颗 1.9 GHz Power5+ CPU，32GB 内存，以 及适配卡接口等部件。由于 POWER5 芯片支持单线 程和并发多线程操作模式，在操作系统看来，每个 CPU 相当于 2 路 SMP 处理器，单机可以支持 32 个 活动的线程，在相同主频下提供比 POWER4 更高的 性能。整个系统峰值浮点运算能力为每秒6080亿次， 可以同时支持 AIX 5L™ 和来自 Red Hat 和 SUSE LINUX 的 Linux® 操作系统，并支持先进的虚拟化技 术，可以大大提高客户的生产力。在目前高性能计算 相关性能测试中(16 路系统)，IBM System p5 575 都排名第一,远远超过其他系统;
6 CPUs Micro Partitioning
Virtual Ethernet POWER Hypervisor
I/O
I/O I/O I/O
Storage Network S N S N S N
包括:
微分区
共享处理器池
Virtual I/O(磁盘和网络)
I/O SN
HMC
• 领先的系统软件环境 AIX 操作系统的开放和高度符合业界标准特性、对 UNIX 和 Linux 开发环境和应用的兼容性保证了使用 方便和应用来源的最大化。对于 AIX 平台，IBM 提供 了完善的高性能计算软件环境。其中，专门针对 POWER 结构进行优化的高性能数学运算库 ESSL 和数学函数库 MASS，将更加充分地利用所有浮点 运算单元和寄存器，更高效率地利用多层高速缓存 结构。此外，IBM并行环境(Parallel Environment)可
Optional internal battery backup locations First node position in frame
Two 4U I/O drawers with a maximum of five per frame
在如此的高密度下，系统提供了完善的高可靠性、高 可用性和高可维护性设计。秉承大型机的RAS技术， p5 575 具有内置的服务处理器，旨在持续地监控系 统的运行，并能采取预防或纠正措施以快速解决问 题。遇到故障可以最大限度地继续运行，并自动通知 系统管理员和 IBM 维护工程师。首次故障数据捕获 (FFDC)功能有助于在系统故障发生之前确定和记录 问题，可以减少在发生错误后重现错误所需的服务 时间。