简述天河一号架构

透过天河一号看超级计算机技术

在去年10月底，长沙举办的中国高性能计算学术年会上，国防科技大学研制的千万亿次超级计算机“天河一号”成为焦点，这是我国国内计算能力最高的超级计算机，而且标志着我国超级计算机的研发能力成功实现了千万亿次计算的跨越。超级计算机不仅体现了一个国家战略性高技术的发展水平，也是与科技创新、国计民生密切相关的重要基础设施。超级计算机的各种应用，实际上会以不同的方式影响到我们每个人，这些似乎遥不可及的超级计算机实际上离我们“非常近”。

你应该知道的超级计算机

目前各种超级计算机的高速处理能力基本上都是利用并行体系结构实现的，并行计算(Parallel Computing)已成为提高处理性能的关键技术之一。简单地讲，并行计算技术就是用同时运行的多个处理机或计算机来处理同一任务，从而大幅度提高任务的处理速度、缩短了任务的处理时间。

超级计算机的五大形态

在超级计算机技术的发展历程中，先后出现过多种超级计算机并行体系结构，主要有如下5种。

●并行向量处理(Parallel Vector Processing，PVP)系统

并行向量处理结构

采用一定数量的、并行运行的向量处理器和共享式内存(Shared Memory，SM)结构的计算机系统。PVP系统的SM结构，也就是采用高带宽的交叉开关将各个向量处理器与其共享的内存模块连接。向量处理器 (Vector Processor)的一条指令能够同时对多个数据项(向量矩阵)执行运算，而一般的通用CPU属于标量处理器(Scalar Processor)，每次只能对一个数据项进行处理。其代表机型有Cray XMP、Cray YNP、NEC SX2、我国的银河一号和二号等。

对称式多处理结构

采用一定数量、并行运行的微处理器和共享式内存(SM)结构的计算机系统，各处理器通过系统总线或交叉开关连接共享的内存模块，可“均等”或“对称”地共

由同一操作系统管理，提高整个系统的数据处理能力，因此SMP

”(Uniform Memory Access，UMA)方式，SMP的代表机型有

Sun SPARC Center 2000、曙光一号等。

(DistributedShared Memory，

分布式共享内存结构

由一定数量的并行处理节点(Node)组成，每个节点都是一个相对完整的计算单元

，各节点通过高速网络互连，系统由单一操作系统管理，分布于各个节点的全部内存被统一编址，可由所有用户共享。与SMP不同，DSM对内存资源的共享是非

●大规模并行处理(Massive Parallel Processing，MPP)系统

大规模并行处理结构

由成百上千计算节点组成的并行处理计算机系统，每个计算节点配置一个或多个处理器，各个节点相对独立，有各自独立的内存模块和操作系统。MPP系统的特点是可以获得很高的峰值运算速度，且由于系统的内存分布于各个节点，所以MPP属于“分布式内存”(Distributed Memory，DM)结构，具有易扩展性。MPP的易扩展性使其能够与SMP、DSM等结合，于是出现了SMP-MPP(各个MPP节点采用SMP并行多处理机)和DSMMPP(各个节点采用DSM并行多处理机)等复合型超级计算机系统。MPP系统的代表机型主要有IBM SP2、Intel Paragon、CRAY T3E、曙光1000等。

●机群式超级计算机系统

机群式超级计算机结构

上世纪90年代中后期，随着Intel芯片等造价低廉的微型计算机组件的出现和网络技术的迅速发展，使采用普通微型机或工作站作为计算节点并采用高速网络互连的并行计算系统成为了可能，超级计算机体系结构由此开始迈入工作站机群(Cluster of Workstations，COW)或工作站网络(Network of Workstations，NOW)时代。2000年以后，又出现了节点采用商用级处理器的机群系统(Cluster)，以及采用SMP并行机作为计算节点的SMP机群或星群(Constellation)。从内存访问方式上看，机群系统采用了与MPP相同的分布式内存(DM)结构，因而具有很高的可扩展性。机群系统的代表机型有洛斯阿拉莫斯国家实验室的Avalon Cluster、ASCI Blue Mountain、深腾1800/6800和曙光2000/3000等。

当今主流：机群式超级计算机概况

机群式超级计算机系统具有结构灵活、通用性强、安全性高、易于扩展、高可用性和高性价比等诸多优点，所以目前新建的超级计算机大都使用这种结构，只不过在具体采用的节点机型、拓扑结构及互连技术会有所不同。

机群式系统的基本组成

高性能计算专业网站TOP500的全球超级

计算机500强排名中，机群式系统所占比

率连年上升，现已达到83％以上。机群是

采用高速网络将大量的节点相互连接起

来的系统，每个机群节点都是一个配置有

处理器、内存、I/O设备、网卡和操作系统

的计算机，各个节点以协同方式并行完成

计算任务。机群系统与MPP 一样，也是

属于分布式内存结构，因而具有很强的可

扩展性。具体而言，机群系统主要由节点

计算机、高速互连网络、操作系统、单一

系统映像等中间件、并行编程环境和应用程序等部分组成。

●机群节点的计算机

机群节点可以灵活采用高性能的微型机、工作站或SMP并行机等，节点机处理器的处理性能是影响机群系统整体性能的一个最关键的因素。理论上节点机处理器的主频和浮点运算速度是决定机群计算速度的主要因素(见后面介绍的峰值速度计算公式)。

由于图形加速处理器(GPU)具有很强的浮点和向量(矩阵数组)计算能力，所以在机群中采用一定数量以GPU作为处理器的计算加速节点，将能提升机群的性能，例如“天河一号”就采用GPU加速节点并提升了GPU的计算效率，实现了CPU与GPU融合的异构协同计算。

●机群的互联技术

机群系统一般可以采用高带宽的以太网、异步传输模式(ATM)、可扩展一致性接口(SCI)、QsNet、Myrinet和InfiniBand等网络技术实现节点机的互连，其中千兆／万兆级以太网、Myrinet和InfiniBand使用比较广泛，尤其是后者InfiniBand互连技术也被称为“无限带宽”InfiniBand最初由Mellanox公司提出，是一种基于输入输出总线的通用宽带互连技术，原本是为了解决因PCI等并行总线结构速度较慢而导致的服务器CPU输入输出瓶颈问题，这种瓶颈制约了服务器与存储设备、网络节点、其它服务器之间的通信能力，但由于InfiniBand非常适合于高性能计算系统，所以后来便成为一种广泛应用于超级计算机系统的开放性高速互连网络技术标准。

InfiniBand规范中定义了交换机、通道适配卡、线缆和子网管理器等标准设备，InfiniBand 交换机在各个节点、各种设备之间建立点对点的串行连接并进行流量控制，可有效避免数据流量的阻塞。基于交换方式的点对点的串行连接使InfiniBand网络具有极强的可扩展性，一个网络可有数千个子网(Subnet)组成，每个子网有一个子网管理器、可支持上万个节点，这种子网架构实现了更有效的分散管理。