并行计算机的现状与发展趋势(转载)

并行计算机的现状与发展趋势(转载)

本文是作者根据在中国计算机学会"当代计算机体系结构、操作系统的发展

"学术研讨会上的报告修改而成

谈谈现状和未来。

发信人: leejiyun(阿骆), 信区: HPC

标题: 并行计算机的现状与发展趋势

发信站: 交大兵马俑BBS站(2002年05月22日15:39:12 星期三), 站内信件

陈树清

最近几年，超级计算机领域连续出现了一些令人担忧的事情。由于冷战结束，世界政治格局发生了变化。于是，美国政府大幅度削减军费，停止执行"星球大战"计划，

这一切成为以上变故的直接原因。

表1所列事件包括以"超级计算之父"CRAY命名的、在超级计算机领域独领风骚10多年的两家公司，以及在90年代初享誉超级计算机界的MPP制造商TMC。无情的事实足以说明，高性能计算机领域正经历着转折期的困难。

面对如此风云变幻的形势，我们必须冷静思考，认真分析。冷战和历史上的战争有可能促进技术的进步，然而这种作用只能是暂时的、局部的；和平与发展才是科学技术

的春天。作为三大科学研究手段之一的高性能计算机，其发展的根本动力来自于各类科

学技术对计算机性能永无止境的需求和生产的实际需要。

在1996年的"SuperComputing'96"大会上，美国政府HPCC计划全国协调委员会主席JohnToole在题为"危机、创新与机会：HPCC将向何处去"的报告中对此做了很好的说明。他指出，高性能计算与通信对美国的国家安全及保持美国在未来的优势至关重要。美

国政府将在高端计算机与通信、大规模网络、高可信系统等5个方面制定10～15年的长期计划，保持长期持续性投资。

过去的10年是超级计算机、特别是并行机飞速发展、走向成熟的10年。10年中CPU芯片的性能翻了几番，计算机工作者发明了Wormhole（虫蚀寻径）技术，找到了更符合实际的LogP并行计算模型，创造了成百的不同规模、不同拓扑结构的并行平台。特别是，由于多种软硬件技术的进步，使既具有可扩展性、又具有可编程性的、分布式共享存贮

结构的并行机成为可能。并行计算机是当今超级计算机的主流，本文对超级计算机(Sup

erComputer)和并行计算机(ParallelComputer)不做严格区分。

一、并行计算机的现状：可扩展性与可编程性当今的并行计算机，除大家熟悉的SM

P（共享存储多机系统）和MPP（大规模并行处理系统）外，还有向量并行机（PVP，或称VPP），以及工作站群集（NOW，或称COW）。

PVP与SMP的主要不同是CPU，后者是标准的RISC芯片，而前者是各个厂家自行研制的向量处理机。PVP承袭了向量机的优势，技术成熟，效率高，可将互连网络的路由器插入其中，方便地进行各种优化组合设计。但是，PVP的向量CPU与已经形成上千万生产规模的RISC相比，在规模效应和性价比上相差悬殊。另外，RISC的生命力在于不断吸收超级计算机领域的最新技术，目前的目标之一就是增加向量处理的功能。果能如此，SMP与P VP就完全统一了。将工作站群集NOW作为并行计算机的一个类别，概念上有点含糊。TOP 500中没有NOW这一类。

当然，具有"单一系统形象（SingleSystemImage）"的工作站群集，特别是同构的，其本质与MPP没有差别。不同的并行计算机各有特点，但它们也有区别于其它计算机的

共性。其中最重要的就是可扩展性（Scalability）和可编程性（Programmability）这

一对共生而又矛盾的特性。

可扩展性是并行计算机最大的优势，可简单定义为"在确定的应用背景下，计算机

系统的性能要随处理机数的增加而线性增长"（美籍并行处理专家黄铠教授语）。可扩

展性包括规模可扩展、时间可扩展和问题可扩展几个方面。规模可扩展的要点是均衡，

均衡的目的是防止瓶颈的发生，"三T"表达了当今均衡的指标。时间可扩展也称换代可

扩展，主要指体系不受限于芯片、器件、工艺等。问题可扩展指格点增加时，系统能适

应问题规模的扩大；而当问题的粒度加大时，效率能相应提高。现有的MPP，如Inetl的Paragon、IBM的SP/2、国内的曙光1000，一般认为是可以扩展的。

可编程性是在并行机发展的过程中，伴随可扩展性而产生的新概念。并行计算机有

共享与分布式两种存储结构，所以操作系统进程间的通信（IPC）也有两种不同的机制：

共享变量和信息传递。机器结构和操作系统的这些区别又影响到支撑软件和应用软件的

编程模式。SMP的程序设计仍以传统的高级语言为基础，系统提供自动并行识别或增加并

行语言成分。而MPP必须建立另一种编程环境（如PVM、MPI等），在程序中显式地写出信息的发送和接收。这不仅导致应用软件编写困难，还给广大用户增加了很多负担。为此

，创建了一个新的单词Programmability，用以描述并行计算机的这一重要特点。

总之，从存储和编程模式看，并行机可分为SMP与MPP两类。SMP具备可编程性，不易扩展；MPP具有可扩展性，不易编程。如何将两者的优点融合在同一并行结构中，一直是

困扰超级计算机研制者的难题。

二、简要的历史回顾历史是现实的镜子，总结过去对预测超级计算机的发展趋势非

常有益。一般将CRAY-1投入运行的1976年称为"超级计算元年"。然而，早在1972年就

已研制成功的超级计算机ILLIAC-IV，是现今MPP无可争议的先辈。什么是超级计算机的

发展方向，是以CRAY-1为代表的向量机，还是以ILLIAC-IV为代表的并行机，这是70年代

计算机界的热门话题。这两种机器各有长短，ILLIAC-IV具有可扩展性，一个象限64个处

理单元，原设计为4个象限，可扩展到256个单元，但它在编程模式上与传统的大型机相

差太大。CRAY-1正好相反，编程模式可基于FORTRANIV。这是超级计算机历史上第一次有关可扩展性与可编程性的较量，最后以向量机的胜利而告终。从此，并行计算机沉寂多

年，而以CRAY为代表的向量机则称雄超级计算机界十几载。

80年代初，刮起了一股小巨型机（miniSuperComputer）的风暴。几十个小巨型机厂

家如雨后春笋般冒了出来，机器结构五花八门，大体上也可分为向量机和并行机两大类

。这是超级计算技术从高科技领域走向民用的一次重大尝试，所以小巨型机又被称为普

及性巨型机。经过几年的较量，大批厂家偃旗息鼓，而Convex的C系列却一支独秀。这无

异于70年代CRAY战胜ILLIAC-IV的重演。到80年代后期，向量机的造价越来越高，而性能提高却越来越难。CRAY-3的时钟周期为2ns，CRAY-4为1ns。在这种形势下，人们又重操

旧业，并行计算机再一次红红火火地搞了起来。在1990年的超级计算机大会上，Hillis

博士公开宣称："传统的巨型机（向量巨型机）5年内将被淘汰"，在当时引起了一番争

论。今天看来，Hillis博士的看法基本正确。然而，并行机对向量机的胜利，并不等于

可扩展性对可编程性的胜利。

90年代初，当各种并行机百花争艳，令人们眼花缭乱之时，杀出了一匹"黑马"，

即SGI公司。在1995年11月公布的TOP500中，它独占125台，跃居众家之首。其优势之一是具有共享存储的SMP结构，因而具有可编程性。从以上列举的三个典型史实看，在超级

计算机发展的前20年间，基本遵循这样一个规律：当可扩展性与可编程性不能相容时，

人们总是选择可编程性，而舍弃或适当考虑可扩展性。然而，这毕竟只是一种权宜之计

。