并行处理技术与并行计算机

并行处理技术与并行计算机

[摘要]：本文从计算机的体系结构和软件系统两方面阐述了并行处理技术的主要技术，并介绍了并行计算机发展的现状和趋势。

[关键词]：并行处理，并行计算机

[ABSTRACT]:In this paper,we summarize the primary technology of parallel processing from two aspect--------architecture and software,and we also introduce the status in quo and trend of parallel computer.

[KEYWORDS]:Parallel Processing;Parallel Computer;

引言

计算机系统发展到今天,其性能价格已经极大的满足了多数人的需要,VLSI技术的发展使得计算机系统的性能得以飞速的提高..单处理机系统提高运算速度的主要途径是体系结构和电路工艺上的改进.结构上包括流水线结构,向量处理和指令级并行性的开发等,它只能把速度提高大约十倍,电路上的新材料还未成熟,而微小化几乎要接近极限.

在80年代中期,美国科技政策署就提出了巨大挑战(Grand Challenges)的任务,其中的气候模拟,半导体模拟,受控核聚变研究,海洋环流等需要大量复杂计算的问题都需要运算速度比现有的系统高的多的超级计算机.

早在80年代初,各种16/32位的高性能微处理机的并行机系统就出现了,并行处理技术以其高性能,广大的发展潜力,必将成为21世纪制造高性能计算机的关键计算.对并行处理技术的研究包括了并行机硬件和并行软件系统.本文将在这两方面进行探讨,最后说明目前并行计算机的一些发展概况及趋势.

并行处理技术

1.并行机的体系结构

对于计算机系统，存在着几种不同的分类法。本文将根据并行计算机的基本结构特点，分成以下四种结构：传统的向量并行机VPP，多处理机MP，工作站机群NOW及大规模并行处理机MPP。

1.1VPP传统的向量并行机

向量机已经使用了十几年，到现在，其编译技术日益成熟，适用范围逐步扩大。向量机发展到现在，已经遇到了严重的障碍，主要有三个方面：首先，它的效率取决于应用程序中可向量化语句所占的比例。仅仅采用向量流水技术，加速比不会很高。另一方面，提高向量机性能的主要途径是加快主频，而现在主频的再提高潜力不大。其次，向量机主要开发低层次的并行性，而低层次的并行有一定的限度。最后是它的可伸缩性。复杂度不允许连接太多的处理机。

一些主要的向量机有CD C7600,Cyber205,ETA-10,CRAY1,CRAY YMP/C90,Fujitsu VP200VP500,NEC的SX-3等。

1.2多处理机MP

MP(Multiprocessor)结构具有两台以上的处理机，在操作系统控制下通过共享的主存或输入输出子系统或高速通讯网络进行通讯。多处理机属MIMD系统。

MP系统有两种不同的系统结构：紧耦合系统（TCS）和松耦合系统（LCS）.紧耦合是通过共享主存实现处理机间的互相通信，处理机间的相互联系比较紧密。按所用处理机类型是否相同及对称，又可分为同构或异构及对称或非对称的形式。常见组合是同构对称式和异构非对称式多机系统。同时它有两种典型的形式：一种是不带高速缓冲存储器（如CMMP 多机系统）；另一种是带专用高速缓冲寄存器（如IBM3084多机系统）。松耦合是通过消息传递方式来实现处理机间的相互通信，而每个处理机是由一个独立性较强的计算机模块组成。

在多机系统中，无论使用什么耦合的结构，在处理机之间，处理机和主存之间以及处理机和I/O之间都要通过互联网络实现信息交换。多机系统的性能在很大程度上依赖于互联网络。多处理机之间数据的交换可以使用串口，并口，DMA，共享存储器和双端口RMA 等方法达到此目的。

衡量多处理机调度性能好坏的主要参数通常有：完成所有任务所需最少时间；完成所有任务所需最少处理机数；最小平均流时间即执行每个任务所需平均时间；处理机的最大利用率或最小空闲时间

1.3工作站群NOW（Network of Workstations）

NOW是用互联网将两个以上高性能的工作站连接在一起，并配以相应的支撑软件，构成一个分布式并行计算机系统，工作站之间的程序执行和消息传递都是并行的。具有并行计算性能的NOW，能加速作业的执行，NOW的互联可以采用Ethernet，FDDI，VLTRA net，ATM等。它是一种新兴的并行机结构，充分利用各工作站或微机资源，统一调度，协调处理，以实现高效并行处理。NOW具有用户投资风险小，编程方便，结构灵活，可扩展性好等优点。需要解决的关键问题是实现高带宽，低延迟的互联网技术。

一些NOW有：SGI公司的Power Challenge Array(CPU数128个，速度46.1GFLOPS),DEC公司的TurboLaser Cluster(CPU数96个，速度57，6GFLOPS)。

1.4大规模并行处理机MPP

MPP用各种互联网络把成百上千个处理器互联起来，具有很好的可扩充性，处理器间的同步是以消息传递为主，没有共享存储器。通常处理器数量有100个以上，有两种常见的结构：SIMD（单指令流多数据流）和MIMD（多指令流多数据流）。SIMD将大量重复设置的处理单元按一定方式互连成阵列，在单一控制部件CU(Contrul Unit)控制下对各自所分配的不同数据并行执行同一指令规定的操作，是操作并行的SIMD计算机。MIMD是系统由多个处理器自动的对不同数据执行不同的操作，它是实现作业，任务，指令和数组各个级别的全面并行处理的理想结构。

MPP的处理器间的连接方式主要有：hypercube，mesh，tree结构等。而对于诸如单总线结构，单环结构，星形结构，全互连结构等则不适宜于MPP系统。对单总线或单环结构，总线瓶颈严重，当结点数超过数十台后系统性能随结点数增加而急剧下降，虽然为改善这一不足出现了双总线，双环等结构，但对于超大规模（结点数上千时）MPP系统来说，系统性能仍然很低。对于星型结构，中央节点将成为系统的瓶颈，而且一旦中央节点故障，整个系统就瘫痪。对于全互连结构，虽然理论上来说时最佳互连结构，但当互连结点数很多情况下，物理上实现极为困难。即使能实现代价也会很高。

如何减少通信开销和同步开销是MPP技术的关键所在，当前的研究集中在如何获得高效的通信技术上，其目的是提高应用中的计算通信比。通信开销有以下几个来源：网络接口，通信延迟，收发开销。要想尽可能的减少通信开销，有效的途径是改善网络接口，减小或重叠通信延迟和降低发收开销。由于网络接口与结点体系结构有事不可分的一个整体，因而对