并行计算的基本概念

并行计算的基本概念

[转贴2008-02-25 09:57:26]

1、并行计算：并行计算是指同时对多个任务或多条指令、或对多个数据项进行处理。完成此项处理的计算机系统称为并行计算机系统，它是将多个处理器通过网络连接以一定的方式有序地组织起来。

2、指令流：机器执行的指令序列；

3、数据流：由指令流调用的数据序列，包括输入数据和中间结果。

4、SIMD计算机：有一个控制部件和许多处理单元,所有的处理单元在控制部件的统一控制下工作。控制部件向所有的处理单元广播同一条指令，所有的处理单元同时执行这条指令，但是每个处理单元操作的数据不同。

5、MIMD计算机没有统一的控制部件，含有多个处理器，各处理器可以独立地执行不同的指令，每个处理器都有控制部件，各处理器通过互连网络进行通信。

6、并行向量处理机（PVP）在并行向量处理机中有少量专门定制的向量处理器。每个向量处理器有很高的处理能力。并行向量处理机通过向量处理和多个向量处理器并行处理两条途径来提高处理能力。

7、大规模并行处理机（MPP）大规模并行处理机一般指规模非常大的并行计算机系统，含有成千上万个处理器。它一般采用分布的存储器，存储器一般为处理器私有，各处理器之间用消息传递的方式通信。大规模并行处理机的互连网络一般是专门设计定制的。

8、分布式共享存储器多处理机（DSM）分布式共享存储器多处理机的主要特点是它的存储器在物理上是分布在各个结点中的，但是通过硬件和软件为用户提供一个单一地址的编程空间，即形成一个虚拟的共享存储器。它通过高速缓存目录支持分布高速缓存的一致性。

9、机群(COW或NOW) 是由高档商品微机（包括工作站）用高速商品互连网络（有的商用机群也使用定制的网络）连接而成，每个结点都是一台完整的计算机（可能没有鼠标、显示器等外设）。

10、对称多处理机（SMP）对称多处理机的最大特点是其中的各处理器完全平等，无主从之分。所有的处理器都可以访问任何存储单元和I/O设备。存储器一般使用共享存储器，只有一个地址空间。因为使用共享存储器，通信可用共享变量（读写同一内存单元）来实现。

11、UMA UMA是Uniform Memory Access（均匀存储访问）模型的缩写。在这种并行机中所有的处理器均匀共享物理存储器。所有处理器访问任何存储字需要相同的时间（此即为均匀存储访问名称的来源）。每台处理器可以有私有高速缓存。UMA结构适用于通用或分时应用。

12、NUMA NUMA是Nonuniform Memory Access（非均匀存储访问）模型的缩写。在NUMA中，共享存储器在物理上是分布的，所有的本地存储器构成了全局地址空间。NUMA与UMA的区别在于处理器访问本地存储器和群内共享存储器比访问远程存储器或全局共享存储器快。

13、COMA COMA是Cache-Only Memory Architecture（全高速缓存存储结构）模型的缩写。COMA 实际是NUMA的一种特例，将NUMA中的分布存储器换成高速缓存就得到了COMA。在COMA 中，每个结点上没有存储层次结构，所有的高速缓存构成了全局地址空间。访问远程高速缓存要借助分布的高速缓存目录。

14、CC-NUMA CC-NUMA是Cache-Coherent Nonuniform Memory Access（高速缓存一致性非均匀存储访问）模型的缩写。CC-NUMA结构的并行机实际上是将一些SMP机作为结点互连起来而构成的并行机，绝大多数商用CC-NUMA多处理机系统使用基于目录的高速缓存一致性协议；它的存储器在物理上是分布的，所有的局部存储器构成了共享的全局地址空间。

15、NORMA NORMA是No-Remote Memory Access（非远程存储访问）模型的缩写。在NORMA 中，所有的存储器都是处理器私有的，仅能由其处理器访问。各处理器之间通过消息传递方式通信。

16、静态网络（Static Networks）静态网络是指结点间有着固定连接通路且在程序执行期间，这种连接保持不变的网络

17、动态网络（Dynamic Networks）动态网络是用开关单元构成的，可按应用程序的要求动态地

改变连接状态的网络

18、互连函数为了反映不同互连网络的连接特性，每种互连网络可以用一组互连函数来描述。用整数分别表示互连网络的个输入端和个输出端。记互连函数为，它表示输入端与输出端相连。

19、总线总线（Bus）实际上是连接处理器、存储器和I/O等外围设备的一组导线和插座。总线的一个特点是：它在某一时刻只能用于一对源和目的之间传输数据。当有多对源和目的请求使用总线时，必须由总线仲裁逻辑进行总线仲裁，即确定先为哪一对源和目的服务。

20、交叉开关交叉开关（Crossbar Switcher）是一种高带宽网络，它可以在输入端和输出端之间建立动态连接，在每个输入端和输入端的交叉点上都有交叉点开关。该开关可以根据需要置为“开”或“关”状态，从而使不同的输入端和输出端导通。交叉开关允许对源和目的同时用互不重叠的通道进行通信，也允许一个输入端向多个输出端同时发送信息。在并行系统中，交叉开关可以用来连接处理器和处理器，也可以用来连接处理器和存储器。

21、多级互连网络为了构造大型网络，可以把交叉开关级联起来，构成多级互连网络（Multistage Interconnection Network, MIN）

22、消息（Message）是结点间通信的逻辑单位。它由任意数目的长度固定的包组成。

23、包（Packet）是包含寻径目的地址的基本单位。包的长度由使用的协议决定。由于不同的包可能异步地到达目的结点，因此属于一个消息的每个包需要一个唯一的序号，以便在目的结点可以将包按照正确的顺序重新装配起来。

24、片（flit）将包分成一些固定长度的片（flit），寻径信息和序号形成头片，其余的片是数据片。

25、网络寻径算法决定消息从源结点到目的结点的路径的算法称为网络寻径算法。

26、存储转发（Store-and-Forward）为一种寻径方式，在这种方式下，消息被分成包来传送，包是信息传输的基本单位。包从源结点通过一系列中间结点到达目的结点，每个结点有一个包缓冲区。当包到达一个中间结点A时，A把整个包全部接收下来放入其包缓冲区中，然后在寻径算法的控制下选择下一个中间结点B，当从A到B的通道空闲并且B的包缓冲区可用时，A把包发向B。不断地存储和转发，包就可以到达目的结点。所有的包到达目的结点后，目的结点再把包组装成原来的消息。

27、虫蚀寻径（Wormhole）是寻径的一种方式。包被分成更小的片进行传输，头片包含了这个包的所有寻径信息，其它片是数据片。与结点相连的硬件寻径器中有片缓冲区。同一个包中所有的片像不可分离的同伴一样以流水方式顺序地传送。

28、单播（unicast）一对一的通信模式，一个源结点发送消息到一个目的结点种通信。

29、选播（multicast）一到多的通信模式，一个源结点发送同一个消息到多个目的结点

30、广播（broadcast）一到全体的通信模式，一个源结点发送同一个消息到全部结点

31、会议（conference）即多对多的通信模式。

32、数据并行性是并行性的一种表现行为，并行在不同的数据上进行相同的操作。

33、任务并行性将任务分解成一些子任务，只要所有必需的子任务已经完成，后续子任务就可以进行，很多的子任务都可以并行的执行。这种并行性表现为子任务的并行执行。

34、流水并行性是指在同一个数据流上同时的执行多个程序（后续的程序处理的是前面程序处理过的数据流）

35、递归分解通常用来对采用Divide-and-conquer(分治)方法的问题进行任务分解。这种方法将任务分解为独立的子任务，这个分解的过程会递归的进行。问题的答案是所有的子任务的答案的组合。

36、静态负载平衡技术在算法的实际执行前将计算任务分配给处理器；

37、动态负载平衡在算法的实际执行过程中将计算任务分配给处理器

38、PCAM PCAM是Partitioning（划分）、Communication（通信）、Agglomeration（组合）和Mapping（映射）的缩写，它们表示了使用此法设计并行算法的四个阶段：任务划分、通信分析、任务组合和处理器映射，简称划分、通信、组合、映射。

39、并行计算模型通常指从并行算法的设计和分析出发，将各种并行计算机（至少某一类并行