并行计算基础知识.

并行计算机的分类

并行向量机（PVP） 对称多处理共享存储多处理机（SMP） 大规模并行处理机（MPP） 工作站（微机）机群（COW） 分布式共享存储多处理机（DSM）
COW(Cluster of Workstation)




ቤተ መጻሕፍቲ ባይዱ

一个节点可以是一台PC或SMP； 各节点一般由商品化的网络互连；机群 节点通过使用标准网络协议（TCP/IP） 来通信。使用的是千兆网。 每个节点一般有本地磁盘； 节点上的网络接口是松散耦合到I/O总线 上； 每个节点有一个完整的操作系统,但是通 过中间层实现了单一系统映像（SSI）。
并行计算基础知识
赵俊锋 西北工业大学理学院 zhaojf_77@
主要内容

并行计算环境 并行算法基础 什么问题可以并行化 串行程序如何改为并行程序
为什么需要并行计算机
问题: 科学和工程问题的数值模拟与仿真 计算密集 数据密集 网络密集 三种混合 要求:在合理的时限内完成计算任务 秒级 制造业 分钟级 短时天气预报(当天) 小时级 中期天气预报(3~10日) 尽可能快 长期天气预报(气候) 可计算 湍流模拟
并行算法的分类

非数值计算并行算法 数值计算并行算法，基于矩阵运算、多 项式求解、线性方程组求解等代数关系 运算的计算问题。
进程 1
进程 2
传统的串行计算，分为“指令” 和“数据”两个部分，并在程序 执行时“独立地申请和占有”内 存空间，且所有计算均局限于 该内存空间。
进程 1
进程 2
发送信息
接收信息
并行计算将进程相对独立的 分配于不同的节点上，由 各自独立的操作系统调度， 享有独立的CPU和内存资源 （内存可以共享）；进程间 相互信息交换通过消息传递；
进程间通信


现代操作系统提供基本的系统调用函数， 允许位于同一台处理机或不同处理机的 多个进程之间相互交流信息，操作具体 表现为三种形式：通信、同步和聚集。 以上的三种形式统称为进程间通信，操 作的具体数据对象为消息，具体的操作 为消息传递。
Include文件

C语言应用程序应有#include “mpi.h” Fortran语言应用程序应有#include ‘mpif.h’
MPI并行编程模式

单程序多数据流模式（SPMD） 多程序多数据流模式（MPMD）
为了降低使用和维护并行应用软件的复杂 度，一般采用SPMD模式
MPI程序的SPMD执行模式
单一系统映像



单一系统映像（ Single System Image，SSI） 并不是指系统中仅有唯一的操作系统映像驻留 在内存，而只是感觉上，像一个单一系统。 其基本特征是单一系统、单一控制、对称性、 位置透明。采用SSI的主要目的，是使机群的使 用、控制和维护似乎和一台工作站一样。 单一系统映像包括单一入口点、单一文件层次 结构、单一I/O空间、单一网络、单一作业管理 系统、单一存储空间和单一进程空间。

一个程序同时启动多份, 形成多个独立 的进程，在不同的处理机上运行，拥有 独立的内存空间，进程间通信通过调用 MPI函数来实现；

MPI标准的实现包括MPICH、LAM、IBM MPL等多个版本，最常用和稳定的是 MPICH。它提供了与C、Fortran语言的 绑定。

我们可以将MPI看成一个“库” ，目前 使用的消息传递库是MPICH 1.2，共有上 百个接口，在FORTRAN 77和C语言中可 以直接对这些函数进行调用。多个进程 通过调用这些函数（类似调用子程序）， 进行通信；

聚集将位于相同后不同处理机中的多个 进程的局部结果综合起来，通过某种操 作，例如最大值、最小值、累加和，产 生一个新的结果，存储在某个指定的或 者所有的进程变量中。
并行编程环境
共享存储的模型和语言(适于PVP, SMP, DSM) X3H5, Pthread OpenMP 消息传递的模型和语言(适于MPP, Cluster, COW) MPI (Fortran, C, Gamess, Vasp) PVM (Fortran, C) 数据并行的模型和语言(适于在MPP/Cluster上实现SPMD应用) Fortran 90 HPF(High Performance Fortran)
MB P/C M B
MB P/C M B
LD
NIC
IOB
LD
NIC 定制网络
IOB
并行机软件环境

操作系统方面：RatHat9.0 程序设计语言：Fortran 77、 Fortran 90、 C/C++等
什么是并行算法


算法是解题的精确描述，是一组有穷的 规则，它规定了解决某一特定类型问题 的一系列运算。并行计算时可同时求解 的诸进程的集合，这些进程相互作用和 协调动作，并最终获得问题的求解 并行算法就是对并行计算过程的精确描 述
什么任务适合在超级计算环境 内运行？
一般来说，计算量极大而使PC不能满足要求或 者根本不能计算的任务是适合在超级计算环境 中运行的。比如， （1）需要分布式并行处理的科学计算任务，包 括：由于对计算资源要求过大而使现在的硬件 条件无法满足要求的计算任务，通过将串行源 代码改编为并行源代码来进行计算，或者有通 行的并行计算程序（商业或非商业）； （2）虽然可以计算但是时间过长的问题等。
通信


进程间的数据传递称为进程间通信。 在同一台处理机中，通信可以读/写操作 系统提供的共享数据缓存区来实现。 不同处理机中，通信可以通过网络来实 现。
同步

同步是使位于相同或不同处理机中的多 个进程之间的相互等待的操作，它要求 进程的所有操作均必须等待到达某一控 制状态之后才并行。
聚集
MPI(Message Passing Interface)
在当前所有的消息传递软件中, 最重要最 流行的是MPI, 它能运行在所有的并行平 台上。 程序设计语言支持C, Fortran等。
MPI已经成为一种标准， 它以与语言独 立的形式来定义这个接口库, 这个定义 不包含任何专用于某个特别的制造商、 操作系统或硬件的特性. 由于这个原因, MPI在并行计算界被广泛地接受.