并行计算基础知识讲座(1)

目前，各类并行机，特别式微机机群，只实现了MPI 2.0的部分功能。本中心机群所支持的为MPI 1.2.5版本。
2019/3/17 7
MPI并行编程环境
进程与消息传递
MPI并行程序设计入门
初步的MPI消息传递函数
先进的MPI函数 MPI并行程序示例 面向性能的程序设计
2019/3/17 8
单个进程（process）
MPI并行环境的应用现状（续）
目前高效率的超大规模并行计算（ 1000 个处理 器）最可信赖的平台。 工业、科学与工程计算部门的大量科研和工程 软件（气象、石油、地震、空气动力学、核等） 目前已经移植到MPI平台，发挥了重要作用。 MPI的优点：（1）具有很好的可移植性，几乎 被所有的并行环境支持；（2）具有很好的可扩展 性，是目前高效率的大规模并行计算最可信赖的 平台；（ 3）比其它消息传递系统好用；（4 ）有 完备的异步通信功能；（5）有精确的定义，从而 为并行软件产业的发展提供了必要的条件。
2019/3/17 4
MPI并行环境的应用现状
MPI是全球工业、政府和科研部门联合推出的适合 进程间进行标准消息传递的并行程序设计平台，最初 版MPI 1.0本于1994年6月推出，目前最新的为MPI 2.0 版，于1998年10月推出。 MPI的具体实现：MPICH和LAMMPI，目前均已实 现MPI 1.2版，适用于任何并行计算平台；部分并行 机已实现MPI 2.0版。 MPI是目前应用最广的并行程序设计平台，几乎被 所有并行计算环境（共享和分布式存储并行机、MPP、 机群系统等）和流行的多进程操作系统（UNIX、 Windows NT）所支持，基于它开发的应用程序具有 最佳的可移植性。 2019/3/17 5
2019/3/17 10
单机内多个进程（续）
最基本的消息传递操作：发送消息（ send）、 接受消息（ receive）、进程同步（ barrier）、 规约（reduction）。 消息传递的实现：共享内存或信号量，用户不 必关心。
2019/3/17
11
Biblioteka Baidu
包含于通过网络联接的不 同计算机的多个进程
基于MPI的并行程序设计
王振海 西北工业大学理学院 西北工业大学高性能计算研究与发展中心
2019/3/17
1
主要内容
MPI并行编程环境
进程与消息传递 MPI并行程序设计入门 初步的MPI消息传递函数
先进的MPI函数
MPI并行程序示例
面向性能的程序设计
2019/3/17 2
并行编程环境简介
目前，高性能并行机主要可以分为对称多处理共 享存储并行机（SMP, Symmetric MultiProcessor）、 分布式共享存储多处理机 （DSM, Distributied Shared Memory）、大规模并行处理机（MPP, Massively Parallel Processor）和微机机群（Cluster） 等四类。在这些并行机上，并行程序设计平台主 要可分为消息传递、共享存储和数据并行三类， 其中消息传递具有很好的可移植性，它能被所有 这些类型的并行机所支持，而共享存储只能在在 SMP和DSM并行机中使用，数据并行只能在SMP， DSM和MPP并行机上使用。
2019/3/17 6
MPI并行环境的应用现状（续）
MPI 2.0版在1.0版的基础上，增加了如下的消息传递 功能：（1）并行I/O：允许多个进程同时读写同一个文 件；（2）线程安全：允许 MPI 进程的多个线程执行， 即支持与 OpenMP 的混合并行编程；（ 3 ）动态进程管 理：允许并行应用程序在执行过程中，动态地增加和 删除进程个数；（4）单边通信：允许某个进程对其它 进程的局部内存单元直接执行读写访问，而步需要对 方进程的显式干预；（5）并行应用程序之间的动态互 操作：允许各个MPI并行应用程序之间动态地建立和删 除消息传递通道。
进程独立存在：进程位于不同的计算机，由各 自独立的操作系统调度，享有独立的 CPU 和内存 资源。 进程间相互信息交换：消息传递。
消息传递的实现：基于网络 socket 机制 , 用户不 必关心。
2019/3/17
12
消息传递库函数
应 用 程 序 接 口 （ API）： 提 供 给 应 用 程 序 （ FORTRAN、C、C++ 语言）的可直接调用的完 成进程间消息传递的某项特定功能的函数。 消息传递库：所有定义的消息传递函数编译形 成的软件库，调用其内部函数的应用程序，通过 与之联接，即可成为可并行执行的程序。 目 前 流 行 的 消 息 传 递 函 数 库 ： PVM 3.3.11、 MPICH 1.2、LAMMPI 6.4等。
进程是一个程序，同时包含它的执行环境（内 存、寄存器、程序计数器等），是操作系统中 独立存在的可执行的基本程序单位。 通俗理解：串行应用程序编译形成的可执行代 码，分为“指令”和“数据”两个部分，并在 程序执行时“独立地申请和占有”内存空间， 且所有计算均局限于该内存空间。 进程1 进程2 内存
2019/3/17 9
单机内多个进程
多个进程可以同时存在于单机内同一操作系统： 由操作系统负责调度分时共享处理机资源（ CPU、 内存、存储、外设等）。 进程间相互独立（内存空间不相交）：在操作 系统调度下各自独立地运行，例如多个串行应用 程序在同一台计算机中运行。 进程间可以相互交换信息：例如数据交换、同 步等待，消息是这些交换信息的基本单位，消息 传递是指这些信息在进程间的相互交换，是实现 进程间通信的唯一方式。
2019/3/17 3
MPI并行编程环境
消息传递并行编程环境（MPI：Message Passing Interface） 是目前国际上最流行、可移植性和可扩展 性很好的并行程序设计平台，并被当前流行的所有高 性能并行机所支持。它是在标准串行程序设计语言 （C，Fortran，C++）的基础上，再加入实现进程间 通信的MPI消息传递库函数，就构成了MPI并行程序 设计所依赖的并行编程环境。 MPI已经在Windows系列的非Unix、Linux平台上实现， 其程序设计语言支持C, Fortran和Java。在国产的三 大并行机系列神威、银河和曙光上也都实现了对MPI 和支持。