并行计算基本概念

大规模并行处理机（MPP，Massively Parallel Processor）；
机群（Cluster）；
分布式共享存储多处理机（DSM，Distributied Shared
M202e0m/1/2o2 ry）
并行计算基础知识
4/66
Top500中的超级计算机
地球模拟器 ASCI Q ASCI White
单指令流单数据流（SISD）
单指令流多数据流（SIMD）
多指令流单数据流（MISD）
多指令流多数据流（MIMD）
并行计算机系统绝大部分为MIMD系统，包括
并行向量机（PVP，Parallel Vector Processor）；
对称多处理机（SMP,Symmetric Multiprocessor）；
单一的系统映像，在DSM中，用户只看到一个 操作系统，它可以根据各节点的负载情况，动 态地分配进程
2020/1/22
并行计算基础知识
15/66
DSM （续）
MB P/C LM DIR NIC
MB P/C LM DIR NIC
定制网络
2020/1/22
并行计算基础知识
16/66
机群（Cluster）
2020/1/22
并行计算基础知识
5/66
Earth Simulator
Earth simulator center Nec Rmax:35.86Tflops 8*8*640
2020/1/22
并行计算基础知识
6/66
Earth Simulator
2020/1/22
并行计算基础知识
7/66
Earth Simulator
2020/1/22
并行计算基础知识
12/66
SMP 对称多处理机（续）
P/C
P/C
P/C
总线或交叉开关
SM
SM
SM
2020/1/22
并行计算基础知识
13/66
DSM 分布式共享存储多处理机
DSM 的 典 型 代 表 为 SGI 的 Origin2000 和 Origin3000系列并行机
处理器对物理分布的共享存储器的访问是不对 称的，因此远端访问延迟一般是本地访问延迟 的3倍以上
主要内容
并行计算 并行计算系统基础 并行计算基本概念 几种典型的benchmark
2020/1/22
并行计算基础知识
1/66
并行计算基本概念
Parallel computing、high performance computing、 high-end computing
The simultaneous use of more than one computer to solve a problem.
低通信延迟，各个进程通过读/写操作系统提供的共享数据缓存区 来完成处理器间的通信，其延迟通常小于网络通信延迟；
共享总线带宽，所有处理器共享总线带宽，完成对内存模块和I/O 模块的访问。
2020/1/22
并行计算基础知识
11/66
SMP 对称多处理机（续）
问题：欠可靠，总线、存储器、操作系统失效可能导致系统崩溃； 可扩展性较差，由于所有处理器都共享总线带宽，而总线带宽每3
10/66
SMP 对称多处理机
SMP系统一般使用商品化微处理器，具有片上或外置高速缓存
经由高速总线（或交叉开关）连向共享存储器。每个处理器可等同 地访问共享存储器、I/O设备和操作系统服务。
单一操作系统映像，全系统只有一个操作系统驻留在共享存储器中， 它根据各个处理器的负载情况，动态地分配各个进程到各个处理器， 并保持负载平衡；
我国的曙光1000A、曙光2000、曙光3000以及 前不久推出的曙光4000L等都是机群架构的并行 计算机
Cluster的每个系统都是一个完整的工作站，一 个节点可以是一台PC或SMP
各个节点一般由商品化的网络互连，节点上的 网络接口是松散耦合到I/O总线上的
每个节点一般有本地磁盘，一个完整的操作系 统驻留在每个节点上
年才增加2倍，赶不上处理器速度和存储容量的增长步伐，因此 SMP的处理器个数一般少于64个，且只能提供每秒数百亿次的浮点 运算。 SMP 的 典 型 代 表 有 ： SGI POWER Challenge XL 系 列 、 DEC Alphaserver 84005/440、HP9000/T600和IBM RS6000/R40。
2020/1/22
并行计算基础知识
17/66
机群（Cluster）
MB P/C
MB P/C
M
M
B
LD
IOB
NIC
B
LD
IOB
NIC
定制网络
2020/1/22
并行计算基础知识
18/66
可扩展高性能机群服务器技术
Expandability
Node Expandable User Expandable System Expandable Application Expandable
Single System image
Single Point Login Single System File Image Single Point of Management
单一内存地址空间，所有这些内存模块都由硬 件进行了统一编址，并通过互连网络形成了并 行机的共享存储器
2020/1/22
并行计算基础知识
14/66
DSM （续）
基于Cache的数据一致性
DSM较好地改善了SMP的可扩展性能。一般地， DSM可以扩展到上百个节点，能提供每秒数千 亿次的浮点运算功能
多计算机-网络 多进程/线程-通信 并行计算环境 加速比/可扩展性
2020/1/22
并行计算基础知识
2/66
并行计算系统基础
并行计算机分类 主流并行计算机系统比较 机群并行计算环境
2020/1/22
并行计算基础知识
3/66
并行计算机分类
根据指令流和数据流的不同，通常把计算机系统分为：
2020/1/22
并行计算基础知识
8/66
ASCI Q
1024 nodes 8cpu/node 10240Gflops 7727Gflops
2020/1/22
并行计算基础知识
9/66
ASCI white
LLNL IBM SP power3 Rmax 7.22Tflops
2020/1/22
百度文库
并行计算基础知识