并行计算PPT课件
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
etc.)
多计算机 (多 地 址 空 间 非 共 享 存 储 器 )
MPP (Intel TFLOPS)
（ 紧耦合）
2020/9/16
7
SMP\MPP\机群比较
系统特征 节点数量(N) 节点复杂度 节点间通信
节点操作系统
支持单一系统映像 地址空间 作业调度 网络协议 可用性 性能/价格比 互连网络
IBM R50，
SGI
Power
Challenge，
曙光1号
Intel Paragon， IBMSP2，曙光
1000/2000
NUMA
NORMA
Stanford DASH， Cray T 3D
Berkeley NOW， Alpha Farm
6
构筑并行机系统的不同存储结构
中央 存储器
UMA
PVP (Cray T90)
钟、局部程序；无全局时钟，各处理器异步执行；处理器通过SM进行通讯； 处理器间依赖关系，需在并行程序中显式地加入同步路障。
• BSP模型 ——由Valiant(1990)提出的，“块”同步模型，是一种异步MIMD-DM模型，支
持消息传递系统，块内异步并行，块间显式同步。
• logP模型 ——由Culler(1993)年提出的，一种分布存储的、点到点通讯的多处理机模型，
– 并行计算的可扩放性 – 等效率度量标准 – 等速度度量标准 – 平均延迟度量标准
2020/9/16
9
三、并行计算模型
• PRAM模型 ——一个集中的共享存储器和一个指令控制器，通过SM的R/W交换数据，隐式
同步计算。
• 异步APRAM模型 ——又称分相（Phase）PRAM或MIMD-SM。每个处理器有其局部存储器、局部时
2020/9/16
SMP O(10) 中粒度或细粒度 共享存储器
1
永远 单一 单一运行队列 非标准 通常较低 一般 总线/交叉开关
MPP
O(100)-O(1000) 细粒度或中粒度
消息传递 或共享变量（有DSM时） N(微内核) 和1个主机OS(单一) 部分
多或单一（有DSM时） 主机上单一运行队列
HP/Convex Exemplar)
分 布 存 储 器 NCC-NUMA (Cray T3E)
MIMD
DSM
NORMA
Cluster
(IBM SP2,DEC TruCluster Tandem Hymalaya,HP,
Microsoft Wolfpack,etc)
（ 松散耦合）
(TreadMarks, Wind Tunnel, IVY,Shrimp,
– 大量的节点通过高速网络互连起来
– 节点遵循Shell结构：用专门定制的Shell电路将商用
微处理器和节点的其它部分（包括板级Cache、局存、
NIC和DISK）连接起来。优点是CPU升级只需要更换
Shell。
C
M
Shell P
D
节点1
NIC
…节点N
NIC
C M
节点1
Shell P
NIC
…节点N
NIC
其中通讯由一组参数描述，实行隐式同步。
2020/9/16
10
四、并行算法设计方法的描述
• 方法描述
– 发掘和利用现有串行算法中的并行性，直接将串行算法 改造为并行算法。
• 评注
– 由串行算法直接并行化的方法是并行算法设计的最常用 方法之一；
– 不是所有的串行算法都可以直接并行化的； – 一个好的串行算法并不能并行化为一个好的并行算法； – 许多数值串行算法可以并行化为有效的数值并行算法。
C
Shell P
C
Shell P
互连网络
互连网络
(a)无共享
互连网络 共享磁盘
共享存储器 共享磁盘
(c)共享存储
(b)共享磁盘
2020/9/16
5
五种结构特性一览表
属性 结构类型 处理器类型 互连网络 通信机制 地址空间 系统存储器 访存模型 代表机器
2020/9/16
PVP MIMD 专用定制
SMP MIMD 商用
2020/9/16
11
PCAM设计方法学
• 设计并行算法的四个阶段
– 划分(Partitioning) – 通讯(Communication) – 组合(Agglomeration) – 映射(Mapping)
S
MP
(Intel SHV,SunFire,DEC 8400, SGI PowerChallenge,IBMR60,etc.)
多处理机 （ 单地址空间
共享存储器 ）
NUMA
COMA (KSR-1,DDM)
CC-NUMA
(Stanford Dash, SGI Origin 2000,Sequent NUMA-Q,
并行算法 和编程简单介绍
1
一、并行计算的硬件基础 二、并行计算性能评测 三、并行计算模型 四、并行算法设计方法的描述 五、举例
2
一、并行计算机系统及结构模型
• 并行计算
– 并行计算与计算科学 – 当代科学与工程问题的计算需求
• 并行计算机系统互连
– 系统互连 – 静态互联网络 – 动态互连网络 – 标准互联网络
非标准
低到中
一般
定制
机群 O(100) 中粒度或粗粒度 消息传递
N (希望为同构)
希望 多个 协作多队列 标准或非标准 高可用或容错 高 商用
8
二、并行计算性能评测
• 并行机的一些基本性能指标 • 加速比性能定律
– Amdahl定律 – Gustafson定律 – Sun和Ni定律
• 可扩放性评测标准
MB P/C
…
LM
DIR
NIC
2020/9/16
定制网络
(d)DSM
MB P/C
MB P/C
M Bridge
…
M Bridge
LD
IOB
NIC
LD
IOB
NIC
商 品 网 络 (以 太 网 ， ATM， etc.) 4
(e)COW
并行计算机体系合一结构
• SMP、MPP、DSM和COW并行结构渐趋一致。
• 并行计算机系统结构
– 并行计算机结构模型 – 并行计算机访存模型
2020/9/16
3
并行计算机结构模型
VP
… V P
VP
… P / C P / C
P/C
MB P/C
LM
MB
…
P/C
LM
交叉开关
总线或交叉开关
NIC
NIC
SM
SM
SM
(a)PVP
SM
SM
I/O
(b)SMP
定制网络
(c)MPP
MB P/C LM DIR NIC
MPP MIMD 商用
DSM MIMD 商用
COW MIMD 商用
定制交叉开关
总线、交叉开关
定制网络
共享变量
共享变量
消息传递
定制网络 共享变量
商用网络（以太 ATM）
消息传递
单地址空间
单地址空间
多地址空间
单地址空间
多地址空间
集Biblioteka Baidu共享
集中共享
分布非共享
分布共享
分布非共享
UMA
UMA
NORMA
Cray C-90， Cray T-90， 银河1号
多计算机 (多 地 址 空 间 非 共 享 存 储 器 )
MPP (Intel TFLOPS)
（ 紧耦合）
2020/9/16
7
SMP\MPP\机群比较
系统特征 节点数量(N) 节点复杂度 节点间通信
节点操作系统
支持单一系统映像 地址空间 作业调度 网络协议 可用性 性能/价格比 互连网络
IBM R50，
SGI
Power
Challenge，
曙光1号
Intel Paragon， IBMSP2，曙光
1000/2000
NUMA
NORMA
Stanford DASH， Cray T 3D
Berkeley NOW， Alpha Farm
6
构筑并行机系统的不同存储结构
中央 存储器
UMA
PVP (Cray T90)
钟、局部程序；无全局时钟，各处理器异步执行；处理器通过SM进行通讯； 处理器间依赖关系，需在并行程序中显式地加入同步路障。
• BSP模型 ——由Valiant(1990)提出的，“块”同步模型，是一种异步MIMD-DM模型，支
持消息传递系统，块内异步并行，块间显式同步。
• logP模型 ——由Culler(1993)年提出的，一种分布存储的、点到点通讯的多处理机模型，
– 并行计算的可扩放性 – 等效率度量标准 – 等速度度量标准 – 平均延迟度量标准
2020/9/16
9
三、并行计算模型
• PRAM模型 ——一个集中的共享存储器和一个指令控制器，通过SM的R/W交换数据，隐式
同步计算。
• 异步APRAM模型 ——又称分相（Phase）PRAM或MIMD-SM。每个处理器有其局部存储器、局部时
2020/9/16
SMP O(10) 中粒度或细粒度 共享存储器
1
永远 单一 单一运行队列 非标准 通常较低 一般 总线/交叉开关
MPP
O(100)-O(1000) 细粒度或中粒度
消息传递 或共享变量（有DSM时） N(微内核) 和1个主机OS(单一) 部分
多或单一（有DSM时） 主机上单一运行队列
HP/Convex Exemplar)
分 布 存 储 器 NCC-NUMA (Cray T3E)
MIMD
DSM
NORMA
Cluster
(IBM SP2,DEC TruCluster Tandem Hymalaya,HP,
Microsoft Wolfpack,etc)
（ 松散耦合）
(TreadMarks, Wind Tunnel, IVY,Shrimp,
– 大量的节点通过高速网络互连起来
– 节点遵循Shell结构：用专门定制的Shell电路将商用
微处理器和节点的其它部分（包括板级Cache、局存、
NIC和DISK）连接起来。优点是CPU升级只需要更换
Shell。
C
M
Shell P
D
节点1
NIC
…节点N
NIC
C M
节点1
Shell P
NIC
…节点N
NIC
其中通讯由一组参数描述，实行隐式同步。
2020/9/16
10
四、并行算法设计方法的描述
• 方法描述
– 发掘和利用现有串行算法中的并行性，直接将串行算法 改造为并行算法。
• 评注
– 由串行算法直接并行化的方法是并行算法设计的最常用 方法之一；
– 不是所有的串行算法都可以直接并行化的； – 一个好的串行算法并不能并行化为一个好的并行算法； – 许多数值串行算法可以并行化为有效的数值并行算法。
C
Shell P
C
Shell P
互连网络
互连网络
(a)无共享
互连网络 共享磁盘
共享存储器 共享磁盘
(c)共享存储
(b)共享磁盘
2020/9/16
5
五种结构特性一览表
属性 结构类型 处理器类型 互连网络 通信机制 地址空间 系统存储器 访存模型 代表机器
2020/9/16
PVP MIMD 专用定制
SMP MIMD 商用
2020/9/16
11
PCAM设计方法学
• 设计并行算法的四个阶段
– 划分(Partitioning) – 通讯(Communication) – 组合(Agglomeration) – 映射(Mapping)
S
MP
(Intel SHV,SunFire,DEC 8400, SGI PowerChallenge,IBMR60,etc.)
多处理机 （ 单地址空间
共享存储器 ）
NUMA
COMA (KSR-1,DDM)
CC-NUMA
(Stanford Dash, SGI Origin 2000,Sequent NUMA-Q,
并行算法 和编程简单介绍
1
一、并行计算的硬件基础 二、并行计算性能评测 三、并行计算模型 四、并行算法设计方法的描述 五、举例
2
一、并行计算机系统及结构模型
• 并行计算
– 并行计算与计算科学 – 当代科学与工程问题的计算需求
• 并行计算机系统互连
– 系统互连 – 静态互联网络 – 动态互连网络 – 标准互联网络
非标准
低到中
一般
定制
机群 O(100) 中粒度或粗粒度 消息传递
N (希望为同构)
希望 多个 协作多队列 标准或非标准 高可用或容错 高 商用
8
二、并行计算性能评测
• 并行机的一些基本性能指标 • 加速比性能定律
– Amdahl定律 – Gustafson定律 – Sun和Ni定律
• 可扩放性评测标准
MB P/C
…
LM
DIR
NIC
2020/9/16
定制网络
(d)DSM
MB P/C
MB P/C
M Bridge
…
M Bridge
LD
IOB
NIC
LD
IOB
NIC
商 品 网 络 (以 太 网 ， ATM， etc.) 4
(e)COW
并行计算机体系合一结构
• SMP、MPP、DSM和COW并行结构渐趋一致。
• 并行计算机系统结构
– 并行计算机结构模型 – 并行计算机访存模型
2020/9/16
3
并行计算机结构模型
VP
… V P
VP
… P / C P / C
P/C
MB P/C
LM
MB
…
P/C
LM
交叉开关
总线或交叉开关
NIC
NIC
SM
SM
SM
(a)PVP
SM
SM
I/O
(b)SMP
定制网络
(c)MPP
MB P/C LM DIR NIC
MPP MIMD 商用
DSM MIMD 商用
COW MIMD 商用
定制交叉开关
总线、交叉开关
定制网络
共享变量
共享变量
消息传递
定制网络 共享变量
商用网络（以太 ATM）
消息传递
单地址空间
单地址空间
多地址空间
单地址空间
多地址空间
集Biblioteka Baidu共享
集中共享
分布非共享
分布共享
分布非共享
UMA
UMA
NORMA
Cray C-90， Cray T-90， 银河1号