《并行计算概述》PPT课件

第三名也是个新面孔，同时也是新墨西哥计算 应用中心(NMCAC)的第一套超级计算机，由 SGI基于Altix ICE 8200打造，计算能力126.9 TFlop/s。
同时印度史上首次杀入了TOP10行列，印度计 算研究实验室的HP Cluster Platform 3000 BL460c以117.9 TFlop/s的性能拿到了第四位
2020/12/1
h
33
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
34
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
Second, decide which tasks each processor should be doing
Example: Vector addition
2020/12/1
h
25
域分解
Find the largest element of an array
2020/12/1
h
26
域分解
拿下亚军位置的还是IBM，不过换成了一台落成不久 的“蓝色基因/P”。位于德国尤里希研究中心的这套新 系统运算能力167.3 TFlop/s，不过按照IBM的设计规 划，蓝色基因/P的性能将有望突破1 TFlop/s大关，即 每秒一千万亿次运算。
2020/12/1
h
7
Top500—2007年11月
2020/12/1
h
15
应用领域－计算能力
2020/12/1
h
16
操作系统－系统数量
2020/12/1
h
17
操作系统－计算能力
2020/12/1
h
18
处理器家族－系统数量
2020/12/1
h
19
处理器家族－计算能力
2020/12/1
h
20
系统数量
2020/12/1
h
21
计算能力
2020/12/1
2020/12/1
h
38
任务分解
g()
h()
q()
f() r()
s()
2020/12/1
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
27
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
28
域分解
Find the largest element of an array
并行计算 Parallel Computing
基本概念
如何满足不断增长的计算力需求？
用速度更快的硬件，也就是减少每一条指令所 需时间
优化算法（或者优化编译） 用多个处理机(器)同时解决一个问题
并行计算
2020/12/1
h
2
串行计算与并行计算
任务队列
可分解的 计算任务
处理器
...
串行计算
并行计算
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
29
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
30
域分解
Find the largest element of an array
CPU 0
CPU 1
部分处理器每时钟周期执行浮点运算数：
2020/12/1
h
5

2020/12/1
h
6
Top500—2007年11月
高居榜首的依然是来自IBM的“蓝色基因/L”。自从 2004年11月以来，该系统已经连续三年遥遥领先，而 且计算能力不断提升，Linpack基准测试性能478.2 TFlop/s(每秒478.2万亿次运算)，而半年前还是280.6 TFlop/s
2020/12/1
h
8
供应商－系统数量
2020/12/1
h
9
供应商－计算能力
2020/12/1
h
10
国家分布－系统数量

2020/12/1
h
11
国家分布－计算能力
2020/12/1
h
12
体系结构－系统数量
2020/12/1
h
13
体系结构－计算能力
2020/12/1
h
14
应用领域－系统数量
h
35
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
36
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
37
任务（功能）分解
CPU 2
CPU 3
2020/12/1
h
31
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
32
域分解
Find the largest element of an array
CPU 0
CPU 1
CPU 2
CPU 3
2020/12/1
h
3
并行的层次
程序级并行
粗
子程序级并行
并 行
语句级并行
粒 度
操作级并行
微操作级并行
细
2020/12/1
h
4
FLOPS
Floating point number Operations Per Second --每个时钟周期执行浮点运算的次数
理论峰值＝CPU主频＊每时钟周期执行浮点运 算数＊CPU数目
First, divide tasks among processors Second, decide which data elements are
going to be accessed (read and/or written) by which processors Example: Event-handler for GUI
h
22
2007年中国高性能计算机性能TOP100
2020/12/1
h
23
并行化方法
域分解（Domain decomposition） 任务分解（Task decomposition） 流水线（Pipelining）
2020/12/1
h
24
域分解
First, decide how data elements should be divided among processors