高性能计算机系统

11
构建高性能计算系统的途径
并行计算是实现高性能计算的主要技术手段 多处理器/多计算机并行协同工作
科学计算：提高计算速度、计算规模、计算精度 事务处理：提高吞吐率
• 两类高性能计算系统 ：
• 高性能计算机 • 高端系统：如Blue Gene L，Earth Simulator
• 可以实现最高性能，但价格昂贵 低价格，但持续性能低


6
高性能计算的重要地位

高性能计算被视为国家的战略基础设施，是保持科学技术竞 争优势的关键，是国家发展的战略性制高点技术，已成为推 动科技创新、社会进步的重要因素

高性能计算应用涉及核武器研究、核材料储存仿真、石油勘 探、生物信息技术、医疗和新药研究、计算化学、气象、天 气和灾害预报、工业过程改进和环境保护等诸多领域

Core 0
Core 1 DSP
Core 0
Core 1
共享二级缓存
X16 Core 2 Core 3
共享二级缓存
DSP阵列 Core 3
Multi Core
Many Core 通用处理器+众多的专用处理单元(DSP)， 通用核心的地位将随着时间推移不断减弱
18
从top500看高性能计算机发展
19
3-D
1996
3-D Coupled
2000
4
1950
为科技创新做出了巨大贡献
科学界和工程界中的一些高挑战性应用问题，需要用超级计算 机来进行模拟分析。
地理 信息系统
生命科学
航空航天
CAD/CAM
数字生物 军事应用
5
已成为推动科技创新、社会进步 的重要工具和方法


传统科学研究方法：理论、实验、计算分析
Multi-Disciplinary Analysis and Optimization Multi-scale (Space and Time)
CDC 7600
Rigid-Body Dynamics
ENIAC
Firing Tables Analytical Models
~
1-D
1975
2-D
1986


布什总统时代：虽然重点是反恐，但对高性能计算的发展没有放松


奥巴马总统：经济问题、医改问题一直是当务之急，但也没有放松ＨＰＣ 发展

奥巴马总统在“Strategy for American Innovation ”计划中，将E级计算列为 21世纪美国最主要技术挑战；2011年12月美国国会通过美国能源部科研经费申 请，提供1.26亿美元用于E级计算研究
外部IO为PCIe Gen2接口
30

Fujitsu
No3. K computer

MPP
“京”计算节点：SPAC64 VIIIfx 8-cores ，每个板上有4个CPU芯 片32个核
互连网络：Tofu interconnect， 6-D 环绕格型网络 SPAC64 VIIIfx 8核CPU芯片架 构

克林顿总统时代：大力推进ＨＰＣＣ（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃ ｅＣｏｍｐｕｔｉｎｇ ＆Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）计划

建设许多超级计算中心，利用高性能计算机解决许多科技方面的重大挑战问题， 推动众多科学和技术领域的大发展 ＨＰＣＣ计划还把因特网（Ｉｎｔｅｒｎｅｔ）公开民用，推向全球，推动了 信息化时代的到来 ２００５年总统ＩＴ顾问委员会的专题咨询报告，再次提出“ＨＰＣ是国家核 心竞争力，要大力发展”
2 1
Small core
1
1
C1
Cache C3
C2
4 3
4 3
Many core is more power efficient Power ~ area 但是，为了发挥性能， 必须编写并行程序， Single thread performance ~ area**.5 或者多任务应用
16
C4
2
7
各国的高性能计算发展计划

各国投入大量经费发展高性能计算机及其应
用，高性能计算水平已成为国家科技水平重
要标志，是高科技领域的战略制高点。近几
年，超级计算机技术的竞争越来越激烈，美
国、日本、欧洲都分别提出了各自的新一代
巨型机研制计划。
8

美国：美国在计算机与信息技术领域，一直处世界霸主地位。高性能计 算技术被认为是美国国家的制高点技术，历届政府都高度重视，重点发 展
9

欧洲：2010年将E级计算纳入第七框架计划，为泛 欧E级高性能计算服务的实现制定路线图并开展研 制；欧洲巴塞罗那超算中心计划在2014年构建性能 高于200Petaflops的计算机系统

俄罗斯：“2012-2020俄罗斯E级技术发展”计划，
投资15亿美元，于2020年前实现E级超级计算机
10



Cray XK7：一个AMD Opteron 6276 16Cores +一个NVIDIA K20 GPU 32GB的DDR3主存以及8GB的显存 共18688个计算节点，299008个 CPU核 两个计算节点共用一个Gemini 路由 互连网络拓扑为3-D torus 计算节点通过HT3.0技术（Hyper Transport）与Gemini网络连接，速 度可以达到20GB/s 点到点通信中延迟可以达到1-2微秒 Gemini网络中集成了块传输引擎来提 供高带宽和对长消息的通信-计算重叠
26
趋势：Linux
开放才能借助众人力量，才能更好的发展
27

美国依旧在高性能计算领域保持绝对优势地位； 超级计算系统体系结构呈现持续多样化趋势，异构

混合系统的比例不断加大；

新技术的出现有效降低了系统能耗，未来的系统将 更加注重整体能耗控制技术。
28
Cray
MPP架构
No1. Titan
计算节点：

网络：Cray Gemini interconnect




29
IBM
No2. Sequoia No4. Mira No5. JUQUEEN No9. Fermi

MPP架构
网络：Custom

互连网络拓扑为5D Torus

Node card(2D)+3D? PowerPC A2处理器芯片
目前科学研究方法：理论、计算模拟仿真、实验验证 2013年诺贝尔化学奖：设计了复杂化学体系多尺度模型

以前化学家是用塑料球和棒创造分子模型，现在则是用计算机建模 对于今天的化学家来说，计算机和试管已经变得同样重要 经过理论化学家不断创新，计算机已经能够逼真地模拟出复杂的化 学分子模型，进而预测出化学实验的最终结果 量子物理需 要惊人的计 算量，目前 仅能进行小 分子计算

片上集成路由逻辑电路

计算节点：BlueGene/Q：；

基于Blue Gene/Q设计，共98304个计算节点 节点为16核PowerPC A2处理器（Power BQC 16Cores ）， 16GB的DDR3内存

片上18核，16计算核+1服务核+1冗余核

计算芯片设计：处理器，主存，网络逻辑控制集 成在一个芯片上
1
2,499.44
2
2,351.10
179.15
3
2,142.77
8,209.00
4 5
2,121.71 2,102.12
129.00 1,970.00
6
7 8 9 10
2,101.39
2,101.39 2,101.39 2,101.12 2,101.12
41.09
41.09 41.09 82.19 82.19
•ቤተ መጻሕፍቲ ባይዱ
•
集群系统：如天河、神威，Downing，许多Top 500系统
•
分布式多机系统： • • 机群系统：网络运营商数据中心 网格计算、云计算：如US NSF的TeraGrid，CNGrid，ChinaGrid
• 利用广域计算资源，但需要高成本的高速互连，且具有高延迟缺点 12
高性能计算机系统
13
B(Bridge)是存储总线和I／O总线间的接口，DIR(Cache Directory)是高速缓存目录，IOB(I／O Bus)是I／O总线， LD(Local Disk)是本地磁盘，MB(Memory Bus)是存储器总线，NIC(Network Interface Circuitry)是网络接El电路， P／C(Microprocessor and Cache)是微处理器和高速缓存，SM(Shared Memory)是共享存储器。 14 目前绝大多数近代并行机均用商品硬件构成，而PVP计算机的部件很多都是定制(Custom．Made)的。

未来极大规模系统的研制在体系结构、系统 软件、应用软件等各个方面面临着诸多挑战

极度并行需要研究更有效的体系结构、并行
机制、可扩展编程模型和算法等
15
多核可获得更高的性能/能耗
Cache
Power Power = ¼ Performance = 1/2 Performance
4 3 Big core 2 1
Cray-2 Cray X/MP (Vector)
Fin-Stabilized Projectiles
Cray T90 SGI Origin 2K (Scalable)
Multi-Component Projectiles/Missiles
SGI Origin 3K IBM SP3/4 Linux NetworX IA-32

高性能计算机系统（硬件、系统软件） 高性能计算应用（算法、应用软件、问题解算）
2

节省研发成本，缩短研发周期；探索未知世界，探索人类无法认知领域等。
高性能计算技术的需求及应用
Defense RDT&E Problem Complexity
Computational Technologies
HPC Capability
高性能计算技术
1
什么是高性能计算技术？

高性能计算机ＨＰＣ(High Performance Computer)是具有
超强计算与数据处理能力的计算机

科学计算、工程设计、虚拟现实等模拟仿真，称为高性性计算机 网络服务、事务处理等，称为高性能服务器


利用高性能计算机进行大规模数据处理、高精度模拟仿真、 复杂计算任务处理，被称为高性能计算ＨＰＣ(High Performance Computing)
超级计算机及其应用代表了国家的科技水平 我国的应用水平与发达国家还有较大差距
20
趋势：大机器中还是MPP较多
部件标准化、商品化
21
趋势：大系统由专用互连网络 （定制、或IBA）； 千兆网用于小系统
22
23
百万核
总 核 数
TOP500中排名
24
25
Green500
Rank MFLOPS/W Computer* Beacon - Appro GreenBlade GB824M, Xeon E5-2670 8C 2.600GHz, Infiniband FDR, Intel Xeon Phi 5110P SANAM - Adtech ESC4000/FDR G2, Xeon E5-2650 8C 2.000GHz, Infiniband FDR, AMD FirePro S10000 Titan - Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x Todi - Cray XK7 , Opteron 6272 16C 2.100GHz, Cray Gemini interconnect, NVIDIA Tesla K20 Kepler JUQUEEN - BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect BGQdev - BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect rzuseq - BlueGene/Q, Power BQC 16C 1.60GHz, Custom BlueGene/Q, Power BQC 16C 1.60GHz, Custom BlueGene/Q, Power BQC 16C 1.60 GHz, Custom CADMOS BG/Q - BlueGene/Q, Power BQC 16C 1.600GHz, Custom Interconnect Total Power (kW) 44.89
2 1
1
17
Intel 的Many Core

同构四核心处理器中的某一个或几个内核置换为若干数量的DSP逻辑

保留下来的X86核心：执行所有的通用任务以及对特殊任务的分派 DSP阵列：用于某些特殊任务的处理。可以是Java解释器、MPEG视频引擎、 存储控制器、运算处理器等等 DSP功耗仅2瓦， 通用CPU 75瓦