超级计算机现状和我国发展规划

12/4/2015
3
超级计算机现状和发展规划
天河二号 2013年，5.5万万亿次 2013年天河二号5.49万万亿次
TH-1A，2010年，
4.7PFlops
从 1.6亿次到5.49万万亿次； 1993, 19Gflops 38年性能提高了340000000倍
CrayT3D
Cray T3E-1200 1998年1Tflops
12/4/2015
5
超级计算机现状和发展规划


超级计算机是国家综合科技创新能力的基础支撑，全球各大国 家均大力发展超级计算机 中国近几年在大力发展超级计算机
12/4/2015
6
天河超级计算机发展
Development history of Tianhe supercomputer 1978年，由小平批准，国防科大开始研制“银河-1” 从此，开始了中国研制超级计算机的艰难和辉煌的历程
Approved by Xiao-ping DENG, the NUDT started to develop the “Milky Way -1”.
From then on, began a difficult and glorious history of Chinese
Supercomputer research.
NSCC-TJ
国家发改委“大数据技术与应用”国家地 方联合工程实验室 国家工信部工业云试点单位 国家科技部示范型国际合作基地 博士后科研工作站 与多家企业和研究机构建立的联合实验室
天河一号
计算机技术创新 广泛的应用成效
国际学术界的评价
三大技术创新
Three technical innovations
communication technology
“天河一号”的运算速度比橡树 岭国家实验室的要快大约40%，这 是运算速率的极大提升。 中国同时 研制了一种互联技术，让这些处理 器相互联系，这不是美国的技术， 而是中国自己的技术。这是一个创 举。
The technology belongs to China, not U.S., it’s a pioneering work -- 美国田纳西大学教授杰克•唐加拉 Prof. Jack Dongarra, Tennessee University
2015/12/4 19
聚变技术开发及相关合作
以512个节点为例说明GPU对electron模块的加速
Profile of the CPU and GPU version for 512 MPI processes/6 openMP threads run
512 CPU total time field iron shifte pushe possion electron other
航空航天
Aero and Space craft design
土木建筑设计分析
BIM
可控核聚变
Nuclear fusion
金融工程
Financial Engineering
气象预报
Weather forecast
基础科学研究等
Research on Basic sciences
超级计算的重要作用：提升国家创新能力，加速战略性新兴产业发展 Improve the national innovation ability and accelerate the development of
strategic emerging industries in China
天津超算中心运营情况
业内专家和用户的评价 综合服务能力最强，系统最稳定，服务质量最好 计算服务应用计时：>140万机时/天 每天运行任务数：>1000 存储数据规模：>4.5PB

服务至今已4年（2010.12—2015.3）
与美国国家能源研究科学计算中心NERSC的Edison系统进行测试比较
2015/12/4
百度文库
22
聚变技术开发及相关合作
测试环境对比：
计算结点：
NERSC-Edison: 2个12核Intel Ivy Bridge处理器，2.4GHz 天河一号：2个6核Intel Nehalem处理器，2.93GHz NERSC-Edison: Cray Aries with Dragonfly topology with 23.7 TB/s global bandwidth 天河一号：自主高速互联 NERSC-Edison: 基于GCC 4.9.1(Cray Inc.)、Cray-mpich/7.0.3 天河一号：基于GCC 4.4.7编译器、openmpi编译生成的mpi
2014年10月11日—31日的作业运行状况
2015/12/4
15
天津超算中心运营情况
“天河一号”系统稳定运行服务， 支撑国家重大科研项目超过800项
国家自然科学基金项目超过600项 863和973项目超过100项 其他重大项目（工信部、发改委、中石 油、中海油等）超过40项 国际和地区项目超过10项

互联：


MPI实现：
2015/12/4
23
聚变技术开发及相关合作
在Edison和天河一号上的测试对比
建立协同研发的机制，集中优势力量，突破核心关键技术 研制Eflops超级计算系统（1000 Pflops)

高性能计算应用
HPC applications Support
建立适应不同行业的国家高性能计算应用软件中心 部署行业能力型重大应用软件系统的研发，构建能力型行业重 大应用数值模拟软件平台 部署容量型普适推广应用课题，部署于国家超算中心等，培育、 吸引和稳定一批自主应用软件系统的用户

高性能计算环境
HPC environment Construction
建立具有世界一流资源能力和服务水平的、支撑国家创新发展 的国家高性能计算环境
12/4/2015
8
第二部分
国家超级计算天津中心与天河一号
Introduction to NSCC-TJ & Tianhe-1A
12/4/2015
2015/12/4
% 100% 0.41% 10.33% 20.09% 59.73% 3.11% 6.33%
512 GPU 62.22 0.70 16.17 17.48 12.63 4.93 10.31
% 100% 1.13% 25.99% 28.10% 20.30% 7.92% 16.56%
speedup 2.5
9
NSCC-TJ
我国目前已投入运营的应用范围最广、
综合支撑能力最强的国家级超算中心
• 峰值4700万亿次的天河一号超级计算机； • 400台以上服务器的通用云计算系统；
• 容量超过10PB的海量存储系统；
• 多领域行业软件； • 完善的网络基础设施；
• 完善的机房、供电、制冷等基础设施。
主要业务为高性能计算、云计算和大数 据服务，目前服务的政府、企业及科研 院所用户数已达600余家
12% of pushe kernel time. 临时数组直接在GPU中分配 使用GPU的寄存器来存放部分数组 不变数组只在第一调用kernel时传递到GPU 算法优化（针对shifte）
分级并行紧致化：通过分级scan方法 并发执行 SHIFTE gets ~1.8x speedup 串行代码与kernel并发执行 在GPU内部使用多流，使kernel间并发执行
157.79 0.64 16.30 31.70 94.25 4.90 10.00
1.8 7.5
20
聚变技术开发及相关合作
Weak Scaling Test
GTC总体性能有2~3倍的加速， 同时程序具有良好的可扩展性。
2015/12/4
21
聚变技术开发及相关合作
合作单位：中科院等离子体所


边界湍流模拟程序BOUT++在天河上的扩展性测试及分析：将 BOUT++成功部署到天河系统，并进行多组扩展性测试。
超级计算机现状和我国发展规划
汇报内容 Outline
超级计算机现状和我国发展规划 国家超算天津中心及天河一号介绍 未来国家超算天津中心重点研发方向与资源
更新规划
12/4/2015
2
第一部分
超级计算机现状和国内发展规划
HPC development strategy and situation
IBM BlueGene/L 2005年，367Tflops 2007年，596Tflops
走鹃，2008年，
1千万亿次
Cray-YMP 1988年，2.3Gflops Cray-1 1976 160Mflops
IBM红色选择 1999年，3万亿次
39年前第一台商用巨型机问世
12/4/2015
日本地球模拟器 2002年，40Tflops
1997
4
1983
1992
超级计算机现状和发展规划
提高超级计算机性能的三驾马车
主频、指令级并行、并行度
足够宽（数万结点） 足够深（核间、异构、SIMD、指令级）

并行度

“三驾马车”中两驾无力，只有靠扩大并行度
– “Performance = Parallelism”，Bill Dally
CPU+GPU异构融合体系结构
CPU+GPU heterogeneous architecture
64位多核多线程自主飞腾1000 CPU
64 bits Multi-core and Multi-thread CPU
自主高速互连通信技术
Self-developed High-speed interconnect
高性能计算的主要应用领域
The main application area of HPC
石油勘探
Oil Exploration


动漫设计
Animation Design
生物医药
Biological medicine
高端装备制造
The high-end equipment manufacturing
Improve performance about 20% Improve performance about 20%;
针对三维访问数组进行纹理绑定 Cache hit rate from 8% to 35%; Total 3x kernel performance speedup 合并数组增加缓存命中率 CPU-GPU PUSHE 数据传递优化（针对 gets ~7x speedup pushe）CPU-GPU transfer time reduced to
天河二号 天河一号 银河-2 银河-1 100Mflops,1983 12/4/2015 1Gflops,1990 银河-3 10Gflops,1997
7
55Pflops,2013
4.7Pflops,2010
科技部高性能计算计划 : 2016-2020
MOST projects on HPC: 2016-2020 高性能计算机 Supercomputer R&D
服务全国大部分省份（包含香港地 区），2014年服务用户已经超过 600余家
2015/12/4
16
聚变领域研究合作
合作单位：北京大学、中国科学技术大学、浙江大学、nvidia


托卡马克“回旋环形等离子体代码”GTC程序的GPU开发与优化
模拟规模：~50,000 cores，每秒模拟的电子数达300多亿
2015/12/4
17
聚变技术开发及相关合作
实际操作
GTC程序移植到“天河一号” 程序部署 热点分析 Pushe: 获得网格点上的场 数据，根据作用力更新电子 的位置 Shifte: 高度串行化计算 MPI操作
2015/12/4
18
聚变技术开发及相关合作 程序的具体优化策略
存储器访问优化（针对pushe）
Remark from international academia
中国的“天河一号”采取 的CPU与GPU融合的结构， 代表了未来超级计算机的发 展趋势。随着计算机规模的 不断拓展，这种结构虽然不 是唯一的解决方法，但目前 看来是最好的。
The architecture is not the only solution, but the best so far -- 美国斯坦福大学计算机系主任比尔•戴利 Billy Daley, Computer Science College, Stanford University