超级计算机系统架构分析
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
O 天河一号A
–2048颗我国仿制sun公司的UltraSparc T2处理器（飞腾FT-1000） 八核心处理器 –14336颗Intel Xeon X5670 2.93GHz六核心处理器 –7168块NVIDIA Tesla M2050高性能计算卡
自主研发的飞腾FT-1000八核心处理器
“天河一号A”研制之初，除使用了进口CPU和GPU 之外，其他核心器件、互联芯片均为我国自主研 制。随着科研人员的不懈努力，如今“超高性能 CPU”这 道难题也迎刃而解。国产飞腾FT-1000八 核芯片，由国防科技大学专门为“天河”系列计 算机量身定制，已达到了当今世界主流。据了解， 安装飞腾芯片后， 不仅“天河一号A”的峰值运算 速度将在目前每秒1206万亿次的基础上有所提升， 而且其实际运算速度也将提高到每秒千万亿次。 同时，由于关键芯片实现完全 “国产化”，也将 使“天河一号A”在确保信息安全方面拥有更多的 保证。
系统架构
O 组织架构
O 理论基础架构
O 软件架构
组织架构
O “天河一号”系统共有5120个图形加速处理器(GPU)和6144
个通用处理器(CPU)，峰值速度达1206TFlops, 内存总容量为 98TB，Linpack实测性能为563.1TFlops。其计算量若由一台 微型计算机来执行大约连续计算160万年才能完成。“天河 一 号”是采用并行体系结构的超级计算机，采用的是AMD的 图形核心。其特殊之处在于多阵列、可配置、协同并行，实 现了“CPU＋GPU”的异构协同计算，提 高了计算效能。 O “天河一号”超级计算机采用了多阵列、可配置、协同并行 体系结构，系统由计算阵列、加速阵列和服务阵列组成，其 中计算阵列、服务阵列分别由采用通用处理器 (CPU)的计算 节点机、服务节点机构成，加速阵列则由基于图形加速处理 器(GPU)的大量加速节点机构成，实现了“CPU＋GPU”的异构 协同计算，提 高了计算效能。此外，“天河一号”采用了便 于维护和高密度的刀片式(Blade)结构，每个机位都有几十个 可热插拔的刀片，每个“刀片”实际上就相当于一 块计算机 主板，组成一台配置有处理器、内存等模块的节点计算机。
对超级计算机发展趋势的思考
在GPU异构计算系统的发展过程中，毫无疑问中 国占据了领先地位。不仅仅是因为应用了GPU， 在系统设计以及架构的安排上也是发挥了一定的 作用，在HPC 方面，Intel的观点就是对过去的一 种延续，一步一步的延续到未来。但是对于 NVIDIA公司来说，在中国前三大HPC系统就是因 为采用了新的技术，把 这个优势应用到最好。只 是现在基于CPU+GPU的异构架构的程序还很少， 不到传统架构软件的10%，这也说明了基于 CPU+GPU架构的软件市场潜力还 很大。在新一轮 的变革中，中国跟世界又站在了同一起跑线上面， 谁先开发出好的应用软件，谁就可以站在世界的 前列。
应用
O 资源勘测和卫星遥感数据处理 O 环渤海生态动力和污染数值模拟
O 石油勘探数据处理
O 生物医药研究 O 航空航天装备研制
O 金融工程数据分析
O 短期地震预报 O 基础科学理论计算
天河一号和其他超级计算机的比较
虽然诸如“天河一号A”这样的产品占据了HPC Top500的第一，但从榜单来看，以CPU为主的计 算机仍然是绝对的主流。“天河一号”一举夺得 了中国TOP100超级计算的排名的桂冠，闯入全球 TOP500强的前五位，让人们见到了GPU计算的威 力所在。从全球的Top500强来看的话，采用GPU 混合计算系统很少见，而中国现在比较热衷于 GPU异构计算系统的开发，而且越做越大，排名 第一的“天河一号” 和排名第三的“星云”都采 用了GPU异构计算架构。这是因为高性能计算在 全球的主要行业应用和中国略有不同。
配置
O 天河一号
–6144个通用处理器（3072x2 Intel Quad Core Xeon E5540 2.53GHz/E5540 3.0GHz） –5120个加速处理器（2560 ATI Radeon 4870x2 575MHz） –内存总容量98TB ； –点点通信带宽40Gbps ； –共享磁盘总容量为1PB。
特点
O 高自主：自主研制了3款大规模集成电路芯片、4类结 O O O
O
点、2套网络和15种PCB电路板；自主研制了操作系统、 编译系统、并行程序开发环境与科学计算可视化系统。 高性能：峰值性能4700TFlops，持续性能2507TFlops （Linpack实测值），位列2010年6月Top500第一位。 高能效：系统能效620.54MFlops/W，位列2010年6月 Green 500第四位。 高安全：操作系统符合B2级安全标准，提供基于隔离 的用户安全工作环境。 易使用：提供统一的全系统资源管理视图，友好的系 统管理使用界面，一体化的并行应用集成开发环境和 虚拟化的网络计算环境。
GPU计算卡
“天河一号A”占据了HPC TOP500的第一，那么它制胜 的关键是什么？那就是GPU部分采用了NVIDIA Tesla M2050/M2070计算模块解决方案，核心威力在于会 以二十分之一的功耗与十分之一的成本即可实现超级 计算能力，从而为部门集群与数据中心的部署提供 了 全球最高的计算密度。至于Tesla M2050与M2070计 算模块，它们是基于代号为“Fermi”的GPU核心，双精 度性能超过四核x86 CPU十倍。值得一提的是它拥有 ECC存储器，保证了数据的一致性。在进行GPU计算时， 所有的标准优势和最高可靠性都可以实现，无缝紧密 地集成了系统监 控与管理工具，其中包括各种各样的 架上型与刀片式系统。此外，这些系统还包含了用户 所需的远程监控与远程管理功能，从而可满足高性能 计算与大型数据中心以 及横向扩展等部署需求。
在2010年11月发布的最新top500排行榜上中国自主研发的超级计算机天河一号以每秒2507万亿次的计算性能荣登榜首排在第三的是由曙光公司研制的星云超级计算机
超级计算机系统架构分析
——天河一号
背景
国际超级计算大会（ISC，International Supercomputing Conference）每年都会发布 两次世界上运算速度最快的计算机名单，名 为Top500榜单。在2010年11月发布的最新 Top500排行榜上，中 国自主研发的超级计算 机“天河一号”以每秒2507万亿次的计算性 能荣登榜首，排在第三的是由曙光公司研制 的“星云”超级计算机。从前十名的排名来 看，中 国两台计算机冲入前五标志着国内高 性能计算在性能上已经达到国际先进水平。
O
软件架构
O “天河一号A”的软件系统包括操作系统、编译系统、
资源管理系统和并行程序开发环境等。操作系统采 用面向高性能并行计算的64位Linux，支持功耗管 理、虚拟化和安全隔离等。编译系统支持C、C++、 Fortran和Java等的并行编程，并提供了异构协同编 程框架以有效发挥CPU与GPU的协同计算 能力。资 源管理系统可提供整个系统的资源统一视图，能实 现多策略资源分配与作业调度，有效提高资源利用 率和系统吞吐率。 O 天河-1A使用的开源软件包括：Linux作业系统， SLURM作业调度系统（Job Scheduler），Lustre集 群文件系统。
参考资料
O O 我国首台千万亿次超级计算机系统天河一
号研制成功 O TOP500 见证全球超级计算机十五年 O 勇闯天河 探秘“天河一号”超级计算机 O 超级计算机的多层架构抽象及描述
小组成员
O 唐
翰（PPT制作及资料查找） O 李宇龙（PPT制作及资料查找） O 黄宏愿（纲要制作及资料查找） O 杨锐晨（PPT讲解及资料查找）
理论基础架构
如果仅使用传统处理器，每个处理器只有100GFLOS的计算能力，要 想达到与原来同样的性能的话至少需要50000颗处理器。而现在使 用”CPU＋GPU”的异构并行架构之后系统功耗也会从原来的1200万瓦 特减少为404万瓦特。由于CPU和GPU的配合，可以把传统中数据密 集的大规模数据并行的计算交给GPU来运行，CPU可以计算逻辑性较 强的数据结构比较复杂的计算，使得整个系统的性能得到了更高。 CPU采用了复杂的控制逻辑和分支预测，以及大量的缓存来 提高执行 效率，这样可以使执行单元以很低的延迟获得数据和指令。而对延迟 更加敏感的GPU侧重于提高整体的数据吞吐量。设计目标的不同使得 CPU和GPU 在架构和性能上有巨大差异。具有强大处理能力和高带宽 的GPU弥补了CPU在计算方式上性能不足的缺点，在降低成本和性价 比方面具有巨大优势。 O 并行I/O存储子系统采用全局分布共享并行I/O系统结构，磁盘总容量 为1PB。 O 互连系统采用两级QDR Infiniband架构，每个通信链路的带宽为 40Gbps。 O 监控诊断子系统采用分布式集中管理架构，具有实时的系统监测、调 控和诊断等功能。
–2048颗我国仿制sun公司的UltraSparc T2处理器（飞腾FT-1000） 八核心处理器 –14336颗Intel Xeon X5670 2.93GHz六核心处理器 –7168块NVIDIA Tesla M2050高性能计算卡
自主研发的飞腾FT-1000八核心处理器
“天河一号A”研制之初，除使用了进口CPU和GPU 之外，其他核心器件、互联芯片均为我国自主研 制。随着科研人员的不懈努力，如今“超高性能 CPU”这 道难题也迎刃而解。国产飞腾FT-1000八 核芯片，由国防科技大学专门为“天河”系列计 算机量身定制，已达到了当今世界主流。据了解， 安装飞腾芯片后， 不仅“天河一号A”的峰值运算 速度将在目前每秒1206万亿次的基础上有所提升， 而且其实际运算速度也将提高到每秒千万亿次。 同时，由于关键芯片实现完全 “国产化”，也将 使“天河一号A”在确保信息安全方面拥有更多的 保证。
系统架构
O 组织架构
O 理论基础架构
O 软件架构
组织架构
O “天河一号”系统共有5120个图形加速处理器(GPU)和6144
个通用处理器(CPU)，峰值速度达1206TFlops, 内存总容量为 98TB，Linpack实测性能为563.1TFlops。其计算量若由一台 微型计算机来执行大约连续计算160万年才能完成。“天河 一 号”是采用并行体系结构的超级计算机，采用的是AMD的 图形核心。其特殊之处在于多阵列、可配置、协同并行，实 现了“CPU＋GPU”的异构协同计算，提 高了计算效能。 O “天河一号”超级计算机采用了多阵列、可配置、协同并行 体系结构，系统由计算阵列、加速阵列和服务阵列组成，其 中计算阵列、服务阵列分别由采用通用处理器 (CPU)的计算 节点机、服务节点机构成，加速阵列则由基于图形加速处理 器(GPU)的大量加速节点机构成，实现了“CPU＋GPU”的异构 协同计算，提 高了计算效能。此外，“天河一号”采用了便 于维护和高密度的刀片式(Blade)结构，每个机位都有几十个 可热插拔的刀片，每个“刀片”实际上就相当于一 块计算机 主板，组成一台配置有处理器、内存等模块的节点计算机。
对超级计算机发展趋势的思考
在GPU异构计算系统的发展过程中，毫无疑问中 国占据了领先地位。不仅仅是因为应用了GPU， 在系统设计以及架构的安排上也是发挥了一定的 作用，在HPC 方面，Intel的观点就是对过去的一 种延续，一步一步的延续到未来。但是对于 NVIDIA公司来说，在中国前三大HPC系统就是因 为采用了新的技术，把 这个优势应用到最好。只 是现在基于CPU+GPU的异构架构的程序还很少， 不到传统架构软件的10%，这也说明了基于 CPU+GPU架构的软件市场潜力还 很大。在新一轮 的变革中，中国跟世界又站在了同一起跑线上面， 谁先开发出好的应用软件，谁就可以站在世界的 前列。
应用
O 资源勘测和卫星遥感数据处理 O 环渤海生态动力和污染数值模拟
O 石油勘探数据处理
O 生物医药研究 O 航空航天装备研制
O 金融工程数据分析
O 短期地震预报 O 基础科学理论计算
天河一号和其他超级计算机的比较
虽然诸如“天河一号A”这样的产品占据了HPC Top500的第一，但从榜单来看，以CPU为主的计 算机仍然是绝对的主流。“天河一号”一举夺得 了中国TOP100超级计算的排名的桂冠，闯入全球 TOP500强的前五位，让人们见到了GPU计算的威 力所在。从全球的Top500强来看的话，采用GPU 混合计算系统很少见，而中国现在比较热衷于 GPU异构计算系统的开发，而且越做越大，排名 第一的“天河一号” 和排名第三的“星云”都采 用了GPU异构计算架构。这是因为高性能计算在 全球的主要行业应用和中国略有不同。
配置
O 天河一号
–6144个通用处理器（3072x2 Intel Quad Core Xeon E5540 2.53GHz/E5540 3.0GHz） –5120个加速处理器（2560 ATI Radeon 4870x2 575MHz） –内存总容量98TB ； –点点通信带宽40Gbps ； –共享磁盘总容量为1PB。
特点
O 高自主：自主研制了3款大规模集成电路芯片、4类结 O O O
O
点、2套网络和15种PCB电路板；自主研制了操作系统、 编译系统、并行程序开发环境与科学计算可视化系统。 高性能：峰值性能4700TFlops，持续性能2507TFlops （Linpack实测值），位列2010年6月Top500第一位。 高能效：系统能效620.54MFlops/W，位列2010年6月 Green 500第四位。 高安全：操作系统符合B2级安全标准，提供基于隔离 的用户安全工作环境。 易使用：提供统一的全系统资源管理视图，友好的系 统管理使用界面，一体化的并行应用集成开发环境和 虚拟化的网络计算环境。
GPU计算卡
“天河一号A”占据了HPC TOP500的第一，那么它制胜 的关键是什么？那就是GPU部分采用了NVIDIA Tesla M2050/M2070计算模块解决方案，核心威力在于会 以二十分之一的功耗与十分之一的成本即可实现超级 计算能力，从而为部门集群与数据中心的部署提供 了 全球最高的计算密度。至于Tesla M2050与M2070计 算模块，它们是基于代号为“Fermi”的GPU核心，双精 度性能超过四核x86 CPU十倍。值得一提的是它拥有 ECC存储器，保证了数据的一致性。在进行GPU计算时， 所有的标准优势和最高可靠性都可以实现，无缝紧密 地集成了系统监 控与管理工具，其中包括各种各样的 架上型与刀片式系统。此外，这些系统还包含了用户 所需的远程监控与远程管理功能，从而可满足高性能 计算与大型数据中心以 及横向扩展等部署需求。
在2010年11月发布的最新top500排行榜上中国自主研发的超级计算机天河一号以每秒2507万亿次的计算性能荣登榜首排在第三的是由曙光公司研制的星云超级计算机
超级计算机系统架构分析
——天河一号
背景
国际超级计算大会（ISC，International Supercomputing Conference）每年都会发布 两次世界上运算速度最快的计算机名单，名 为Top500榜单。在2010年11月发布的最新 Top500排行榜上，中 国自主研发的超级计算 机“天河一号”以每秒2507万亿次的计算性 能荣登榜首，排在第三的是由曙光公司研制 的“星云”超级计算机。从前十名的排名来 看，中 国两台计算机冲入前五标志着国内高 性能计算在性能上已经达到国际先进水平。
O
软件架构
O “天河一号A”的软件系统包括操作系统、编译系统、
资源管理系统和并行程序开发环境等。操作系统采 用面向高性能并行计算的64位Linux，支持功耗管 理、虚拟化和安全隔离等。编译系统支持C、C++、 Fortran和Java等的并行编程，并提供了异构协同编 程框架以有效发挥CPU与GPU的协同计算 能力。资 源管理系统可提供整个系统的资源统一视图，能实 现多策略资源分配与作业调度，有效提高资源利用 率和系统吞吐率。 O 天河-1A使用的开源软件包括：Linux作业系统， SLURM作业调度系统（Job Scheduler），Lustre集 群文件系统。
参考资料
O O 我国首台千万亿次超级计算机系统天河一
号研制成功 O TOP500 见证全球超级计算机十五年 O 勇闯天河 探秘“天河一号”超级计算机 O 超级计算机的多层架构抽象及描述
小组成员
O 唐
翰（PPT制作及资料查找） O 李宇龙（PPT制作及资料查找） O 黄宏愿（纲要制作及资料查找） O 杨锐晨（PPT讲解及资料查找）
理论基础架构
如果仅使用传统处理器，每个处理器只有100GFLOS的计算能力，要 想达到与原来同样的性能的话至少需要50000颗处理器。而现在使 用”CPU＋GPU”的异构并行架构之后系统功耗也会从原来的1200万瓦 特减少为404万瓦特。由于CPU和GPU的配合，可以把传统中数据密 集的大规模数据并行的计算交给GPU来运行，CPU可以计算逻辑性较 强的数据结构比较复杂的计算，使得整个系统的性能得到了更高。 CPU采用了复杂的控制逻辑和分支预测，以及大量的缓存来 提高执行 效率，这样可以使执行单元以很低的延迟获得数据和指令。而对延迟 更加敏感的GPU侧重于提高整体的数据吞吐量。设计目标的不同使得 CPU和GPU 在架构和性能上有巨大差异。具有强大处理能力和高带宽 的GPU弥补了CPU在计算方式上性能不足的缺点，在降低成本和性价 比方面具有巨大优势。 O 并行I/O存储子系统采用全局分布共享并行I/O系统结构，磁盘总容量 为1PB。 O 互连系统采用两级QDR Infiniband架构，每个通信链路的带宽为 40Gbps。 O 监控诊断子系统采用分布式集中管理架构，具有实时的系统监测、调 控和诊断等功能。