InfiniBand高速网络互连技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 是美国田纳西大学、伯克利NERSC实验室和德 国曼海姆大学一些专家为评价世界超级计算机 性能而搞的民间学术活动，每年2次排出世界上 实际运行速度最快的前500台计算机。(6月、11 月) • 排名的依据是线性代数软件包Linpack的实际测 试数据，而峰值浮点运算速度作为参考值列出。 • Linpack基准测试程序
InfiniBand高速网络互连技术
清风明月 2012年5月
内容提要
1. 超级计算机系统及其互连结构 2. Infiniband互连网络的体系结构 互连网络的体系结构
Lecture 1
3. 在HPC中的典型互连架构及应用 中的典型互连 中的典型互连架构及应用 4. IB网络优化技术 网络优化技术 5. 未来展望
No1: K Computer
• 日本理化研究所(RIKEN)高级计算科学研究院(AICS)和富士通共同研制 • 每秒运算速度超越1亿亿次大关。Linpack测试的最大计算性能达到了 10.51PFlops，也就是每秒钟1.051亿亿次浮点计算，这也是人类首次跨越1 亿亿次计算大关。 • 采用的处理器是富士通制造的SPARC64 VIIIfx，八核心，主频2.0GHz，二级 缓存6MB，热设计功耗58W，峰值浮点性能128GFlops。为了获得更高性 能，富士通还在其中加入了一系列高性能集群计算扩展，可以有效管理 其共享二级缓存，并支持SIMD、每核心256位浮点寄存器、高级核心间硬 件同步等等。 • 处理器数量是88128颗，核心数量为705024个，占据864个机柜。这些处 理器通过名为“豆腐”(Tofu)的特殊6-D mesh/torus网络连接在一起，带宽 5GB/s。同时，“京”的峰值计算性能也达到了11.28PFlops，执行效率为 惊人的93.2%
• K Computer:
– 10.51 Petaflop/s on Linpack – 705024 SPARC64 cores (8 per die; 45 nm) (Fujitsu design) – Tofu interconnect (6-D torus) – 12.7 MegaWatt
ASCI Springschool 2012
Henk Corporaal
(8)
K Computer的互连架构
• 6D-mesh/Tours
No 2：天河-1A，国防科技大学
• 这是超过美国橡树岭国家实验室产品高达40％的系统。达到每秒４７ ００万亿次的峰值性能和每秒２５０７万亿次的实测性能。 • 14336颗英特尔六核至强X5670 2.93GHz CPU、7168颗Nvidia Tesla M2050 GPU，以及2048颗自主研发的八核飞腾FT-1000处理器 • 天河一号A将大规模并行GPU与多核CPU相结合，在性能、尺寸以及功 耗等方面均取得了巨大进步，是当代异构计算的典型代表。 该系统采 用了7168颗英伟达™（NVIDIA®）Tesla™ M2050 GPU以及14,336颗 CPU。如果单纯只使用CPU的话，要实现同等性能则需要50,000颗以上 CPU CPU 50,000 的CPU以及两倍的占地面积。 • 更重要的是，如果完全采用CPU打造，可实现2.507 Petaflops（千万亿 次）性能的系统将消耗1200万瓦特的电力。 多亏在异构计算环境中运 用了GPU，天河一号A仅消耗404万瓦特的电力，节能效果高达3倍。 二者之间的功耗之差足够满足5000多户居民一年的电力所需。
– 是一个可以分解和解答线性方程和线性最小平方问 题的Fortran子程序集. – 于20世纪70年代到80年代初为超级计算机而设计 – 测试出的最高性能指标作为衡量机器性能的标准
4
TOP500分析
• • • • • • • • • 中国TOP100总Linpack性能达到11.85 Pflops (2010年6.3PFlops)，是2010年的1.88倍; 跟全球TOP500相比，2011年6月全球TOP500排行榜第一名被日本的K-Computer夺 得，2010年11月TOP500第一名的天河1A降为世界第二，但中国的机器份额首次取 得第二名,仅次于美国; 国家超级计算天津中心以国防科大天河1A再次蝉联中国TOP100第一名，Linpack性 能2.57PFlops，峰值4.7PFlops; 国家超级计算济南中心以国家并行计算机工程技术研究中心全国产神威蓝光力夺 得中国TOP100第二名，Linpack性能795.9TFlops，峰值1.07PFlops，神威蓝光是我 国历史上首台全国产的千万亿次超级计算机; 国家超级计算长沙中心以国防科大天河1A-HN力夺中国TOP100第三名，Linpack性 能771.7TFlops，峰值1.34PFlops。 全部机器的Linpack性能超过22.1Tflops是2010年9.6TFlops的2.3倍,比去年的1.41倍 大幅提升。 全部系统的峰值超过25.6TFlops，是2010年11TFlops的2.33倍，比去年的1.36倍大 幅提升; 排名前三的机器两套是CPU+GPU异构MPP; 97个(2010年98个)系统都是机群架构，机群继续占据主导地位，在前10名里4台是 CPU+GPU体系架构，在TOP100中共有13套CPU+GPU异构机群。
Lecture 2
内容提要
1. 2. 3. 4. 5. 超级计算机系统及其互连结构 Infiniband互连网络的体系结构 互连网络的体系结构 中的典型互连 在HPC中的典型互连架构及应用 中的典型互连架构及应用 IB网络优化技术 网络优化技术 未来展望
国际超级计算机500强排名(TOP500)
近3年来的TOP5超级计算机系统
2009年 年 Rank1 2010年 ຫໍສະໝຸດ Baidu 2011年 年
美洲虎 Cray XT5-HE NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” 曙光“星云” HP ProLiant Cray XE6 K computer NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” 曙光“星云” HP ProLiant
Rank2 IBM BladeCenter Rank3 Cray XT5-HE Rank4 IBM蓝色基因 Rank5 NUDT TH-1
12000000 峰值性能（Gflops） 峰值性能（ ） 10000000 8000000 6000000 4000000 2000000 0 1
2009 2010 2011 2 3 排名 4 5
InfiniBand高速网络互连技术
清风明月 2012年5月
内容提要
1. 超级计算机系统及其互连结构 2. Infiniband互连网络的体系结构 互连网络的体系结构
Lecture 1
3. 在HPC中的典型互连架构及应用 中的典型互连 中的典型互连架构及应用 4. IB网络优化技术 网络优化技术 5. 未来展望
No1: K Computer
• 日本理化研究所(RIKEN)高级计算科学研究院(AICS)和富士通共同研制 • 每秒运算速度超越1亿亿次大关。Linpack测试的最大计算性能达到了 10.51PFlops，也就是每秒钟1.051亿亿次浮点计算，这也是人类首次跨越1 亿亿次计算大关。 • 采用的处理器是富士通制造的SPARC64 VIIIfx，八核心，主频2.0GHz，二级 缓存6MB，热设计功耗58W，峰值浮点性能128GFlops。为了获得更高性 能，富士通还在其中加入了一系列高性能集群计算扩展，可以有效管理 其共享二级缓存，并支持SIMD、每核心256位浮点寄存器、高级核心间硬 件同步等等。 • 处理器数量是88128颗，核心数量为705024个，占据864个机柜。这些处 理器通过名为“豆腐”(Tofu)的特殊6-D mesh/torus网络连接在一起，带宽 5GB/s。同时，“京”的峰值计算性能也达到了11.28PFlops，执行效率为 惊人的93.2%
• K Computer:
– 10.51 Petaflop/s on Linpack – 705024 SPARC64 cores (8 per die; 45 nm) (Fujitsu design) – Tofu interconnect (6-D torus) – 12.7 MegaWatt
ASCI Springschool 2012
Henk Corporaal
(8)
K Computer的互连架构
• 6D-mesh/Tours
No 2：天河-1A，国防科技大学
• 这是超过美国橡树岭国家实验室产品高达40％的系统。达到每秒４７ ００万亿次的峰值性能和每秒２５０７万亿次的实测性能。 • 14336颗英特尔六核至强X5670 2.93GHz CPU、7168颗Nvidia Tesla M2050 GPU，以及2048颗自主研发的八核飞腾FT-1000处理器 • 天河一号A将大规模并行GPU与多核CPU相结合，在性能、尺寸以及功 耗等方面均取得了巨大进步，是当代异构计算的典型代表。 该系统采 用了7168颗英伟达™（NVIDIA®）Tesla™ M2050 GPU以及14,336颗 CPU。如果单纯只使用CPU的话，要实现同等性能则需要50,000颗以上 CPU CPU 50,000 的CPU以及两倍的占地面积。 • 更重要的是，如果完全采用CPU打造，可实现2.507 Petaflops（千万亿 次）性能的系统将消耗1200万瓦特的电力。 多亏在异构计算环境中运 用了GPU，天河一号A仅消耗404万瓦特的电力，节能效果高达3倍。 二者之间的功耗之差足够满足5000多户居民一年的电力所需。
– 是一个可以分解和解答线性方程和线性最小平方问 题的Fortran子程序集. – 于20世纪70年代到80年代初为超级计算机而设计 – 测试出的最高性能指标作为衡量机器性能的标准
4
TOP500分析
• • • • • • • • • 中国TOP100总Linpack性能达到11.85 Pflops (2010年6.3PFlops)，是2010年的1.88倍; 跟全球TOP500相比，2011年6月全球TOP500排行榜第一名被日本的K-Computer夺 得，2010年11月TOP500第一名的天河1A降为世界第二，但中国的机器份额首次取 得第二名,仅次于美国; 国家超级计算天津中心以国防科大天河1A再次蝉联中国TOP100第一名，Linpack性 能2.57PFlops，峰值4.7PFlops; 国家超级计算济南中心以国家并行计算机工程技术研究中心全国产神威蓝光力夺 得中国TOP100第二名，Linpack性能795.9TFlops，峰值1.07PFlops，神威蓝光是我 国历史上首台全国产的千万亿次超级计算机; 国家超级计算长沙中心以国防科大天河1A-HN力夺中国TOP100第三名，Linpack性 能771.7TFlops，峰值1.34PFlops。 全部机器的Linpack性能超过22.1Tflops是2010年9.6TFlops的2.3倍,比去年的1.41倍 大幅提升。 全部系统的峰值超过25.6TFlops，是2010年11TFlops的2.33倍，比去年的1.36倍大 幅提升; 排名前三的机器两套是CPU+GPU异构MPP; 97个(2010年98个)系统都是机群架构，机群继续占据主导地位，在前10名里4台是 CPU+GPU体系架构，在TOP100中共有13套CPU+GPU异构机群。
Lecture 2
内容提要
1. 2. 3. 4. 5. 超级计算机系统及其互连结构 Infiniband互连网络的体系结构 互连网络的体系结构 中的典型互连 在HPC中的典型互连架构及应用 中的典型互连架构及应用 IB网络优化技术 网络优化技术 未来展望
国际超级计算机500强排名(TOP500)
近3年来的TOP5超级计算机系统
2009年 年 Rank1 2010年 ຫໍສະໝຸດ Baidu 2011年 年
美洲虎 Cray XT5-HE NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” 曙光“星云” HP ProLiant Cray XE6 K computer NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” 曙光“星云” HP ProLiant
Rank2 IBM BladeCenter Rank3 Cray XT5-HE Rank4 IBM蓝色基因 Rank5 NUDT TH-1
12000000 峰值性能（Gflops） 峰值性能（ ） 10000000 8000000 6000000 4000000 2000000 0 1
2009 2010 2011 2 3 排名 4 5