拜访中国国防科技大学

的计算节点以及组成如下：每块主板包括２个节点， 每个机架包括１６个主板，每个机柜包括４个机架， １２５个机柜组成整套系统（图３－５）。计算主板的两 个节点由ＡＰＵ模块和ＣＰＭ模块两部分组成。ＣＰＭ部分 包括４颗Ｉｖｙ Ｂｒｉｄｇｅ处理器，内存和一块Ｘｅｏｎ Ｐｈｉ，而 ＡＰＵ部分则由５块Ｘｅｏｎ Ｐｈｉ协处理器组成。虽然ＡＰＵ模 块和ＣＰＭ模块之间是通过ＣＰＵ内部提供的ＰＣＩ－Ｅ ３．０ １６ｘ接口来进行连接的，但是由于Ｘｅｏｎ Ｐｈｉ的硬件限 制，其实际连接为ＰＣＩ－Ｅ ２．０ １６ｘ，单信道数据传输速 率１０Ｇｂｐｓ。
２．０ＧＨｚ， Ｔｏｆｕ ｉｎｔｅｒｃｏｎｎｅｃｔ
Ｇｆｌｏｐｓ／Ｗａｔｔ ２．１４３ ２．０６９ ０．８３
22
《高性能计算发展与应用》 ２０１３年第二期 总第四十三期
４
ＤＯＥ／ＳＣ／Ａｒｇｏｎｎｅ Ｎａｔｉｏｎａｌ Ｌａｂｏｒａｔｏｒｙ
５
Ｆｏｒｓｃｈｕｎｇｓｚｅｎｔｒｕｍ Ｊｕｅｌｉｃｈ （ＦＺＪ）
图１ 计算节点 英特尔Ｉｖｙ Ｂｒｉｄｇｅ的每核周期浮点运算次数 为８，１２个核（每个插槽）＊８（周期浮点运算次 数）＊２．２ＧＨｚ＝２１１．２ Ｇｆｌｏｐｓ的峰值速度（每个插槽）。 由于每个天河二号节点包括２个Ｉｖｙ Ｂｒｉｄｇｅ插槽，因 此一个节点上的Ｉｖｙ Ｂｒｉｄｇｅ处理器理论峰值可以达到 ４２２．４Ｇｆｌｏｐｓ。
虽然天河二号系统采用了英特尔公司的多核以 及协处理器，但是我们还是能够在这台机器上看到 一些中国原创的烙印。其中包括：ＴＨ－Ｅｘｐｒｅｓｓ二号网 络系统，银河ＦＴ－１５００ 十六核处理器，ＯｐｅｎＭＣ编程 模型等。所有这些部件采用了高密度组装，而其稳 定性和可扩展性也显而易见。
计算节点
天河二号的每一个计算节点是由两个英特尔Ｉｖｙ Ｂｒｉｄｇｅ和三个Ｘｅｏｎ Ｐｈｉ组成（见图１），而整套系统
能耗与冷却系统
天河二号的峰值电力消耗为１７．６兆瓦，主要包 括：处理器、内存和网络连接的能耗。如果算上冷 却系统的话，整套系统的电力消耗为２４兆瓦。天河 二号采用的冷却系统为配备定制液态水冷单元的封 闭耦合冰水冷却系统，该系统具有８０千瓦的高冷却 能力，当天河二号部署在广州之后，该机器将使用
20
《高性能计算发展与应用》 ２０１３年第二期 总第四十三期
图２ 计算刀片的两种模块 图３ 计算刀片模块连接
高性能计算系统
天河二号中使用的Ｘｅｏｎ Ｐｈｉ协处理器每一块有５７ 个核。（正常来说，一块Ｘｅｏｎ Ｐｈｉ应该包含６１个核， 而天河二号之所以采用５７个核，主要原因是该产品 为早期芯片）。５７个核中的每一个都能够达到四个 执行线程，而每一个核的周期双精度浮点运算次数 为１６。结合１．１ＧＨｚ的周期时间，每一块Ｘｅｏｎ Ｐｈｉ的 理论峰值可以达到１．００３Ｔｆｌｏｐｓ。在每一个节点上共有 ２个Ｉｖｙ Ｂｒｉｄｇｅ＊０．２Ｔｆｌｏｐｓ ＋ ３块Ｘｅｏｎ Ｐｈｉ＊１．００３Ｔｆｌｏｐｓ，进 行进一步换算，每个节点的运算速度为３．４３１Ｔｆｌｏｐｓ。 由于天河二号的整套系统有１６，０００个节点，换句话 说其理论峰值速度可以达到５４．９Ｐｆｌｏｐｓ。天河二号占 地７２０平方米，见图６。由于该机器是在非常有限的 空间内建造的，因此其布局并没有达到最优化。但 是，当该机器被部署到广州之后，将会采用更为统 一的放置方式，见图７。
19
图６ 天河二号在国防科技大学的布局
图４ 计算机架 图５ 节点主板构成的机架
图７ 天河二号在广州的主机房效果图 天河二号的每个节点拥有６４ＧＢ主存，而每块 Ｘｅｏｎ Ｐｈｉ协处理器板载内存为８ＧＢ，所以每节点共有 ８８ＧＢ内存。１６，０００个节点的总计内存为１．４０４ＰＢ：Ｉｖｙ Ｂｒｉｄｇｅ部分１．０２４ＰＢ，Ｘｅｏｎ Ｐｈｉ协处理器部分０．３８４ＰＢ（ ８ＧＢ每块板，或者２４ＧＢ每节点）。
18
《高性能计算发展与应用》 ２０１３年第二期 总第四十三期
拜访中国国防科技大学
Ｊａｃｋ Ｄｏｎｇａｒｒａ 橡树岭国家实验室 美国 张晓欣［译］ 上海超级计算中心 上海 ２０１２０３ ｘｘｚｈａｎｇ＠ｓｓｃ．ｎｅｔ．ｃｎ
２０１３年５月２８日至２９日，国际高性能计算论坛（ＩＨＰＣＦ）在中国长沙举办，该论坛由中国国 防科技大学（ＮＵＤＴ）主办，中国科学与技术部、中国国家自然基金以及国防科技大学赞助。
高性能计算系统
21
采和数据通讯提供指令。目前，Ｏｐｅｎ－ＭＣ仍然处于 开发中。
此外，天河二号还使用了Ｉｎｔｅｌ ＩＣＣ １３．０．０ 编译 器，并据称拥有一个数学库。该数学库是国防科技 大学在Ｉｎｔｅｌ ＭＫＬ １１．０．０以及基于Ｘｅｏｎ Ｐｈｉ上ＧＰＵ的 ＢＬＡＳ上进行优化的。
Leabharlann Baidu存储
天河二号采用容量为１２．４ＰＢ以及使用Ｈ２ＦＳ混合 层文件系统的全局共享并行存储系统。
ＢｌｕｅＧｅｎｅ／Ｑ， Ｐｏｗｅｒ
ＩＢＭ
Ｍｉｒａ
ＢＱＣ １６Ｃ １．６０ＧＨｚ， Ｃｕｓｔｏｍ
Ｉｎｔｅｒｃｏｎｎｅｃｔ
ＢｌｕｅＧｅｎｅ／Ｑ， Ｐｏｗｅｒ
ＩＢＭ
ＪＵＱＵＥＥＮ
ＢＱＣ １６Ｃ １．６００ＧＨｚ， Ｃｕｓｔｏｍ
Ｉｎｔｅｒｃｏｎｎｅｃｔ
２．０６９ ２．１０２
应用
据称，国防科技大学已在天河二号上部署了部 分应用软件，具体见以下内容：
ＬＩＮＰＡＣＫ 基准测试（ＨＰＬ）
在ＨＰＬ基准测试中，总共使用了天河二号 １４，３３６个计算节点，每个核内存大小为５０ＧＢ。测试 完成时间为５个多小时，结果显示峰值速度达到３０．６５ Ｐｆｌｏｐｓ，换句话说其效率达到了整机理论峰值速度的 ６２．３％。见图１６
图１５ 系统软件 在Ｆｏｒｔｒａｎ、Ｃ、Ｃ＋＋、Ｊａｖａ编译器、ＯｐｅｎＭＰ、以 及使用定制ＧＬＥＸ（Ｇａｌａｘｙ Ｅｘｐｒｅｓｓ）并基于ＭＰＩＣＨ ３．０．４版本的ＭＰＩ ３．０等多种语言环境下，天河二号能 否实现多通道信息数据传输，动态流量控制，以及 卸载集体操作。此外，国防科技大学还开发了一种 名为ＯｐｅｎＭＣ的基于节点内编程模型的指令，用于替 代Ｏｐｅｎ－ＭＰ、以及ＣＵＤＡ、ＯｐｅｎＡＣＣ、或者ＯｐｅｎＣＬ。 这种新的指令除了能够在包括ＣＰＵ核以及Ｘｅｏｎ Ｐｈｉ协 处理器在内的所有计算之上提供一个统一的逻辑层 外，还能够被扩展到类似ＩＳＡ以及异构处理器的架构 中。他们能够为高效ＳＩＭＤ运行以及高效数据本地开
城市供水来提供冷却水。
图８ 系统冷却 天河二号每一个机柜（机架）的门上安装了一 组指示灯。当机器开始运行时，门上的指示灯将不 断闪烁显示其处于活跃状态。在柜门上还装配了一 个水平条状灯，这些灯的颜色会随着机架电力负荷 的变化而变化，见图９、１０。
连接
天河二号采用国防科技大学自主研发的胖树拓 扑结构网络连接系统，又称为ＴＨ Ｅｘｐｒｅｓｓ－２，这是 一种光电混合传输技术。该网络顶层的５７６个端口每 一个都配备了１３个交换机。在这套自主研发的网络 系统中所使用的芯片组是由国防科技大学自主研发 的。被称为ＮＲＣ的高基数路由器使用９０纳米制程： １７．１６＊１７．１６毫米管芯以及２５７７针。单个控制器的数据 吞吐量２．５６Ｔｂｐｓ。被称为ＮＩＣ的终端网络接口ＡＳＩＣ规 格为：１０．７６＊１０．７６毫米管芯，６７５针，并以ＰＣＩ－Ｅ Ｇ２ １６Ｘ接口连接，数据传输速度６．３６ＧＢ／ｓ。１２，０００核中 １Ｋ数据的延迟测试为９微秒。
图１６ ＨＰＬ测试表现 图１６中显示的最快速度仅仅使用了整机９０％的资 源。国防科技大学希望能否进一步进行改进，并在 测试中增加计算节点。根据目前的测试显示，在使 用１４，３３６个计算节点，或者说整机９０％资源时，天河 二号的功耗达到１７．６兆瓦，其性能为３０．６５ Ｐｆｌｏｐｓ，或 者说１．９３５Ｇｆｌｏｐｓ／瓦。目前全球最快的五台计算机功 耗如下：
概述
天河二号（ＴＨ－２）由国防科大和浪潮公司共 同开发。浪潮公司是一家来自中国的跨国信息系统 公司，其总部位于中国山东省济南市。浪潮公司的 商业活动包括：服务器制造和软件开发等。在天河 二号项目中，浪潮公司主要完成了印制电路板的制 造，同时也参与系统安装与测试工作。天河二号的 组装及测试主要由国防科技大学完成，并将于年底 交付国家超级计算中心广州中心；完成后的系统理 论峰值达到５４．９千万亿次／秒（Ｐｆｌｏｐｓ）。该系统的核 心部分采用３２，０００颗英特尔公司Ｉｖｙ Ｂｒｉｄｇｅ中央处理器 和４８，０００个Ｘｅｏｎ Ｐｈｉ协处理器（运算加速卡），总计 核数为三百十二万个；并通过自制网络系统来进行 连接。天河二号是目前全球英特尔Ｉｖｙ Ｂｒｉｄｇｅ和Ｘｅｏｎ Ｐｈｉ处理器安装规模最大的一台超级计算机。相比 之下，美国能源部的下一台超级计算机将要等到 ２０１５年才能够就位。
Ｒａｎｋ
Ｓｉｔｅ
Ｍａｎｕｆａｃｔｕｒｅｒ
Ｎａｍｅ
１
ＤＯＥ／ＳＣ／Ｏａｋ Ｒｉｄｇｅ Ｎａｔｉｏｎａｌ Ｌａｂｏｒａｔｏｒｙ
Ｃｒａｙ Ｉｎｃ．
Ｔｉｔａｎ
２
ＤＯＥ／ＮＮＳＡ／ＬＬＮＬ
ＲＩＫＥＮ Ａｄｖａｎｃｅｄ
３
Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ
Ｓｃｉｅｎｃｅ （ＡＩＣＳ）
ＩＢＭ
图９ 天河二号的指示灯
图１２ 连接
图１０ 天河二号指示灯
前端处理器
除了计算节点外，天河二号还配备了由４０９６个 银河ＦＴ－１５００中央处理器组成的前端系统，但是并不 被作为计算系统的一部分；该处理器是由国防科技 大学设计并开发的。ＦＴ－１５００为１６核ＳｐａｒｃＶ９架构处 理器，采用４０纳米制程，运作频率为１．８ＧＨｚ。ＦＴ－ １５００的峰值速度为１４４ＧＦＬＯＰＳ，每颗芯片设计功耗为 ６５瓦。ＦＴ－１５００主要被用于运算任务计划管理。
图１３ 连接实体照片 图１４ 连接网络芯片
系统软件
天河二号的操作系统为国防科技大学开发的 Ｌｉｎｕｘ麒麟版本，该系统于２００６年通过中国８６３高科 技研究与开发项目办公室审批，（更多信息请查阅 ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｋｙｌｉｎ＿（ｏｐｅｒａｔｉｎｇ＿ｓｙｓｔｅｍ））。 麒麟能够与其他主流操作系统相兼容，并支持多种 微处理器和不同架构的计算机。麒麟软件包括标准 开源软件和公共软件包，该系统早在天河一号中已 被使用。基于ＳＬＵＲＭ的资源管理能够实现电源感知 资源分配，并使用多种自定义调度策略。
在本次论坛上，来自国防科技大学的廖湘科就天河二号，又名银河二号超级计算机进行了 较为详尽的介绍。天河二号项目的资金来源主要由中国政府８６３高科技项目，广东省政府以及广 州市政府提供，并计划于２０１３年底在国家超级计算中心广州中心部署就位；而该系统将被作为 公共服务平台为中国南方地区的研究和教育提供高性能计算服务。在ＩＨＰＣＦ论坛第一天会议将 近结束时，所有与会者被安排参观了天河二号机房，并有机会近距离接触到这台全球第一的超 级计算机。通过这次参观，与会者对于天河二号的架构以及运作有了更深入的认识。
商业意见分析 ｏ 在１０２４个计算节点上使用Ｈａｄｏｏｐ存储并处
理６００ＴＢ的结构化／非结构化数据 ｏ 每天处理１亿条数据
安全电子政务云 ｏ ５１２ 个ＦＴ－１５００ 计算节点 ｏ 将服务器使用从３０％增加到７１％
高阶ＣＦＤ模拟：ＨｏｓｔＡ ｏ 整机复杂流动模拟：Ｃ９１９ ｏ ＷＣＮＳ － 加权紧致非线性格式 ｏ １００亿个网格点 ｏ 超过１０００个计算节点 ｏ １ ＭＩＣ＝ ７０％ ｏｆ ２ Ｉｖｙ Ｂｒｉｄｇｅ
回旋动力学环形代码：ＧＴＣ ｏ 移植到天河二号，并使用ＣＰＵ＋ＭＩＣ （ＴＨ－１Ａ： ＣＰＵ＋ＧＰＵ） ｏ 超过４０９６个计算节点 ｏ １ ＭＩＣ＝ ８０％ ｏｆ ２ Ｉｖｙ Ｂｒｉｄｇｅ
Ｓｅｑｕｏｉａ
Ｆｕｊｉｔｓｕ
Ｋ
Ｓｙｓｔｅｍ
Ｃｒａｙ ＸＫ７， Ｏｐｔｅｒｏｎ ６２７４ １６Ｃ ２．２００ＧＨｚ
＆ ＮＶＩＤＩＡ Ｋ２０ｘ， Ｃｒａｙ Ｇｅｍｉｎｉ ｉｎｔｅｒｃｏｎｎｅｃｔ
ＢｌｕｅＧｅｎｅ／Ｑ， Ｐｏｗｅｒ ＢＱＣ １６Ｃ １．６０ ＧＨｚ，
Ｃｕｓｔｏｍ
Ｋ ｃｏｍｐｕｔｅｒ， ＳＰＡＲＣ６４ ＶＩＩＩｆｘ