InfiniBand高速网络互连技术 ppt课件
1.高速网络InfiniBand加速大数据应用介绍
高速网络InfiniBand加速大数据应用刘通Mellanox亚太市场开发总监Mellanox公司概况股票代码: MLNX ▪连接服务器、存储器的高带宽与低延迟网络的领导厂商•FDR 56Gb/s InfiniBand 与万兆/4万兆以太网•降低应用等待数据时间•大幅提升数据中心投资回报率▪公司总部:•美国加州以及以色列双总部•全球范围内约~1432名员工▪良好财务状况•2013年销售近3.9亿美元•现金与投资达3.4亿美元截至2013年9月世界领先的端到端网络互连设备提供商Virtual Protocol Interconnect存储前端 / 后端服务器交换机/ 网关56G IB & FCoIB 56G InfiniBand10/40/56GbE & FCoE 10/40/56GbEVirtual Protocol Interconnect芯片交换机、网关网卡网线、模块Metro / WAN完整的InfiniBand与以太网产品线▪InfiniBand 是高性能应用的首选网络▪采用Mellanox FDR InfiniBand 的系统同比增长1.8倍•加速63% 的InfiniBand系统是基于FDR (141 systems out of 225)超级计算机TOP500中最高占有率InfiniBand提供不可超越的系统效率▪InfiniBand是实现最高系统效率的关键，平均高于万兆以太网30% ▪Mellanox InfiniBand 实现最高效率99.8% 平均效率•InfiniBand: 87% •Cray: 79%•10GbE: 67% •GigE: 40%InfiniBand技术优势InfiniBand 技术的优势和特点▪InfiniBand Trade Association (IBTA) 协会制定规范•开放标准的高带宽、低延迟网络互连技术▪串行高带宽连接•SDR: 10Gb/s HCA连接•DDR: 20Gb/s HCA连接•QDR: 40Gb/s HCA连接–现在•FDR: 56Gb/s HCA连接– 2011年底•EDR: 100Gb/s HCA连接– 2014年▪极低的延迟•低于1 微妙的应用级延迟▪可靠、无损、自主管理的网络•基于链路层的流控机制•先进的拥塞控制机制可以防止阻塞▪完全的CPU卸载功能•基于硬件的传输协议•可靠的传输•内核旁路技术▪远端内存直接访问•RDMA-读和RDMA-写▪服务质量控制（QoS）•在适配器卡级提供多个独立的I/O通道•在链路层提供多条虚拟通道▪集群可扩展性和灵活性•一个子网可支持48,000个节点，一个网络可支持2128个节点•提供多种集群拓扑方式▪简化集群管理•集中路由管理•支持带内网络诊断和升级RDMA (远端内存直接访问技术) – 如何工作RDMA 运行于InfiniBand 或Ethernet内核硬件用户机架1OSNICBuffer 1 应用程序1应用程序2OSBuffer 1NICBuffer 1TCP/IP机架2HCAHCABuffer 1Buffer 1 Buffer 1Buffer 1Buffer 1Mellanox RDMA 远端内存直接访问技术零拷贝远程数据传输低延迟, 高速数据传输InfiniBand - 56Gb/sRoCE* – 40Gb/s内核旁路 通讯协议卸载* RDMA over Converged Ethernet应用程序应用程序用户层内核 硬件缓存缓存加速分布式数据库迈络思网络加速主流数据库▪Oracle 数据仓库•提供4倍闪存•写性能提升20倍•数据吞吐量提高33%•降低能耗10% 到 40%▪IBM DB2 Purescale 数据库:•需要低延迟高带宽的网络，同时满足高可靠性•RDMA 大大降低CPU负荷•实现DB2 Purescale 接近线性的可扩展性▪微软 SQL Server 数据仓库•更高性能，更低成本▪Teradata 数据仓库•相较以太网，跨机柜SQL查询速度提升2倍•数据加载性能提升4倍大幅提升性能与可扩展性，降低成本河南移动Oracle RAC数据库解决方案▪采用Mellanox InfiniBand交换机作为心跳网络连接设备；▪全线速无阻塞网络；▪采用高可用的冗余连接方式，避免单点故障；▪40Gb/s高通讯带宽、100纳秒超低延迟，全面加速Oracle RAC性能InfiniBand+PCI-e SSD新架构加速Oracle数据库生产环境：处理器：16 CPU Itanium21.6GHZ（双核）内存：192G数量：3新架构 RAC节点：AMD Quad-Core 83802.5GHZ 4 CPU (4核)内存：64G数量：2 分钟网络层40/10GbE 交换机应用及存储融合Oracle RAC Node 1 SDC PC Serverw/ ECSLSI NytroSDSOracle RAC Node 2 SDC PC Server w/ ECS LSI NytroSDSOracle RAC Node n SDC PC Server w/ ECS LSI NytroSDSSDC: ScaleIO 数据客户端SDS: ScaleIO 数据访问服务端 40/10 GbEMellanox 网络交换机Mellanox 40GbE 交换机+40GbE 网卡实现最佳Oracle 性能与扩展性Oracle RAC 数据库Oracle RAC 数据库SDC: ScaleIO 数据客户端SDS: ScaleIO 数据访问服务端 40/10 GbE EthernetSDSSDCSDCSDSSDS 网络层 40 GbE 互联PC Server w/ ECS LSI NytroPC Server w/ ECS LSI NytroPC Server w/ ECS LSI Nytro数据库应用层存储层Mellanox 网络交换机Mellanox 40GbE 交换机+40GbE 网卡实现最佳Oracle 性能与扩展性Mellanox加速分布式Oracle RAC性能Mellanox 40GbE 交换机+40GbE网卡实现最佳Oracle性能与扩展性加速大数据Data Intensive Applications Require Fast, Smart InterconnectHost/Fabric SoftwareICs Switches/GatewaysAdapter Cards Cables/Modules End-to-End & Virtual Network Ready InfiniBand and Ethernet PortfolioMetro / WANCertified Networking Gear河南移动大数据部署实例▪任意服务器之间进行40Gb/s无阻塞通信,消除节点间I/O瓶颈▪网络采用36口交换机堆叠的Fat-tree架构，最大幅度地降低网络开销，随着节点数量的增加，整体性能线性增加，提供最佳的线性扩展能力▪集群任意节点均与两个交换机互联，实现系统的高可靠性；▪全省上网行为数据每天8TB，大数据处理平台（90台）40秒完成忙时数据装载、5小时内完成日报表处理TCO大幅降低高达79.6%Hadoop缺陷调查•管理工具•性能•可靠性•SQL支持•备份与恢复451 Research 2013 Hadoop调查Hadoop 性能提升挑战•HDFS 本事的数据延迟问题 •不能支持大量小文件•Map Reduce, Hbase, Hive, 等等的效率.HDFS™(Hadoop Distributed File System)HBaseHivePigMap ReduceSQL(e.g. Impala)•性能提升需求 –实时操作–更快执行速度Map Reduce 工作进程▪开源插件▪支持Hadoop版本•Apache 3.0, Apache 2.2.x, Apache 1.3•Cloudera Distribution Hadoop 4.4内嵌支持Hadoop MapReduce RDMA优化HDFS™(Hadoop Distributed File System)Map Reduce HBaseDISK DISK DISK DISK DISK DISKHive Pig速度翻倍HDFS 操作ClientNameNodeDataNode1 48 DataNode48DataNode142 WriteReadReplicationReplicationHDFS FederationNameNode•HDFS Federation •更快硬盘•更快CPU 和内存IO 成为瓶颈▪HDFS 基于RDMA进行移植▪支持CDH5 和 HDP2.1 Hadoop HDFS RDMA优化HDFS ClientJXIO JXIO JXIO JXIOHDFS ClusterHadoop存储架构的限制•Hadoop 使用本地硬盘保持数据本地性和低延迟–很多高价值数据存在于外置存储–拷贝数据到HDFS, 运行分析, 然后将结果发到另外系统–浪费存储空间–随着数据源的增多，数据管理变成噩梦•直接访问外部数据，无需拷贝？–需要解决性能问题存储: 从Scale-Up 向 Scale-Out 演进 Scale-out 存储系统采用分布计算架构•可扩展，灵活，高性价比1000020000300004000050000600001Gb iSCSI 10Gb iSCSI 8Gb FC 16Gb FC40Gb iSCSITCP 40Gb iSER RoCEFDR IBWire speed Mb/sActual Single-Thread Throughput Mb/s顺序文件读性能 (单端口)iSER ： iSCSI over RDMAiSER 实现最快的存储访问iSCSI (TCP/IP)1 x FC 8 Gb port4 x FC 8 Gb portiSER 1 x 40GbE/IBPort iSER 2 x 40GbE/IB Port (+Acceleration)KIOPs130200800110023005001000150020002500K I O P s @ 4K I O S i z e▪使用高性能网络和RDMA•避免性能瓶颈▪避免单点失败– HDFS Name Node▪节省33%磁盘空间!方案1: 使用并行文件系统替换HDFSLustre 作为文件系统方案Mellanox网络与RDMA技术实现最高 Lustre 性能Hadoop over Cloud?▪通常满负荷运转，而不是多虚机配置 ▪云存储慢且贵顾虑: •降低成本•弹性获得大量资源•与数据源更近•简化Hadoop 操作好处:?Performance?▪利用OpenStack 内置组件与管理功能•RDMA 已经内置在OpenStack▪RDMA 实现最快性能, 占用更低CPU 负荷最快的OpenStack 存储速度Hypervisor (KVM)OSVM OS VM OS VMAdapter Open-iSCSI w iSERCompute ServersRDMA Capable InterconnectiSCSI/iSER Target (tgt) Adapter Local DisksRDMA Cache Storage Servers OpenStack (Cinder)Using RDMA toaccelerate iSCSIstorage支持RDMA的高速网络大幅提升大数据应用性能4倍性能!Benchmark: TestDFSIO (1TeraByte, 100 files)2倍性能!Benchmark: 1M Records Workload (4M Operations)2X faster run time and 2X higher throughput2倍性能!Benchmark: MemCacheD Operations3倍性能!Benchmark: Redis Operations步入100G网络时代通过更快移动数据实现更大数据价值 20Gbs 40Gbs 56Gbs 100Gbs 2000 2020 2010 2005 2015 200Gbs10Gbs Gbs – Gigabit per secondMellanox 网络速度路线图引领网络速度的发展迈向更高网速进入100G时代36 EDR (100Gb/s) 端口, <90ns 延迟吞吐量7.2Tb/s100Gb/s 网卡, 0.7us 延迟1.5亿消息/秒(10 / 25 / 40 / 50 / 56 / 100Gb/s)Mellanox引领高速网络技术不止于InfiniBand端到端高速以太网Thank You。
《高速网络技术》课件
TCP/IP协议族是互联网的基础协议，包括IP协议、TCP协议、UDP协议等，用于实现互联网通信。
TCP/IP协议族
IEEE 802.3协议是局域网的标准协议，定义了以太网的标准，包括10M、100M、1G等不同速率。
IEEE 802.3协议
IEEE 802.11协议是无线局域网的标准协议，定义了无线局域网的标准，包括WiFi等。
网状拓扑
树状拓扑是一种层次化的网络结构，其中节点按照层次进行组织和管理。
树状拓扑
高速网络的关键技术
总结词：路由交换技术是高速网络中的核心技术之一，用于实现网络数据包的快速转发和路由选择。
A
B
D
C
总结词：高速数据传输技术是实现高速网络中数据快速传输的关键技术。
详细描述：高速数据传输技术采用高效的数据传输协议和算法，实现高速数据流的可靠传输。它支持多种传输协议，如TCP/IP、UDP/IP等，能够满足不同业务的需求。
软件定义网络（SDN）技术通过将网络控制与数据转发分离，实现了网络的灵活控制和管理，为高速网络的发展提供了新的思路和方向。
SDN技术能够实现网络的集中管理和智能调度，提高了网络的效率和可靠性，为高速网络的部署和管理提供了更好的保障。
案例分析与实践
详细描述
分析大型数据中心高速网络架构的优势，如高带宽、低延迟、高可用性等，以及在构建和运营过程中所面临的挑战，如成本、扩展性、安全性等。
总结词
高速网络技术的发展历程
详细描述
高速网络技术的发展可以分为三个阶段。第一阶段是20世纪90年代初的快速以太网，其传输速率达到100Mbps。第二阶段是2000年代的光纤传输技术，其传输速率达到1Gbps。第三阶段是近年来的4G、5G移动通信技术和云计算技术，其传输速率达到10Gbps甚至更高。
高速网络技术HighSpeedNetworksTechnologies学习课件.ppt
–反射式的连接方式不需要让红外线通信端口面对面， 只要是在同一个封闭的空间内，彼此即建立连接， 不过很容易受到空间内其他干扰源的影响，导致数 据传输失败，甚至无法建立连接。
厦门大学出版社
2. 红外线
高速网络技术
–3〕全向性红外线连接〔Omni directional IR， Omni/IR〕
●这种跳频式的传输方式，无形中也降低了被窃听的风险。这 是因为每传送一段数据后，下一次要用哪一个频道传送， 只有接收端才会知道，外界根本无从得知。
●至于为什么会叫做扩频，这是虽然将整个频带分割成许多的 小频道，不断在其间跳跃传送数据，但是其跳跃速度极快， 而且频道很密集，感觉上好似是使用整个频带的带宽，所 以称之为“扩频〞。
–全向性连接那么是获取直接和反射两者之长，利 用一个反射的红外线基地台〔BASE Station，BS〕 为中继站，将各设备的红外线通信端口指向基地台， 彼此便能够建立连接。
–在无线局域网中，红外线传输由于传输距离太短 〔传输是以点对点的方式进展，传输距离约在1.5 m之内〕，其光学特性易受阻隔，当用红外线连接 后，只要有任何障碍物屏蔽到红外线，连接就会中 断，超过一定时间，那么此次连接就会失败。所以 红外线不适合作为局域网的主要传输媒介。
厦门大学出版社
高速网络技术
高速网络技术 High-Speed Networks Technologies
郭联志 厦门大学出版社
厦门大学出版社
目录
第1章 IP地址的应用 第2章 网络互联设备 第3章 高速局域网 第4章 局域网管理 第5章 高速广域骨干网 第6章 接入网技术 第7章 无线网络技术 第8章 HFC网络 第9章 虚拟网络技术
网络互连 5章
2021/1/15
主讲：朱志国
page 12
网络互连设备
LAN互连的实现： 中继器/HUB － 在物理层上实现互联 网桥、二层交换机 － 在数据链路层上实现互联 路由器 － 在网络层上实现互联
2021/1/15
主讲：朱志国
page 13
网络互连设备－网桥
➢ 网桥（Bridge 桥接器）的工作特性：
局域网到局域网互连
LAN-WAN
局域网到广域网互连
WAN-WAN
广域网到广域网互连
LAN-WAN-LAN
局域网通过广域网互连
2021/1/15
主讲：朱志国
page 5
网络互联层次和模型
从OSI/RM层次观点考察网络互联
保证异种机和网络之间的开放性、兼容性和互操作性 协议转换原则：下层有差异，上层来统一。
第五章 网络互连
➢网络互连概述 ➢网络互连设备 ➢路由选择算法与协议 ➢广域网技术
网络互连概述
网络互连：利用设备和协议、技术使不同类型、规模的计算
机网络互连 。
目 的：1.实现更大范围、更强功能、资源更丰富共享
2.便于管理，大的网络->多个独立网段
internet和Internet有什么区别？
internet指：遵守相同协议的网络互连起来组成一个资源 共享的更大网络。（概念、泛指）
Segment 1 List U U, V U, V U, V U, V U, V U, V, W
Segment 2 List Z Z, Y Z, Y Z, Y, X Z, Y, X
的功能。
2021/1/15
主讲：朱志国
page 10
2021/1/15
主讲：朱志国
InfiniBand
高速交换网络时间：2014-02-24 11:01 点击：441 次InfiniBand 技术是什么？InfiniBand是一种全新的基于通道和交换的开放互连结构标准。
它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系1.InfiniBand技术是什么？InfiniBand是一种全新的基于通道和交换的开放互连结构标准。
它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系统之间的I/O通信和内部处理器之间的通信。
InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。
因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信。
InfiniBand架构采用的是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5 Gbps的运行速率。
例如在采用QDR模式情况下,在一个链接通道的时候速率是10 Gbps ，四个链接通道的时候速率是40 Gbps，12个链接的时候速率可以达到120 Gbps。
2.为什么需要InfiniBand？采用Intel架构的处理器的输入/输出性能会受到总线的限制。
总线的吞吐能力是由总线时钟和总线的宽度决定的。
这种速度上的限制制约了服务器和存储设备、网络节点以及其他服务器通讯的能力。
而在InfiniBand的技术中，InfiniBand直接集成到系统板内，并且直接和CPU以及内存子系统互动，在传输层上，它提供了可靠的点对点连接，不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求。
Infiniband技术与其他网络协议（如TCP/IP）相比，InfiniBand具有更高的传输效率。
Infiniband高速互连网络(徐迪威)
InfiniBand高速互连网络徐迪威广州广东省计算中心，510033摘要：InfiniBand是目前发展最快的高速互连网络技术，具有高带宽、低延迟和易扩展的特点。
通过研究和实践，对InfiniBand技术的数据包、数据传输、层次结构、与以太网技术的对比、虚拟化、交换机制、发展愿景等进行了全面探索，提出了InfiniBand最终成为高速互连网络首选的观点。
关键词：InfiniBand；高速互连网络；数据包；结构模型；虚拟化；交换机制Research on Design of InfiniBand High Speed InterconnectionAbstract: InfiniBand is a fast growing technology of high speed interconnection (HSI), whose characteristics are high bandwidth, low latency and easy extension. Via researching and practicing, the paper explores on InfiniBand data packets, data transfer, multilevel architectures, comparing with Ethernet, virtualization, switching mechanism, roadmap, etc. The author presents the viewpoint that InfiniBand will become the first choice in setting up HSI.Keywords: InfiniBand(IB); High Speed Interconnection(HSI); Data Packet; Hierarchy Model; Virtualization; Switching Mechanism1引言随着中央处理器（CPU）运算能力的极速增长，高速互连网络（High Speed Interconnection, HSI）已成为高性能计算机研制的关键所在。
InfiniBand高速网络互连技术 ppt课件
是CPU+GPU体系架构，在TOP100中共有13套CPU+GPU异构机群。
2021/3/26
InfiniBand高速网络互连技术 ppt课件
5
InfiniBand高速网络互连技术
3
InfiniBand高速网络互连技术
• 是美国田纳西大学、伯克利NERSC实验室和德国 曼海姆大学一些专家为评价世界超级计算机性 能而搞的民间学术活动，每年2次排出世界上实 际 运 行 速 度 最 快 的 前500台 计 算 机 。6(月 、11 月)
排名的依据是线性代数软件包Linpack的实际测 • 试数据，而峰值浮点运算速度作为参考值列出。
17
InfiniBand高速网络互连技术
Cray XT5: 1+ PF Leadership-class system for science
DARPA HPCS: 20 PF
100–250 PF
Leadership-class system
FY 2009
FY 2011
FY 2015
Future system: 1 EF
Opteron socket
Opteron core
Opteron core
1.8 GHz 3.6 Gflop/s 64+64 KB L1 cache 2 MB L2 cache
2021/3/26
Total cores: InfiniBand高速网络T互o连t技a术l fplpot课p件/s:
012 37,6200,000,206 00
第10讲 InfiniBand技术与存储网络
2）目标通道适配器 目标通道适配器 提供端到非IB网络 （如以太网和光纤网 络）的节点接口。目 标通道适配器也提供 与其它非网络外设类 的接口，包括各种总 线技术，如SCSI总 线或USB总线。
3）通道适配器和多线技术
主机和目标通道适配器可 以选择采用控制器技术和物理 连接器连接4X和12X的连接， 同时使用虚拟线路所需的软、 硬件资源。
4．系统缩减
没有了总线插槽上的内部控制器，基于InfiniBand的系统 会更小。 5．热交换 InfiniBand使用逻辑网络地址，建立系统和外设的连接， 代替实际使用的总线共享数据和地址线，更容易将连接和 设备隔离，而不影响整个信道。其结果是InfiniBand网络 上的设备可以热交换（热插拔）。 6.独立电源 置于外部的外设可通过外置电源供电而不通过系统总 线供电。因此电源容量可以随系统的增长而随时增加，不 必储备多余的电源。
集群处理
用NAS和SAN建立一个双节点集群
下图所示为集群配置两个NAS系统和两个存储子系统的情况。 NAS系统通过冗余连接设备，包括以太网双网络接口卡和SAN双工 HBA。
高可用目标
本例中假设用集群实现高可用性，要有极快的故障恢复速度，并且要 切换NAS服务器，前面介绍的一般数据复制技术都不能满足需要。
通过“心跳”监视运行情 况 “心跳”信号是集群系统之间的一个短促而持续连接，使得所有主机知道集群 中的其它系统工作正常。每各集群主机都有一个相应进程响应从其它主机接 收心跳信号。如果没有受到预期的心跳信号，这个进程就开始把资源从故障 系统转移到集群中的其它系统。
对于双主机集群，心跳系统很简单。每个主机向对方发送有规律的、特定心 跳信号。然而，对于有更多主机的集群，心跳系统的复杂度会相应提高。
第5章网络互连技术PPT课件
27.07.2020
第5章 网络互连技术
3、 光纤(略) 远距离 虽然信号在同轴电缆上传输的速度与光信
号在光缆上传输的速度差不多，但光信号 可以传得更远。一个简单的PC局域网在无 需中继器情况下就可使传输距离超过3.5 公里。 抗干扰 光缆的另一特点是抗电气干扰能力强和不 活泼化学特性，因而可以在各种复杂环境 中铺设。
胡振山讲义
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
27.07.2020
第5章 网络互连技术
5.1网络互连概述 5.1.1网络互连分类
1、粗缆连接 若各局域网段在物理上靠得较近，
5
27.07.2020
第5章 网络互连技术
FDDI(光纤分布式数据接口)技术是 由美国国际标准协会指定标准，带 宽100Mbps，它的每个电缆环长度限 制在约100公里内，节点间距可超过 2.5公里。FDDI体系结构采用一个光 缆环(主、副环)传送数据，两个环 同处于一个物理级数据拓扑结构中， 副环主要目的是在主环出现故障时 提供后备连接。
使用注意事项 (1) 中继器连接的以太网不能形成环； (2) 必须遵MAC协议定时特性，不能将电
缆无限制地连接起来，需要遵守5－4－3 规则。
27.07.2020
15
27.07.2020
第5章 网络互连技术
2.集线器 集线器（Hub）是一种特殊的中继器，
它可以转接多个网络电缆，把多个 网络段连接起来，一般大家管原来 的共享总线或称广播式集线器叫做 HUB。大家熟悉的10BaseT标准网络 模式中核心就是集线器，它可以连 接网络的各个节点，使用集线器的 优点是：当网络上的某条线路或节 点出现故障，不会影响网络上其它 节点。
InfiniBand高速网络互连技术38796
单击添加章节标题
第一章
InfiniBand技术概述
第二章
InfiniBand技术的定义
InfiniBand是 一种高速、低 延迟的网络互
连技术
它被设计用于 服务器、存储 设备和网络设 备之间的连接
InfiniBand技 术具有高带宽、 低延迟和可扩
展性等特点
高效能、高可靠性
高带宽：InfiniBand技术提供高带宽，支持多个设备同时传 输数据，提高数据传输效率。
单击此处输入你的项正文，阐述观点
低延迟：InfiniBand技术采用高速网络互连技术，具有低延 迟特性，提高系统响应速度。 高可靠性
高可靠性
容错性：InfiniBand技术具有容错性，能够保证数据传输的 稳定性和可靠性。
单击此处输入你的项正文，阐述观点
可靠性：InfiniBand技术采用高速网络互连技术， 具有高可靠性，能够保证数据传输的安全性和稳定性。
单击此处输入你的项正文，阐述观点
易于扩展和部署
内容1： InfiniBand技术采 用模块化设计，易 于扩展
内容2： InfiniBand技术采 用分布式架构，易 于部署
安全性和可靠性：随着数据量的增长，InfiniBand技术需要更高的安全性 和可靠性来保护数据和系统免受攻击和损坏
InfiniBand技术的未来发展方向
更高的带宽和更低的延迟：InfiniBand技术将继续提高带宽和降低延迟，以满足不断增长的数 据传输需求。
更多的应用领域：随着InfiniBand技术的不断发展，其应用领域也将不断扩大，包括高性能计 算、云计算、大数据等领域。
企业数据中心中的InfiniBand应用
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Linpack基准测试程序 •
– 是一个可以分解和解答线性方程和线性最小平方问 题的Fortran子程序集.
– 于20世纪70年代到80年代初为超级计算机而设计 – 测试出的最高性能指标作为衡量机器性能的标准
NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” HP ProLiant Cray XE6
K computer NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” HP ProLiant
InfiniBand高速网络互连技术
• 日本理化研究所(RIKEN)高级计算科学研究院(AICS)和富士通共同研制 • 每秒运算速度超越1亿亿次大关。Linpack测试的最大计算性能达到了
• 国家超级计算长沙中心以国防科大天河1A-HN力夺中国TOP100第三名，Linpack性 能771.7TFlops，峰值1.34PFlops。
• 全部机器的Linpack性能超过22.1Tflops是2010年9.6TFlops的2.3倍,比去年的 1.41倍大幅提升。
• 全部系统的峰值超过25.6TFlops，是2010年11TFlops的2.33倍，比去年的1.36倍 大幅提升;
• K ICnomfpiunteirB:and高速网络互连技术
– 10.51 Petaflop/s on Linpack
– 705024 SPARC64 cores (8 per die; 45 nm) (Fujitsu
design)
– Tofu interconnect (6-D torus)
– 12.7 MegaWatt
ASCI Springschool 2012
8
InfiniBand高速网络互连技术
• 6D-mesh/Tours
InfiniBand高速网络互连技术
InfiniBand高速网络互连技术
• 这是超过美国橡树岭国家实验室产品高达40％的系统。达到每秒４７ ００万亿次的峰值性能和每秒２５０７万亿次的实测性能。
4
InfiniBand高速网络互连技术
• 中国TOP100总Linpack性能达到11.85 Pflops (2010年6.3PFlops)，是2010年的 1.88倍;
• 跟全球TOP500相比，2011年6月全球TOP500排行榜第一名被日本的K-Computer夺 得，2010年11月TOP500第一名的天河1A降为世界第二，但中国的机器份额首次取 得第二名,仅次于美国;
1. 超级计算机系统及其互连结构 2. Infiniband互连网络的体系结构 3. 在HPC中的典型互连架构及应用 4. IB网络优化技术 5. 未来展望
InfiniBand高速网络互连技术
• 是美国田纳西大学、伯克利NERSC实验室和德国 曼海姆大学一些专家为评价世界超级计算机性 能而搞的民间学术活动，每年2次排出世界上实 际运行速度最快的前500台计算机。(6月、11 月)
• 更重要的是，如果完全采用CPU打造，可实现2.507 Petaflops（千万 亿次）性能的系统将消耗1200万瓦特的电力。 多亏在异构计算环境 中运用了GPU，天河一号A仅消耗404万瓦特的电力，节能效果高达3倍。 二者之间的功耗之差足够满足5000多户居民一年的电力所需。
• 排名前三的机器两套是CPU+GPU异构MPP; • 97个(2010年98个)系统都是机群架构，机群继续占据主导地位，在前10名里4台
是CPU+GPU体系架构，在TOP100中共有13套CPU+GPU异构机群。
ห้องสมุดไป่ตู้
InfiniBand高速网络互连技术
2009年
2010年
2011年
Rank1 美洲虎 Cray XT5-HE Rank2 IBM BladeCenter Rank3 Cray XT5-HE Rank4 IBM蓝色基因 Rank5 NUDT TH-1
10.51PFlops，也就是每秒钟1.051亿亿次浮点计算，这也是人类首次跨 越1亿亿次计算大关。 • 采用的处理器是富士通制造的SPARC64 VIIIfx，八核心，主频2.0GHz， 二级缓存6MB，热设计功耗58W，峰值浮点性能128GFlops。为了获得更高 性能，富士通还在其中加入了一系列高性能集群计算扩展，可以有效管 理其共享二级缓存，并支持SIMD、每核心256位浮点寄存器、高级核心间 硬件同步等等。 • 处理器数量是88128颗，核心数量为705024个，占据864个机柜。这些处 理器通过名为“豆腐”(Tofu)的特殊6-D mesh/torus网络连接在一起， 带宽5GB/s。同时，“京”的峰值计算性能也达到了11.28PFlops，执行 效率为惊人的93.2%
InfiniBand高速网络互连技术
清风明月 2012年5月
InfiniBand高速网络互连技术
1. 超级计算机系统及其互连结构 2. Infiniband互连网络的体系结构
Lecture 1
3. 在HPC中的典型互连架构及应用 4. IB网络优化技术 5. 未来展望
Lecture 2
InfiniBand高速网络互连技术
• 14336颗英特尔六核至强X5670 2.93GHz CPU、7168颗Nvidia Tesla M2050 GPU，以及2048颗自主研发的八核飞腾FT-1000处理器
• 天河一号A将大规模并行GPU与多核CPU相结合，在性能、尺寸以及功 耗等方面均取得了巨大进步，是当代异构计算的典型代表。 该系统 采用了7168颗英伟达™（NVIDIA®）Tesla™ M2050 GPU以及14,336 颗CPU。如果单纯只使用CPU的话，要实现同等性能则需要50,000颗以 上的CPU以及两倍的占地面积。
• 国家超级计算天津中心以国防科大天河1A再次蝉联中国TOP100第一名，Linpack 性能2.57PFlops，峰值4.7PFlops;
• 国家超级计算济南中心以国家并行计算机工程技术研究中心全国产神威蓝光力夺 得中国TOP100第二名，Linpack性能795.9TFlops，峰值1.07PFlops，神威蓝光是 我国历史上首台全国产的千万亿次超级计算机;