浅谈数据中心网络架构的发展【Fabic含义】

浅谈数据中心网络架构的发展

一、传统数据中心网络架构

数据中心前端计算网络主要由大量的二层接入设备及少量的三层设备组成，传统上是标准的三层结构（如图1所示）：

图1 传统数据中心网络三层架构

传统的网络模型在很长一段时间内，支撑了各种类型的数据中心，但随着互联网的发展以及企业IT信息化水平的提高，新的应用类型及数量急剧增长。随着数据中心规模的不断膨胀，以及虚拟化、云计算等新技术的不断发展，仅仅使用传统的网络技术越来越无法适应业务发展的需要。在互联网领域，这一点表现的尤为明显。

二、数据中心网络的新变化

截至2013年12月，中国网民规模达6.18亿，全年共计新增网民5358万人，互联网普及率为45.8%。大量网民的涌入必然带来网络流量的急剧膨胀。对于互联网企业，承载具体应用的数据中心的计算资源及网络节点常常满负荷运转；而对于传统企业，随着自身业务量的增加，以及各类业务互联网化的需求，对数据中心的整体的吞吐量也提出了新的要求。

服务器万兆网络接入渐成主流

受成本、以及技术成熟度制约，传统数据中心以千兆接入为主。随着CPU 计算能力的不断提高，目前主流的服务器处理性能，已经超出了千兆网卡的输出能力。同时，FC存储网络与IP网络的融合，也要求IP网络的接入速率达到FC的性能要求。当仅仅通过链路聚合、增加等价路径等技术手段已经无法满足业务对网络性能的需求时，提高网络端口速率成为必然之选。

万兆以太网从起步到目前逐渐成为应用主流，延续了以太网技术发展的主基调，凭借其技术优势，替代其他网络接入技术，成为高性能网络的不二选择。目前新的数据中心，万兆网络接入已成为事实上的标准。

数据中心流量模型发生显著变化

传统的数据中心内，服务器主要用于对外提供业务访问，不同的业务通过安全分区及VLAN隔离。一个分区通常集中了该业务所需的计算、网络及存储资源，不同的分区之间或者禁止互访，或者经由核心交换通过三层网络交互，数据中心的网络流量大部分集中于南北向。

在这种设计下，不同分区间计算资源无法共享，资源利用率低下的问题越来越突出。通过虚拟化技术、云计算管理技术等，将各个分区间的资源进行池化，实现数据中心内资源的有效利用。而随着这些新技术的兴起和应用，新的业务需求如虚拟机迁移、数据同步、数据备份、协同计算等在数据中心内开始实现部署，数据中心内部东西向流量开始大幅度增加。

物理二层向逻辑二层转变

在虚拟化初期，虚拟机管理及迁移主要依靠物理的网络，由于迁移本身要求二层网络，因此数据中心内部东西向流量主要是二层流量。为增加二层物理网络的规模，并提高链路利用率，出现了TRILL、SPB等大二层网络技术。

随着虚拟化数据中心规模的扩大，以及云化管理的深入，物理网络的种种限制越来越不适应虚拟化的要求，由此提出了VXLAN、NVGRE等网络Overlay方案，在这一方案下，物理网络中的东西向流量类型也逐渐由二层向三层转变，通过增加封装，将网络拓扑由物理二层变为逻辑二层，同时提供逻辑二层的划分管理，更好的满足了多租户的需求。

VXLAN、NVGRE等Overlay技术都是通过将MAC封装在IP之上，实现对物理网络的屏蔽，解决了物理网络VLAN数量限制、接入交换机MAC表项有限等问题。同时通过提供统一的逻辑网络管理工具，方便的实现了虚拟机HA迁移时网络策略跟随的问题，大大降低了虚拟化对网络的依赖，成为了目前网络虚拟化的主要发展方向。

越来越多的网络扁平化需求

随着虚拟化技术的进步，每台物理服务器的虚拟机数量由8台提升至16台、32台甚至更多，这使得低延迟的服务器间通信和更高的双向带宽需求变得更加迫切。然而传统的网络核心、汇聚和接入的三层结构，服务器虚拟化后还有一个虚拟交换机层，而随着刀片服务器的广泛应用，刀片式交换机也给网络添加了一层交换。如此之多的网络层次，使得数据中心计算节点间通信延时大幅增加，这就需要网络化架构向扁平化方向发展，最终的目标是在任意两点之间尽量减少网络架构的数目。

伴随着业务访问量的增长，所需的服务器数量也需要持续增长。比如国内腾讯、百度、阿里三家互联网公司，为满足用户访问，平均每两周就有1000台以上服务器上线。这样的上线速度和数量，对整个数据中心的自动化运维提出了极高的要求，基础的网络同样需要适应这种需求。

网络扁平化后（如图2所示），减少了中间层次，对核心设备交换能力要求降低，对于数据中心而言，后续扩容只需要以标准的机柜（包含服务器及柜顶交换单元）为单位增加即可，这样既满足了数据中心收敛比的要求，又能满足服务器快速上线需要。扁平化成为互联网企业网络设计不断追求的目标。

图2 腾讯数据中心网络采用的二层扁平结构

数据中心的这些变化，对网络提出了更高的要求。Fabric物理网络架构成为解决上述难题的一个重要手段。Fabric英文原意为"织物、布、结构、建筑物、构造"，"Fabric网络架构"则因其内部纵横互联类似纺织结构而得名。简单的说，就是通过骨干网络节点间分层互联（或全互联）的方式，提供所有接入网络的各类节点间的无差异互访。

在Fabric架构下（如图3所示），所有节点可以全互联，也可以分层互联。分层结构下，节点类型分为骨干节点（Spine）和叶子节点（Leaf），骨干节点与叶子节点间全连接，骨干节点仅用作转发，叶子节点作为二三层的边界。在这种架构下，网络全互联形成的大量等价路径既保证了链路的冗余可靠，又提高了整个Fabric网络的吞吐量；扁平的网络结构保证了任意节点间较高的连接速率，同时对任意类型流量均拥有极低的时延。

图3 Fabric网络拓扑结构

Fabric架构给数据中心网络部署带来以下好处：

可以大幅降低服务器万兆接入的建设成本。当前100GE设备及布线成本都十分高昂，服务器采用10GE接入后，传统结构下，汇聚及核心层设备必须具备100GE的转发能力才能保证尽量低的收敛比。在新的网络结构下，骨干节点只做交换，网关直接部署在叶子节点，Fabric内部采用40GE速率即可满足万兆接入需求，大幅降低了网络建设成本。

可以支持更大的数据中心。由于这种结构的扁平化特点，在较低的收敛比下，可以通过简单的增加接入设备，方便的接入几千个计算节点，通过Fabric