云数据中心大二层网络技术研究

随着以虚拟化为主的云数据中心的发展和成熟, 应用数据猛增, 数据中心虚拟服务器

的迁移和数据交换产生的流量要求所有的虚拟机在同一个VLAN, 大二层网络应运而生。文中总结和分析了常见的大二层网络设计和优化方案, 并结合实际, 将优化方案引入到高校

数据中心的建设当中。

新一代数据中心内部的网络逻辑结构的特点是“大二层结构”。所谓“大二层”是指所有VLAN 都可以延展到所有汇聚层、接入层交换机的VLAN 结构，这与传统数据中心VLAN 往往终结在接入层交换机的做法不同。大二层网络结构的需求是由如下原因决定的：

1. 服务器虚拟化的要求：所有主流服务器虚拟化技术都能够实现不同程度的虚机在线迁移，而虚机迁移前后其MAC/IP地址等不变，决定了其迁移的源和目的应在同一个VLAN；

2. 网络业务整合的需要：新一代数据中心网络要求比传统网络更高的业务承载能力，各种应用（比如Oracle RAC 等）等都需要纯二层网络来提供其业务所需的低延迟、高吞吐、MAC 层直接交换的网络环境；

3. 智能业务整合、集中部署的需求：为面向范围更广的接入层提供智能服务资源池，智能服务被要求集中化部署，这就需要有智能服务要求的VLAN 都能延展到智能服务设施所在的汇聚层。

随着应用的数量迅猛增加，二层网络的扩展造成传统二层技术在链路冗余能力、负载均衡能力、可扩展性和网络稳定性上面的诸多问题，下面以某高校为例讨论如何构造一个可扩展的大二层网络。

大二层网络设计技术

跨机箱的端口捆绑（VPC）

由于传统二层网络依靠生成树（或生成树的改进协议，如快速生成树、MSTP 等）来实现冗余链路的负载均衡和故障切换，不仅设计复杂、建设维护管理难度大，而且链路负载不均、故障收敛慢且稳定性差。一种摒弃生成树的设计就是跨机箱实现以太网端口捆绑，如图1 所示：

这样设计之后，向任何一对冗余的物理机箱的连接都可看成是连向一个逻辑设备，多条冗余的链路可被捆绑为一条逻辑链路，逻辑链路内各物理链路可负载均衡和高效能故障切换。进行跨机箱的端口捆绑要注意如下设计：

双活故障逃生：跨机箱端口捆绑机制的潜在风险是一旦核心机箱间通信故障或软件Bug，则会造成控制平面双活，对不同跨机箱端口捆绑机制，双活造成的影响不同，对于控制平面合并类型的机制，双活会造成所有端口停止转发的崩溃性后果；而对于双机箱控制平面独立的机制，则双活只会造成配置同步的暂时中断，不影响当前的数据转发。因此核心主干和接入交换机都应当选择双控制平面独立的机制。

对外端口捆绑协议兼容性：跨机箱的端口捆绑，捆绑协议本身应采用开放的IEEE 802.3ad，这样使被上连的设备感觉不到正在上连双设备，而是感觉与一个设备进行多链路捆绑连接一样。这样的设计可提供更开放的互连扩展性。

跨机箱数量：跨机箱端口捆绑一般在两个机箱实现，当对超过两个的多机箱进行端口捆绑时，由于双活甚至多活的几率大增、多机箱间的协议和配置同步难度加大，系统会变得非常不稳定，不适于在数据中心核心主干使用。如果要通过两个以上的机箱的平行扩展提高主

干的容量，应采用其他高扩展性技术。

二层多路径（L2MP）

二层多路径（L2MP）技术是将网络层路由技术的高扩展性、冗余性、负载均衡能力和策略性等优势移植到以太网MAC 层实现的技术，好比是为链路层提供了与网络层一样的高级路由能力。由于L2MP技术基于已经成熟的路由协议技术，具备更强的拓扑适应性、更简单的设置和管理（几乎即插即用）、更开放架构（IETF TRILL 标准化），因此正在成为跨机箱捆绑机制的替代技术。

交换机虚拟集群技术

经过柜顶交换机连接的服务器连同机柜已经形成一个完整的接入模块，若干模块可形成一个接入群组“POD”，这种接入方式易于升级、扩展，便于排错管理部分高端数据中心厂商已经推出了数据中心核心/ 汇聚交换机与柜顶接入交换机虚拟化集群的技术，通过这种集群技术，所有柜顶交换机完全成为核心/ 汇聚交换机的远端板卡，整体将被看成一个完整的、高端口密度的交换机。整个数据中心工作起来象一个交换机一样，因此不失为一种精简架构的大二层解决方案。但这种解决方案也有其一些问题，如：

接入层平面化：所有接入完全平面化，没有层次化过载比设计，因而除非整个数据中心POD 内和POD 之间的交换吞吐量基本没有差异，否则就会导致有的部分效率低、有的部分性能不足的问题；

专有技术扩展受限：交换矩阵扩展是专有技术，在POD 内使用不会影响扩展性，而全数据中心用一种专有技术，其扩展性和扩展规模将受限；存储网络方案无平滑过渡：不仅数

据部分平面化，而且存储的设计也随之平面化，现有的矩阵扩展技术还不能解决在柜顶端提供传统SAN 接入交换的技术，必须采用FCoE Multi-hop 或者另起单独的存储网络来实现存储互连。如果全数据中心都采用这种技术，则存储的设计将只能在最新的FCoE Multi-hop 和最传统的单独SAN 网络之间选择，没有二者共存、平滑过渡的选择。

因此虚拟集群的模式虽然好，但存在实际部署的问题，因此它可用来在局部POD 内部署，或解决数据中心少数规模限度可预测、需极度精简化的POD 部署需求。

某高校数据中心大二层设计

图2 某高校数据中心大二层设计图

根据以上分析，各类解决方案都有其适用的范围和独特优势，一个大型的数据中心不可能只使用一种方法完成大二层部署，下面以某高校为例来说明技术选型原则：

网络架构设计

数据中心网络采用核心+ 接入两层网络架构，核心采用两台高性能交换机，接入层采用支持L2MP 数据中心交换机构建的虚拟交换集群作为虚拟化数据中心接入网络。

数据中心网络核心的两台交换机通过两条或多条万兆互联，提高核心网络的可用性；网络核心与以太网通过4 条万兆链路进行全网状互联，并利用链路聚合技术将与虚拟交换集群互联的4 条万兆链路进行汇聚；将4 条万兆链路汇聚后上联至校园网核心，此时4 条万兆链路转化成为逻辑上的一条40G 的互联链路。