数据中心网络高可用技术最佳实践

数据中心高可用网络部署最佳实践

高可用性，金融数据中心建设中最受关注的问题之一。高可用性设计是个系统工程，其内容涉及构成数据中心的四个组成要素（网络、计算、存储、机房基础设施）的多方面内容，本文聚焦网络系统，阐述了多种网络高可用技术在数据中心的部署最佳实践。

一、 高可用性的定义

系统可用性（Availability）的定义公式为：

Availability ＝MTBF / ( MTBF + MTTR ) × 100%

MTBF（Mean Time Between Failure），即平均无故障时间，是描述整个系统可靠性（reliability）的指标。对于一个网络系统来说，MTBF是指整个网络的各组件（链路、节点）不间断无故障连续运行的平均时间。

MTTR（Mean Time to Repair），即系统平均恢复时间，是描述整个系统容错能力（fault-tolerant capability）的指标。对于一个网络系统来说，MTTR是指当网络中的组件出现故障时，网络从故障状态恢复到正常状态所需的平均时间。

从公式可看出，提高MTBF或降低MTTR都能提高网络可用性。造成数据中心网络不可用的因素包括：设备软硬件故障、设备间链路故障、维护升级、用户误操作、网络拥塞等事件。针对这些因素采取措施，如提高软硬件质量、减少链路故障、避免网络拥塞丢包、避免用户误操作等，使网络尽量不出故障、提高网络MTBF指标，也就提升了整网的可用性水平。然而，网络中的故障总是不可避免的，所以设计和部署从故障中快速回复的技术、缩小MTTR指标，同样是提升网络可用性水平的手段。

在网络出现故障时，确保网络能快速回复的容错技术均可以归入高可用技术。常用的网络高可用技术可归为以下几类：

z单设备的硬件冗余：冗余电源、冗余风扇、双主控、板卡支持热插拔；

z物理链路捆绑：以太网链路聚合，基于IRF的跨设备以太网链路聚合；

z二层冗余路径：STP、MSTP、SmartLink；

z三层冗余路径：VRRP、ECMP、动态路由协议多路径；

z故障检测：NQA、BFD、OAM、DLDP；

z不间断转发：GR、热补丁升级；

z L4-L7多路径：状态热备、非对称路径转发。

在进行高可用数据中心网络规划时，不能只将上述技术进行简单叠加和无限制的冗余，否则，一方面会增加网络建设整体成本，另一方面还会增加管理维护的复杂度，反而给网络引入了潜在的故障隐患。因此在进行规划时，应该根据网络结构、网络类型和网络层次，分析网络业务模型，确定数据中心基础网络拓扑，明确对网络可用性最佳的关键节点和链路，合理规划和部署各种网络高可用技术。

二、 数据中心网络高可用部署方案

1.数据中心服务器区典型组网

图1.高可用扁平化架构典型组网

图1是典型的数据中心服务器区分层网络拓扑（接入、汇聚、核心）。接入层交换机为服务器提供高可用网络接入。汇聚层设备做为服务器的网关，并通过部署应用优化设备（如服务负载分担设备）以减轻服务器的处理负担，并提高服务器系统的可用性。汇聚层部署的安全设备（如防火墙）做为整个服务器区的安全边界，为服务器提供访问控制。建议在汇聚层采用与交换机一体化的应用优化或安全插板部署方式，以代替传统的独立盒式设备。采用插板方式的好处是降低能耗、减少布线复杂性，从而提升网络的整体可用性。

2.网络接入层高可用部署方案

接入层到汇聚层有4种连接方式，如图2所示，分别为：倒U形接法（拓扑1）、U形接法（拓扑2）、矩形接法（拓扑3）和三角形接法。不同类型的接法以二层链路的物理拓扑为评判依据，比如对于矩形接法（拓扑3），接入交换机之间、接入交换机与汇聚交换机之间、汇聚交换机之间均以二层链路互联，并且两台接入交换机与两台汇聚交换机构成了矩形的二层互联拓扑。

图2.高可用扩展多级架构典型组网

接入层的四种拓扑的比较：

拓扑 优点 缺点 备注说明

1 倒U 形不启用STP，网络管理简单。

VLAN可以跨汇聚层交换机，服务

器二层的扩展灵活。

汇聚交换机故障时，造成其同侧接入交换机上

的服务器不可达，无法实现高可用接入

2 U形

不启用STP，网络管理简单。

接入交换机与汇聚交换机之间

有冗余链路。

VLAN不能跨汇聚交换机，服务器部署不灵活。

接入交换机间链路故障时，VRRP心跳报文

无法传递，网络处于不稳定状态。

3 矩形接入交换机与汇聚交换机之间

有冗余链路。

VLAN可以跨汇聚层交换机

当接入交换机上行链路故障时，所有流量将从

另一侧的交换机上行，网络收敛比变小，网络

易拥塞，降低了网络可用性。

4 三角形 接入交换机与汇聚交换机之间

有冗余链路、冗余路径。

VLAN 可以跨汇聚层交换机，服

务器部署灵活

生成树计算比矩形拓扑复杂。 推荐方式表1.四种拓扑连接方式的对比

由上表可以看出，三角形组网（拓扑4）提供了更高的接入可用性以及更灵活的服务器扩展能力，所以对于数据中心独立服务器的接入，建议采用三角形组网方式。

由于接入层三角形组网存在二层环路，所以需要在交换机上使能多生成树协议MSTP （Multiple Spanning Tree Protocol）。汇聚层交换机（或汇聚交换上的L4/L7层设备）部署虚拟路由器冗余协议（virtual router redundancy protocol, VRRP），并将VRRP组的虚拟IP地址作为服务器网关。对于接入层这种典型的MSTP+VRRP部署方式，还应关注以下几点：z利用MSTP多实例特性，合理规划VLAN与实例映射关系，实现业务流量的负载分担。

如图3，VLAN50对应的STP实例的根桥在AGG_SW2（VLAN50在ACC_SW1与AGG_SW1、及ACC_SW2与AGG_SW1之间的转发被阻塞），VLAN30对应的STP实例的根桥在AGG_SW1（VLAN 30在ACC_SW1与AGG_SW2、ACC_SW2与AGG_SW2之间的转发被阻塞）。

z规划多个VRRP组，实现服务器网关的备份和负载分担。如图3，在正常转发时汇聚交换机（AGG_SW1、AGG_SW2）分别作为VLAN30和VLAN50的VRRP Master设备。

如汇聚层部署了L4/L7设备（如防火墙），则在L4/L7设备上规划VRRP组，并将VRRP 的虚拟IP作为服务器的网关。