数据中心网络高可用技术

数据中心网络高可用技术

高可用性，金融数据中心建设中最受关注的问题之一。高可用性设计是个系统工程，其内容涉及构成数据中心的四个组成要素（网络、计算、存储、机房基础设施）的多方面内容，本文聚焦网络系统，阐述了多种网络高可用技术在数据中心的部署最佳实践。

一、高可用性的定义

系统可用性（Availability）的定义公式为：

Availability ＝MTBF / ( MTBF + MTTR ) ×100%

MTBF（Mean Time Between Failure），即平均无故障时间，是描述整个系统可靠性（reliability）的指标。对于一个网络系统来说，MTBF是指整个网络的各组件（链路、节点）不间断无故障连续运行的平均时间。

MTTR（Mean Time to Repair），即系统平均恢复时间，是描述整个系统容错能力（fault-tolerant capability）的指标。对于一个网络系统来说，MTTR是指当网络中的组件出现故障时，网络从故障状态恢复到正常状态所需的平均时间。

从公式可看出，提高MTBF或降低MTTR都能提高网络可用性。造成数据中心网络不可用的因素包括：设备软硬件故障、设备间链路故障、维护升级、用户误操作、网络拥塞等事件。针对这些因素采取措施，如提高软硬件质量、减少链路故障、避免网络拥塞丢包、避免用户误操作等，使网络尽量不出故障、提高网络MTBF指标，也就提升了整网的可用性水平。然而，网络中的故障总是不可避免的，所以设计和部署从故障中快速回复的技术、缩小MTTR指标，同样是提升网络可用性水平的手段。

在网络出现故障时，确保网络能快速回复的容错技术均可以归入高可用技术。常用的网络高可用技术可归为以下几类：

●单设备的硬件冗余：冗余电源、冗余风扇、双主控、板卡支持热插拔；

●物理链路捆绑：以太网链路聚合，基于IRF的跨设备以太网链路聚合；

●二层冗余路径：STP、MSTP、SmartLink；

●三层冗余路径：VRRP、ECMP、动态路由协议多路径；

●故障检测：NQA、BFD、OAM、DLDP；

●不间断转发：GR、热补丁升级；

●L4-L7多路径：状态热备、非对称路径转发。

在进行高可用数据中心网络规划时，不能只将上述技术进行简单叠加和无限制的冗余，否则，一方面会增加网络建设整体成本，另一方面还会增加管理维护的复杂度，反而给网络引入了潜在的故障隐患。因此在进行规划时，应该根据网络结构、网络类型和网络层次，分析网络业务模型，确定数据中心基础网络拓扑，明确对网络可用性最佳的关键节点和链路，合理规划和部署各种网络高可用技术。

二、数据中心网络高可用部署方案

1.数据中心服务器区典型组网

图1.高可用扁平化架构典型组网

图1是典型的数据中心服务器区分层网络拓扑（接入、汇聚、核心）。接入层交换机为服务器提供高可用网络接入。汇聚层设备做为服务器的网关，并通过部署应用优化设备（如服务负载分担设备）以减轻服务器的处理负担，并提高服务器系统的可用性。汇聚层部署的安全设备（如防火墙）做为整个服务器区的安全边界，为服务器提供访问控制。建议在汇聚层采用与交换机一体化的应用优化或安全插板部署方式，以代替传统的独立盒式设备。采用插板方式的好处是降低能耗、减少布线复杂性，从而提升网络的整体可用性。

2.网络接入层高可用部署方案

接入层到汇聚层有4种连接方式，如图2所示，分别为：倒U形接法（拓扑1）、U形接法（拓扑2）、矩形接法（拓扑3）和三角形接法。不同类型的接法以二层链路的物理拓扑为评判依据，比如对于矩形接法（拓扑3），接入交换机之间、接入交换机与汇聚交换机之间、汇聚交换机之间均以二层链路互联，并且两台接入交换机与两台汇聚交换机构成了矩形的二层互联拓扑。

图2.高可用扩展多级架构典型组网

接入层的四种拓扑的比较：

表1.四种拓扑连接方式的对比

由上表可以看出，三角形组网（拓扑4）提供了更高的接入可用性以及更灵活的服务器扩展能力，所以对于数据中心独立服务器的接入，建议采用三角形组网方式。

由于接入层三角形组网存在二层环路，所以需要在交换机上使能多生成树协议MSTP （Multiple Spanning Tree Protocol）。汇聚层交换机（或汇聚交换上的L4/L7层设备）部署虚拟路由器冗余协议（virtual router redundancy protocol, VRRP），并将VRRP组的虚拟IP地址作为服务器网关。对于接入层这种典型的MSTP+VRRP部署方式，还应关注以下几点：

●利用MSTP多实例特性，合理规划VLAN与实例映射关系，实现业务流量

的负载分担。如图3，VLAN50对应的STP实例的根桥在AGG_SW2（VLAN50在ACC_SW1与AGG_SW1、及ACC_SW2与AGG_SW1之间的转发被阻塞），VLAN30对应的STP实例的根桥在AGG_SW1（VLAN 30在ACC_SW1与AGG_SW2、

ACC_SW2与AGG_SW2之间的转发被阻塞）。

●规划多个VRRP组，实现服务器网关的备份和负载分担。如图3，在正常

转发时汇聚交换机（AGG_SW1、AGG_SW2）分别作为VLAN30和VLAN50的

VRRP Master设备。如汇聚层部署了L4/L7设备（如防火墙），则在L4/L7设备上规划VRRP组，并将VRRP的虚拟IP作为服务器的网关。

图3.接入层MSTP+VRRP部署

●在汇聚交换机上指定根桥。恰当放置根桥不但可优化生成树协议所选择

的路径，还可以为数据提供明确的路径，明确的路径使排错和配置网络变得更为容易。通过在汇聚层交换机上手工配置根桥的主、备策略，确保生成树在二层链路形成最佳的树型拓扑。

●汇聚交换机上联的三层接口配置“STP Disable”命令。对于不需要参与

STP的端口应关闭STP特性，由此可节省设备的CPU资源和BPDU报文的发送范围，以降低网络发生故障的几率。

●接入交换机与服务器直连端口设置为“边缘端口”。网络拓扑变化时，

边缘端口不会产生临时环路。因此，如果将服务器接入端口配置为边缘端口，则该端口可以快速迁移到转发状态，降低网络的故障收敛时间。。

●接入交换机与服务器相连的端开启“BPDU保护”功能，如图3。边缘端

口正常情况不应收到生成树协议的配置消息，如有人伪造配置消息恶意攻击设备，会引起生成树重新计算，启动BPDU保护功能可防止这种攻击，避免发生网络拓扑震荡。

●接入交换机上行端口开启“环路保护”功能，如图3。如果接入交换机

上行端口发生链路拥塞或者单向链路故障时，环路保护功能会将根端口的角色变为指定端口，端口的状态为Discarding；原来被阻塞端口同样也变为指定端口，状态为Discarding 状态，不转发报文，从而不会在网络中形成环路，避免引起网络拓扑震荡。

●汇聚交换机（根桥和备份根桥）与接入交换机互联的端口开启“root保

护”功能，如图3。当开启“root保护功能”的端口收到优先级高的配置消息时，该端口的状态将被设为Discarding，不再转发报文。当足够长的时间内没有再次收到更优的配置消息时，端口会恢复正常状态。这种功