互联网数据中心交换网络技术白皮书

互联网数据中心交换网络的设计

1 引言

互联网数据中心(internet data center，IDC)是指拥有包括高速宽带互联网接入、高性能局域网络、提供安全可靠的机房环境的设备系统、专业化管理和完善的应用级服务的服务平台。在这个平台上，IDC服务商为企业、ISP、ICP和ASP等客户提供互联网基础平台服务以及各种增值服务。

作为业务承载与分发的基础网络系统，就成为IDC平台的动脉。随着中国IDC产业不断发展和业务需求多样化，基础网络逐步发展出一套相对比较通用和开放的方案架构。

2 当前主要的IDC基础网络架构

虽然各IDC机房各有度身定制的业务需求，网络设计也有各自的关于带宽、规模、安全和投资的考虑因素，但最基本的关注点仍然集中在高可靠、高性能、高安全和可扩展性上。

2.1 通用的IDC架构

在整体设计上，层次化和模块化是IDC架构的特征，如图1，这种架构设计带来了整体网络安全和服务部署的灵活性，给上层应用系统的部署也提供了良好的支撑。

图1IDC层次化&模块化设计架构

分区结构采用模块化的设计方法，它将数据中心划分为不同的功能区域，用于部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性和高可用性。数据中心的服务器根据用户的访问特性和核心应用功能，分成不同组，并部署在不同的区域中。由于整个数据中心的很多服务是统一提供的，例如数据备份和系统管理，因此为保持架构的统一性，避免不必要的资源浪费，功能相似的服务将统一部署在特定的功能区域内，例如与管理相关的服务器将被部署在管理区。

分区结构另一个特点是以IDC的客户群为单位进行划分，将具体客户应用集中在一个物理或逻辑范围内，便于以区域模块为单位，提供管理和其它增值服务。

层次化是将IDC具体功能分布到相应网络层、计算层和存储层，分为数据中心前端网络和后端管理等。网络本身根据不同的IDC规模，可以有接入层、汇聚层和核心层。一般情况下，数据中心网络分成标准的核心层、汇聚层和接入层三层结构。1）核心层：提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚模块扩展能力，中小型数据中心共用园区核心；当前以10G 接口为主，高性能的将要求4到8个10GE端口捆绑。2）汇聚层：为服务器群（server farm）提供高带宽出口；要求提供大密度GE/10GE 端口，实现接入层互联；具有较多槽位数提供增值业务模块部署。3）接入层：支持高密度千兆接入和万兆接入；接入总带宽和上行带宽存在收敛比和线速两种模式；基于机架考虑，1RU 更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。

图2IDC整体架构

图2注解：FW---fire wall 防火墙

ASE---Application Speed-up Engine 应用加速引擎

IPS---Intrusion Prevention System 入侵防御系统

AFC---Anomaly Flow Cleaner 异常流量清洗

层次化和模块化的方式较好地解决了IDC的灵活扩展要求，在整体设计上的关键节点采用双机冗余和链路冗余的方案，如图2，也可以极大提高系统可靠性。

冗余链路：在骨干网设备连接中,单一链路的连接很容易实现,但一个简单的故障就会造成网络的中断，因此在实际网络组建的过程中,为了保持网络的稳定性,在多台交换机组成的网络环境中,通常都使用一些备份连接,以提高网络的健壮性和稳定性。备份连接也称为备份链路或者冗余链路.备份链路之间的交换机经常互相连接,形成一个环路,通过环路在一定程度上实现冗余。

此种设计对于IDC的增值服务带来了可操作性。当前IDC增值业务发展迅速，包括安全防护、流量清洗、内容监控和应用计费等，具体实施部署则可依据主机单元和分区模块单元进行业务提供。

2.2 IDC内部的基础网络设计

基本的网络模型是三层组网，通常情况下，以汇聚层为单位，划分IDC的区域和模块，安全防护地部署

在每个分区模块内，按需部署。

图3 IDC单分区模块内部网络

图3注解 LB---Load Balancer 负载均衡器

常用的设计是以网络核心为全路由层，而各分区服务器的二层终结在汇聚层交换机上，汇聚层交换机与核心通过路由三层互联，因此在IDC各个模块内，以多生成树协议MSTP（Multiple Spanning Tree Protocol）+虚拟路由器冗余协议（virtual router redundancy protocol, VRRP）的方案，形成了服务器群的高可靠接入。

除了产品高可用设计外，H3C 作为领先的网络解决方案提供商，对数据中心高可用方案设计上进行了全面的验证，具体可分为服务器接入高可用设计，接入层到汇聚的高可用设计，汇聚层的高可用设计。2.2.1 服务器接入高可用设计

就是所谓的服务器多网卡接入。为了实现接入高可用，服务器通常采用多链路上行，即服务器采用两块或两块以上的多网卡接入，服务器中的网络驱动程序将两块或者多块网卡捆绑成一个虚拟的网卡，如果一个网卡失效，另一个网卡会接管它的MAC 地址，两块网卡使用同一个IP 地址，而且必须位于同一广播域，即同一子网下。服务器和接入交换机之间的连接方式有4种方式：

网络可用性从右至左依次升高。因此H3C 推荐采用第一种接入方式，这种连接方式的服务器采用交换机容错模式分别接入到两台机柜式交换机上，并且将VLAN Trunk 到两台设备上，实现服务器的高可靠接入。

2.2.2 接入到汇聚层高可用设计

接入到汇聚层共有4种连接方式，分别为倒U 型接法、U 型接法、三角型接法和矩形接法，这里所谓不同类型的接法是以二层链路作为评判依据，比如说矩形接法，从接入到接入，接入到汇聚、汇聚到汇聚均为二层链路连接，因此形成了矩形的二层链路接法。