技术盛宴丨从实战浅析运营商云资源池—解析流量模型

前篇《从实战浅析运营商云资源池网络—技术的抉择》浅析了“某运营商IT云资源池网络”的技术选用和原因，本篇将进一步阐述业务场景的关键流量模型，例如：域内和域间的同租户二三层互访、异租户三层互访、安全防护、南北向流量等；从而帮助大家了解数据中心的”血液”是如何在网络Overlay中流动的，进一步熟悉云计算数据中心的底层网络架构和逻辑。

01 整体拓扑介绍

图1.1.▲整体拓扑图示

该案例网络主要结构示意如上图，其中一些无关的细节做了精简和裁切。该网络中有多个POD，每个POD均有自己独立的出口。POD内部的网络设备使用EVPN VXLAN方式实现Overlay。

POD之间采用DCI互联层进行连接，DCI 接入交换机之间通过EVPN VXLAN实现L2/L3 VPN。

02 POD内流量模型介绍

同租户L2流量

租户的Host通常都有规划在一个Bridge中的需求。同交换机下的L2互通由本地服务器中vSwitch进行互通或交换机本地L2转发即可，但POD内的一个租户的Host因资源分配的原因经常分配在不同的Leaf 交换机下，因此需要实现跨Leaf的L2流量互通。

图2.1.▲同租户L2流量模型图示

同租户L2流量模型说明如下：

同一租户网络内主机之间的L2通信，不同VTEP之间的转发，由Leaf进行VXLAN封装后，发送到VXLAN 隧道的对端VTEP，然后进行VXLAN解封装，核心交换机（Spine）仅实现外层报文的三层路由,流量不经过Border（出口边界交换机）。

同租户L3流量

对于一个租户的不同的Network，可能会有通过”vRouter”进行L3互通的需求。因此需要通过交换机给租户提供”vRouter”的功能特性。

图2.2.▲同租户L3流量模型图示

流量模型说明如下：

同一租户网络内业务之间的三层通信，不同VTEP之间的转发，由Leaf进行VXLAN封装后，根据报文目的ip，查找路由表，发送到VXLAN隧道的对端VTEP，然后进行VXLAN解封装,剥离VxLAN报文，还原出原始的数据帧,根据目的ip找到出端口,发送给接收主机.域内同租户跨L3通信，涉及不同VTEP之间的L3路由；采用分布对称式进行部署设计, Spine仅实现外层报文的三层路由,转发不经Border和防火墙，仅在Leaf 完成。

异租户L3流量

图2.3.▲异租户L3流量模型图示

在不同的VPC之间，可能会有一些业务系统有互通的需求，网络设备Overlay的VRF之间互通可以采用外部路由器、BGP VPN间路由泄露的方式来实现VPC间的路由互通，考虑到一般来说VPC间的业务互通通常是有限的，比如存在不同的安全域级别、仅允许部分IP或端口互通。因此，本案例中的这部分流量采用外部防火墙来进行互通，同时实现安全策略控制。

流量模型说明如下：

VPC之间的通信流量需要经过Border，且需要经过内部防火墙进行流量过滤清洗。先在Leaf上实现VXLAN封装，同时在Border上解封装后发送给防火墙(引入防火墙，在防火墙内部串接完成VRF过渡)；防火墙回送Border的流量再经过Border进行VXLAN封装后发送给目的Leaf。

租户A流量传递到所在的Leaf设备，Leaf设备负责VXLAN的封装后将报文传递给Border，Border 通过静态或动态路由协议将报文引流至内层防火墙进行过滤清洗，同时进行VXLAN的解封装。

内层防火墙收到引流报文后，将VRF-A和VRF-B进行路由互导，并将报文通过防火墙路由回注至Border 对应的VRF-B的接口。

Border重新封装Vxlan Tunnel至租户B所在Leaf，解封装后到达目标主机。

03 POD间流量模型介绍

对于同租户内需要实现L2/L3互通的业务中，其中一些例如容灾的、分布式部署的服务需要实现异地的部署，这类业务对网络提出了跨POD进行L2和L3互通的需求，这里考虑到链路成本等问题通常会用到L2/L3

VPN的方式，上一篇文章有介绍几种通过VXLAN实现L2VPN的方式（VXLAN的特性同时也可以实现L3 VPN），本例采用Vlan Hand-Off方式实现。

同租户L2流量

图3.1.▲跨POD同租户L2流量模型图示

跨POD同租户L2流量模型说明如下：

数据中心内采用分布式VxLAN网关，Server到Border实现L2/L3 VXLAN交换;跨POD的L2流量无需经过防火墙过滤，在POD1的Leaf封装VXLAN、Border解封装VXLAN后，以Vlan方式上送DCI交换机封装为vxlan后送到对端DCI交换机，还原vlan报文发送给POD2的Border，再次封装VXLAN发送给Leaf进行解封装，到达最终主机。

同租户L3流量

图3.2.▲跨POD同租户L3流量模型图示

跨POD同租户L3流量模型说明如下：

POD间同租户三层互访与二层互访路径略有相似，Border到DCI Leaf通过子接口进行dot1q封装实现互联，建立静态或者动态路由, 实现报文转发，屏蔽各厂商bgp evpn控制协议的异构性；跨域L3在POD-1的Leaf封装VXLAN、Border解封装VXLAN后，通过Vlan封装发送给DCI互联层, 在DCI互联层进行封装解封装VXLAN，再通过Vlan封装发送给POD-2的Border处理，POD-2的Border再封装VXLAN给Leaf进行解封装，发送给最终的主机。

异租户L3流量

除同租户外的POD间通信之外，不同租户之间也同样可能需要跨POD进行互相通信，同时也需要防火墙来提供丰富的控制策略。因为涉及到整个DCI层以及存在多组防火墙，整体逻辑会比在同POD内进行异租户间互通要稍复杂些。

图3.3.▲跨POD异租户L3流量模型图示

跨POD异租户L3流量模型说明如下：

跨POD的不同租户L3互访需要借助防火墙在两个VRF间进行路由泄露和流量过滤清洗，数据中心内采用分布式VxLAN网关，server到border实现L2/L3 VXLAN交换，Border到DCI互联层通过Vlan封装实现互联，建立静态或者动态路由, 实现报文转发，屏蔽各厂商bgp evpn控制协议的异构性。域间不同租户间的业务流量需经过防火墙，选择哪边的防火墙根据每个业务情况进行选择。报文封装逻辑流程与前篇Vlan Hand-Off的介绍基本一致，其中不一样的地方为在需要进入防火墙一侧的DCI出口，Border到防火墙再到DCI交换机时在防火墙上有一个三层转发的过程；

租户A流量传递到POD1的Leaf设备，Leaf设备负责VXLAN的封装后将报文传递给Border设备，网关设备VXLAN解封装，通过静态或动态路由将报文牵引至防火墙实现VRF间互通和安全策略。

防火墙收到报文后，将VRF-A和VRF-C之间的路由进行相互泄露，且将报文发送给Border对应的VRF-C 的接口。

Border收到防火墙的报文后，流量通过VLAN封装发送给DCI Leaf-1。DCI Leaf-1收到报文后，进行VXLAN封装后将报文发给DCI Leaf-2。

DCI Leaf-2进行VXLAN的解封装后,流量通过VLAN封装传输给POD2 Borde Leaf对应的VRF-B接口。

POD2的Border收到报文后，重新进行VXLAN的封装，通过VRF-B的路由表，将报文发送给目的Leaf