NSX-T网络性能优化策略与实践

RSS
Core 1 Core 2 Core 3
Core n
1200Байду номын сангаас Usage
20 % Usage
20 %
20%
Usage … Usage
HyEpSeXrvisKoerrKneerlnSeplSapcaece Thread 1 Thread 2 Thread 3 … Thread n
NNeetwtwoorrkkAAddaappteerrQQuueeuueses Queue 1 Queue 2 Queue 3 … Queue n
Source Port
Dest Port (6081)
UDP Length
UDP Check Sum
Version
Length
Flags
Protocol Type
VNI Options
5
关键调优特性
6
Geneve Offload
基于网卡的TSO
由物理网卡处理分片
MAC IP
65K
TCP Payload
FCS
TEPs*
IP Header IP
Header
Outer Outer
Data Proto- Check Sum Source IP Dest IP
col
Outer
Outer
Optional
Optional
Dest MAC Source MAC
Type
Outer 802.1Q Ether Type
# queues supported:8 # filters supported:512 # active filters:0 # filters moved by load balancer:254 # of Geneve OAM filters:2 RX filter classes:Rx filter class: 0x1c -> VLAN_MAC VXLAN Geneve GenericEncap Rx Queue features:features: 0x82 -> Pair Dynamic } />
20 bytes
Outer IP Header
8 bytes
Outer UDP Header
8+ bytes
Geneve Header
Inner Dest MAC
Inner Source MAC
Optional Ether Type
Optional Inner 802.1Q
Original Ethernet Payload
MTU MAC IP UDP Geneve MAC IP TCP Payload
MAC IP UDP Geneve MAC IP TCP Payload MAC IP UDP Geneve MAC IP TCP Payload
MTU
MAC IP UDP Geneve MAC IP TCP Payload MAC IP UDP Geneve MAC IP TCP Payload MAC IP UDP Geneve MAC IP TCP Payload
Rx Filters
Geneve Encapsulated Frame
Original Ethernet Frame
14 bytes
Outer Ethernet Header
20 bytes
Outer IP Header
8 bytes
Outer UDP Header
8+ bytes
Geneve Header
NSX-T网络性能优化策略与实践
目录
概述
数据中心典型流量分析 Geneve：下一代隧道协议
关键调优特性
Geneve Offload RSS / RX-Filters
VMware网卡兼容列表
Edge性能优化
总结
2
概述
3
数据中心典型流量分析
东西向流量
Geneve Offload, Geneve Rx / Tx Filters, RSS
V M w ar e兼容列表
13
VMware兼容列表
https:///resources/compatibility /search.php?deviceCategory=io
功能
检查网卡兼容性 查看网卡特性
适用范围
仅针对计算节点 裸金属Edge的网卡要求，参考《NSX-T安装指南》
devicecategoryio功能检查网卡兼容性查看网卡特性适用范围仅针对计算节点裸金属edge的网卡要求参考nsxt安装指南发现合适的驱动选择特性网卡名如有2选择厂商34选择io设备类型选择native驱动61选择esxi版本5查看结果7发现合适的驱动选择网卡型号点击esxi版本12发现合适的驱动2该网卡支持geneveoffload及geneverxfilter展开查看具体特性118edge性能优化dpdknsxtedge支持dpdk实现不同cpu架构下快速数据转发提供线速有状态服务负载均衡器nat等适用于vmedge及裸金属edgevmedge为interrupt模式裸金属edge为poll模式edgevm物理网卡选用支持rss的网卡edgevmvmxnet3网卡编辑vm配置文件添加如下参数a
18
DPDK
NSX-T Edge 支持DPDK
实现不同CPU架构下快速数据转发 提供线速有状态服务(负载均衡器、NAT等)
适用于VM Edge及裸金属Edge
VM Edge为interrupt模式 裸金属Edge为poll模式
Edge VM
1
编辑VM设置
2
编辑高级选项
物理网卡
选用支持RSS的网卡
Options
IP
Version
Src IP
Dest IP
etc
Length
Rx Filters
Core 1 Core 2 Core 3
Core n
20% Usage
20% Usage
20%
20%
Usage … Usage
ESXi Kernel Space Thread 1 Thread 2 Thread 3 … Thread n
Inner Dest MAC
Inner Source MAC
Optional Ether Type
Optional Inner 802.1Q
Original Ethernet Payload
FCS
IP Header IP
Header
Outer Outer
Data Proto- Check Sum Source IP Dest IP
Network Adapter Queues Queue 1 Queue 2 Queue 3 … Queue n
使用内部包头进行排队决策
更适用于Overlay流量均衡
检查RX Filters是否启用
:~] vsish /> cat /net/pNics/vmnic5/rxqueues/info rx queues info {
Telco / NFV: Enhanced Data Path
VM1: 10.10.10.101
VM2: 10.10.10.102
分段 1
逻辑路由器
分段 2
分布式防火墙 VM3: 20.20.20.102
封装 / 解封装
封装 / 解封装
外部网络
南北向流量
RSS, DPDK 网关
封装 / 解封装
TEP 192.168.1.103
Edge VM
vmxnet3网卡 编辑VM配置文件 添加如下参数 a. ethernetX.ctxPerDev = “3” b. ethernetX.pnicFeatures = “4”
总结
21
总结
功能特点
计算节点
Geneve-Offload Geneve-RxFilters RSS
业务价值
降低CPU负载 优化多核运算 提升吞吐效能
col
Source Port
Dest Port (6081)
UDP Length
UDP Check Sum
Outer
Outer
DeV1se1rtsMioAnC SoLuercnegtMhAC
Optional FTlyapges
OPuOrtTeopyrttpoi8oec0no2al.l1Q EtheVrNTyI pe
VM Edge
RSS
裸金属Edge
DPDK
ethernetX.ctxPerDev = “3” ethernetX.pnicFeatures = “4”
优化多核运算 提升吞吐效能
高PPS 高吞吐 低延迟
谢谢聆听！
20
未启用RSS时
默认使用单队列处理接收流量
启用RSS时
每个网卡接收队列均有单独线程以调用更多CPU资源 基于五元组哈希均匀调度至不同队列
检查网卡是否启用RSS
~ # vsish /> get /net/pNics/vmnic0/rxqueues/info rx queues info { # queues supported:5 # filters supported:126 # active filters:0 Rx Queue features:features: 0x1a0 -> Dynamic RSS Dynamic Preemptible } />
ESXi 1 ESXi 2 ESXi 3
TEP 192.168.1.101
TEP 192.168.1.102
Switch
4
Geneve：下一代隧道协议
Geneve Encapsulated Frame
Original Ethernet Frame
14 bytes
Outer Ethernet Header
MTU
MAC IP UDP Geneve MAC IP TCP Payload MAC IP UDP Geneve MAC IP TCP Payload
MAC IP UDP Geneve MAC IP TCP Payload
使用支持Geneve Offload的网卡达到最佳性能
Geneve Offload
检查Geneve-Offload是否启用 ~] vsish -e get /net/pNics/vmnic2/properties | grep "GENEVE" Device Hardware Cap Supported:: 0x793c032b -> VMNET_CAP_SG VMNET_CAP_IP4_CSUM VMNET_CAP_HIGH_DMA VMNET_CAP_TSO VMNET_CAP_HW_TX_VLAN VMNET_CAP_HW_RX_VLAN VMNET_CAP_SG_SPAN_PAGES VMNET_CAP_IP6_CSUM VMNET_CAP_TSO6 VMNET_CAP_TSO256k VMNET_CAP_ENCAP VMNET_CAP_GENEVE_OFFLOAD VMNET_CAP_IP6_CSUM_EXT_HDRS VMNET_CAP_TSO6_EXT_HDRS VMNET_CAP_SCHED
基于CPU的TSO
由Hypervisor CPU处理分片
MAC IP
65K
TCP Payload
MAC IP
UDP Geneve MAC IP
65K
TCP Payload
MAC IP
UDP Geneve MAC IP
65K
TCP Payload
65K
hv
MAC IP UDP Geneve MAC IP TCP Payload
发现合适的驱动
1
选择ESXi版本
2
选择厂商
4
选择IO设备类
型
3
网卡名（如有）
查看结果
7
5
选择特性
6
选择Native驱动
发现合适的驱动
选择网卡型号
1
2
点击ESXi版本
发现合适的驱动
展开[+]查看具体特性
1
2
该网卡支持Geneve Offload 及 GeneveRxFilter
Ed g e性能优化