阿里云云原生容器网络实践
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
阿里云云原生容器网络实践
目录
• 容器网络概述 • 虚拟化网络介绍 • 阿里云云原生容器网络 • 容器网络演示
容器介绍
容器原理与演变
• Cgroups+Name Spaces
• 计算 存储 网络
• 宿主机 由物理机演变为云服务器 - Bare Metal Server - Eslatic Compute Server(ECS)
ECS 192.168.0.1
ECS 192.168.0.2
Pod 192.168.0.3
Pod 192.168.0.4
ECS 192.168.0.5
Pod 192.168.0.6
Pod 192.168.0.7
• POD网络和ECS同等地位 • 与已有云资源互联互通 • POD网络可以和云产品无缝整合
192.168.1.100
10.0.1.253
10.0.1.0/24->Bridge
NIC
Primary IP: 192.168.1.100 10.0.1.0/24->ECS
vSwitch
Virtual Network
ECS
veth
Bridge 192.168.1.101
10.0.2.253
10.0.2.0/24-> Bridge
阿 里 云 VPC 192.168.0.0/16
弹性网卡直通的容器网络
master APIServer
Node Kubelet
Terway CNI
OpenAPI
eth0 VSwitch
Pod
Pod
eth0
eth0
eni1
eni2
VSwitch VPC
弹性网卡辅助IP的容器网络
master APIServer
• 容器通过veth连接到网桥上 • 跨节点通过外部网络打通
Pod1 பைடு நூலகம்0.0.1.1
veth
Pod2 10.0.1.2
veth
Pod3 10.0.2.1
veth
• 缺点
- IP地址无法漂移 - 容器无法直接使用云上的诸多服务 - 生能较差 - 集群规模受外部路由限制
ECS
veth
veth
Bridge
192.168.0.0/24 -> cni0 192.168.0.0/16 -> vni
vni 192.168.0.0
vxlan 封包 解包
eth0
VXLAN隧渣
云网络带来的变化
Internet
阿里云网络场景全景图
Internet
云上网络 跨地域网络
VPC
用户系统
杭州region
阿里公网
VPC
用户系统
NIC
Primary IP: 192.168.1.101 10.0.2.0/24->ECS
vSwitch
传统容器网络方案（二）
Overlay方案
• 不同主机上的pod在不同网段， 每个节孛独立分配，保证IP唯—
• 跨主机的容器通信通过v封 解x包 包lan封装
• 缺孛:
- 无法使用云网络下的各种服务 - 和外部网络无法互联互通 - 生能损失大
0.1
8000
2000000
20
0.08
6000
1500000
15
0.06
4000
1000000
10
0.04
2000
500000
0
ENI直通
TCPRR
ENI多IP IPVLAN
Flannel Vxlan
0
ENI直通
UDP PPS
ENI多IP IPVLAN Flannel Vxlan
• TCP RR, UDP PPS, 带宽，延时优于Vxlan Overlay方案 • 在UDP小包情况下的PPS优势明显，适合于高性能计算和游戏场景
• 网络环境变化 由物理网络演变为虚拟网络
Container
Container
Cgroups Name Spaces
计算
Kernel
存储
网络
Bare Metal
ECS
物理机
sandbox
单独的网络协议栈
容器网络
endpoint
网络设备
k8s-master
Container1 network sandbox
Node Kubelet
Terway CNI
eth0
Pod eth0
IPVLAN
eni1
Pod eth0
Pod
…
eth0
IPVLAN
eni2
OpenAPI
VSwitch
VSwitch VPC
性能对比
14000
3500000
35
0.14
12000
3000000
30
0.12
10000
2500000
25
vxlan 封包 解包
eth0
External Network
udp package 172.16.0.7:4789->172.16.0.8:4789 Ethernet package pod1->pod3
Pod2
0.0.0.0/0 -> eth0
Eth0
veth
cni0/linux bridge 192.168.0.1
容器应用 容器平台 基础设施
Web
Stateful
HPC/ML
Kubernetes核心和扩展机制
容器网络接口CNI
CRI
CSI
Terway网络组件 IPAM
安全
QOS
Docker/ Containerd
存储
Linux
Cloud Controller
公有云
SLB
VPC
ENI
EIP
阿里云云原生容器网络
智能接入网关
香港
VPC
用户系统
新加坡region
阿里公网
云连接网 （新加坡）
边界路由器 （新加坡）
宽带
4G
专线
CPE
智能接入网关
智能接入网关
新加坡
• 弹性网卡
- 热插- 安全组隔离
• 网卡多IP
- 更轻量的网络载体 - 支持访问云服务 - 业务层面和 弹性网卡同等地位
弹性网卡及其多IP
容器网络的结构和位置
香港region
阿里公网
云企业网一点接入、全球互联
混合云网络 用户网络
边界路由器 （杭州）
云连接网 （中国大陆）
高速上云服务
宽带
4G
边界路由器 （上海）
高速上云服务
智能接入网关 智能接入网关
智能接入网关
智能接入网关
智能接入网关
中国大陆
云连接网 （香港）
边界路由器 （香港）
宽带
4G
专线
CPE
智能接入网关
endpoint
Container2 network sandbox
endpoint
network host
network
network
内部网络 外部网络
Container3
network sandbox
endpoint
endpoint
network host
传统容器网络方案（一）
Bridge方案
Pod1
0.0.0.0/0 -> eth0
Eth0
Pod2
0.0.0.0/0 -> eth0
Eth0
0.0.0.v0/e0th-> eth0
veth
cni0/linux bridge
192.168.0.1
192.168.0.0/24 -> cni0 192.168.0.0/16 -> vni
vni 192.168.0.0
目录
• 容器网络概述 • 虚拟化网络介绍 • 阿里云云原生容器网络 • 容器网络演示
容器介绍
容器原理与演变
• Cgroups+Name Spaces
• 计算 存储 网络
• 宿主机 由物理机演变为云服务器 - Bare Metal Server - Eslatic Compute Server(ECS)
ECS 192.168.0.1
ECS 192.168.0.2
Pod 192.168.0.3
Pod 192.168.0.4
ECS 192.168.0.5
Pod 192.168.0.6
Pod 192.168.0.7
• POD网络和ECS同等地位 • 与已有云资源互联互通 • POD网络可以和云产品无缝整合
192.168.1.100
10.0.1.253
10.0.1.0/24->Bridge
NIC
Primary IP: 192.168.1.100 10.0.1.0/24->ECS
vSwitch
Virtual Network
ECS
veth
Bridge 192.168.1.101
10.0.2.253
10.0.2.0/24-> Bridge
阿 里 云 VPC 192.168.0.0/16
弹性网卡直通的容器网络
master APIServer
Node Kubelet
Terway CNI
OpenAPI
eth0 VSwitch
Pod
Pod
eth0
eth0
eni1
eni2
VSwitch VPC
弹性网卡辅助IP的容器网络
master APIServer
• 容器通过veth连接到网桥上 • 跨节点通过外部网络打通
Pod1 பைடு நூலகம்0.0.1.1
veth
Pod2 10.0.1.2
veth
Pod3 10.0.2.1
veth
• 缺点
- IP地址无法漂移 - 容器无法直接使用云上的诸多服务 - 生能较差 - 集群规模受外部路由限制
ECS
veth
veth
Bridge
192.168.0.0/24 -> cni0 192.168.0.0/16 -> vni
vni 192.168.0.0
vxlan 封包 解包
eth0
VXLAN隧渣
云网络带来的变化
Internet
阿里云网络场景全景图
Internet
云上网络 跨地域网络
VPC
用户系统
杭州region
阿里公网
VPC
用户系统
NIC
Primary IP: 192.168.1.101 10.0.2.0/24->ECS
vSwitch
传统容器网络方案（二）
Overlay方案
• 不同主机上的pod在不同网段， 每个节孛独立分配，保证IP唯—
• 跨主机的容器通信通过v封 解x包 包lan封装
• 缺孛:
- 无法使用云网络下的各种服务 - 和外部网络无法互联互通 - 生能损失大
0.1
8000
2000000
20
0.08
6000
1500000
15
0.06
4000
1000000
10
0.04
2000
500000
0
ENI直通
TCPRR
ENI多IP IPVLAN
Flannel Vxlan
0
ENI直通
UDP PPS
ENI多IP IPVLAN Flannel Vxlan
• TCP RR, UDP PPS, 带宽，延时优于Vxlan Overlay方案 • 在UDP小包情况下的PPS优势明显，适合于高性能计算和游戏场景
• 网络环境变化 由物理网络演变为虚拟网络
Container
Container
Cgroups Name Spaces
计算
Kernel
存储
网络
Bare Metal
ECS
物理机
sandbox
单独的网络协议栈
容器网络
endpoint
网络设备
k8s-master
Container1 network sandbox
Node Kubelet
Terway CNI
eth0
Pod eth0
IPVLAN
eni1
Pod eth0
Pod
…
eth0
IPVLAN
eni2
OpenAPI
VSwitch
VSwitch VPC
性能对比
14000
3500000
35
0.14
12000
3000000
30
0.12
10000
2500000
25
vxlan 封包 解包
eth0
External Network
udp package 172.16.0.7:4789->172.16.0.8:4789 Ethernet package pod1->pod3
Pod2
0.0.0.0/0 -> eth0
Eth0
veth
cni0/linux bridge 192.168.0.1
容器应用 容器平台 基础设施
Web
Stateful
HPC/ML
Kubernetes核心和扩展机制
容器网络接口CNI
CRI
CSI
Terway网络组件 IPAM
安全
QOS
Docker/ Containerd
存储
Linux
Cloud Controller
公有云
SLB
VPC
ENI
EIP
阿里云云原生容器网络
智能接入网关
香港
VPC
用户系统
新加坡region
阿里公网
云连接网 （新加坡）
边界路由器 （新加坡）
宽带
4G
专线
CPE
智能接入网关
智能接入网关
新加坡
• 弹性网卡
- 热插- 安全组隔离
• 网卡多IP
- 更轻量的网络载体 - 支持访问云服务 - 业务层面和 弹性网卡同等地位
弹性网卡及其多IP
容器网络的结构和位置
香港region
阿里公网
云企业网一点接入、全球互联
混合云网络 用户网络
边界路由器 （杭州）
云连接网 （中国大陆）
高速上云服务
宽带
4G
边界路由器 （上海）
高速上云服务
智能接入网关 智能接入网关
智能接入网关
智能接入网关
智能接入网关
中国大陆
云连接网 （香港）
边界路由器 （香港）
宽带
4G
专线
CPE
智能接入网关
endpoint
Container2 network sandbox
endpoint
network host
network
network
内部网络 外部网络
Container3
network sandbox
endpoint
endpoint
network host
传统容器网络方案（一）
Bridge方案
Pod1
0.0.0.0/0 -> eth0
Eth0
Pod2
0.0.0.0/0 -> eth0
Eth0
0.0.0.v0/e0th-> eth0
veth
cni0/linux bridge
192.168.0.1
192.168.0.0/24 -> cni0 192.168.0.0/16 -> vni
vni 192.168.0.0