SDN控制器集群中的分布式技术实践-王飓

(ForwardingHardware) (ForwardingHardware) (ForwardingHardware) 3
Data Plane
Data Plane
(ForwardingHardware)
Data Plane
Data Plane
SDN核心理念
控制和 转发分离
成功？
开放的 API 集中控制
Virtual Network
Virtualised Infrastructure Manager
NFV M&O 7
OpenStack
Your Applications
APIs
OPENSTACK
CLOUD OPERATING SYSTEM
OpenStack Dashboard Compute Networking Storage
V
C
F
APP Delivery
APP Oriented Comm. & Sec.
APP Provision
ESM+NSM
iMC Platform
NSM
iMC Platform
NSM+CSM
iMC Platform
EIC
VCF Controller
VCF Controller
VCF Controller
用户上层应用系统
Open API
Intelligent Management Center（iMC）
资源 管理层
Endpoint Service Management （ESM）
Network Service Management （NSM）
Cloud Service Management （CSM）
CIC
VM SW SW RT FW LB SW SW RT FW LB SW SW RT FW LB Disk
VM
VM
Disk
Disk
Endpoints/users
Network
Network
Network
Compute/Storage
12
浙江政务云
Public Cloud
Internet
Government Cloud Public Service Zone (Virtual Private Cloud)
Data Plane
(ForwardingHa rdware) (ForwardingHa rdware)
(ForwardingHa rdware)
Data Plane
Data Plane
5
NFV
NFV——Network Functions Virtualization
NV——Network Virtualization
Public Service Zone
Shared Zone
Provincial Government Cloud
Provincial Government Extranet
Municipal Government Cloud
Municipal Government Cloud
……
Municipal Government Cloud
配置管理层
内置应用层
L2网络
L3网络
Overlay网络
服务功能链
软件管理
基础网络层
拓扑管理 链路管理
主机管理 连接管理
设备管理 流表管理
报文收发 路径计算
QoS管理 转发管理
IPv4协议 IPv6协议
集群管理
抽象逻辑层 南向接口层
SAL
OPENFLOW 1.0/1.3
NETCONF/XMPP OVSDB/SNMP/CAPWAP
VPN——Virtual Private Network
Multi-tenant
Overlay
VNF——Virtualised Network Functions
6
NFV Architecture
OSS/BSS
Service,VNF& Infrastructure Description
Orchestrator
KeyStore
SDN controller 1
APP1 APP2
SDN controller 2
APP1 APP2
SDN controller 3
APP1 APP2
KeyStore
Zookeeper
KeyStore
Zookeeper
KeyStore
Zookeeper
KeyStore机制给新加入的Controller或者新启动的App恢复系统中其它Controller 上相同App已经生成的运行时数据。 KeyStore 实现了一个非常简单的数据库功能，采用 Key-Value 机制，不支持范围 查找，只提供了设置和获取接口，没有通知接口。 24
APP1 BUS APP2 BUS
Zookeeper
Zookeeper
Zookeeper
bus通道给应用模块提供了实时消息的分发和接受处理机制，不同APP的bus通道 彼此独立。 发送的bus消息，实际上就是在zookeeper中创建一个数据节点，其他成员的接收 消息的过程是通过watch机制感知到节点变化事件后，将对应节点数据读出来。 23
上报Team事件
当Team模块通过zookeeper的watch机 制感知到集群成员信息变化或 leader 信 息变化时，会给所有加入Team的模块上
员信息，其他成员通过 watch 机制感 知成员加入。
成员离开 Team ：成员由于故障或其 他 原 因 离 开 Team ， 该 成 员 在 zookeeper 上 Session 信息会被老化， 导致该成员的节点信息被删除，其他 成员通过watch机制感知成员离开。
BGP/BGP-LS/PCEP
UI界面
16
Overlay处理流程
Controller
1：packetIn
3：packetOut
2：Set Flow
vSwitch1
vSwitch2
vm1
vm2
17
Controller的控制能力
Controller的处理瓶颈：首包上送的处理能力（路由计算+流表下发） 一个Host节点一般有1个vSwitch，可以起20-30个vm，每秒可能产 生500个以上的新流 500K TPS的性能，对应的上限是1000个Host >1000 ?
Controller Cluster
18
Controller Cluster部署方案
Region
Leader Leader Leader
Region
Member Member Member
Region
Member Member
19
Team管理功能和结构
APP1 Team内成员管理 APP2 APP3 APP4
21
Team内的HA
BUS
KeyStore 目标
提供数据实时备份功能
提供数据批量备份功能
HA对App是不可见的，即App使用最简洁的接口完成数据同步
22
BUS
SDN controller 1
APP1 BUS APP2 BUS
SDN controller 2
APP1 BUS APP2 BUS
SDN controlroller 1
APP BUS
SDN controller 2
APP BUS
KeyStore
KeyStore
Zookeeper
Zookeeper
集群中某个成员业务数据变化时，发送bus消息通知其他成员，同时将本成员的运 行数据以key&value的形式保存在KeyStore中。
集中控制
方便对池化的资源进行灵活的控制和监管
Carriers’Infrastructu re Information
开放的API
开放统一的南向和北向接口将催生成熟的产业链
Data Plane
SDN
(ForwardingHa rdware)
Southbound In terface Control and Data Planes Se paration
GUI shell Framework
Topology OpenFlow
App Development
Discovery OSGi
NetConf
Java (1.7/64bits) OS (Linux 64bits)
15
Controller逻辑层次
北向接口层
Restful API JAVA/C/C++嵌入式API
25
批量备份
SDN controller 1
VNF
EMS 1 VNF 1 EMS 2 VNF 2 EMS 3 VNF 3 VNF Managers
NFVI
Virtual Compute Virtual Storage
Virtualisation Layer Hardware Resources Computing Hardware Storage Hardware Network Hardware
从zookeeper中读取出所有成员的信 息，根据成员的优先级，从中选出优 先级最高的leader ，并将该 leader 信 息保存在 zookeeper中，其他成员通 过watch机制感知leader变化。
报事件，其中包括： Team 的状态事件（ 是否可用）、成员的变化事件（加入 / 离 开）和leader的变化事件等。
基础 承载层
App
端点
iNode
经典网络
OpenFlow网络
VSR
vLB
VNF
vAC
vFW vIPS
计算
vBRAS
VPN
存储
FlexStorage
FlexServer
EAD
VDI
CVK
App
BYOD
Compute Unit
App OS
OS
App O S
OS
UIS
X86 hardware
11
VCF Architecture 商业模型
13
目录
SDN & NFV
SDN部署实际案例
SDN Controller集群部署方案以及优化
14
Controller软件架构
Keystone
PostgreSQL Zookeeper Cassandra RabbitMQ
REST API shell Framework Audit Log
Teaming Alerts …
服务编排Orchestration (设计&交付) 资源池化，IT基础服务单元 (OpenStack Embedded)
融合 控制层
Endpoint Intelligent Center （VCF-EIC）
Virtual Converged Framework Controller （VCFC）
Cloud Intelligent Center （VCF-CIC）
Leader选举
上报Team事件
Team
Zookeeper
20
Team的功能实现
Team内成员管理
成员进入 Team ：首先将本成员节点 信息保存到 zookeeper上，同时设置 watch ，从 zookeeper 中读取现有成
Leader选举
leader 角色的成员进入 Team 后，检 测 Team 是 否 已 选 出 leader ， 如 果 leader不存在，触发选举流程，首先
4
SDN的背后
云计算
控制和转发分离
控制层面可以摆脱对传统网络设备的依赖， 迅速发展
要求
按需索取，动态管理
计算 存储 网络
虚拟化
SDN Se rvices, Apps Northbound In terface SDN Language App APIs Programmable Control PlaneCont rol Network OS East-west Interface Programmable Control PlaneCont rol Network OS
OpenStack Shared Services Standard Hardware
8
网络虚拟化
控制/管理
SDN
Overlay NFV
采用
转发/隔离
网络虚拟化
功能/架构
需要
云计算
9
目录
SDN & NFV
SDN部署实际案例 SDN Controller集群部署方案以及优化
10
VCF（Virtual Converged Framework）
SDN控制器集群中的
日期：201409 杭州华三通信技术有限公司
目录
SDN & NFV SDN部署实际案例 SDN Controller集群部署方案以及优化
2
SDN架构
SDN Se rvices, Apps
Northbound Interface SDN Language App APIs Programmable Control Plane Carriers’Infrastructu re Information Network OS Southbound Interface Control and Data Planes Separation East-west Interface Programmable Control Plane Network OS