骨干网络架构

(front-to-back, 1 fan tray in front)
1 front fan tray (intake)
(front-to-back, 2 fan assemblies in back)
8 AC power plugs
(matches to power bays in front of chassis)
核心层 汇聚层
汇聚层
常用的方式有： FRR 快速故障检测（BFD） VRRP-E 常用的方式有： MSTP/RSTP Multi-chassis Trunk
接入层
VRRP-E 可靠性和效率并重
Client Master R1 R2 Slave Client Master R1 R2 Slave
PS Module Module Module PS PS PS PS PS PS Module Fabric Module 2 Module Module Module Module
PS
Module Module Module Module Mgmt Module 1 (4.x) Fabric Module 1 Module Module Module Module
4 RU, 4-slot chassis AAS MTM: IBM 4003-R04 Features Overview • Redundant management modules • Redundant switch fabric modules • Redundant power supplies
7 RU, 8-slot chassis AAS MTM: IBM 4003-R08 Common Features • 16-port 10 GbE interface modules (SFP+) • 4-port 10 GbE interface modules (XFP)
14 RU, 16-slot chassis AAS MTM: IBM 4003-R16 • 48-port 10/100/1000 interface modules (MRJ21) • 24-port 10/100/1000 interface modules (RJ-45)
IBM 数据中心网产品概览
Data Center Enterprise Campus Server Connectivity
Access / Edge
c-series
IBM Converged Switch B32
g-series
CNA for IBM System x
x-series
Distribution / Aggregation
8-slot, 7RU chassis 16-slot, 14RU chassis AAS Type-Model: IBM 4003-M08 AAS Features •Redundant management modules •Redundant switch fabric modules •Redundant power supplies AAS Type Model: IBM 4003-M16 AAS Features •Redundant management modules •Redundant switch fabric modules •Redundant power supplies
Local Local DRAM DRAM
TM
TM
Local CPU
Local DRAM
TM
TM
Local CPU
Local DRAM
FE1
FE2 SFM
FE3
M +1 Switch Fabric Modules
FE(N-2)
FE(N-1) SFM
FEN
Legend PP- Packet Processor TM- Traffic Manager FE- Fabric Element SFM- Switch Fabric Module
关键的技术是主备之间的同步通道，保证主备设备数据库的 一致。备用模块准备就绪后进入工作状态，原来的主用模块 转换为备用状态
Mgmt Module 2 (4.x)
Active
Standby
Clos交换矩阵：实现器件级的高可靠性
第一代交换矩阵 Bus 模式 第二代交换矩阵 CrossPoint 模式
第三代交换矩阵 Clos模式 由于CLOS交换系统容量很大，物理实现 上，通常采用N+1个独立的交换网槽位，与 主控板控制平面彻底分离，一方面提高了系 统容量可扩展性，另一方面极大程度上提高 了转发平面的可靠性，避免了控制平面出现 故障或进行倒换时对转发平面的影
LAG
Client #1
Client #2
实现原理 • LAG 状态同步 • L2 数据库同步 • 上行流量眼最短路径发送 • 最短路径链路故障，流量自动切换 到其他trunk成员
设备级高可靠性：保证设备7X24小时运转
14 RU
1+1 management module slots 16 interface module slots 3+1 switch fabric module slots 4+4 1200 W AC SYS power supply bays 2 back fan assemblies (exhaust)
• 无比的高可靠性
– 多个交换单元失效，设备任然正常工作
sFlow：随时掌握网络健康状况
sFlow：基于ASIC的实现
2
sFlow Datagram
包头信息

源目的MAC地址 VLAN和优先级信息 源目的IP地址 MPLS 相关信息

抽样频率 物理输入输出端口号 源目的AS号 802.1X 用户名或 RADIUS/TACACS 用户ID 接口统计信息 捕获的报文内容
目录
高可靠性对于数据中心的重要性 数据中心网络高可靠性解决方案 IBM DCN 产品介绍 总结
数据中心网络高可靠性分为三个层次
可靠等级
器件级高 可靠性
关键器件冗余 设备级高 可靠性 设备关键部件冗余 器件的倒换不影响业务 网络级高 设备及 可靠性 链路冗余
3
2
1
影响范围
网络级高可靠性
WAN
10 Gbps CEE 10 GbE
Aggregation
10 GbE L2L2-L3 r-series
10 GbE L4L4-7
10 GbE L2L2-3 r-series
8 Gbps IBM SAN768B Backbone
IBM TSxxxx
SAN
IBM DSxxxx GbE ToR x-series GbE ToR x-series 10 GbE MoR r-series GbE ToR c-series 10 GbE ToR FCoCEE IBM Converged Switch B32 10 Gbps CEE IBM CNAs (Brocade 1020) 8 Gbps IBM SAN384B / SAN256B / SAN80B / SAN40B
财经
人力资源
2009 年7 月，中国萨 班斯法案正式出台； 2009 年8 月，卫生部 宣布拟建立标准化电 子病历；
服务
销售
2009 年9 月，人保部 宣布社保登记资料要 存档百年...
网络是现代企业的神经系统
Core
10 GbE L2L2-L3 m-series
1 GbE 4 Gbps FC 8 Gbps FC
Clos Fabric提供器件级的高可靠性 （续）
Interface Module (half-slot) PP PP Interface Module (half-slot) PP PP Management Management Data Switch Data Switch Management Management Module Module CPU CPU
不中断转发：管理模块和交换网分离
管理模块发生故障不影响交换模块的正常转发。
不中断路由：独自完成路由同步
R1
S1
R2
L3
S1
R3
R4
主备主控板倒换，路由同步自动完成，克服了Graceful Restart 需要邻居帮忙同步路由信息的缺陷。减少了对 邻居的性能要求
Data
Control
Data
系统软件升级不影响业务
Clos Fabric 架构的优势
• 任意点都没有head-of-line阻塞
– 无论何种流量模式, 包大小或者什么流量类型
• 任何时刻都在最优化的利用switch fabric
– 分片重组能力确保所有包的公平转发及交换网的负 载均衡
• 内部SFM冗余
– 内部不同的交换芯片之间可以做到负载均衡和冗余 保护
Network Monitoring & Management s-series
r-series
IronView Network Manager
Backbone / Core
m-series
IBM Systems Director Network Management
IBM M系列以太网路由器
IBM Ethernet Router B04M IBM Ethernet Router B08M IBM Ethernet Router B16M
AAS Features •Redundant management modules •Redundant switch fabric modules •Redundant power supplies
IBM R系列以太网交换机
Data Center Aggregation, Campus Distribution/Backbone IBM Ethernet Switch B04R IBM Ethernet Switch B08R IBM Ethernet Switch B16R
Servers
Access
IBM N series (NAS)
数据中心对网络可靠性要求
• 网络需要 24/7不间断运行 • 机架式设备关键部件要冗余（包括管理模块，交换模块和电 源模块） • 主控模块的倒换不影响正常转发 • 不允许有单点故障 • 全部可更换器件要热插拔 – 包括接模块，交换模块，风扇框，电源，管理模块 • 支持网络级高可靠性设计
4-slot, 4RU chassis
AAS Type-Model: IBM 4003-M04 Common line card modules 10 GbE XFP AAS Type-Model: 4003-M04 100/100/1000 RJ45,IBM 100/1000 SFP OC-12/48 POS/SDH
1
JetCore ASIC 产生1 ： N 包抽 样并获得相应的包头信息和端口 信息

3
sFlow 收集服务器
wk.baidu.com
Network
Sflow 比Netflow 提供更多的二层 信息和计数信息
目录
高可靠性对于数据中心的重要性 数据中心网络高可靠性解决方案 IBM DCN 产品介绍 总结
IBM S系列以太网交换机
IBM Ethernet Switch B08S IBM Ethernet Switch B16S
s-series Switch Features Redundant management modules Redundant switch fabric modules Redundant power supplies Common AAS Features IPv4 or IPv6 management modules IPv4 or IPv6 10/10/1000 MbE RJ45 modules IPv4 or IPv6 100/1000 MbE SFP modules IPv4 or IPv6 10 GbE XFP modules POE, Power over Ethernet Full Layer 3 IPv4 activation Full Layer 3 IPv6 activation (for IPv6 capable management modules)
S1
S2
S1
S2
标准的VRRP协议，给R1和R2之间带 来多余的流量
VRRP-E，所有的VRRP-E路由器都参 与流量转发，流量一直走最短的路径
多机箱链路汇聚 ： 保证故障的快速恢复
L3 ECMP
TOR-A
ICL
TOR-B
优点 • Active-Active 负载分担和保护 • 高可靠且快速恢复 • 下游设备无需改动 要求 • TOR 交换机支持MCT
数据中心网络高可靠性解决方案
田立刚 IBM DCN 高级技术顾问 March 5, 2010
目录
高可靠性对于数据中心的重要性 数据中心网络高可靠性解决方案 IBM DCN 产品介绍 总结
数据中心是企业的神经中枢
研发
2002年美国出台《公 众公司会计改革与投 资者保护法案》，即 萨班斯法案。