数据中心融合存储网络解决方案

CNA HBA FIP Snooping NPV
iMC Server
LAN
L3
L2
FCoE
存储 FC
IRF
IRF
LAN/SAN
FCF
服务器
Ethernet FC FCoE
FCoE的组网方案：多跳模式
接入层/汇聚层实现LAN/SAN融合，交换机支持FC口
组网说明
适合大中型存储网络部署 FCoE流量和Ethernet流量在接入层后由链 路物理分离 FCoE流量和Ethernet流量在汇聚层后由设
SAN Fabric快速部署：快速配置服务器 和存储的相互访问 VSAN自动发现
SAN Fabric拓扑：包括FCoE交换机、服
务器、存储
目录
存储网络发展 SAN存储之FC SAN SAN存储之FCoE SAN SAN存储之IP SAN
NAS存储系统
分布式存储
构建融合存储网络
FCoE实战强化
降低TCO
Ethernet
LAN SAN A SAN B
FC CEE&FCOE
LAN
SAN A
SAN B
融合前
融合后
为什么要发展FCoE
Existing 8-10 Gbps >10 Gbps
Ethernet
1GE
NAS, iSCSI FCoCEE
10GE
40GE
Fibre Channel
1,2,4 Gb
应用系统
文件系统
网络
文件系统
存储 存储JBOD
vSAN层
存储JBOD
RAID(JBOD)
存储JBOD
数据中心融合存储
融合存储网络
DAS SAN
FC SAN
IP SAN FCoE
NAS
分布 式存 储
目录
存储网络发展 SAN存储之FC SAN
SAN存储之FCoE SAN
SAN存储之IP SAN
CNA HBA
L3 L2
IRF
FCF
IRF
LAN/SAN
FIP Snooping
NPV
NPV
服务器
Ethernet FC
FCoE
组网说明：
网络管理
FCoE组网方案：可视化网络管理VFM
特点：
基于对象的SAN Fabric管理层级
使用iMC VFM V7管理组件对FC/FCoE
层次化的SAN Fabric业务管理逻辑
L3 L2
MDC 1 MDC 2 Fabric A MDC 3 Fabric B
iMC Server Ethernet
LAN
MDC 1
FC
FCoE
备物理分离
服务器CNA网卡双上行接入FCF 接入FCF支持FCoE口和FC接口 特点： 服务器到汇聚交换机的Ethernet和
IRF
MDC 2 Fabric A MDC 3 Fabric B
NAS区
…
生产核心
服务器区
核心区
目录
存储网络发展
SAN存储之FC SAN
SAN存储之FCoE SAN
SAN存储之IP SAN
NAS存储系统 分布式存储 构建融合存储网络 FCoE实战强化
NAS的结构和组成
Linux/Unix用户 Windows用户
TCP/IP网络
NFS协议
CIFS协议
目录
存储网络发展 SAN存储之FC SAN SAN存储之FCoE SAN SAN存储之IP SAN NAS存储系统
分布式存储
构建融合存储网络
服务器虚拟化传统存储架构
虚拟机 虚拟机 虚拟机
计算服务器 SAN交换机
阵列共享存储
• •
主要问题
共享存储价格高昂，管理复杂 服务器磁盘驱动器没有得到充分应用
组网说明 适合大中型网络部署，及与已有SAN 互通
LAN
FC FC
iMC Server
存储
FCoE流量和Ethernet流量在接入层后
由设备物理分离 服务器CNA网卡双上行接入NPV 服务器的双网卡Ethernet流量在同一 个VLAN中，链路做聚合 接入FCF支持FCoE口和FC接口 特点： 接入交换机使能NPV，提高接入服务 器数量 服务器和接入交换机之间的链路做聚 合，提供Ethernet链路的可靠性 可通过iMC实现SAN网络可视化管理
数据中心融合存储网络解决方案
目录
存储网络发展
SAN存储之FC SAN
SAN存储之FCoE SAN
SAN存储之IP SAN
NAS存储系统
分布式存储 构建融合存储网络 FCoE实战强化
几种存储模型
Direct- Attached Storage (DAS) Storage Area Networks(SAN)
拥有成本（TCO）
互补性
业内许多人士都人为IP SAN和FC SAN会在可预见的未来并存和互 补
NAS在数据中心的部署：完全混合模 式
生产核心 业务服务器区 业务服务器区
…
服务器区
核心区
NAS区
NAS在数据中心的部署：半混合模式
生产核心 业务服务器区 业务服务器区
…
服务器区
核心区
NAS区
NAS在数据中心的部署：完全独立模 式
应用系统 文件系统 RAID
应用系统 文件系统
主机独享到灵活扩展
网络 存储
存储JBOD
RAID(JBOD)
几种存储模型
Storage Area Networks(SAN)
应用系统 文件系统
IP FC
与 网络 存储 网 络 融 合
RAID(JBOD)
FCoE & IP SAN
几种存储模型
Storage Area Networks(SAN) Network- Attached Storage (NAS)
NAS存储系统
分布式存储
构建融合存储网络
FCoE实战强化
FC SAN的结构和组成
Linux/Unix用户
TCP/IP网络
Windows用户
文件服务器 FC SAN网络
应用服务器
数据库服务器
FC光纤交换机 FC存储设备
FC SAN在数据中心的部署
IRF FC 存储
Fabric A IRF
FabricB
FC ＳＡＮ
高性能的任务关键性数据中心环 境
对举例延迟比较敏感 IP SAN可提供远距离传输 存储可以看做数据中心的以太 主机服务器， IP协议，数据可在 可达即可，但接入网络 使用标准TCP/IP 受到光纤传输距离的限制，易在 要做到稳定而且足够大的带宽，接入设 以太网上传输 异地形成存储孤岛 备缓存足够大，可保证数据传输过程中 iSCSI提供丰富安全功能 使用专门FC网络，但五安全功能 不丢包 利用标准网络的功能以及以太网 的普及性，能得到更简单、成本 更低的SAN 复杂、成本高昂的网络环境，昂 贵的光纤网络、主机HBA卡和光 纤磁盘
8Gb
16Gb

以太网速率提升远远快于FC
SCSI
FC（二三层）
FC SAN
以太网端口成本远远低于FC SCSI 10G以太网提供了LAN/SAN融合的基础
FC（三层）
以太网
FCoE

融合增强以太网技术（CEE），提供了不丢包的以太网传输以及二层多路径转发，
保证FC传输不丢包以及FC传输的效率
方案价值：
• • 资源利用率高，节省成本 对存储的管理更简单（无需
管理专用共享存储设备)
分布式存储部署方案
管理 服务 器
虚拟计 算管理 分布式存 储管理
虚拟计算管理
虚拟计 算管理
存储管理
分布式存 储管理
内置于CVM对多个存 储结点进行集中管理
•分布式存储业务系统与CVK集成 •分布式存储管理系统与CVM集成
IP SAN的结构和组成
Linux/Unix用户 Windows用户
TCP/IP网络
iSCSI协议
SCSI
iSCSI
iSCSI 以太网
TCP/IP
IP百度文库SAN
文件服务器
应用服务器
数据库服务器
IP存储设备
IP SAN vs FC SAN
比较
使用环境 传输距离 操作系统 安全性
IP SAN
分布式部门级和工作组环境
IRF
NIC
HBA
目录
存储网络发展 SAN存储之FC SAN SAN存储之FCoE SAN SAN存储之IP SAN NAS存储系统 分布式存储 构建融合存储网络
FCoE实战强化
什么是FCoE
FCoE是在把FC帧直接封装在以太网上 FC是lossless传输，所以FCoE需要增强的以太网（ DCE/CEE/DCB） FCoE保留了FC的转发和管理模型，能够和原有的SAN无状态的互通，保护了用户投资
数据的安全性 自动化管理大规模
良好的性能优化（容量、吞吐、IO）
极好的扩展性 H3Cloud 分布式存储解决方案分布式块存储的实现解决了这些问题
分布式存储：计算+存储融合
服务器内部存储 虚拟共享存储
技术方案：
• • • • 计算存储一体化，节点化 实现共享存储功能 典型的互联网分布式架构 部署简单，按需平滑扩展
FC/FCoE
switch
switch
switch
FC/FCoE 6125-XG FIP Snooping
FC/FCoE
switch
switch
6125-XG FIP Snooping
Server/CNA/HBA
单跳
刀片服务器 单跳
多跳
刀片服务器 多跳
FCoE组网方案：单跳模式
接入层实现LAN/SAN融合，交换机支持FC口
实时操作系统 文件/系统 RAM SCSI
文件服务器
应用服务器
NAS存储设备
IP SAN在数据中心的部署
NAS 和IP SAN的相同点：基于TCP/IP网络，IP可达即可 NAS和IP SAN的不同点：NAS基于File I/O请求存储，NAS系统将File I/O转换为 Block I/O；IP SAN基于Block I/O请求存储
LAN
SAN A
SAN B
增强以太网 FC流量 IP流量
FCoE Switch
Server with CNA
为什么要发展FCoE
FCoE技术是实现数据中心网络融合的重要技术之一 大幅消减适配器、交换机、布线 无缝的连接到现有的LAN和SAN 有效的共享高带宽的链路 整合的网络架构
应用系统 文件系统
集中共享 网络
应用系统
网络
文件系统
存储
存储
RAID(JBOD)
RAID(JBOD)
几种存储模型
Direct- Attached Storage (DAS) Network- Attached Storage (NAS) 分布式存纯
应用系统 文件系统 RAID
应用系统
网络 横向扩展
FC/FCoE 交换机支持三种工作模式

FCoE的部署模式
FCF模式：默认模式，支持FC/FCoE targets and Initiaors NPV 模式： 工作在本模式的交换机称为NPV交换机，用于扩展SNA网络或者与已有的SAN网络互通 FIP Snooping模式： 工作在本模式的交换机称为Transit交换机，用于限制以太网接口只能接收来自ENode或FCF交换机的通信流量
FCF
LAN/SAN
FCoE流量共享交换机，减少交换机
数量 服务器和接入交换机之间的链路做 聚合，提供Ethernet链路的可靠性 通过iMC实现SAN网络可视化管理
FCF
IRF
FCF
NPV
FIP Snooping
HBA
CNA
FCoE
FC
服务器
存储
FCoE组网方案：NPV模式
NPV接入实现LAN/SAN融合，交换机支持FC口
单跳部署（适合小型存储网络部署）：
服务器和存储经过单台FCF交换机单跳互连
多跳部署（适合大中型存储网络部署）：
服务器和存储经过多台FCF交换机多跳互连
FC/FCoE存储
FC/FCoE存储
FC/FCoE存储
FC/FCoE存储
#1
#2
#3
FC/FCoE
#4
FC/FCoE
FC/FCoE
switch
业务网络
APP OS 虚拟机 vSwitch 内置于 CVK 虚拟化平台
CVK
APP OS 虚拟机 vSwitch 虚拟化平台
127.x.x.x iSCSI业务 流
APP OS 虚拟机 通过内部存储网 络实现并行的读 写操作 vSwitch 虚拟化平台
分布式存储的产生
存储领域FC SA依然独占鳌头，但FC SAN建设成本昂贵，管理、维护复杂。互联网公 司已经用DAS来作为主存储；存储巨头们也逐步迁移到“工业标准服务器＋软件”来实 现存储。 软件定义存储、存储虚拟化已经成为一种新的趋势 应对未来的存储需求，存储产品必须同时具备越来越多的能力：
对硬件环境的高度兼容（异构）
组网说明： 适合中小型存储网络部署 FCoE流量和Ethernet流量在接入 层后由设备物理分离 服务器CNA/HBA网卡双上行接入 FCF 服务器的双网卡Ethernet流量在同 一个VLAN中，链路做聚合 接入FCF支持FCoE口和FC接口 特点： 服务器到接入交换机的Ethernet和FCoE 流量共享同一对物理链路，减少布线 服务器和接入交换机之间的链路做聚合， 提供Ethernet链路的可靠性 通过iMC实现SAN网络可视化管理