海量存储系统设计

第十二章海量存储系统设计

以传统的方式存储和管理日益增长的数据，意味着你需要不断地增加磁盘，投入更多的人力与物力，导致成本上升。以优秀的分级存储软件和自动磁带库系统，即可以轻松实现海量数据存储。

12.1 海量数据存储系统架构方案

考虑到海量存储系统是IT 构架的核心模块，这里存储网络架构采用双Fabric 网络结构，这种结构一方面带来了高可用性，另一方面提供了更多的数据通信带宽。下面是海量存储系统的双Fabric 网络结构图：

图12-1 双光纤通道结构

其中网络核心采用director 级别的核心光纤通道交换机1 台（端口数>=128），通过在其内部划分虚拟SAN 分别构成两个独立的fabric；为保证高可靠性和提高系统的运行速度，存储工程师在各服务器群的每台主机上都通过两个HBA 连接到不同的Fabric 网络中，而

且存储设备（磁盘阵列和磁带库）也是同时接入两个fabric，这样构成了一个无单点故障的网络系统。

双Fabric 存储网络设计要点和优势：

∙主机和存储设备的冗余连接，整体提高系统的可靠性

∙主机和存储设备的双路连接，工作在Active-Active 模式，整体提高系统的性能∙双网络结构设计，提高网络的可靠性，避免由于意外系统故障造成网络中断

∙双网络结构设计，核心-边缘体系架构，方便未来网络的扩充

∙交换机具有很强的向下兼容性，即可兼容1G 的交换机，又可兼容1G 的存储设备，如磁带库等设备都可直接连接到交换机中，提高设备的利用率

∙可做LAN-Free 备份，减少备份对网络带宽的占用，整体提高数据备份和恢复的速度

∙有利于系统的在线维护和扩展，而不影响系统的正常运行

∙采用硬件实现的网络安全性管理，保证数据的安全性

与外部存储网络的互联方案

外部存储网络的接入是为了更好的提供基于数据复制（异步或同步）的容灾服务。本着为客户各部门不同容灾需求服务的原则，这里存储工程师设计了采用三种形式的存储网络外部互联方案，即：

FCIP 接入方案

DWDM 接入方案

SDH 接入方案

在100Km 以内的连接上这三种接入方案的特点如下：

表12-1 外部网络存储通道比较

无论是内网还是外网及互联网存储网络，这里在外部接入采用同样的技术和拓扑结构，只是由于内网的数据量较少，采用端口数少的SAN 路由器，SAN 路由器的数量也应当适当减少。具体拓扑结构如下图所示：

图12-2 SAN 及扩展IP 网络连接

注：为了清晰明了的原则，这里将服务器和局域网的连接省略。

如图12-2，FCIP 接入方案将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到局域网的千兆交换机上；这样就可以通过SAN 路由器的FCIP 功能将FC 协议转换为IP 协议，通过IP 网络与远端的某部门

计算中心的SAN 路由器互联，在通过该路由器的协议转换将FC 协议传输到该部门的SAN 网络中，从而将容灾中心和该部门的存储网络互联，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图，DWDM 接入方案将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到DWDM 设备上；这样就可以通过DWDM 设备的波分复用功能将多条FC 通信，通过裸光纤传输到远端的某部门计算中心的DWDM 设备，通过它的解复用功能，再通过SAN 路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

如图，SDH 接入方案与DWDM 方案类似，将SAN 路由器接入核心交换机，从链路冗余的角度出发，SAN 路由器分别接到不同fabric 中，同时SAN 路由器会接到SDH 设备上；这样就可以利用FC over SDH 技术，通过SDH 网络将数据传输到远端的某部门计算中心的SDH 设备，进而再通过SAN 路由器将容灾中心和该部门的存储网络互联起来，使得两个存储网络中的设备可以实现基于FC 的高速数据通信。

这里之所以采用SAN 路由器，主要是在不同的fabric 间提供路由服务功能。路由服务功能正是可以将不同的Fabric 网络逻辑地连接在一起，在不同的Fabric 网络上共享存储资源，这一功能可以充分利用分离Fabric 的种种好处，提供误隔离和方便管理的能力。

路由服务可以隔离SCN 和RSCN 等功能。如在一个Fabric 中产生的RSCN，可以通过路由服务隔离，不会传到另外一个网络中，可以避免由于RSCN 造成的Fabric Reconfiguration；另外，也可以隔离由于设备原因，造成主机之间的相互影响，提高系统的运行效率。对于远程连接网络，这一点尤其重要。

方案中将不同应用的数据备份到容灾中心的磁带库之中，而又不影响两个系统的相对独立，所以采用SAN 路由器将不同的Fabric 网络互连。连接到SAN 路由器的Fabric 被称为边缘Fabric，由于SAN 路由器可以有效隔离不同Fabric 网络之间的相互干扰，这就允许用户建立更大规模的SAN 网络，确保系统具有更为强大的扩展能力。

通过路由服务，每个边缘Fabric 都保留自己独立的Fabric 服务：名称服务器、分区数据库、路由表、域ID 空间，等等。这就是说，假如一个Fabric 有一个域ID 1 交换机，另一个Fabric 也有一个域ID 1 交换机，但没有该多协议路由器，这些Fabric 就不会合并，除非这些冲突得到解决。在生产环境中，解决这些冲突是一个非常耗时和危险的过程。有了多协议路由器，这些冲突就成了无关的问题。

在SAN 路由器平台上，其他Fabric 通过路由功能与路由器相连接。这可以防止WAN链路上的故障转化为影响整个容灾中心SAN 或某部门计算中心SAN 的事故。这个优点很重要，因为一般的远距离连接链路(裸光纤/DWDM/SDH/IP)的都有一定的不稳定性。一条不稳定的远程连接链路可能会干扰数据中心的SAN 应用，但是路由器可以将这些干扰与数据中心的Fabric 隔离开。