NetApp 集群模式简介

技术报告
NetApp 集群模式 Data ONTAP 8.2
简介
NetApp 公司 Charlotte Brooks
2013 年 6 月 | TR-3982
摘要
本技术报告介绍了 NetApp® 集群模式Data ONTAP® 8.2 的架构以及给客户带来的主要优势。

目录
1NetApp 集群模式 Data ONTAP 8.2：概述 (3)
1.1智能横向扩展存储与纵向扩展 (3)
1.2多协议统一架构 (4)
1.3无中断运行 (4)
2集群模式 Data ONTAP 架构 (5)
2.1硬件支持和基本系统概述 (5)
2.2集群模式 Data ONTAP 网络 (7)
2.3存储效率和数据保护 (8)
3集群虚拟化和多租户概念 (8)
3.1物理集群组件 (8)
3.2逻辑集群组件 (9)
4总结 (10)
表格目录
表 1) 无中断的硬件和软件维护操作。

(5)
表 2) 无中断生命周期操作。

(5)
插图目录
图 1) 集群模式 Data ONTAP 概述。

(6)
图 2) 集群模式 Data ONTAP 大型集群。

(7)
图 3) 包含单个 SVM 的集群。

(9)
图 4) 包含多个 SVM 的集群。

(10)
1 NetApp 集群模式 Data ONTAP 8.2：概述
随着 NetApp 集群模式 Data ONTAP（集群模式 ONTAP）的发布，NetApp 率先推出了企业就绪型
“统一横向扩展存储”，借此抢占了市场先机。

集群模式 ONTAP 是在经验证的 Data ONTAP 技术的
坚实基础上经过创新开发而成的，它是虚拟化共享存储基础架构的基础，该基础架构可以在系统生命
周期内实现“无中断运行”。

本文概括介绍了集群模式 Data ONTAP，包括其架构和核心功能，以及它在当今敏睿数据中心领域的牢固地位。

相比之前发行的版本，集群模式 Data ONTAP 8.2 在可扩展性、协议支持和数据保护功能方面有所提升。

此外，它还允许同时运行多个存储虚拟机 (Storage Virtual Machine, SVM)，以满足各种使用
情形的需要，其中包括大型 NAS 内容存储库、通用文件服务以及企业应用程序。

1.1 智能横向扩展存储与纵向扩展
面对当今环境中不可避免的数据增长趋势和数据管理难题，横向扩展存储是最为有力和灵活的应对方式。

不难想象，所有存储控制器的可扩展性都会受物理条件的限制，例如 CPU 和内存插槽的数量，以及磁
盘架的空间。

这些条件决定了控制器所能提供的最大容量和性能。

如果需要更多的存储容量或更高性能，您或许能够升级或添加 CPU 和内存，或者安装更多磁盘架，但控制器最终都将被完全填满，无法再进
行扩展。

这时，唯一的选择就是再购置更多控制器。

长久以来，这一目标是通过简单的“纵向扩展”实
现的，通常有两种方式：一是用全套的升级换代技术产品取代旧控制器，二是将新控制器与原有控制器
同时运行。

这两种方式都有明显的缺点和不足。

在技术升级换代期间，需要通过数据迁移将数据从旧控制器复制到新控制器，然后再重新配置环境。

这种方式不仅耗时，需要周密规划，还会经常造成中断，并且通常需要更改所有已连接的主机系统的
配置，以便能访问新的存储资源。

数据迁移对存储管理成本和管理复杂性有很大影响。

如果新控制器要与原来的控制器同时运行，则需要单独管理两个存储控制器，并且没有内置工具来平衡或重新分配两者
间的工作负载。

采用这种方式时，仍需要进行数据迁移。

随着控制器数量的增加，这种情况会变得更加
糟糕。

采用“纵向扩展”会使运行负担随环境的增长而增加，最终导致环境失去平衡并难以管理。

技术升级
换代周期需要提前进行周密计划，并且会遇到成本高昂的中断和配置更改，这些都会给系统带来风险。

而采用“横向扩展”时，随着存储环境的增长，会无缝地向共享存储基础架构上的资源池添加额外的控
制器。

横向扩展以及内置的存储虚拟化技术可以使主机和客户端连接以及数据存储库本身在资源池中无
中断地随意移动。

利用这些功能，可以轻松部署新的工作负载，并轻松无中断地在可用资源之间均衡分
布现有的工作负载。

技术升级换代（更换磁盘架、添加或完全取代存储控制器）可以在环境保持联机状
态并提供数据的同时来完成。

横向扩展架构虽然已经问世一段时间，但它本身并不是能自动满足企业所有要求的灵丹妙药。

目前，
许多横向扩展产品都具有以下一项或多项缺点：
•支持的协议有限，例如只支持 NAS
•支持的硬件有限：只支持特定类型的硬件或非常有限的一套存储控制器
•升级时要求根据可用的控制器配置进行全方位扩展，因此容量、计算能力和 I/O 都需要提高，即使最终需要用到的只是其中一部分
•极少或根本没有存储效率功能，如缺乏精简配置、重复数据删除、数据压缩等功能
•数据复制功能有限或没有数据复制功能
•支持的闪存有限
因此，虽然这些产品也许能对某些专门工作负载充分发挥作用，但其灵活性、功能和稳定性较差，无法
在企业内广泛部署。

NetApp 集群模式 Data ONTAP 是第一款可提供完整横向扩展解决方案的产品 — 可提供一个智能化、
适应性强且始终可用的存储基础架构，充分利用当今高度虚拟化环境所具有的经验证的存储效率。

1.2 多协议统一架构
“多协议统一架构”能够使用一系列不同的控制器和磁盘存储类型在同一存储系统中同时支持多个数据访问协议。

Data ONTAP 7G 和 7-模式很久以前就具有这种功能，而现在集群模式 Data ONTAP 还可以支持更广泛的数据访问协议。

集群模式 Data ONTAP 8.2 支持的协议包括：
•NFS v3、NFS v4 和 NFS v4.1，包括 pNFS
•SMB 1、SMB 2、SMB 2.1 和 SMB 3，包括可使用 SMB 3 在 Microsoft® Hyper-V™ 环境中进行无中断故障转移
•iSCSI
•光纤通道
•FCoE
集群模式 Data ONTAP 中的所有协议均无缝支持数据复制和存储效率功能。

SAN 数据服务
利用支持的 SAN 协议（光纤通道、FCoE 和 iSCSI），集群模式 Data ONTAP 提供 LUN 服务，也就是说，能够创建 LUN 并将其映射到连接的主机。

由于集群包含多个控制器，因此到任何一个 LUN 都会有多个逻辑路径，并且这些路径由多路径 I/O (MultiPath I/O, MPIO) 进行管理。

在主机上使用非对称逻辑单元访问 (Asymmetric Logical Unit Access, ALUA)，可以确保为 LUN 选择优化路径以及使数据传输处于活动状态。

如果到任一 LUN 的优化路径发生变化（例如因为包含 LUN 的卷发生移动），集群模式ONTAP 会自动进行识别和无中断调整。

如果优化路径不可用，集群模式 ONTAP 可以无中断地切换到任何其他可用路径。

NAS 数据服务
利用支持的 NAS 协议、SMB (CIFS) 和 NFS，集群模式 Data ONTAP 可提供一个命名空间，用来提供通过单个 NFS 装载点或 SMB 共享访问庞大数据容器的权限。

NAS 客户端可通过其标准 NFS 或 SMB 客户端代码装载单个 NFS 文件系统装载点，或访问单个 SMB 共享，从而无需安装额外的可执行文件即可访问命名空间。

在集群模式 Data ONTAP 内部，命名空间由集群管理员接合在一起的多个卷组成，这些卷有时可能达到数千个。

对 NAS 客户端来说，每个卷都显示为一个文件夹、子目录或接合，附加在文件系统装载点或共享的层次结构中。

卷可以随时添加并立即提供给客户端使用，而且无需重新安装即可显示给新存储。

当客户端在文件系统中移动时，卷边界的底层结构对客户端而言基本上是透明的。

刚刚说到，借助集群模式 ONTAP，NAS 客户端能够将整个命名空间作为单个 NFS 输出或共享装载在根目录上。

但是，对许多应用程序和环境而言，在根目录下装载或访问命名空间可能会更合适，这样就只有一部分视图可以访问。

就本质而言，集群模式 ONTAP 支持这种做法；客户端可以在根目录或任何卷接合路径、子目录或 qtree 上装载命名空间。

在每种情况下，客户端只会看到其访问点之下装载的卷。

集群模式 ONTAP 还支持无限卷，这是一种经济高效的大型容器，可以扩展至数 PB 的存储和数十亿个文件。

请参见第 3.2 节“逻辑集群组件”的“无限卷”部分。

虽然集群模式 ONTAP 的架构可设计为提供单个命名空间，但也可以配置额外的命名空间，以满足多租户或隔离特定客户端或应用程序组的要求。

因此，集群模式 Data ONTAP 是一个适用于一个或多个存储虚拟机 (Storage Virtual Machine, SVM) 的平台。

每个 SVM 可以支持任何或所有受支持的客户端和主机协议。

有关详细信息，请参见第 3 节“集群虚拟化和多租户概念”。

1.3 无中断运行
在当今的全天候环境中，共享存储基础架构要向数以千计的单个客户端或主机提供服务，还要为多个业务部门或租户的多种不同应用程序和工作负载提供支持。

在这种环境下，不能出现停机；存储基础架构必须始终可用。

“无中断运行”(Nondisruptive operations, NDO)正是集群模式 ONTAP 创新的横向扩展架构所固有的特征。

NDO 指的是存储基础架构在执行硬件和软件维护操作期间，以及在其他 IT 生命周期运行期间，均能保持正常运行和提供数据。

NDO 的目标是消除停机时间（不管是可避免的、计划内的还是计划外的停机时间），同时允许随时对系统进行更改。

集群模式 ONTAP 的设计高度可用，并且能在整个存储集群中将数据和逻辑客户端连接透明地迁移到任
何位置。

NetApp DataMotion™ for Volumes 是标准配置，并内置在集群模式 ONTAP 中。

借助这种无
中断移动单个数据卷的能力，可以随时出于任何原因在集群内重新分配数据。

DataMotion for Volumes
对 NAS 和 SAN 主机来说是透明、无中断的，以便存储基础架构在进行这些更改时持续提供数据。

执行
维护或生命周期操作时，可能要执行数据迁移来重新平衡容量使用、针对不断变化的性能要求进行优化，或隔离一个或多个控制器或存储组件。

表 1 介绍了可在集群模式 Data ONTAP 环境中无中断执行的硬件和软件维护操作。

表 1) 无中断的硬件和软件维护操作。

表 2 介绍了可在集群模式 Data ONTAP 环境中无中断执行的生命周期操作。

表 2) 无中断生命周期操作。

永久集群
NetApp 集群模式 Data ONTAP 可有效实现“永久集群”：对于任何系统，软件更新和配置更改都贯穿其生命周期的始终。

除此之外，在几乎所有环境中，添加和更换硬件基础架构组件都是不可避免的，而
且可能会多次添加和更换。

如果系统自最初投入使用已经过多年，由于数据的保留时间往往要比硬件寿
命长，因此原来的硬件可能所剩无几。

借助 NDO 功能，可以在无中断或不影响应用程序或连接的客户
端及主机的情况下实现所有这些更改，而集群实体始终可以保持完好。

2 集群模式 Data ONTAP 架构
本节介绍集群模式 Data ONTAP 的架构，其中重点说明了物理资源与虚拟化容器的隔离。

存储和网络
物理资源的虚拟化是横向扩展和无中断运行的基础。

2.1 硬件支持和基本系统概述
如图 1 所示，集群模式 ONTAP 系统由连接有磁盘的 NetApp 存储控制器（包括 V 系列控制器）构成。

基本组件是高可用性 (high-availability, HA) 对，这个概念在 Data ONTAP 7G 或 7-模式环境中是很常
见的。

一个 HA 对包含两个完全相同的“节点”，即集群模式ONTAP 实例。

每个节点都会主动提供数
据服务，并且具有通向另一个节点的磁盘存储的冗余连接路径。

当其中一个节点因任何计划内或计划外
原因发生中断时，其 HA 配对节点会接管其存储，并保持对数据的持续访问。

中断的系统重新加入集群后，该配对节点会归还存储资源。

最小的集群是在一个 HA 对中包含一对配对节点。

运用无中断技术升级换代，一个双节点入门级集群可以扩展为最大型的集群，支持性能最强大的硬件。

使用 SAN 协议的集群最多可支持 8 个包含中端和高端控制器的节点。

由高端控制器组成的仅使用 NAS 的集群最多可扩展到 24 个节点和超过 69 PB 的数据存储。

注：集群模式 Data ONTAP 8.2 还提供另外一种“单节点集群”配置的方案。

这种方案仅适用于那些将数据复制到较大数据中心的较小场合。

注：以前使用“集群”一词来指运行 Data ONTAP7G 或7-模式的 HA 对。

现在，已不再使用这种说法，“HA对”是用来形容此配置的唯一正确说法。

现在，“集群”一词仅指由一个或多个运行集群模式Data ONTAP的 HA 对构成的配置。

图 1) 集群模式 Data ONTAP 概述。

集群模式 ONTAP 环境的一个关键不同之处在于，一个集群有多个存储节点，组合在一起形成一个物理资源共享池，并可供应用程序、SAN 主机和 NAS 客户端使用。

为了便于管理，共享池显示为单个系统映像，您可以使用 GUI 或 CLI 工具从一个公共的管理位置来管理整个集群。

可扩展性
集群模式 Data ONTAP 允许在同一集群中包含各种类型的控制器，从而可保护初始硬件投资，并且能够灵活调整资源来满足业务的工作负载需求。

同样，对不同磁盘类型（包括 SAS、SATA 和 SSD）的支持加上集群模式 ONTAP 的透明 DataMotion 功能，能够针对不同数据类型部署集成的存储层。

也可以使用 Flash Cache 卡来加快对频繁访问的数据的读取速度。

从集群模式 ONTAP 8.1.1 开始，支持闪存池智能缓存功能，该功能可以将固态磁盘 (Solid State Disk, SSD) 与传统硬盘驱动器组合在一起，使用虚拟存储分层技术实现最优性能和效率。

具有高度适应性的集群模式 ONTAP 架构是为共享 IT 基础架构提供最大的按需灵活性的关键，可以提供灵活的选项来满足对性能、价格和容量的需求。

通过向集群添加节点和存储，集群模式 ONTAP 可同时进行横向和纵向扩展。

这种可扩展性，加上久经验证的不受协议影响的存储效率，可以满足要求最为苛刻的工作负载的需求。

2.2 集群模式 Data ONTAP 网络
图 1 还显示了集群模式 Data ONTAP 的底层网络架构。

其中共有三种网络：
•集群互连。

一种私有、专用、冗余的网络，用于在各集群节点间进行通信以及在集群中进行DataMotion 数据迁移。

每个集群模式 ONTAP 配置都提供集群互连基础架构，以支持这种网络。

在包含四个或更多节点的集群中，这种基础架构采取冗余的、高性能、高吞吐量的 10 Gbps 企业级交换机硬件的形式。

对于包含两个节点的集群，可选择不配置交换机，而是使用点对点连接进行集群互连。

这种配置首次在集群模式 ONTAP 8.2中推出，称为“无交换机集群”。

这种入门级配置可以在进一步简化基础架构的同时，提供集群模式 ONTAP 的所有优势。

当集群增长到两个节点以上时，可对无交换机集群进行无中断升级，以添加配有交换机的集群互连。

•管理网络。

所有的管理流量都会经过该网络。

在集群模式 ONTAP 配置中，可以包含管理网络交换机，也可以使用客户提供的交换机。

NetApp OnCommand® System Manager、OnCommand Unified Manager 和其他 NetApp 应用程序可用于管理、配置和监控集群模式 ONTAP 系统。

System Manager 提供 GUI 管理功能，包括多个用于常见任务的易用向导。

Unified Manager 提供监控和警报功能。

管理 ONTAP®软件开发人员工具包中包含一个功能强大的 CLI，且 ZAPIS 也在其中进行打包和分发。

•数据网络。

通过以太网或光纤通道向 SAN 主机和 NAS 客户端提供数据访问服务。

这些网络是客户根据需求提供的，也可以包含指向其他集群的连接，这些集群将充当卷复制操作的目标，以实现数据保护。

图 2 显示了一个包含不同磁盘类型的较大集群，以及一系列混合使用的本机 NetApp FAS 和 V 系列控制器。

V 系列控制器允许您使用第三方存储作为 NetApp 控制器的前端，这样即可运行集群模式 ONTAP 并加入集群。

它还显示了客户端/主机连接以及虚拟化存储和网络层。

有关详细信息，请参见第 3 节“集群虚拟化和多租户概念”。

图 2) 集群模式 Data ONTAP 大型集群。

2.3 存储效率和数据保护
集群模式 Data ONTAP 固有的存储效率可节省大量的空间，从而能够以更低的成本存储更多数据。

数据
保护可提供复制服务，确保有价值的数据能够得以备份和恢复。

•精简配置。

精简配置采用“虚拟规模估算”来创建卷。

精简配置是最高效的存储配置方式，因为虽然客户端会看到分配给它们的总存储空间，但存储容量并不是提前预先分配的。

换言之，使用精简配置方式创建卷或 LUN 时，并不使用存储系统上的任何空间。

在数据写入 LUN 或卷之前，空间会一直保持未使用状态，写入数据时则仅使用足够空间来存储数据即可。

未使用的存储空间由所有卷共享，这些卷可根据需要增大或缩小。

•NetApp Snapshot™ 副本。

自动按计划生成的时间点副本。

创建这种副本时不会占用任何空间，也不会产生任何性能开销。

随着时间的推移，Snapshot 副本将占用最少的存储空间，因为写入的只是对活动文件系统所做的更改。

各个文件和目录可轻松通过任意 Snapshot 副本恢复，整个卷也可在几秒钟内恢复回任意 Snapshot 状态。

•NetApp FlexClone®卷。

占用空间近乎为零、精确、可写入的虚拟数据集副本。

利用它们，能以节省空间的方式快速创建非常适合测试/开发环境的额外数据副本。

•NetApp FlexCache®卷。

利用这类卷，能将卷缓存在集群中的其他节点上，从而将读取的负载平衡到集群内频繁访问的卷。

缓存卷可以节省空间，因为这种情况下仅缓存被访问的块。

数据的一致性通过文件的读授权管理得以保持。

•重复数据删除。

删除主存储和辅助存储中的重复数据块，以便仅存储唯一的块，从而节省存储空间和成本。

重复数据删除按自定义的计划运行。

•数据压缩。

通过替换文件某一部分内的重复模式来压缩数据块。

数据压缩与重复数据删除互为补充；
根据具体的工作负载，仅进行数据压缩、仅进行重复数据删除，或者结合运用重复数据删除和数据压缩，可以最大限度地节省空间和成本。

•NetApp SnapMirror®。

在不依赖任何协议的情况下对卷进行异步复制，复制可以在集群内进行，也可以复制到其他集群模式 ONTAP 系统，以实现数据保护和灾难恢复。

•NetApp SnapVault®。

可对卷进行复制，以实现节省空间的、只读的磁盘到磁盘备份。

复制可以在集群内进行，也可以复制到其他集群模式 ONTAP 系统。

3 集群虚拟化和多租户概念
集群由物理硬件组成：连接了磁盘架的存储控制器、网络接口卡及可选的 Flash Cache 卡。

这些组件
共同构成了一个虚拟化为逻辑集群资源的物理资源池，以提供数据访问。

通过将物理资产抽象化和虚拟
化为逻辑资源，不仅可在集群模式 Data ONTAP 中提供灵活性和潜在的多租户支持，还可提供对象移
动性功能，这是无中断运行的关键所在。

3.1 物理集群组件
无论是哪种型号的存储控制器，在集群配置中都是同等的，因为它们均作为“集群节点”加以显示和
管理。

集群模式 Data ONTAP 是一种对称架构，所有节点均执行相同的数据服务职责。

系统对各个磁盘的管理方式是将它们定义为“聚合”，这里所指的聚合是使用NetApp RAID-DP®（类
似于 7G 和 7-模式）进行保护的特定类型的磁盘组。

网络接口卡和 HBA 提供物理“端口”（以太网和光纤通道）来连接到图 2中所示的管理网络和数据
网络。

集群管理员可以看到物理组件，但使用集群的应用程序和主机无法直接访问这些物理组件。

这些物理
组件提供一个共享资源池，逻辑集群资源通过该资源池构建而成。

应用程序和主机仅通过包含卷和逻辑接口的存储虚拟机 (Storage Virtual Machine, SVM) 来访问数据。

3.2 逻辑集群组件
主要的逻辑集群组件是存储虚拟机；所有客户端和主机的数据访问均通过 SVM 进行。

集群模式 ONTAP 在单个集群中支持最少一个、至多数百个 SVM。

每个 SVM 根据其支持的客户端和主机访问协议进行配置 — 可以是 SAN 和 NAS 的任意组合。

每个 SVM 包含至少一个卷和至少一个逻辑接口。

每个 SVM 的管理工作可以有选择地进行委派，这样便可安排单独的管理员负责配置卷和其他特定于 SVM 的操作。

这种做法尤其适合多租户环境或需要分离工作负载的情况。

委派的 SVM 管理员只能看到其特定的SVM，无法了解任何其他托管的 SVM。

对于 NAS 客户端，每个 SVM 中的卷将共同接合为命名空间，以实现 CIFS 和 NFS 访问。

对于 SAN 主机，将按照第 1.2 节“多协议统一架构”中所述，在卷内定义 LUN 并将其映射到主机。

该节的结尾部分介绍了一种特殊类型的SVM，称为“无限卷”。

进行访问的主机和客户端通过“逻辑接口”(logical interface, LIF)连接到 SVM。

LIF 将显示 IP 地址（供 NAS 客户端和 iSCSI 主机使用），或显示 WWPN（即全球通用端口名称，用于进行 FC 和 FCoE 访问）。

每个 LIF 都在 NIC 或 HBA 上有一个主端口。

LIF 用于对 NIC 和 HBA 端口进行虚拟化，而不是直接将 IP 地址或 WWPN 映射到物理端口，因为在集群中 LIF 几乎总是远远多于物理端口。

每个 SVM 需要有自己专用的一套 LIF，而在任意集群节点上，最多可定义 128 个 LIF。

为进行 NAS 访问而定义的LIF 可以暂时迁移到同一控制器或其他控制器上的另一个端口，以保持可用性、重新平衡客户端性能，或者清空控制器上所有的资源以进行硬件生命周期操作。

图 3 显示了双节点集群中向 SAN 主机和 NAS 客户端提供数据服务的单个 SVM。

橙色圆圈所示的每个卷配置在集群节点上的聚合中，所有卷合起来构成了 LUN 的整个命名空间或资源池。

各个卷可根据需要随时在任意聚合间无中断地移动。

受委派的 SVM 管理员只能在自己的 SVM 中配置卷；这些管理员无法看到任何其他 SVM，甚至察觉不到其他 SVM 的存在。

受委派的 SVM 管理员无法在集群内执行卷移动操作，因为该操作会影响其他 SVM 共享的聚合的容量。

因此，只有集群管理员可以移动卷。

如果已委派专人管理 SVM，集群管理员必须明确指定可供 SVM 管理员配置卷的聚合。

这就建立了一种机制，使 SVM 可提供不同级别的服务。

例如，可限制 SVM 仅对 SSD 或 SATA 驱动器使用聚合，或者仅在控制器的特定部分上使用聚合。

图 3) 包含单个 SVM 的集群。

图 4 显示了一个更为复杂的环境。

其中的集群包含四个节点，并有两个 SVM 负责提供数据访问服务。

每个 SVM 都包含不同的卷和 LIF，以实现安全的分区划分访问。

虽然每个 SVM 中的卷和 LIF 共享相同的物理资源（网络端口和存储聚合），但主机或客户端只能通过该 SVM 中定义的 LIF 访问 SVM1 中的数据，SVM2 同样如此。

通过执行管理控制，可确保有权访问 SVM1 的受委派管理员只能看到分配到该 SVM 的逻辑资源，SVM2 的受委派管理员同样只能看到 SVM2 的资源。