NAS存储配置文档

NAS3300，NAS3600部署文档
目录
一、硬件配置： (3)
二、设备连线图 (3)
1、NAS3300主机和EXN1000扩展柜连线图 (3)
2、NAS3600主机连线图： (4)
三、用户需求 (4)
四、知识点： (5)
五、配置过程： (6)
1、配置主机端口IP地址： (8)
2、Web界面设置介绍： (9)
3、在NAS3600A上创建3.5T共享存储空间 (11)
4、在NAS3600A上创建CIFS网络文件系统： (17)
5、在NAS3600A上创建NFS网络文件系统 (25)
6、在NAS3600和NAS3300之间创建Snapmirror (28)
7、重要补充1：NFS和CIFS用户权限一致性映射 (31)
8、重要补充2：Snapmirror原理策略和NAS3600宕机后的处理及恢复 (32)
一、硬件配置：
序号设备名称配置数量
1 NAS3300主机单节点（控制器）12块500G SATA硬盘，
激活feature：
CIFS，iSCSI，snapmirror
1
2 EXN1000扩展柜5块500G SATA硬盘与NAS3300主机互联扩容磁盘到17块 1
3 NAS3600主机双节点（控制器）16块500G SATA硬盘，
激活feature：
CIFS，iSCSI，snapmirror，cluster
1 表格 1 硬件配置表
二、设备连线图
1、NAS3300主机和EXN1000扩展柜连线图
图表 1 NAS3300和EXN1000连线图*注意图中e0b虽有连线，但实际未配置IP地址，处于闲置状态。

2、NAS3600主机连线图：
图表 2 NAS3600连线图
三、用户需求
用户对NAS的大致需求为：NAS3600和NAS3300组成一套高可靠的NAS系统，其中NAS3600为主，NAS3300为备，整个NAS系统对以太网络中的各种主机（Unix，Windows）提供1个大约3.5T的多协议（NFS，CIFS）支持网络共享文件系统，并通过snapmirror功能将该文件系统镜像到NAS3300中备用。

系统拓扑如下：
图表 3 系统拓扑图
四、知识点：
➢NAS存储：就是网络上的共享文件系统。

注意NAS和普通的阵列存储柜最大的区别在于NAS在文件系统层次对外提供存取服务，而普通阵列存储柜在底层（数据块）对外提供存取服务，二者的层次和数据单位完全不同。

NAS N系列尽管外形像一个阵列存储，但实际上它是一台对网络提供文件存取/共享服务的服务器，所以在NAS领域对其控制器称为“节点”，NAS3600配置了2个控制器，应看成2台文件服务器、2个节点（可构成cluster）。

➢NAS操作系统：NAS对外提供文件系统级服务，其自身必须具备相应处理能力，也就是在NAS存储中，必须安装一套通用（windows NT/linux/unix）操作系统或专用操作系统以实现上述功能。

NAS N系列采用基于Unix，取消通用功能，只注重文件服务的专用操作系统→ ONTAP。

➢ONTAP在存储上的分布：ONTAP以控制器为单位部署，1个控制器上面就有1个ONTAP。

➢NAS N系列的磁盘聚合（aggregate）：NAS N系列用聚合来表示一个RAID，与普通的
DS阵列柜不同的是，NAS N只支持RAID4和RAID_DP（其实就是RAID6）两种模式，并且NAS N的磁盘聚合必须要求热备支持，不像DS系列那样可以单独设置hotspare，在NAS N中创建磁盘聚合的同时就必须包含spare盘（就是热备）。

按照此种规则，用户创建RAID4磁盘聚合时就需要3块盘（1块data，1块parity，1块spare），而RAID_DP 更是需要4块（因为多了1个parity校验盘）。

➢NAS N上的磁盘空间估算：由于NAS N需要安装ONTAP操作系统，并且NAS N以磁盘聚合方式提供RAID功能，如果是2节点机型，操作系统磁盘占用量就比较夸张了。

所以，在订购NAS N时，必须要把操作系统占用的磁盘空间排出后，再来计算数据存储空间。

比如这次的NAS3600，配了16块500G SATA盘（实际使用414G），数据空间计划3.5T，但是由于使用了双节点，每节点操作系统出厂默认采用RAID_DP磁盘聚合，这样共有8块磁盘被占用，实际可分配磁盘只有8块，如果再配1个聚合，容量就不够了（因为parity和spare又要占用磁盘，实际可用空间大大降低）。

只能把8块空闲盘加入到操作系统的聚合中，对空间进行再分配。

➢NAS N支持iSCSI：NAS N支持iSCSI，即底层的数据块存取，需要相关licence激活。

激活后NAS N可以同时对外提供文件系统和LUN存取服务。

不过如果单独用来跑iSCSI 就本末倒置了，还不如买个专门的iSCSI存储，成本还低些。

➢NAS N Cluster支持：这部分定义尚不是很清晰，应该是同一个NAS N存储里的2个节点（控制器）之间可以构成1个高可靠群集，就象双机热备。

五、配置过程：
NAS N通过专门的串口（RJ45）和主机端口开启的Web页面提供人机交互，但是要实现Web方式，必须事先通过串口对NAS N的主机端口（e0a，e0b）设置IP地址，所以，配置NAS N的先决条件是访问串口。

访问串口：首先找到NAS N自带的一个9针串口转RJ45口转接线，然后采用自备的USB转串口线，由于这2根线在串口段都是针，所以还需要一根串口连接线，这根线非常特殊，因为线序不同于普通9针串口连接线，只能从配件中找，本次项目是用公司自备的存储专用9孔串口连接线才搞定。

拓扑连接如下图：
图表 4 串口连线图
RJ45口
9“针”串口
（对于针口：宽在上左起为1）3（棕色） 3
4（棕白） 5
6（橙色） 2
表格 2 RJ45转9“针”串口线对应表
9“孔”串口
（对于孔口：宽在上右起为1）
9“孔”串口
（对于孔口：宽在上右起为1）
1 4
2 3
3 2
4 1
5 5
7 8
8 7
表格 3 9“孔”转9“孔”串口连接线对应表
1、配置主机端口IP地址：
NAS N要正常对外提供文件服务，必须要配置其主机端口：e0a和e0b：IP地址，子网掩码，网关，DNS设置等等。

NAS N e0a和e0b出厂默认未配置，无法通过Web方式对其进行访问和配置，必须通过串口对其进行最基本的初始设置。

用笔记本通过上述连接线与NAS N节点串口接好后，使用windows自带的超级终端对设备进行初始设置，com口参数设置如下：
图表 5 COM口参数
登陆之后3秒钟按下enter键即进入NAS N命令行模式（用户名：root，密码初始为空），如果是第一次未配置的设备，命令行界面自动进入系统设置step by step交互模式，在设置了e0a和e0b两个主机端口的节点名称（e0a和e0b共用1个节点名）、IP地址和一些其他网络属性后，命令行会提示后续配置是否进入图形方式（Web），我们选择“y”后，step by step 交互模式终止。

通过与NAS N e0a和e0b在同一个网络里的pc主机里的Web浏览器，直接对设备进行图形化的配置。

NAS3600上节点NAS3600下节点NAS3300 节点名NAS3600A NAS3600B NAS3300
IP地址
e0a：10.189.61.47
e0b：未设置e0a：10.189.61.48
e0b：未设置
e0a：10.189.61.49
e0b：未设置
网关10.189.61.252 10.189.61.252 10.189.61.252
表格 4 节点基本设置表
2、Web界面设置介绍：
1）、节点基本设置：
http://<e0a IP地址>/api，主要是对节点一些最基本参数的设置，包括主机节点名（Filer Name）、端口IP地址，网关，DNS，功能激活等等，设置完毕后见下图：
2）、节点各功能详细设置：
http:// <e0a IP地址>/na_admin，对节点各个功能的详细设置，包括添加/删除磁盘，创建聚合、卷、CIFS / NFS文件共享和snapshot、snapmirror等高级功能设置。

主页面参见下图：
主页面有3个选项：
➢FilerView：配置节点功能
➢Filer At-A-Glance：性能检测
➢Manual pages：命令参考手册
选择FilerView进入图形化配置界面：在这里可以查看设备基本状态。

见下图：
3、在NAS3600A上创建3.5T共享存储空间
1）、首先查看设备磁盘使用状况：
进入FilerView后，选择左边导航菜单中的Storage→Disks→Manage，如下图：
➢Disk：显示磁盘的名称（0c.10.0…）
➢Type：显示磁盘所属关系以及状态：
●spare：磁盘属于当前节点，并且为热备盘
●parity：磁盘属于当前节点，并且为校验盘
●dparity：磁盘属于当前节点，并且为第二校验盘（RAID_DP独有）
●data：磁盘属于当前节点，并且为数据盘
●partner：磁盘不属于当前节点（双节点情况下），只有在另外一个节点才可以查看
该类磁盘的状态
●unowned：磁盘不属于任何节点（未分配）
➢physical：每块磁盘实际容量（标称值为500G）
➢Aggregrate：磁盘所属的聚合（aggr0为ONTAP操作系统所在磁盘聚合）
在本例中，NAS3600有16块500G SATA硬盘，但由于NAS3600有2个节点，每节点出厂设置各占用磁盘4块，即：
➢NAS3600A占用：0c.10.1、0c.10.3、0c.10.5、0c.10.7
➢NAS3600B占用：0c.10.0、0c.10.2、0c.10.4、0c.10.6
➢剩下8块为unowned状态
2）、出现的问题：
不管把剩下8块磁盘放入NAS3600的A或B节点的aggr0中，实际可用容量都只能达到2.7T总容量，除去aggr0中ONTAP操作系统所在vol0卷占用的空间，数据卷vol1只有大约2.2T可用
3）、原因：
与原厂商工程师沟通后，发现有以下几个因素影响容量大小：
➢双节点：NAS N系列的每一个节点都要单独占用一定数量的磁盘来构成操作系统所需的聚合（aggr0），本例中，NAS3600每节点聚合（aggr0）出厂配置为RAID_DP，至少需要4块磁盘，2节点至少占用8块。

➢双spare盘：NAS N在图形界面下往aggr0添加磁盘时，必须要保留2块磁盘为spare，否则，配置不能通过（图形界面下的bug，在命令行下可以只保留1块spare）。

➢snapshot占用20%的可用空间：在创建聚合时，默认有20%的空间保留给了snapshot，如果不使用该功能是可以不用保留的。

➢vol0卷空间过大：vol0空间是aggr0聚合下的一个卷，用来放置ONTAP操作系统，默认该空间较大。

4）、针对以上问题的解决思路：
➢把NAS3600A作为工作节点，把NAS3600B aggr0的阵列模式从RAID_DP改为RAID4，释放出一块磁盘，再分配给NAS3600A。

➢在命令行下执行给NAS3600A添加磁盘操作，可以只用1块spare
➢修改NAS3600A aggr0的属性，把snapshot的空间从20%降到0%
➢修改NAS3600A aggr0下的vol0卷属性，把大小降到80G左右
➢最后重新调整NAS3600A aggr0下的vol1卷大小
具体步骤：
1)用Web浏览器登陆到NAS3600B节点：http://10.189.61.48/na_admin
2)选择Filer→User Command Line，进入命令行模式（图形界面操作只是命令行的一个子
集，有些命令必须通过命令行方式执行）
3)输入：aggr options aggr0 raidtype raid4
4)执行完毕后，0c.10.0磁盘就从Dparity状态变为Spare状态，可以输入：aggr status
查看aggr0的RAID状态是否变为RAID4
5)然后在Storage→Disks→Manage下可以看见NAS3600B下aggr0中有2块spare
（c0.10.00，c0.10.06，计划把c0.10.06盘划给NAS3600A）
6)在Filer→User Command Line，输入命令：
disk assign 0c.10.6 -s unowned
把c0.10.06磁盘的所有关系从NAS3600B变为unowned
7)用Web浏览器登陆到NAS3600A节点：http://10.189.61.47/na_admin
8)在Filer→User Command Line，输入命令：
disk assign 0c.10.6 -o NAS3600A
把c0.10.06磁盘的所有关系从unowned变为NAS3600A
9)在Filer→User Command Line，输入命令：
aggr add aggr0 -d <c0.10.06 和处于unowned的8块磁盘>
把从NAS3600B分过来的c0.10.06磁盘和其他8块处于unowned的磁盘加入aggr0聚合
10)在Volumes→Manage中选择vol0，重新修改vol0的卷大小（resize storage按键）
11)选择Volumes→Add，创建共享数据卷vol1，创建步骤如下（图片与实际数据有差异）：
选择卷类型：Flexible（厂家建议）
保持卷名为vol1（可自定义），本项目需要中文支持，Language选项选择“Simplified
Chinese（GBK）”，不选择UFT-8编码（如果操作系统语言环境支持UTF-8编码，此处也可以选择）
选择新卷所在磁盘聚合（注意：实际NAS3600A只有1个磁盘聚合aggr0，只能选aggr0），空间保证选择volume。

卷大小类型选Total Size，卷大小设为最大容量（Max）减1（实际输入3.37TB），snapshot 空间设为0%（在该卷上关闭snapshot功能，以省出数据空间）
提交新卷创建
查看并修改vol1的qtree属性，因为本项目要求vol1同时对Unix和Windows客户端提供服务，所以在vol1的“Style”项上选择“Mixed”：
经过以上步骤设置后，NAS3600A最终的数据空间达到3.38T，实际结果如下图：
NAS3300为单控制器（节点）不需要调整存储空间，直接参照NAS3600的配置步骤7开始配置。

4、在NAS3600A上创建CIFS网络文件系统：
1)选择CIFS Setup Wizard：
2)设置CIFS所在节点名称：NAS3600A
3)权限设置选工作组模式下的NT Local User
4)设置工作组名称，这里选择windows默认的WORKGROUP
5)选择多协议：Multi-Protocol
6)提交CIFS设置
7)提交后结果
8)在CIFS→Shares→Manage→Add Share中创建CIFS共享点：（注意：实际Share Name=cifs
Mount Point=/vol/vol1，其他为空）
9)设置访问该卷的用户
首先在命令行界面下运行：useradmin user add <用户名> -g <组名> 添加1个访问用户
passwd <用户名> 设置或修改密码
然后在Cifs→Shares→Manage下添加该用户，使其可以访问目标卷：本项目没有创建新用户，直接采用NAS系统管理员帐号administrator，密码：cqmc123ctg123
10)在Windows XP客户端上测试CIFS，创建1个网络磁盘驱动器W，指向10.189.61.47
的cifs共享点
12)可以在CIFS→Shares→Manages下修改/vol/vol1的访问属性（Change Access）：
5、在NAS3600A上创建NFS网络文件系统
1）、NFS Licence激活以后，每创建1个新卷，系统会自动生成1个NFS共享点，但是需要做修改，本项目需要修改/vol/vol1的Options
2）鼠标点击/vol/vol1的Options，出现以下页面：
3）、修改需要导出的卷，本项目是/vol/vol1：
4）、设置匿名用户的ID号（就是Unix系统用户的ID号），本项目选择采用root用户对NFS 进行访问控制，所以，选择ID号“0”（root用户默认ID号）
5）、设置可以访问该NFS的主机IP地址，限制网络访问本NFS（用户可根据实际需要设置，初始配置是允许所有主机访问）
6）、选择NFS的安全机制：
7）、提交设置内容：
6、在NAS3600和NAS3300之间创建Snapmirror
1)用Web浏览器登陆到NAS3300节点：http://10.189.61.49/na_admin（创建2个节点的
snapmirror关系，一定要在备份节点上进行配置）
2)选择SnapMirror Add：NAS3300上用来备份的卷为vol1，需要备份的节点为
NAS3600A，该节点上需要备份的卷为vol1
3)选择SnapMirror Enable/Disable，启动Snapmirror
4)选择SnapMirror→Manage，察看状态为未初始化（uninitialized）
5)选择Volumes→Manage，选择vol1卷，点击Restrict按键对vol1执行restrict操作。

6)在Filer→User Command Line，输入以下命令打开NAS3300对NAS3600A的Snapmirror
访问许可
7)用Web浏览器登陆到NAS3600A节点：http://10.189.61.47/na_admin，在Filer→User
Command Line，输入以下命令打开NAS3600A对NAS3300的Snapmirror访问许可
8)回到NAS3300节点，选择SnapMirror→Manage→Advanced，点击Initialize（注意：初
始化时间长短与卷上原有数据大小有关）
9)初始化完毕后，选择SnapMirror→Manage察看结果
7、重要补充1：NFS和CIFS用户权限一致性映射
由于Windows用户和Unix用户需对同一个对象（文件和目录）进行各种操作（创建，
修改，删除），所以本项目要求在Unix和Windows下的用户必须具有权限一致性。

本项目Cifs采用NAS系统自带的administrator用户（注意：不是客户端的），NFS采用匿名方式，但由于指定了ID=0，所以NFS下对象所属用户为root；但是administrator创建的对象所属用户为65534，所以必须把root和administrator权限一致性化，才能保证对对象的各种操作的正确性，在命令行下执行如下指令：
options wafl.nt_admin_priv_map_to_root on
执行该命令后，在Unix下可以发现，windows客户端和unix客户端创建的对象都属于root用户，权限一致。

8、重要补充2：Snapmirror备份策略和NAS3600宕机后的处理及恢复
Snapmirror是在2台以上的NAS N系列存储上实现数据快速备份和恢复的机制。

NAS 主存储在每一个周期，定时向备份存储copy本时间段数据的变化（snapshot，异步方式），一旦主存储出现故障无法访问，用户可以将应用重新定向到备份存储，保障应用正常运行。

主存储恢复后，可以通过反向的Snapmirror，把主存储宕机期间的数据变化从备份存储copy 到主存储，最后，改正Snapmirror的方向，恢复如初。

以本项目为例：
1）、正常情况下：主存储（NAS3600A，10.189.61.47）对外提供服务（R/W，此时AIX和Windows客户端都访问此存储）；备份存储（NAS3300，10.189.61.49）从主存储备份数据（每分钟一次），可以对外提供只读服务（注意：与主存储相比，内容的更新有至少1分钟以上延迟）
2）、主存储出现故障：应用无法访问数据，同时Snapmirror无法正常工作，此时，先登录到NAS3300上，在命令行下执行：snapmirror break NAS3300:vol1，暂停Snapmirror并自动开启NAS3300上的“写”访问权限。

确定备份存储可正常读写后用户需自己在应用上把存储位置重定向到备份存储的IP地址，应用恢复运行。

3）、主存储故障恢复：此时，备份存储与应用在线运行，备份存储的数据比主存储新，不能简单恢复Snapmiorror关系，否则主存储的老数据会覆盖备份存储的新数据，主存储宕机期间的数据丢失。

正确的操作步骤是：
➢在NAS3600上执行snapmirror resync -S NAS3300:vol1 NAS3600A:vol1，在NAS3600上逆转Snapmirror的方向，从NAS3300上同步数据到NAS3600A
➢把应用上存储位置重定向到NAS3600A的IP地址（此时，用户不能访问NAS3300，对NAS3600A只读，防止数据不同步）
➢在NAS3300上执行snapmirror update -S NAS3300:vol1 NAS3600A:vol1，确保NAS3300上的最新数据被同步到NAS3600A上
➢在NAS3600A上执行snapmirror break NAS3600A:vol1，暂停snapmirror功能并自动打开NAS3600A上的“写”访问权限（此时，应用对NAS3600A可正常读写）
➢在NAS3300上执行snapmirror resync NAS3300:vol1，恢复原来的Snapmirror关系。

至此，NAS存储系统恢复完毕。