DS3400双机配置
ibmdssan配置详解
认识IBM DS34001SAN - 认识 IBM DS3400 (一)IBM DS3400 是个 4Gbps 的SAN( ,需要透过 IBM 的管理介面,去修改 Host 和 logical Drive 的对应,Server 才能认到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在IBM 的光碟可以找到给 Linux 的管理程式(IBM System Storage DS3000 Storage Manager).不过你可以在 IBM 的官方网站找到新版的程式.目前版本为选择我作业系统的安装版本( Linux ),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在 /opt/IBM_DS3000/,主程式为 /opt/IBM_DS3000/client/SMclient ,不过 IBM 会很贴心的在桌面加上一个捷径,点选2次就可以开始设定.2SAN - 认识 IBM DS3400 (二) 设定 IPIBM DS3400 的管理介面是透过 IBM 管理工具的方式去管控,所以控制端的 IP 需要配合DS3400 ,系统预设的是 Controller 1:/24 ,Controller 2: /24 (两片板的个别 IP,需要同时都和控制端相连,两片 controllers 需要将资料同步),点选桌面的 IBM System Storage DS3000 Storage Manager 2 client 或是执行程式/opt/IBM_DS3000/client/SMclient 就可以开始设定.预设可以直接让系统去 Automatic Discovery ,只要控制端和 DS3400 是相同网段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正确连接到 DS3400 了.点 2 下进入控制介面.右下方的状态代表了目前 Automatic Discovery 的进度.如果系统侦测了半天还是没有东西代表 DS3400 和你控制端不同网段,如果网路环境有可以 DHCP 不如让控制端使用 DHCP 指定 IP 再试试看.因为 DS3400 并没有 comsole 可以登入,所以一开始连不到会很辛苦(不知道有没有 reset 键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下 DS3400 设定成什麽 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我还是预设的 Controller 1:/24 ,Controller 2: /24 这里就可以设定你想要的 IP.不建议以免之後忘记了 IP 是多少!!记得修改 IP 之後最好将 Remove 掉 Storage Subsystem 再重新作连结.3SAN - 认识 IBM DS3400 (三) create Logical Drives如果一开始是一个全新的 DS3400 系统上并不会建立任何的 Logical Drive.就会像是目前看到的样子!!在 Configure / Create Logical Drives 可以建立 Logical Drive.因为 DS3400 主要由4X3 = 12 个实体硬碟(SATA / SAS Hard Drives)组成.所以这边的 Drive 都是经由实体硬碟建立出的 RAID 再切割出多个 LUN(Logical Unit Number) 再来指派给需要的 Server.capacity: create a new array and logical drive.capacity: use capacity from an existing array.因为一开始并没有任何的 Array 存在,所以能做的就是 "1" 建立 RAID 和 Logical Drive.选择 Manual 可以让你自己多做一些选择,不过 IBM 还是建议使用 Automatic.依需求来切割,我的环境有 4 个 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 预设是使用全部的空间,我们可以依据需求做修改,比如有2台Server 都需要这空间,我们可以切割不同的2个区块共不同的 Server 来使用(这会在後面介绍).所以硬碟空间不要全部用完.其中的 LUN 值很重要当你要指配不同的 Drive 给 Server 时 Lun 就不能重复.Server 会依据 Lun 大小来决定硬碟顺序.到这里就算是建立好 RAID 并再切割一个 LUN.如果刚刚空间没用完的回 Configure / Create Logical Drives 还是可以在建立另外的Lun.回到 Summary 就会看到刚刚所做的一些改变.在 Modify / Delete Logical Drives 可以移除刚刚所建立的 RAID.4SAN - 认识 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 组成.每一片上面都有 2 个 fiber ports 可供存取,但是另外一组皆是使用再备援上.所以上面虽然有4个 fiber port 但其实可以和Host 连接的只有2个 fiber port(另两个是备援).如果要提共多组的 Fiber 连结就需要透过 Fiber Switch 的连接方式.下图是在同一台 Host 使用备援的连接方式.图的来源:在未开始之前先确定你的 Server (QLogic 2462 dual port fiber channel)已经连接到 IBM DS3400 如下图,并且 Driver(module) 确定都已经在运行,可以使用#lsmod 来确定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在这边找到因为 Fiber Channel 是靠 WWPN 来认 Lun 的,所以在建立完 Lun 之後就要建立相对应的Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 设定中,名称是为了方便记忆,还要选择 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以会看到两个 WWPN,先建立第一组 Host.如果你的 Server 需要高可靠度的环境,我们会将多个 Fiber channel 的路径指向同一个Logical Drive.先选择 "No".後面我们才会建立出这样的环境.完成一个 Host!!使用相同的步骤建立出另外一个 Host.note:WWPN如同网卡有 MAC Address(48bits) 作为辨识方式.光纤也是有类似的定址 WWN，World Wide Name:FC 光纤通道的定址 (64 bits),这个光纤通道的 WWN 也像是 MAC 一样每一个出货的 HBA(Host Bus Adapter) 都有他独一无二的 WWN .属於硬体的一部份,无法轻易更改.不过 WWN 还细分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有点不同.1.当你的光纤 HBA 卡有多个 port 时存在(2个以上) 你想针对 HBA 上所有的 port 你应该使用 WWNN2.如果是针对单一个 port 时需要使用 WWPN3.通常会在 Fiber switch 上使用到 multipath 时会针对 WWNN 来设定.Linux 下要看 WWNN / WWPN 可以查看档案 /proc/scsi/qla2xxx/不同的 Fiber HBA 会有不同 Module 这边我使用的是 Qlogic 的 Fiber HBA.[root@benjr ~]#ls -l /proc/scsi/qla2xxx/total 0-rw-r--r-- 1 root root 0 Mar 11 19:04 4-rw-r--r-- 1 root root 0 Mar 11 19:04 5[root@benjr ~]#cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=;#就是 WWNNscsi-qla0-adapter-port=;#就是 WWPN5SAN - 认识 IBM DS3400 (五) Create Host Group企业中 SAN 的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看到下面的图:图的来源:路径是两条的,DS3400在预设是无法将同一颗 logical Drive 硬碟分享给不同的 WWPN,所以需要将不同的 WWPN 设定成一个 Group.这样 Logical Drive 才能同时指派给不同的 WWPN,在 Configure / Create Host Group 可以建立 Host Group.名称是方便记忆,在 Hosts 可以看到刚刚我们设定好的 Host P0 和 P1.将这两个都指派到这个 Group.基本上这样就已经将 Host Group 设定完成,最後就是需要将 Host 和 Logical Drive 做对应(Mapping).在 Modify / Edit Host Topology 可以看到我们所设定的.6SAN - 认识 IBM DS3400 (六) Create Host-to-Logical Drive Mappings前置作业都已经告一段落了,现在需要做的就是将先前定义好的 Host Group 对应(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 选择对应的 Host Group 和 Logival Drive已经定义好的可以在 Modify 的 Edit Host-Logical Drive Mappings 来查看.先前我定义了两颗 Logical Drives 和两个 Host,并将这两个 Host 对应到同一个 Group.目前要将这两颗 Logical Drives 对应到这个 Group.基本上要注意的一点就是 "Assign logical unit number(LUNX0 to 31). Linux 是依据 Luns 值大小来决定硬碟顺序.并且Linux 最大的 Luns 为 0~31(种共32个 Luns),所以在指配时须将这两个 Luns 设为不同的值,不过 IBM DS3400 会自己指定,分配不同数值.可以看到在指派第二颗时他指定的 Lun 变成 "1".回到 Summary 可以看到刚刚指定好的 Hosts & Mappings.现在最後一步就是回到 Server (Linux) ,设定driver(module) 和 multi-path 了!!7SAN - 认识 IBM DS3400 (七) Linux multi-path driver虽然我们在 IBM DS3400 已经设定好了 Host Group 让同一个 Lun 去让不同的 wwpn 存取.所以在 driver 上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是 Qlogic 的 HBA 需要下载的东西有两项 1. Qlogic Driver (Qlogic 图形管理介面) 这两项在 Qlogic 都可以找的到先来看看 Qlogic Driver 是如何使用.虽然 RHEL5 在预设就有配置 Qlogic 的 Driver ,不过这边还是说一下 Qlogic Driver 是怎麽使用.[root@benjr ~]#tar -xvzf *.tgz[root@benjr ~]#cd qlogic[root@benjr qlogic]#./drvrsetup#这会将 source files 档案解开至 qla2xxx 的目录下[root@benjr qlogic]#cd# 将依据实际版本而有所不同[root@benjr install#这是实际在编辑 driver 的 script 程式在 Qlogix 以上的版本已经将 failover(multi-path) 设定为预设值(=1).之前的版本可以在 /etc/ 加入 options qla2xxx ql2xfailover=1 的 failover 参数选项.下次开机或是重新开机会只会看到一个硬碟(Lun).8SAN - 认识 IBM DS3400 (八) 安装 Qlogic SANsurfer下载下来的 SANsurfer 是个 .bin 档在 Linux 可以直接去执行安装.SANsurfer 是一个透过 Java 所写的 x-windows 图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr ~]#./或是[root@benjr ~]#sh一些宣告和重要讯息有兴趣的可以看一看!!通常我们使用预设的全安装 (FC HBA GUI and ALL Agent) 就可以了!!预设安装目录是 /opt/QLogic_Corporation/SANsurfer 没什麽特别情况就不需要再去修改.安装完成了!!勾选 "Enable Qlogic Failover Configuration" 这也是我们最重要要使用的选项.在这边就选择开启程式或是在目录 /opt/QLogic_Corporation/SANsurfer 执行./SANsurfer 皆可!!安装完 SANsurfer 时会启动 qlremote 的服务所以我们无法立即移除 qla2xxx 和qla2xxx_conf 的 module ,所以当你在移除 qla2xxx 或是 qla2xxx_conf 时会出现ERROR: Module qla2xxx is in use. 不用急的关机,先将 qlremote 的服务停止#/etc/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目录/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以将SANsurfer 移除了.9SAN - 认识 IBM DS3400 (九) 透过 SANsurfer 去管理刚刚安装完 qlogic driver 和 SANsurfer 先确定一下相关的 driver 和 service 都启动了.[root@benjr ~]#modprobe qla2xxx[root@benjr ~]#/usr/local/bin/qlremote(or qlremote start)SANsurfer FC HBA Manager (执行 #./SANsurfer) 存放在目录/opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透过远端去连接但目前我的是存放在 Local 本地端.所以选择 "localhost" 如果是远端的可以使用 IP 或是 Hostname 去连结.因为是初次登入所以没有设定过任何资料,我们可以透过 wizard 的方式快速设定或是以手动方式去设.接下来是直接透过 wizard 的方式去设定.这边看到的就是目前我们系统上有两个 Fiber ports 都未初始化过.一次只能设定一个port 所以先将第一个 port 作初始化的设定.下一步可以看到目前 fiber channel 的资讯.包括了 wwnn , wwpn , driver , BIOS , Firmware 等的资讯.对於 connection options 我并不是很了解这些的不同处所以我使用预设的 Loop Only.你已看到 IBM DS3400 指派给 Qlogic 的硬碟一颗(Lun).做一下初始化的工作.在 readme 有提及预设密码为何,如果没经过改变这预设密码值为 "config"工作告一段落了,不过我们是2个 fiber ports 所以相同的步骤在第 2 个 port 需要再做一次.回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连接到 DS3400 的同一个 Lun.。
IBM+DS3400双机环境设置
IBM-DS3400群集环境配置一、典型拓扑图：二、环境参数：IBM DS3400控制器A管理端口IP地址：192.168.128.101/24控制器B管理端口IP地址：192.168.128.102/24三、DS3400磁盘阵列设置：1、如上图所示，把所有的线缆连接完成。
2、网络连接测试把管理PC的IP设置为192.168.128.0/24网段内任IP地址，通过交换机把管理PC及DS3400的控制器A和B管理端口连接。
分别测试DS3400控制器A及控制器B与终端PC的连接性：在终端PC执行以下命令C:\Ping 192.168.128.101C:\Ping 192.168.128.102如下图，即表示DS3400与PC网络连接没有问题，可继续操作。
如有问题请检查网线、IP设置、交换机等网络故障。
3、DS3400连接需要在管理PC安装Storage Manager，目前最新版本：2.70。
如果没有安装，请下载相应版本并安装，以下地址为Windows2003 X86 32位下载链接：/ibmdl/pub/systems/support/system_ x/ibm_sw_ds3k_02703515_w2k3_i386.zip按向导安装完成后，打开Storage Manager软件。
（1）选择“Automaic”自动搜索相连接的存储：Subsystem”（3）下图为DS3400主管理界面，共有五个子页面：“Summary”(总信息界面、阵列概况、分区信息、警告信息等)、“Configure”（配置Array、Logic Drivers、Host Group、Host、Mapping等）、“Modify”（修改配置信息）、”Tools”（实用工具）、”Support”（支持信息等）4、主机设置：（1）手工添加Host Group，选择”Configure”下的“Creat Host Group”，输入Host Group：Database。
DS3400 盘柜配置实例-带外管理
DS3000系列盘柜管理模式
DS3000系列盘柜管理模式通常分为带内管理(In Band)与带外管理(Out of Band)两种
带内管理:其连接方式是从服务器上的光纤HBA卡接口通过光纤线缆连接到盘柜控制器
上的光纤接口 .
带外管理:即是通过管理站（一台独立的笔记本或台式机）的网卡接口经直通线连接到
8.2选择config选项卡中的”config host access(manual)”
non
9.添加光纤HBA卡(自动搜索):
机,选择config选项卡中的”create logical drive”:
12.完成添加主机，选择config选项卡中的”create logical drive”:
18.创建LUN2，segment size为256KB:
19.映射LUN2到前面创建的主机上，lun号变为1:
20.创建全局热备份盘：config 选项卡 -> Create Hot Spare
21.选择手动配置热备份盘，选中剩下的一块硬盘，点选到右侧的热备份框中
22.系统中查看硬盘
最后，在windows2003中右键“我的电脑”，选择“管理”。选择”磁盘管理”， 可以看到新添加的两块硬盘，初始化并分区即可。
DS3400 的每个控制器提供 2个 FC 端口
（不支持子卡升级）
确认连接正确：
3. 运行软件，选择自动搜索盘柜：
4.发现盘柜后，重命名：
5.启动配置工具：
6.查看盘柜初始状态：
7.查看4块为分配的硬盘：
8.1选择config选项卡中的”config host access(manual)”
准备： 1.在管理站(笔记本)上安装storageManager 2.关闭管理站(笔记本)上的所有网络防火墙、杀毒软件等
IBM System Storage DS3200、DS3300 和 DS3400 快速说明书
从IBM支持Web站点获取文档本《快速安装指南》中提及的IBM System Storage文档位于IBM支持Web站点或存储器子系统随附的支持CD中。
要从IBM支持Web站点获取最新的文档和技术更新，请完成以下步骤：1.转至/servers/storage/support/。
2.在Product Family字段中，单击Select your product下的Disk systems。
3.在Product字段中，根据情况单击IBM System Storage DS3200、IBM System Storage DS3300或IBM System Storage DS3400。
4.单击Go。
5.单击Install and Use选项卡。
安装和配置任务以及从何处获取信息表1提供了大多数DS3000配置共用的安装和配置任务的顺序列表。
安装和配置DS3000存储子系统时，请参阅此表来查找如何完成每个任务的说明文档。
表1.从何处查找DS3200、DS3300和DS3400的安装和配置信息及步骤步骤安装或配置任务从何处查找信息或过程1计划安装v《IBM System Storage DS3200安装、用户和维护指南》v《IBM System Storage DS3300安装、用户和维护指南》v《IBM System Storage DS3400安装、用户和维护指南》2在机架式机箱中安装DS3000存储子系统《机架安装说明》3在机架式机箱中安装EXP3000存储扩展单元4连接存储扩展单元SAS电缆v《IBM System Storage DS3200安装、用户和维护指南》v《IBM System Storage DS3300安装、用户和维护指南》v《IBM System Storage DS3400安装、用户和维护指南》表1.从何处查找DS3200、DS3300和DS3400的安装和配置信息及步骤(续)步骤安装或配置任务从何处查找信息或过程5连接主机系统电缆v 《IBM System Storage DS3200安装、用户和维护指南》v 《IBM System Storage DS3300安装、用户和维护指南》v 《IBM System Storage DS3400安装、用户和维护指南》6开启存储子系统v 《IBM System Storage DS3200安装、用户和维护指南》v 《IBM System Storage DS3300安装、用户和维护指南》v 《IBM System Storage DS3400安装、用户和维护指南》7配置DS3000网络设置《IBM System Storage DS3000Storage Manager V2Microsoft ®Windows ®2003、Linux ®和Novell NetWare 版安装和支持指南》8为光纤网交换机分区（仅针对已连接的光纤通道存储区域网络）请参阅交换机随附的文档。
IBM存储连接配置
存储设备的连接及配置一.存储设备的物理连接存储设备的物理连接，需要至少一台存储设备，一台控制服务器。
一块ISCSI卡或者一块HBA卡。
HBA卡ISCSI卡其中ISCSI是一种基于TCP/IP 的协议，用来建立和管理IP 存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。
HBA卡一款基于光纤通道的连接服务器与存储设备之间的电路板或集成电路适配器。
HP的磁盘存储设备主要是EVA,VA系列以及其他高端存储设备；IBM的磁盘存储设备是DS，EXP系列以及其他高端存储设备系列。
存储设备的常见连接方式有以下几种：1. 一台存储设备，一台服务器直接连接，需要一块ISCSI或者HBA卡（如下图）2.一台存储设备，两台服务器，需要两快控制卡（如下图）3.两台存储设备，两台服务器，需要四块控制卡（如下图）4．多台存储设备，两台服务器，需要两快控制卡（如下图）二.存储设备的系统配置存储设备的系统配置需要用到存储系统配置软件。
此类软件在各类存储产品的包装里均会附带。
其中IBM的配置软件为Storagemanager，HP的则为Commandview。
存储设备的系统配置管理模式通常分为带内管理(In Band)与带外管理(Out of Band)两种。
带内管理，其连接方式是从服务器上的光纤HBA卡接口通过光纤线缆连接到盘柜控制器上的光纤接口；带外管理，即是通过管理站（一台独立的笔记本或台式机）的网卡接口经直通线连接到盘柜控制器的网络管理接口上。
不论带内管理还是带外管理的配置步骤都是一样的。
配置存储设备的步骤：1.安装管理软件。
在服务器或者独立的管理站上安装各个厂商的管理软件。
2.打开管理软件，自动搜索存储盘柜，并对盘柜命名。
3.启动配置工具进入盘柜管理状态界面。
（如下图范例）4.查找控制卡，创建主机。
（如下图范例）5.创建主机组，并将创建的主机加入主机组中。
（如下图范例）6.创建array及磁盘阵列。
IBM-DS3400双机配置文档(图例教程)
IBM-DS3400双机配置文档(图例教程)
ＤＳ３４００的配置
系列均需要在自身上安装不少于4个硬盘。
建议先装上硬盘再上电开机,有些文档里面写明三块做RAID5，另外一块做全局的备份，考虑到容量的关系，我将四块盘都做成了RAID5。
硬盘顺为三行，四列。
建议四块硬盘按横着的顺序插上。
(我调试的是单控器模式)
ds3400）
可能会有这样的提示，选择“YES”
summary选项卡，查看盘柜的各种属性信息：
host groupname：起名“cluster”
以上，第一台机器的存储配置完成，下面是第二台的配置：
选项卡中的config host access(manual)：
选择已查找到的第二台机器光纤卡,并“add”进入。
，第二台配置完成。
）配置未划分的空间：
”new logical drive capacity”输入框中输入要创建的lun大小（默认为原始array大小），后根据应用类型选择segment size:，用做双机的仲裁盘）
而在安装时发现系统有类似找不到第二个控制器的电池，冗余路径丢失的错误，那是由于未将系统设置成单控工作模式所引起的，窗口下键入：
set storageSubsystem redundancyMode=simplex;
菜单下的Execute only来执行。
的一些图：。
配置DS3400
在笔记本上安装好Storage Manager以后，用out-of-band的方式来管理DS3400。
DS3400有两个Controller，Controler A的MGMT地址是192.168.128.101，Controller B的MGMT地址为192.168.128.102，用笔记本连接一根网线到Controller A的MGMT口，IP地址设置为192.168.128.199，子网掩码255.255.255.0，然后去ping Controller的地址，看是否能ping通能正常ping通，现在开始运行Storage Manager来管理DS3400上图就是Storage Manager的初始界面，xulei是本地计算机名，在“xulei”上单击鼠标右键，选择“Add Storage Subsystem”在Controller处，填写DS3400 MGMT的地址，即192.168.128.101，然后点击“Add”（因为现在只连接了一个Controller，所以只填写一个Controller的地址。
如果要把两个Controller的地址都填上去，需要将两个Controller的MGMT口都接在交换机上，和笔记本在一个网络内）然后出现以下提示（DS3400是双控，但当前只连接到其中一个Controller，所以只添加这个Controller即可），选择“Yes”提示添加成功，是否要添加另一个，选择”No”然后在管理主界面就会出现刚发现的DS3400,在Storage Subsystem Unamed上单击鼠标右键,选择”Rename”可以对存储进行改名设置,这里我们将它改名为DS3400然后在主界面,单击鼠标右键,选择”Manage Storage Subsystem”来管理存储,可以配置Array，Logical Driver，Hot Spare，Mapping Host等首先打开的是Summary界面,可以预览此台存储的信息将DS3400的两个Controller都接到交换机之前，我们先把两个Controller的默认IP地址更改一下，点击“TOOLS”然后选择“Configure Ethernet Management Ports”先更改Controller A地址再更改Controller B地址两个Controller的地址更改后，把他们接到交换机上，再把笔记本的IP地址改成10.200 45.32，接到交换机上，然后去ping两个Controller的地址，可以看到刚才的更改已经生效了X3650服务器上装了两块HBA卡，每块卡都通过一根光纤连接到DS3400的一个Controller上的FC Port，现在我们来看DS3400是否能发现服务器，在管理主页点“Congifure”，然后选择Configure Host Access（Manual）输入主机名，和选择系统版本已经发现服务器上的两块HBA卡，把他们添加进去添加好后，点NEXT，然后选择NO此台主机不和其他的主机共享logical drives，然后点击NEXT这是对刚才所添加的主机的预览点击finish后，出现下面提示主机创建成功，并选择NO，不创建另一台主机接下来，在配置主页面，点“Configure”后，选择Create Arrays and logical Drives先来创建Array选中“Arrya”后，点击“NEXT”输入Array名称，选择Manual后点击“NEXT”在RAID LEVEL选择RAID 1，然后选择存储上slot 1- solt 10这10块硬盘做RAID 1，选择Calculate后，可看到计算出来的Array的容量，然后点击finish出现以下提示，Array创建成功。
IBM_DS3400 配置
拓扑图：一、ＤＳ３４００的配置1. DS3000系列均需要在自身上安装不少于4个硬盘。
建议先装上硬盘再上电开机,有些文档里面写明三块做RAID5，另外一块做全局的备份，考虑到容量的关系，我将四块盘都做成了RAID5。
DS3400硬盘顺为三行，四列。
建议四块硬盘按横着的顺序插上。
(我调试的是单控器模式)2. 使用一个级联线（即：1和3、2和6线序调换的）联接你的笔记本或PC 至DS3400的管理口.将笔记本IP设置成：192.168.128.100/255.0.0.0DS3400控制器1的IP：192.168.128.101, 控制器2的IP：192.168.128.1023．安装storage manage 软件（应该随机带，如果没有，可以到 下载:dS3400的，最新应该是2.5版本的下载地址：/jct01004c/systems/support/supportsite.wss/doc display?lndocid=MIGR-5072401&brandind=5000008）4．配置（由于当时，DS3400缺一个GBIC的光纤模块，所以有一台机器不能同时配置，我就先将一台配置好，再将一台的GBIC插到另外一台上，进行配置的，这些将DS3400上GBIC的也插到第二槽位进行配置，这步和网上文档的有一点区别，请注意。
）（1）选择自动配置---Automatic(2)重命名：（取名ds3400）(3)可能会有这样的提示，选择“YES”（4）提示”Controller B unknown”,这个时候DS3400上应该是有黄色叹号灯亮，就是由于这个原因导致的，系统配置为双控制模式，而此时是单控制模式，此问题到第17项中去找解决办法，不影响使用。
选择”synchronize”（5）通过管理界面的summary选项卡，查看盘柜的各种属性信息：（6）手动添加主机，选择config选项卡中的config host access(manual)：（7）选择Windows 2000Server 2003 cluster, hostname:X3650索HBA卡无需抄写WWN号(9)输入host groupname：起名“cluster”以上，第一台机器的存储配置完成，下面是第二台的配置： （10）选择config 选项卡中的config host access(manual)：（11）输入“X226”，指定主机类型”Windows2000/server 2003 cluster”(12)选择已查找到的第二台机器光纤卡,并“add”进入。
IBMDSSAN配置详解
认识I B M D S3400 1 SAN-认识IBMDS3400(一)IBMDS3400是个4Gbps的SAN(?),需要透过IBM的管理介面,去修改Host和logicalDrive的对应,Server才能认到SAN所指派的Lun(LogicalUnitNumber)Disk.通常在IBM的光碟可以找到给Linux的管理程式(IBMSystemStorageDS3000StorageManager).不过你可以在IBM的官方网站找到新版的程式.目前版本为?选择我作业系统的安装版本(Linux),安装也很简单就是下一步下一步完全用预设的方式即可.预设安装的目录在/opt/IBM_DS3000/,主程式为/opt/IBM_DS3000/client/SMclient,不过IBM会很贴心的在桌面加上一个捷径,点选2次就可以开始设定.2 SAN-认识IBMDS3400(二)设定IPIBMDS3400的管理介面是透过IBM?管理工具的方式去管控,所以控制端的IP需要配合DS3400,系统预设的是Controller,Controller2:(两片板的个别IP,需要同时都和控制端相连,两片controllers需要将资料同步),点选桌面的IBMSystemStorageDS3000StorageManager2client或是执行程式/opt/IBM_DS3000/client/SMclient就可以开始设定.预设可以直接让系统去AutomaticDiscovery,只要控制端和DS3400是相同网段都可以找到.如果你的StorageManager可以看到下面的StorageSubsystemUnamed.就代表正确连接到DS3400了.点2下进入控制介面.右下方的状态代表了目前AutomaticDiscovery的进度.如果系统侦测了半天还是没有东西代表DS3400和你控制端不同网段,如果网路环境有可以DHCP不如让控制端使用DHCP指定IP再试试看.因为DS3400并没有comsole可以登入,所以一开始连不到会很辛苦(不知道有没有reset键).进入控制介面的第一个画面如下,不过这个稍後再做详细的介绍.登入之後来看一下DS3400设定成什麽IP,在Tools/ConfigurationEthernetManagementPorts.,可以看到我还是预设的Controller,Controller2:这里就可以设定你想要的IP.不建议以免之後忘记了IP是多少!!记得修改IP之後最好将Remove掉StorageSubsystem再重新作连结.3 SAN-认识IBMDS3400(三)createLogicalDrives如果一开始是一个全新的DS3400系统上并不会建立任何的LogicalDrive.就会像是目前看到的样子!!在Configure/CreateLogicalDrives可以建立LogicalDrive.因为DS3400主要由4X3=12个实体硬碟(SATA/SASHardDrives)组成.所以这边的Drive都是经由实体硬碟建立出的RAID再切割出多个LUN(LogicalUnitNumber)再来指派给需要的Server.1.Unconfiguredcapacity:createanewarrayandlogicaldrive.2.Freecapacity:usecapacityfromanexistingarray.因为一开始并没有任何的Array存在,所以能做的就是"1"建立RAID和LogicalDrive.选择Manual可以让你自己多做一些选择,不过IBM还是建议使用Automatic.依需求来切割,我的环境有4个sasHarddrive我要把他都建成RAID5.Logicaldrivecapacity预设是使用全部的空间,我们可以依据需求做修改,比如有2台Server都需要这空间,我们可以切割不同的2个区块共不同的Server来使用(这会在後面介绍).所以硬碟空间不要全部用完.其中的LUN值很重要当你要指配不同的Drive给Server时Lun就不能重复.Server 会依据Lun大小来决定硬碟顺序.到这里就算是建立好RAID并再切割一个LUN.如果刚刚空间没用完的回Configure/CreateLogicalDrives还是可以在建立另外的Lun.回到Summary就会看到刚刚所做的一些改变.在Modify/DeleteLogicalDrives可以移除刚刚所建立的RAID.4 SAN-认识IBMDS3400(四)createHostAccessIBMDS3400是由2片controlmodules组成.每一片上面都有2个fiberports可供存取,但是另外一组皆是使用再备援上.所以上面虽然有4个fiberport但其实可以和Host连接的只有2个fiberport(另两个是备援).如果要提共多组的Fiber连结就需要透过FiberSwitch的连接方式.下图是在同一台Host使用备援的连接方式.图的来源:?在未开始之前先确定你的Server(QLogic2462dualportfiberchannel)已经连接到IBMDS3400如下图,并且Driver(module)确定都已经在运行,可以使用#lsmod来确定.目前我使用的是QLogic2462dualportfiberchannel,Driver(module)可以在这边找到?因为FiberChannel是靠WWPN来认Lun的,所以在建立完Lun之後就要建立相对应的Host(Serverfiberchannel的WWNP).在Configure/ConfigureHostAccess(Manual)设定中,名称是为了方便记忆,还要选择Server的OS版本.目前我使用的是QLogic2462dualportfiberchannel,所以会看到两个WWPN,先建立第一组Host.如果你的Server需要高可靠度的环境,我们会将多个Fiberchannel的路径指向同一个LogicalDrive.先选择"No".後面我们才会建立出这样的环境.完成一个Host!!使用相同的步骤建立出另外一个Host.note:WWPN如同网卡有MACAddress(48bits)作为辨识方式.光纤也是有类似的定址WWN，WorldWideName:FC光纤通道的定址(64bits),这个光纤通道的WWN也像是MAC 一样每一个出货的HBA(HostBusAdapter)都有他独一无二的WWN.属於硬体的一部份,无法轻易更改.不过WWN还细分了WWNN:WorldWideNodeName/WWPN:WorldWidePortName使用上有点不同.1.当你的光纤HBA卡有多个port时存在(2个以上)你想针对HBA上所有的port 你应该使用WWNN2.如果是针对单一个port时需要使用WWPN3.通常会在Fiberswitch上使用到multipath时会针对WWNN来设定.Linux下要看WWNN/WWPN可以查看档案?/proc/scsi/qla2xxx/?不同的FiberHBA 会有不同Module这边我使用的是Qlogic的FiberHBA.[root@benjr~]#?ls-l/proc/scsi/qla2xxx/total0-rw-r--r--1rootroot0Mar1119:044-rw-r--r--1rootroot0Mar1119:045[root@benjr~]#?cat/proc/scsi/qla2xxx/4 QLogicPCItoFibreChannelHostAdapterforxxxxxxxx: SCSIDeviceInformation:#就是WWNN#就是WWPN5SAN-认识IBMDS3400(五)CreateHostGroup企业中SAN的环境会要求高可靠度,所以单一的路径是不能符合企业中的需求,所以你可以看到下面的图:图的来源:?路径是两条的,DS3400在预设是无法将同一颗logicalDrive硬碟分享给不同的WWPN,所以需要将不同的WWPN设定成一个Group.这样LogicalDrive才能同时指派给不同的WWPN,在Configure/CreateHostGroup可以建立HostGroup.名称是方便记忆,在Hosts可以看到刚刚我们设定好的HostP0和P1.将这两个都指派到这个Group.基本上这样就已经将HostGroup设定完成,最後就是需要将Host和LogicalDrive做对应(Mapping).在Modify/EditHostTopology可以看到我们所设定的.6 SAN-认识IBMDS3400(六)CreateHost-to-LogicalDriveMap pings前置作业都已经告一段落了,现在需要做的就是将先前定义好的HostGroup对应(Mapping)到LogicalDrive.在Configure/CreateHost-to-LogicalDriveMappings选择对应的HostGroup和LogivalDrive已经定义好的可以在Modify的EditHost-LogicalDriveMappings来查看.先前我定义了两颗LogicalDrives和两个Host,并将这两个Host对应到同一个Group.目前要将这两颗LogicalDrives对应到这个Group.基本上要注意的一点就是"Assignlogicalunitnumber(LUNX0to31).Linux是依据Luns值大小来决定硬碟顺序.并且Linux最大的Luns为0~31(种共32个Luns),所以在指配时须将这两个Luns 设为不同的值,不过IBMDS3400会自己指定,分配不同数值.可以看到在指派第二颗时他指定的Lun变成"1".回到Summary可以看到刚刚指定好的Hosts&Mappings.现在最後一步就是回到Server(Linux),设定driver(module)和multi-path了!!7 SAN-认识IBMDS3400(七)Linuxmulti-pathdriver虽然我们在IBMDS3400已经设定好了HostGroup让同一个Lun去让不同的wwpn 存取.所以在driver上还需要透过一些设定让系统不会误认为这是两个硬碟装置.目前我系统使用的是Qlogic的HBA需要下载的东西有两项1.QlogicDriver?2.SANsurfer(Qlogic图形管理介面)这两项在Qlogic都可以找的到先来看看QlogicDriver是如何使用.虽然RHEL5在预设就有配置Qlogic的Driver,不过这边还是说一下QlogicDriver是怎麽使用.[root@benjr~]#?tar-xvzf*.tgz[root@benjr~]#?cdqlogic[root@benjrqlogic]#?./drvrsetup#这会将sourcefiles档案解开至qla2xxx的目录下[root@benjrqlogic]#?cd将依据实际版本而有所不同[root@benjr?./extras/build.shinstall#这是实际在编辑driver的script程式在Qlogix8.x以上的版本已经将failover(multi-path)设定为预设值(=1).之前的版本可以在/etc/modprobe.conf加入optionsqla2xxxql2xfailover=1的failover参数选项.下次开机或是重新开机会只会看到一个硬碟(Lun).8 SAN-认识IBMDS3400(八)安装QlogicSANsurfer下载下来的SANsurfer是个.bin档在Linux可以直接去执行安装.SANsurfer是一个透过Java所写的x-windows图形管理介面.安装方式很不难,就只有下面几个步骤.[root@benjr~]#?或是[root@benjr~]#?sh一些宣告和重要讯息有兴趣的可以看一看!!通常我们使用预设的全安装(FCHBAGUIandALLAgent)就可以了!!预设安装目录是/opt/QLogic_Corporation/SANsurfer没什麽特别情况就不需要再去修改.安装完成了!!勾选"EnableQlogicFailoverConfiguration"这也是我们最重要要使用的选项.在这边就选择开启程式或是在目录/opt/QLogic_Corporation/SANsurfer执行./SANsurfer皆可!!安装完SANsurfer时会启动qlremote的服务所以我们无法立即移除qla2xxx和qla2xxx_conf的module,所以当你在移除qla2xxx或是qla2xxx_conf时会出现ERROR:Moduleqla2xxxisinuse.不用急的关机,先将qlremote的服务停止#/etc/init.d/qlremotestop就可以再移除qla2xxx和qla2xxx_conf的module.如果要移除SANsurfer在目录/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller就可以将SANsurfer移除了.9 SAN-认识IBMDS3400(九)透过SANsurfer去管理?刚刚安装完qlogicdriver和SANsurfer先确定一下相关的driver和service都启动了.1.driver[root@benjr~]#?modprobeqla2xxx2.SANsurfer[root@benjr~]#?/usr/local/bin/qlremote?(orqlremotestart)SANsurferFCHBAManager(执行#./SANsurfer)存放在目录/opt/QLogic_Corporation/SANsurfer下.SANsurfer可以透过远端去连接但目前我的是存放在Local本地端.所以选择"localhost"如果是远端的可以使用IP或是Hostname去连结.因为是初次登入所以没有设定过任何资料,我们可以透过wizard的方式快速设定或是以手动方式去设.接下来是直接透过wizard的方式去设定.这边看到的就是目前我们系统上有两个Fiberports都未初始化过.一次只能设定一个port所以先将第一个port作初始化的设定.下一步可以看到目前fiberchannel的资讯.包括了wwnn,wwpn,driver,BIOS,Firmware等的资讯.对於connectionoptions我并不是很了解这些的不同处所以我使用预设的LoopOnly. 你已看到IBMDS3400指派给Qlogic的硬碟一颗(Lun).做一下初始化的工作.在readme有提及预设密码为何,如果没经过改变这预设密码值为"config"工作告一段落了,不过我们是2个fiberports所以相同的步骤在第2个port需要再做一次.回到首页就会看到目前环境的示意图,很好很我们预期要修改的状态一样!!这一台电脑同时连接到DS3400的同一个Lun.▪SAN-认识IBMDS3400(二)设定IP▪SAN-认识IBMDS3400(三)CreateLogicalDrives▪SAN-认识IBMDS3400(四)CreateHostAccess▪SAN-认识IBMDS3400(五)CreateHostGroup▪SAN-认识IBMDS3400(六)CreateHost-to-LogicalDriveMappings▪SAN-认识IBMDS3400(七)Linuxmulti-pathdriver▪SAN-认识IBMDS3400(八)安装QlogicSANsurfer▪SAN-认识IBMDS3400(九)透过SANsurfer去管理。
IBM DS3400磁盘阵列配置
IBM DS3400磁盘阵列配置DS 3400简介双控2U 机架安装机柜，带有12 个便于访问的驱动器托架支持速度为10,000 和 15,000 rpm 的双端口和热插拔SAS （3寸）磁盘安装300GB 热插拔SAS 磁盘后存储容量可以扩展到 3.6TB可以通过连接最多三个EXP3000 进行扩展，使硬盘驱动器的总数量达到 48 个内置的可靠性功能，带有标配双冗余电源配置环境硬件DS3400 2个73G SAS，5个286G SASIBM 3850 服务器×2台双HBA卡冗余(服务器上需要安装RDAC实现failover)软件：IBM storage manager 2 Client配置步骤默认Ds3400的controller A IP地址为192.168.128.101, controller B IP地址为192.168.128.102在笔记本上安装IBM storage manager 2 Client，配置ip地址为192.168.128.100，用Switch连接笔记本和DS3400的两个控制器的console口。
启动storage manager 2 client软件添加storage subsystems 可以手工添加（Out－of－band management）进入Storage manager summary可能会提示控制器时间同步创建Host Group配置host access( Manual),手工配置Host（注意host名字可以随意，但是如果Host的HBA卡如果有两张，两张都需要添加）建立两个逻辑设备,两块73G SAS硬盘做RAID1,五块300G SAS硬盘做RAID5 其中一块硬盘做Hot space（分配容量的时候要注意，如果选择全部容量，一个RAID就只能建立一个LUN了，如果保留一些容量就可以划分其他的LUN）创建逻辑设备到主机的映射。
IBM服务器连DS3400双机配置详细文档,全程图文
3400配置双机一．目的：用ds3400作为双机的存储单元，实现2台x3655在windows2003下的双机热备。
4块盘36G硬盘，3块做RAID5，1块全局热备份。
二．环境：1．主机：2台x36552．系统：windows 2003 SP13．FC HBA：2块emulex 4Gb single-port 42c20694．盘柜：ds3400单控（2个4Gb SFP，2根LC-LC光纤线）三．准备：连接管理站（笔记本）到DS3400A控制器的管理口，并在管理站安装storage manager。
（随ds3400盘柜中有安装文件）服务器端安装windows2003 打SP1补丁及各种设备驱动四．配置DS34001．确认与DS3400的连接正常：2．打开Storage Manager自动所搜storage subsystem，rename盘柜，选择配置ds3400：3．选择configure选项卡，手动配置主机：4．配置host1类型和名称：选择操作系统类型为clustered版本5．选择主机所安装的FC HBA卡：6．创建双机所在的主机组（host group）：7．完成第一台主机配置：8．配置host2：9．主机2的配置和主机1相同：10．将另外一块HBA卡分配给主机2：11．选择已存在的host group，将主机2加入到该主机组：12．主机2配置结束：13．Configure选项卡中创建逻辑盘：14．选择手动配置：15．创建3块盘的RAID5：16．创建仲裁盘，容量500MB即可17．将第一个lun映射到开始创建的主机组（3400cluster）中：18．选择“yes”创建lun2：19．从RAID5中未划分的空间中创建lun2：20．使用剩余的所有容量创建lun2：21．将lun2映射到主机组（3400cluster）上，lun自动变为1（第一个lun号为0）：22．Configure选项卡中选择手动创建热备份盘：23．24．选中剩余的一块盘作为全局热备份：25．配置后的ds3400状态，确认lun正在初始化，创建了一个partition，以及映射关系另：如果您是双控的ds3400要确保创建的lun同时属于一个控制器！ds3400配置结束后，重启两台服务器后在“磁盘管理”中既可以看到2块未初始化的硬盘。
ibmds3400san配置详解
认识IBM DS34001SAN - 認識 IBM DS3400 (一)IBM DS3400 是個 4Gbps 的SAN( ) ,需要透過 IBM 的管理介面,去修改 Host 和 logical Drive 的對應,Server 才能認到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在 IBM 的光碟可以找到給 Linux 的管理程式(IBM System Storage DS3000 Storage Manager).不過你可以在 IBM 的官方網站找到新版的程式.目前版本為選擇我作業系統的安裝版本( Linux ),安裝也很簡單就是下一步下一步完全用預設的方式即可.預設安裝的目錄在 /opt/IBM_DS3000/,主程式為/opt/IBM_DS3000/client/SMclient ,不過 IBM 會很貼心的在桌面加上一個捷徑,點選2次就可以開始設定.2SAN - 認識 IBM DS3400 (二) 設定 IPIBM DS3400 的管理介面是透過 IBM 管理工具的方式去管控,所以控制端的 IP 需要配合 DS3400 ,系統預設的是 Controller 1: ,Controller 2: (兩片板的個別IP,需要同時都和控制端相連,兩片 controllers 需要將資料同步),點選桌面的IBM System Storage DS3000 Storage Manager 2 client 或是執行程式/opt/IBM_DS3000/client/SMclient 就可以開始設定.預設可以直接讓系統去 Automatic Discovery ,只要控制端和 DS3400 是相同網段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正確連接到 DS3400 了.點 2 下進入控制介面.右下方的狀態代表了目前 Automatic Discovery 的進度.如果系統偵測了半天還是沒有東西代表 DS3400 和你控制端不同網段,如果網路環境有可以 DHCP 不如讓控制端使用 DHCP 指定 IP 再試試看.因為 DS3400 並沒有comsole 可以登入,所以一開始連不到會很辛苦(不知道有沒有 reset 鍵).進入控制介面的第一個畫面如下,不過這個稍後再做詳細的介紹.登入之後來看一下 DS3400 設定成什麼 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我還是預設的 Controller 1: ,Controller 2: 這裡就可以設定你想要的 IP.不建議以免之後忘記了 IP 是多少!!記得修改 IP 之後最好將 Remove 掉 Storage Subsystem 再重新作連結.3SAN - 認識 IBM DS3400 (三) create Logical Drives如果一開始是一個全新的 DS3400 系統上並不會建立任何的 Logical Drive.就會像是目前看到的樣子!!在 Configure / Create Logical Drives 可以建立 Logical Drive.因為 DS3400 主要由 4X3 = 12 個實體硬碟(SATA / SAS Hard Drives)組成.所以這邊的 Drive 都是經由實體硬碟建立出的 RAID 再切割出多個 LUN(Logical Unit Number) 再來指派給需要的 Server.capacity: create a new array and logical drive.capacity: use capacity from an existing array.因為一開始並沒有任何的 Array 存在,所以能做的就是 "1" 建立 RAID 和Logical Drive.選擇 Manual 可以讓你自己多做一些選擇,不過 IBM 還是建議使用Automatic.依需求來切割,我的環境有 4 個 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 預設是使用全部的空間,我們可以依據需求做修改,比如有2台 Server 都需要這空間,我們可以切割不同的2個區塊共不同的 Server 來使用(這會在後面介紹).所以硬碟空間不要全部用完.其中的 LUN 值很重要當你要指配不同的 Drive 給 Server 時 Lun 就不能重複.Server 會依據 Lun 大小來決定硬碟順序.到這裡就算是建立好 RAID 並再切割一個 LUN.如果剛剛空間沒用完的回 Configure / Create Logical Drives 還是可以在建立另外的 Lun.回到 Summary 就會看到剛剛所做的一些改變.在 Modify / Delete Logical Drives 可以移除剛剛所建立的 RAID.4SAN - 認識 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 組成.每一片上面都有 2 個 fiber ports 可供存取,但是另外一組皆是使用再備援上.所以上面雖然有4個 fiber port 但其實可以和 Host 連接的只有2個 fiber port(另兩個是備援).如果要提共多組的Fiber 連結就需要透過 Fiber Switch 的連接方式.下圖是在同一台 Host 使用備援的連接方式.圖的來源: 在未開始之前先確定你的 Server (QLogic 2462 dual port fiber channel)已經連接到 IBM DS3400 如下圖,並且 Driver(module) 確定都已經在運行,可以使用 #lsmod 來確定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在這邊找到因為 Fiber Channel 是靠 WWPN 來認 Lun 的,所以在建立完 Lun 之後就要建立相對應的 Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 設定中,名稱是為了方便記憶,還要選擇 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以會看到兩個 WWPN,先建立第一組 Host.如果你的 Server 需要高可靠度的環境,我們會將多個 Fiber channel 的路徑指向同一個 Logical Drive.先選擇 "No".後面我們才會建立出這樣的環境.完成一個 Host!!使用相同的步驟建立出另外一個 Host.note:WWPN如同網卡有 MAC Address(48bits) 作為辨識方式.光纖也是有類似的定址 WWN，World Wide Name:FC 光纖通道的定址 (64 bits),這個光纖通道的 WWN 也像是 MAC 一樣每一個出貨的 HBA(Host Bus Adapter) 都有他獨一無二的 WWN .屬於硬體的一部份,無法輕易更改.不過 WWN 還細分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有點不同.1.當你的光纖 HBA 卡有多個 port 時存在(2個以上) 你想針對 HBA 上所有的port 你應該使用 WWNN2.如果是針對單一個 port 時需要使用 WWPN3.通常會在 Fiber switch 上使用到 multipath 時會針對 WWNN 來設定.Linux 下要看 WWNN / WWPN 可以查看檔案 /proc/scsi/qla2xxx/ 不同的 Fiber HBA 會有不同 Module 這邊我使用的是 Qlogic 的 Fiber HBA.[root@benjr ~]# ls -l /proc/scsi/qla2xxx/total 0-rw-r--r-- 1 root root 0 Mar 11 19:04 4-rw-r--r-- 1 root root 0 Mar 11 19:04 5[root@benjr ~]# cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=;#就是 WWNNscsi-qla0-adapter-port=;#就是 WWPN5SAN - 認識 IBM DS3400 (五) Create Host Group企業中 SAN 的環境會要求高可靠度,所以單一的路徑是不能符合企業中的需求,所以你可以看到下面的圖:圖的來源: 路徑是兩條的,DS3400在預設是無法將同一顆 logical Drive 硬碟分享給不同的 WWPN,所以需要將不同的 WWPN 設定成一個 Group.這樣 Logical Drive 才能同時指派給不同的 WWPN,在 Configure / Create Host Group 可以建立Host Group.名稱是方便記憶,在 Hosts 可以看到剛剛我們設定好的 Host P0 和 P1.將這兩個都指派到這個 Group.基本上這樣就已經將 Host Group 設定完成,最後就是需要將 Host 和 Logical Drive 做對應(Mapping).在 Modify / Edit Host Topology 可以看到我們所設定的.6SAN - 認識 IBM DS3400 (六) CreateHost-to-Logical Drive Mappings前置作業都已經告一段落了,現在需要做的就是將先前定義好的 Host Group 對應(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 選擇對應的 Host Group 和 Logival Drive已經定義好的可以在 Modify 的 Edit Host-Logical Drive Mappings 來查看.先前我定義了兩顆 Logical Drives 和兩個 Host,並將這兩個 Host 對應到同一個Group.目前要將這兩顆 Logical Drives 對應到這個 Group.基本上要注意的一點就是 "Assign logical unit number(LUNX0 to 31). Linux 是依據 Luns 值大小來決定硬碟順序.並且 Linux 最大的 Luns 為 0~31(種共32個 Luns),所以在指配時須將這兩個 Luns 設為不同的值,不過 IBM DS3400 會自己指定,分配不同數值.可以看到在指派第二顆時他指定的 Lun 變成 "1".回到 Summary 可以看到剛剛指定好的 Hosts & Mappings.現在最後一步就是回到Server (Linux) ,設定driver(module) 和 multi-path 了!!7SAN - 認識 IBM DS3400 (七) Linux multi-path driver雖然我們在 IBM DS3400 已經設定好了 Host Group 讓同一個 Lun 去讓不同的wwpn 存取.所以在 driver 上還需要透過一些設定讓系統不會誤認為這是兩個硬碟裝置.目前我系統使用的是 Qlogic 的 HBA 需要下載的東西有兩項 1. Qlogic Driver (Qlogic 圖形管理介面) 這兩項在 Qlogic 都可以找的到先來看看Qlogic Driver 是如何使用.雖然 RHEL5 在預設就有配置 Qlogic 的 Driver ,不過這邊還是說一下 Qlogic Driver 是怎麼使用.[root@benjr ~]#tar -xvzf *.tgz[root@benjr ~]# cd qlogic[root@benjr qlogic]#./drvrsetup#這會將 source files 檔案解開至 qla2xxx 的目錄下[root@benjr qlogic]#cd# 將依據實際版本而有所不同[root@benjr ./extras/ install#這是實際在編輯 driver 的 script 程式在 Qlogix 以上的版本已經將 failover(multi-path) 設定為預設值(=1).之前的版本可以在 /etc/ 加入 options qla2xxx ql2xfailover=1 的 failover 參數選項.下次開機或是重新開機會只會看到一個硬碟(Lun).8SAN - 認識 IBM DS3400 (八) 安裝 Qlogic SANsurfer下載下來的 SANsurfer 是個 .bin 檔在 Linux 可以直接去執行安裝.SANsurfer 是一個透過 Java 所寫的 x-windows 圖形管理介面.安裝方式很不難,就只有下面幾個步驟.[root@benjr ~]#./或是[root@benjr ~]# sh一些宣告和重要訊息有興趣的可以看一看!!通常我們使用預設的全安裝 (FC HBA GUI and ALL Agent) 就可以了!!預設安裝目錄是 /opt/QLogic_Corporation/SANsurfer 沒什麼特別情況就不需要再去修改.安裝完成了!!勾選 "Enable Qlogic Failover Configuration" 這也是我們最重要要使用的選項.在這邊就選擇開啟程式或是在目錄 /opt/QLogic_Corporation/SANsurfer 執行./SANsurfer 皆可!!安裝完 SANsurfer 時會啟動 qlremote 的服務所以我們無法立即移除 qla2xxx 和qla2xxx_conf 的 module ,所以當你在移除 qla2xxx 或是 qla2xxx_conf 時會出現 ERROR: Module qla2xxx is in use. 不用急的關機,先將 qlremote 的服務停止#/etc/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目錄/opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以將 SANsurfer 移除了.9SAN - 認識 IBM DS3400 (九) 透過 SANsurfer 去管理剛剛安裝完 qlogic driver 和 SANsurfer 先確定一下相關的 driver 和 service 都啟動了.[root@benjr ~]#modprobe qla2xxx[root@benjr ~]#/usr/local/bin/qlremote(or qlremote start)SANsurfer FC HBA Manager (執行 #./SANsurfer) 存放在目錄/opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透過遠端去連接但目前我的是存放在 Local 本地端.所以選擇 "localhost" 如果是遠端的可以使用 IP 或是 Hostname 去連結.因為是初次登入所以沒有設定過任何資料,我們可以透過 wizard 的方式快速設定或是以手動方式去設.接下來是直接透過 wizard 的方式去設定.這邊看到的就是目前我們系統上有兩個 Fiber ports 都未初始化過.一次只能設定一個 port 所以先將第一個 port 作初始化的設定.下一步可以看到目前 fiber channel 的資訊.包括了 wwnn , wwpn , driver , BIOS , Firmware 等的資訊.對於 connection options 我並不是很了解這些的不同處所以我使用預設的 Loop Only.你已看到 IBM DS3400 指派給 Qlogic 的硬碟一顆(Lun).做一下初始化的工作.在 readme 有提及預設密碼為何,如果沒經過改變這預設密碼值為 "config"工作告一段落了,不過我們是2個 fiber ports 所以相同的步驟在第 2 個 port 需要再做一次.回到首頁就會看到目前環境的示意圖,很好很我們預期要修改的狀態一樣!!這一台電腦同時連接到 DS3400 的同一個 Lun.SAN - 認識 IBM DS3400 (二) 設定 IPSAN - 認識 IBM DS3400 (三) Create Logical DrivesSAN - 認識 IBM DS3400 (四) Create Host AccessSAN - 認識 IBM DS3400 (五) Create Host GroupSAN - 認識 IBM DS3400 (六) Create Host-to-Logical Drive Mappings SAN - 認識 IBM DS3400 (七) Linux multi-path driverSAN - 認識 IBM DS3400 (八) 安裝 Qlogic SANsurferSAN - 認識 IBM DS3400 (九) 透過 SANsurfer 去管理。
RoseHA 双机热备
ROSE安装配置方案一．环境1．用ds3400作为双机的存储单元，以2台WMS数据库服务器为例在windows2003下的双机热备。
先将磁盘阵列做好三块做RAID5，3块做RAID5，在管理站（个人PC机）安装ds3400盘柜中随带的安装文件storage manager。
如下图：2．确定两台服务器都能看到共享卷，并将共享卷的属性一定要改成基本卷，不能是动态卷.，将共享卷格式化，两台服务器设置成相同的逻辑盘符，如下图：3．每台服务器内部需要两片以太网卡，一片是私网，一片是公网，设好IP地址和子网掩码，并确保两边都能PING通；4．服务器之间RJ-45直通线连接，并用ROSE随带的串口线连接（可无）。
二、ROSE HA软件的安装1．打开软件目录，运行其中的SETUP文件2．点击Next进行下一步3．点击Next并输入用户名和公司名4．点击Next，输入本地服务器名和远程服务器名5．另一台服务器上安装正好相反6．点击Next7．执行Next，安装完成，在另一台服务器上以同样的方式安装三、ROSE软件的设置1．运行安装的ROSE软件2.选择Tools菜单的License.根据商务提供的License填写内容3．在我的电脑/服务里将Cluster Service和Cluster Monitor Service的登录身份都改为Administrator。
5．点击开始按钮，启动ROSE服务6．选择Private Net 选项下的RS-232Serial Port6．进行串口设置选择Close7．选择Private Net选项下的TCP/IPSocket，设置私网的IP地址，点击Add，点击Close。
8．配置好后，可以看见有两根红色的线，另一边还没配，所以是黑色的。
9．在WMS-CP2主机上配置相同的RS-232配置，该线变成绿色的，表示已经接通。
.四、配置ROSE的SQL的VOLUME卷服务1．点击工具条上最左边的Resource Objects,切换到如下画面2．选中其中一台服务器，点击Resource，选择Create→Volume。
双机热备配置步骤
双机热备配置步骤设备清单服务器两台IBM X3650 M3 和IBM X3650磁盘矩阵一台IBM DS3200SAS HBA卡8个SAS线缆4条一安装服务器系统为两台服务器安装Microsoft Windows Server 2003 Enterprise 版本操作系统，安装步骤：1 将IBM的引导盘放入光驱中，重启电脑，直到出现选择使用本引导盘的语言界面（注意：此时语言为ServerGuide引导程序语言，与所要安装操作系统无关），选择English。
选择键盘布局以及国家或地区画面，在这里全部选择United States，然后点击NEXT；3. 出现许可协议界面，阅读许可协议内容，点击“I accept”继续即可；中文用户可以在Language选项中选择Chinese 阅读中文协议4. 查看概述以了解ServerGuide 功能，请在使用前仔细查看相关使用说明，点击“NEXT”继续；5. 在这里可以选择您要安装的操作系统，选择Microsoft Windows Server 2003 Enterprise 然后后点击NEXT；6．当出现清除硬盘信息界面时，请根据情况选择选择跳过或者清除，点击NEXT（注：如果有需要保留已有的阵列信息，请选择“Skip this task”，但硬盘上的数据和分区仍然会被清除掉）；（此处选择清除硬盘分区及恢复阵列信息到默认状态）7.点击Next 进入ServeRaid阵列控制器配置界面这里建议选择RAID1方式配置,点击Next。
接着可以选择阵列级别.（点击Advanced Settings可进入高级设置）确认配置好阵列后,选择Next8．进入如下界面进行分区和文件系统类型选择，在分区时注意不要小于3G的容量，建议设置20486M：（此时所输入的数值为系统分区的容量，即C盘容量；剩余空间在系统磁盘管理中以未划分状态出现）然后进行格式化。
9. 下面开始设置win2003安装的相关配置：在下面界面上输入用户名，计算机名和序列号，注意Product ID* 要输入WIN2003操作系统光盘的序列号：（注：带*号的为必填项目）；10．选择服务器的网络设置；11．选择网卡的设置，可以按系统默认的网卡类型先进行安装，待操作系统安装好后可以进行更改；12. 选择WIN2003系统的license数量；13. 进入操作系统语言和国家设置界面，在时区项选择（GMT+08:00）Beijing, Chongqing, Hong Kong, Urumqi，在主要语言项选择Chinese （PRC）；在第二语言项选择“Simplified Chinese”项。
IBM DS3400 Windows 2003双机安装(Huawei)
IBM DS3400 Windows 2003双机安装1.1 安装系统前准备 (2)1.1.1硬件准备 (2)1.1.2随机驱动安装光盘 (3)1.1.3硬件连接 (3)1.1.4网卡的物理位置、名称、IP对应关系 (4)1.1.5群集系统规划表（各产品线根据自己的实际情况修改） (4)1.1.6软件安装列表 (5)1.1.7群集安装步骤中必须关闭的节点和存储设备 (6)1.2 安装操作系统软件 (7)1.2.1安装W INDOWS 2003企业版操作系统 (7)1.2.2安装W INDOWS 2003S ERVICE P ACK1 (7)1.2.3安装W INDOWS 2003安全热补丁 (7)1.2.4创建磁盘D (7)1.2.5更改光盘驱动器盘符 (8)1.2.6安装F IBRE/SAS HBA等相关驱动程序 (8)1.2.7配置网卡 (11)1.2.8配置A CTIVE D IRECTORY（活动目录） (17)1.3 配置DS3000磁盘阵列 (20)1.3.1安装IBM S TORAGE M ANAGER 组件 (20)1.3.2在S ERVER A配置阵列 (20)1.3.3在S ERVER A格式化磁盘阵列 (34)1.3.4在S ERVER B验证磁盘阵列的盘符和卷标 (34)1.4 安装及配置群集服务 (34)1.4.1创建CLUSTERADMIN 和SQLADMIN域管理员帐号 (34)1.4.2在S ERVER A安装群集服务 (39)1.4.3在S ERVER B安装群集服务 (42)1.4.4移动和验证群集资源 (45)1.4.5设置服务器开关原则 (45)1.5 DS3000双机安装配置TPS ............................................................................ 错误！未定义书签。
1.5.1DS3000 ................................................................................................... 错误！未定义书签。
IBMDS3400存储配置
IBM DS3400存储配置带外管理方式，用自己电脑网口连接存储网口，DS3400默认管理口地址192.168.128.101，笔记本ip配置成同一网段。
第一步：安装Storage_Manager_for_Windows，打开后，右击电脑，然后SCAN，扫描到存储设备。
第二步：进入之后可以看到硬盘个数，当前总共存储空间第三步：点击Configure Host Access(manual),手动配置主机接入，既配置HBA卡连接。
第四步：写主机名，随便写。
第五步：写完主机名称后，可以看到需要选择主机操作系统。
第六步：一般选择Windows Server 2003/Server 2008 Non-Clustered第七步：看到目前存储设备的HBA卡和序列号第八步：把HBA卡添加到右边。
第九步：出现是否和其它主机共享空间，选择NO。
第十步：此时主机添加完成。
第十一步：正在完成。
第十二步：完成后选NO。
第十三步：点击Create Arrays and Logical Drivers，创建硬盘映射。
第十四步：选择硬盘模式，SAS和SATA两种，根据硬盘去选择。
第十五步：创建array 名称，保持默认，选择手动高级模式。
第十六步：选择硬盘，把存储设备的硬盘都添加到右边。
第十七步：选择raid，大于3块可以用raid5,2块用raid1或raid0，然后点击CalculateCapacity，计算raid后空间容量第十八步：完成后，创建磁盘分区大小。
第十九步：选择磁盘分区大小，以及硬盘类型，是文件类还是数据库类，一般是文件(windows2003磁盘分区千万不要大于2T)第二十步：选择映射的主机名称第二十一步：映射完成之后，返回页面就可以了！第二十二步：在操作系统SERVER2003的磁盘管理里面格式化，新建分区就可以了！。
IBM X3650服务器 DS3400 SAS 磁盘柜双机热备方案
ＩＢＭX3650服务器+DS3400 SAS 磁盘柜双机热备方案双机热备软件能对计算机的操作系统、网络系统和数据库及时进行检测，当其中任何一个系统出现问题时双机软件能自动运行到备用服务器上，让备用服务器接管主机的工作，达到让计算机永不停机，数据永不丢失。
实现目标：a) 实现自动备份：在无需人工干预的情况下实现自动启动备份作业；b) 灾难恢复：对不可预期的人为或自然灾难实现灾难恢复能力；c) 业务不中断：支持对数据库24*7访问；d) 集中管理：分布在整个网络的数据集中管理存储；e) 易用性：这主要体现在图形用户界面和无人值守的操作。
f) 适度冗余：总体存储容量保持30%的冗余，以适应今后可能的网络数据扩充。
g) 扩展性能：有良好的扩展性，对新增的应用数据的备份容易扩展IBM双机热备方案所需软硬件清单如下：DS3400/DS3400安装技巧DS3000系列均需要在自身上安装不少于4个硬盘。
建议先装上硬盘再上电开机。
DS3000系列提供与DS4000系列类似的带内和带外两种管理方法，带外管理的默认IP地址也与DS4000一样，控制器A为192.168.128.101,控制器B为192.168.128.102。
本人比较喜欢采用带外管理，将本本网卡设至192.168.128网段后，可以ping通即可。
管理口长时间未起用时需要若干分钟的时候等待管理接口工作。
在本本上安装DS3000 Storage Manager（随机附带），注意该SM与DS4000上的Storage Manager 为不同程序，不可替换使用。
甚至不能在一台机器上共存。
打开Storage Manager后，首先需要发现设备，可以ping通控制器后，发现工作会非常容易。
双击发现的设备就可以进入该设备的管理界面，学名叫Subsystem Management。
Subsystem Management分为5个大项，Summary，Configure，Modify，Tools，Support。