V7000存储底层结构及数据恢复案例详解
IBM 存储虚拟化解决方案 SVC StorwizeV7000 & XIV 竞争分析和成功案例分享
© 2010 IBM Corporation
SVC对比HDS/HP 虚拟化产品 (VSP USPV USPVM)
HDS 型号 VSP USP V USP VM
Sun Solaris
HP型号(OEM) StorageWorks P9500 StorageWorks XP24000 StorageWorks XP20000
V7000对比友商产品
IBM 型号 外部虚拟化引擎 2.5”/3.5”磁盘支持 磁盘技术 分级存储 Storwize V7000 有 支持混插 6Gb SSD/SAS/ NLSAS Easy Tier 免费 Dell/EMC Dell/EMC CX4-120/ 240/ 480 无 否 4Gb SSD/FC/SATA FAST 额外付费 （许可证和专业实施费用） HP EVA4400/ 6400/ 8400 无 否 4Gb FC/FATA 无
© 2010 IBM Corporation
IBM SVC 和 V7000 的其它优势
IBM SVC V7000其它优势： 支持 iSCSI兼顾不同客户的需求 可以配置闪盘(SSD) 结合Cache进一步提升IO性能 免费的Easy Tier 支持内部和外部磁盘消除热点以优化性能 免费的精简规划功能(Thin Provisioning) 免费的快照功能 (Flash Copy) 软件功能可以使融合到虚拟化环境中的异构存储受惠 经验丰富的专业实施和服务团队
HP-UX IBM AIX Microsoft Mi f Windows
HDS/HP产品特点： 利用高端磁盘阵列作为虚拟化引擎 客户投资规模大，必须要先拥有高端盘阵。没有 中低端选择 连接主机、外部存储和数据复制端口要分别指定 精简规划和虚拟存储要分别定义在两个存储池中 ，无法统一管理和享受虚拟化的便利 IBM SVC： 配置灵活，可以选择1-4个IO组(2-8个结点）以 适合不同环境和需求的广大客户群 虚拟化灵活整合，不绑定特定品牌的存储产品 精简规划和虚拟存储不需要分离，既可以管理 内部外部资源，又可以提高存储利用率
IBM_V7000配置实施文档(图文并茂)
2011/5/5
一、 设备
序号
1 2 3
设备名称
IBM Power 720 IBM Storwize V7000 IBM B24
数量
2 1 1
访问 IP
用户名/密码
二、IBM Storwize V7000 相关术语
1) Mdisk（被管理的磁盘） ：Storwize V7000 管理到的磁盘单元 2) StoragePool(池):由一个或多个 Mdisk 组成存储空间 3) Volumes(卷)：由存储池中创建的存储空间，提供给主机使用（lun）
2 / 33
4) 设置完成后，按下图的提示进行操作
5) 在浏览器中输入管理 IP 地址，如：https://172.16.0.235，输入用户名、密 码，用户名和密码在 USB Key 中有提示：superuser、passw0rd(‘0’为零)：
3 / 33
6) 按提示接受许可协议，并且进行其他的配置操作,以下配置中有些内容可 以自己研究下：
将该卷再映射到第二台主机 chustar2，2 台主机共享一个 lun：
19 / 33
配置完成后：
20 / 33
四、其他功能
拷贝服务： FlashCopy 一致性组 FlashCopy 映射 远程拷贝 伙伴关系
21 / 33
用户管理 用户 审计日志
配置 网络 时间通知 高级
22 / 33
选择某个 mdisk，可针对该 mdisk 进行相关“删除”等操作：
12 / 33
点击“物理存储器池新建池“，选择对应的 Mdisk，创建新池：
选择” 卷所有卷/按池划分的卷/按主机划分的卷新建卷”，创建新的卷：
IBM SVC-V7000容灾方案
SVC-V7000容灾测试方案目录一、测试环境 (3)二、测试方案 (4)三、SVC容灾到V7000配置 (4)四、测试步骤 (14)五、异机恢复 (24)2台ibm 服务器X3650M3连接SVC，安装redhat 5.10+oracle 11G RAC数据库，SVC作为主存储，V7000作为复制存储，SVC分配给2台服务器上的LUN同步复制到V7000存储。
1、SVC运行中的2个节点，关闭其中一个节点，查看oracle数据库是否正常2、SVC启动关闭的节点，启动正常后关闭另一个节点，查看oracle数据库是否正常3、在SVC中分配给oracle rac 的所有LUN同步完成后，关闭SVC，在V7000映射复制SVC的LUN给oracle rac，启动oracle数据库，查看数据库是否正常。
4、异机恢复三、SVC容灾到V7000配置1、SAN环境配置，SVC和V7000所有的端口在一个ZONE,oracle 节点1和svc一个zone，oralce 节点1和V7000一个zone，oracle节点2和SVC一个zone，oracle节点2和V7000一个zone。
2、V7000存储设置V7000默认的功能是存储，需要更改为复制的功能，在命令行运行以下命令chsystem -layer replication （修改后需要重启动）lssystem （查看修改后的结果）layer replication （默认layer storage）3、在WEB界面配置SVC-V7000复制SVC添加伙伴关系V7000V7000添加伙伴关系SVCV7000创建要复制SVC的LUN，一样的大小SVC的LUNSVC配置远程拷贝，SVC 的LUN复制到V7000创建一致性组选择需要复制的LUN选择复制到V7000上的LUN同步完成后V7000创建2个oracle RAC的节点主机四、测试步骤1、关闭SVC其中的一个节点，查看数据库是否正常当前SVC硬盘的路径是4条，都是激活的，oracle RAC数据库运行正常关闭SVC节点1，SVC硬盘的路径4条当中，2条是失败的，oracle rac数据库运行正常2、启动SVC节点1，关闭节点2，SVC硬盘的路径4条当中有2条是失败，oracle rac数据库运行正常3、关闭整个SVC，切换到V7000,启动数据库是否正常V7000映射从SVC复制的LUN给2台oracle 主机V7000需要修改功能属性，把复制功能修改为存储功能，IBM_Storwize:FITS-V7000:superuser>chsystem -layer storage （replication）修改后需要重启动V7000删除一致性组删除复制LUN对应关系删除伙伴关系V7000命令行修改V7000功能属性IBM_Storwize:FITS-V7000:superuser>chsystem -layer storage重启动V7000存储，启动oracle RAC 2个节点，查看硬盘和数据库都是正常。
V7000存储自我总结硬盘更换流程
V7000 硬盘更换流程V7000的管理IP地址，连接后，选择登入：选择Pool——Internal Storage，即可查看所有硬盘槽位。
找到报错的硬盘硬盘Item的右键菜单中有Indentify选项点亮指示灯。
列表中的DriveID编号并非物理Slot号，请注意对应关系，查看“d irver slot”找到正确的盘位。
*需要注意的是，如果硬盘已经处于Failed状态，那么它的Status会变为Offline，此时硬盘物理指示灯的状态是全灭的还有集中状态，比如unused状态和degradd状态。
查看硬盘是否仍然从属于某个Volume如下图，右键菜单中的Show Dependent Volumes可查看硬盘仍否属于某个Volume。
正常情况下，硬盘Failed变为Offline后，会被系统踢出，此时该盘不会属于任何Volumes，若硬盘仍然在Volumes中或并非Offline状态，将待更换硬盘标记为Unused并进行更换Unused状态就是可以自由拔插的状态正确的做法是将故障盘标记为Unused状态。
右键菜单中，选择Mark As——Unused，新的硬盘插上后也处于unused状态，下面要做的是将新硬盘标记为candidate状态，若要指定其功能，需要先将它的状态改为Candidate。
将硬盘标记为Spare状态，要想把盘加入到raid组中，只需要再把它标记为spare状态在硬盘处于candidate的状态时，可将硬盘状态改为Spare。
硬盘更换完毕磁盘状态为Online，Spare，再刷新，就变为mdisk的内部磁盘了。
删除多出来的鬼盘出现如下故障，一般原因是74号磁盘忘记标记为unused，就进行拔插。
所以系统无法忘记这块盘，这样就需要删除鬼盘，或者重新插回原来的盘来修复。
出现如下故障，一般原因是74号磁盘忘记标记为unused，就进行拔插。
所以系统无法忘记这块盘，这样就需要删除鬼盘，或者重新插回原来的盘来修复登入SSH下，输入用户名：superuser PASSWORD: passw0rdSSH到v7000的管理IP，然后分别执行下面命令即可消除鬼盘svctask chdrive -use failed 74svctask chdrive -use unused 74。
IBMStorwizeV7000全资料解析
IBMStorwizeV7000全资料解析IBM Storwize V7000最全资料解析存储效率五项技术集于一身，IBM Storwize V7000中端存储新品解析最近IBM 新一代中端虚拟存储产品Storwize V7000在业内反响挺大，Storwize V7000是一款被IBM寄予厚望的产品，在发布这款新品之前，IBM特意为其制作了具有强烈神秘感的广告，并宣称这将是“改变存储游戏规则”的产品，确实，作为IBM全新的中端磁盘存储系统，围绕在Storwize V7000身上的谜题确实是太多了。
因此我特意整理了一些资料分享给大家，打造史上最全的V7000汇总贴。
IBM Storwize V7000有三个第一，1.第一个IBM自主研发的中端存储2.0产品，架构上突破传统，吸收了DS和IBM 横向扩展架构XIV 的精华；2.第一次集“EasyTier自动分层”“虚拟化”“精简调配”三大存储效率于一身的磁盘列阵，使IBM Storwize V7000当之无愧的成为更加看重存储效率的中端存储市场上的杀手级产品；3. 第一次把DS8000的RAID技术和自动分层，SVC虚拟化架构以及XIV的赏心悦目的管理界面等高端存储上的技术用在中端存储上，拥有企业级阵列的功能和使人眼前一亮的GUIIBM Storwize V7000技术参数IBM Storwize V7000目前是一个双控制器存储阵列（将来计划括充至8个控制器，与IBM SVC类似），每个控制器都利用了一个四核Jasper Forest（Nehalem）处理器来驱动虚拟化的三级后端存储，采用了SAS连接。
该系统采用了SVC（SANVolume Controller）代码堆栈，以及储存资源随需分配、虚拟化和数据保护等功能。
并添加了IBM 高端存储XIV的用户图形界面以及DS8000 RAID以及EasyTier功能。
可以说是集大成于一身。
V7000的主机接口是8Gbit/s的Fibre Channel，可选加四个1Gbit/E的iSCSI，iSCSI为原生支持。
IBM V7000配置实施文档
IBM Storwize V7000 配置实施文档
2011/5/5
一、设备
二、IBM Storwize V7000相关术语
1)Mdisk（被管理的磁盘）：Storwize V7000管理到的磁盘单元
2)StoragePool(池):由一个或多个Mdisk组成存储空间
3)Volumes(卷)：由存储池中创建的存储空间，提供给主机使用（lun）
三、实施步骤
1)安装上架、连线、加电正常
2)V7000的配置中有一个USB Key，该Key是用来管理V7000存储所需的，
将USB Key插入工程师的PC笔记本上，对其设置管理IP，设置完成后，
会在该Key中生存一个配置文件，再将该Key拔出，插入V7000控制器
上对应的管理以太网口上面的USB口，待V7000配置稳定后，即可通过
设置的IP地址对存储进行管理；
3)打开.exe执行程序，按提示进行IP的设置
4)设置完成后，按下图的提示进行操作
码，用户名和密码在USB Key中有提示：superuser、passw0rd(‘0’为零)：
以自己研究下：。
V7000配置要点
一. Power750做HA的相关配置：解答：(1) 双以太网卡：推荐使用双卡，以实现网卡的冗余。
双网卡并不是HACMP的最小配置，但是使用双网卡可以在某个网卡失败的时候只做本机的网卡切换，而不必做主机切换。
推荐连接双以太网交换机，避免网络的单点故障；(2) 双HBA卡，避免HBA卡的单点故障；(3) 双SAN 交换机，避免交换机的单点故障；(4) 串口卡和心跳线，用于建立第二网络，传递心跳信息，避免在IP网络失败的情况形成主机孤岛；(5) 每台机器配置1套PowerHA软件。
二. Power720硬盘背板介绍：解答：Power720有两种类型的硬盘背板，fc#5618和fc#5630。
具体介绍如下：fc#5618，支持6块SFF 的SAS硬盘（HDDs/SDDs），一个SATA DVD光驱，一个半高的磁带机或者USB的移动硬盘。
该硬盘背板支持背板的分离，需要配置fc#5631来实现背板分离，每个SAS通道支持3块硬盘，其中，由fc#5631管理的三块硬盘支持RAID10。
该硬盘背板不支持RAID5，6，不支持对外的SAS端口。
fc#5630，支持8块SFF的SAS硬盘（HDDs/SDDs），一个SATA DVD光驱，一个半高的磁带机或者USB的移动硬盘。
支持RAID功能，175MB的写缓存，支持RAID5，6，一个对外的SAS端口。
但是该硬盘背板不支持背板的分离。
三. 如何在Power740上配置3个以上分区：解答：在Power 740中,内置硬盘能实现2个分区,要实现3个及以上分区,需要通过IO扩展实现。
1.前两个分区,需要配置支持分离的硬盘背板的编号为：fc#5618，同时还需要配置fc#5631的分离背板的选件，该选件为第二个分区提供了SAS Controller，且不占用PCI槽位，可以支持背板的分离，实现两个分区。
每个分区支持3块SFF的SAS硬盘。
其中，由fc#5631管理的分区支持RAID10。
IBMV7000虚拟存储数据恢复技术解决方案
IBMV7000虚拟存储数据恢复技术解决方案IBMV7000虚拟存储数据恢复技术解决方案虚拟存储故障数据恢复是一个高难度的技术实现，传统的企业级存储采用普通的Raid级别分配LUN空间，基本平行线性分布空间，而虚拟存储技术，LUN的空间分布是动态实现的，可以把很多个物理硬盘放在大的盘池中，LUN的空间分配根据需要从盘池中获取相应的空间。
一旦整个虚拟存储出现故障，要找出LUN的空间分配，则需要把LUN的地址描述信息找出来，才能还原LUN的真实空间分布。
达思数据恢复中心多次处理IBMV7000存储故障的数据恢复，店铺整理出来供大家参考。
1、 IBMV7000虚拟存储数据恢复的故障描述：在IBM V7000上引入两个外部磁盘，每个mdisk大小12TB左右，把这两个mdisk划分在一个盘池中，然后从这个盘池中划分出两个LUN，第一个15TB,第二个LUN10TB，这两个LUN采用精简模式分配空间。
由于误操作，把硬盘池删除掉，导致两个LUN数据丢失，不能访问，需要进行数据恢复。
2、 IBMV7000虚拟存储数据恢复磁盘划分原理：“虚拟”两个字是IBM V7000存储的精髓，特别是对精简模式的LUN的划分，假如你划分一个15TB的LUN，精简模式，这个LUN实际在这个盘池中，最小分配768KB就足够了，随着对LUN格式化，写入数据，这个空间就会慢慢增加，而这个增加的存储空间，就会有相应的信息来记录，这个就是map指针记录表。
LUN的最上一级map指针，记录着这个LUN使用了哪些extents，而extent是从这个盘池中获取的，这个案例一个extent是1GB。
在盘池中的每个mdisk，会划分成诺干个extent，从小到大进行编号，当LUN在分配空间时，就会在map表中记录，哪些mdisk的哪些extents给这个LUN使用。
而一个extent的内部，又分成诺干个512扇区的空间，这一层还有一个map表，记录着哪些512扇区给LUN 的那个逻辑地址上使用，因为512sec在整个盘池中实在是太多了，就使用间接指针的方式来记录，空间越大，间接指针的'级别就用得越高，比如15TB的LUN，间接指针就会用到4级，才能描述整个LUN的512sec数量级位置。
IBM 存储 V7000更换硬盘详细步骤,V7000鬼盘 消除 详细步骤
IBM power一线工程师技术知识库
有两种选择：
前者是更换后使用原硬盘位置重新配置Array，流程结束后数据会Copy back； 后者是将正在使用的热备盘替换原来的磁盘划入Array中，新盘需要手 工设置为Spare 。 点击继续后，流程会很快结束，报错事件消失（但硬盘仍处于Failed状 态未改变）。
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
IBM power一线工程师技术知识库
将新硬盘标记为candidate状态 新插入的磁盘会被系统自动识别，并处于unused状态。若要指定其功能，需要先将它的状态改为Candidate。如图5、图6。
图5
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
图4
此时，磁盘将会从系统中删除并处于不可见状态，可对磁盘进行物理拔插更换。 注意，unused操作后，盘位上的物理指示灯将处于全亮状态，注意与正常磁盘加 以区分不要换错。正常使用中的磁盘即使未进行数据操作也会有轻微的读取闪烁。
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
Storwize V7000 硬盘Failed状态更换流程 Storwize V7000鬼盘 消除 步骤
V7000的硬盘更换方式与DS5000等存储不太相同，需要多加注意。 直接拔插硬盘会造成Array出现问题！
首先用交换机同时连接A/B控
V7000_存储 安装配置
Storwize V7000初始化安装 – InitTool.exe
配置系统的管理IP地址
22 22
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
Storwize V7000初始化安装 – 初次登录
请安装火狐浏览器对V7000进行管理 输入V7000的管理IP 例如：http://9.171.158.11
Advanced Technical Skills, IBM China
Storwize V7000初始化安装 – InitTool.exe
运行USB KEY里面的 InitTool.exe工具
21 21
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
Storwize V7000 安装前准备-查看安排机柜位置
|
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
Storwize V7000 硬件安装
|
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
Storwize V7000 安装前准备-识别组件
|
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
Storwize V7000 安装前准备-环境要求
|
© 2010 IBM Corporation
Advanced Technical Skills, IBM China
IBM Storwize V7000功能介绍及分析
IBM引领中端存储及存储能效新时代 V7000功能介绍及卖点分析
•
© 2010 IBM Corporation
IBM有一套存储系统，可让您 …
简单的管理爆炸性的数据增长 简单的管理爆炸性的数据增长 事半功倍的提高生产率 事半功倍的提高生产率 提高存储利用率 提高存储利用率 通过模块化扩展， 通过模块化扩展，实现存储规模的量化管理 模块化扩展 与现有存储系统快速整合 与现有存储系统快速整合 通过先进的存储软件提升存储能效 通过先进的存储软件提升存储能效
External Virtualization
5
© 2010 IBM Corporation
针对需要先进功能和扩展性的客户
动态扩展 …
可扩展性
… 容量
对于诸如归档这样的高容量应用,可动态 扩充磁盘柜 …或通过添加高速磁盘提升性能 …
… 特色
快照 SAN 的可视化 性能管理 本地镜像 远程镜像 容灾演练 自动故障切换/故障恢复 自动精简配置 性能优化 虚拟化 多种功能集成 . 软件预装,简化配置 高级软件功能预装 .
集成免费的自动分层技术 自动分层技术
– 应用吞吐量提高至200％，提高30％的响应时间
集成免费的自动精简配置功能 自动精简配置功能
– 降低磁盘容量需求达20%以上; 减少磁盘中副本的容量达75%以上
在对外部存储设备虚拟化 对外部存储设备虚拟化时拥有和SVC相同的优势 对外部存储设备虚拟化
15
© 2010 IBM Corporation
© 2010 IBM Corporation
存储虚拟化
虚拟化的IBM Storwize V7000
– 能够快速，灵活配置和简化配置变更 – 不同存储间透明数据迁移，包括Easy Tier – 优化数据分布，提高性能 – – – – – – – – – Storwize V7000 还支持异构存储虚拟化 像管理内部存储一样管理外部虚拟化的存储 通过单一用户界面管理所有虚拟化存储（外部与内部），效率成倍提高 Storwize V7000继承IBM虚拟化技术的所有功能，包括自动分层技术和自动精简配 置 提高现有存储的利用率 消除存储相关的应用停机时间 外部数据可迁移至V7000或纳入V7000管理使用 通过分层利旧提高现有存储价值 支持存储系统，包括IBM, EMC, HP, Sun/Oracle, Hitachi, NetApp, Fujitsu, Bull, Compellent, NEC, Pillar, and more
IBM Storwize V7000虚拟中端磁盘系统产品说明
IBM Storwize V7000虚拟中端磁盘系统存储市场中功能最强大、最易于使用的创新中端磁盘系统在当前的存储管理环境中，要想打破常规，控制日渐加剧的复杂性及爆炸性的数据增长，将是一项极为艰巨的任务。
以往用于购买和管理存储系统的做法现今已经失效。
由于资源短缺—物理存储资源和人力资源—因此，IT 部门必须快速优化并且简化他们的基础架构。
如果不能合理控制复杂性与增长，这个问题将会愈演愈烈。
中小企业还可能面临一系列的其他问题：• 服务器之间无法共享存储资源• 孤立的存储方法会降低生产力并且增加成本• 难以部署层级式存储系统• 迁移会造成系统的故障停机• 无法使用虚拟化存储产品来优化开销、资源和能力为了克服这些挑战，以便企业能够响应快速变化的市场动态，IBM Storwize ® V7000提供中级磁盘系统中前所未见的无与伦比的性能、可用性、高级功能和高级扩容能力。
IBM Storwize V7000是功能强大的中级磁盘系统，支持轻松使用和快速部署，无需添加资源。
Storwize V7000提供固有的IBM 存储资源虚拟化、SSD 优化和“精简调配”技术，能够提高存储资源利用率，并且允许您重新配置系统来快速轻松地满足不断变化的需求。
此外，Storwize V7000的高级功能还允许您在不中断系统运行的情况下将数据迁出现有存储器，从而简化实施流程并且最大限度地避免用户服务中断。
IBM Storwize V7000还允许您虚拟化和复用现有磁盘系统，从而进一步提高投资回报率(ROI)。
摘要• 易于中型企业使用的高级的企业级虚拟存储功能，即可使用自身存储空间，亦可控制外接异构存储• 集成了IBM System Storage ® Easy Tier ™ 功能，可自动迁移到高性能的固态驱动器(SSD)，从而最多可实现300%的性能改进• 精简调配允许您只购买所需的磁盘容量• 动态迁移功能在关键数据迁移期间确保应用的持续可用性• 通过IBM FlashCopy ®功能为在线备份、测试或数据挖掘提供速度更快、效率更高的数据拷贝支持• IBM Systems Director 提供灵活的服务器和存储器管理功能管理信息基础架构为了提高存储效率，许多IT机构都通过整合、虚拟化及自动层级等方法来降低前期购置与后期运营成本。
SVC及V7000数据迁移说明
说明：V7000的数据迁移与SVC的完全相同，以下为相关实施过程及原理文档。
在进行数据迁移时仅需要迁移切换存储设备，数据迁移完全在线完成。
有效帮助客户节约系统割接时间。
数据迁移过程（示意）数据迁移过程建议采用镜像技术，通过操作系统自身提供的镜像功能，进行数据迁移。
在此过程中，当条件许可，几乎可以完成不停业务的数据迁移（为了安全起见，在某些关键时刻点，建议预留停业时间）。
具体操作过程如下：1. 在服务器上安装虚拟存储的设备驱动程序：Datapath2. 按照规划将虚拟存储管理的vdisk分配给对应的服务器3. 在服务器上执行设备识别程序，识别虚拟存储磁盘4. 将虚拟存储磁盘（vpath）填加到待迁移数据所在vg之中5. 执行数据镜像（迁移）命令，实现数据迁移，直到原有磁盘的数据完全迁移到虚拟存储6. 将原有磁盘依次从vg、操作系统中删除7. 此时数据已经完全迁移到虚拟存储，旧存储将进行重新按照新设计方案进行磁盘划分8. 将旧存储划分好的磁盘分配给虚拟存储管理设备（称为mdisk），由虚拟存储进行管理，再分配成vdisk，供下一个待迁移系统使用9. 按照以上步骤，依次完成旧存储和服务器的数据迁移在以上操作过程中，原则上不需要中断业务，但在数据迁移阶段会有性能下降，安装驱动程序时也可能会影响程序对数据访问，建议选择停业（不需要停机）时间进行。
4.3.1加入现有的SAN对于用户环境中的已有Lun，IBM SVC有一种Image mode运行模式,通过这种模式，当SVC被加入到一个现有的SAN 环境中时，不需要做数据迁移，SVC 把现有的磁盘配置原封不动的继承下来（这是SAN VC的Image mode），这样对服务器上的应用是完全透明的。
Image mode 提供了从已有的磁盘到虚拟的磁盘之间的直接的BLOCK 的映射关系，保持原来的数据。
下表为具体实施和整合步骤：1. 前期准备两个数据中心交换机配置表两个数据中心原有存储LUN配置表两个数据中心主机配置表两个数据中心LVM配置表远程复制（Metro/Global Mirror）关系对应表2. 存储设备配置过程（数据中心1和数据中心2）SVC与原有SAN网络连接i.ii. 更改Zone配置（添加SVC 的Host Zone和Storage Zone）连接、安装配置SVC（设置主机连接方式）新存储ST3设备配置，RAID配置，LUN划分。
IBM V7000存储更换以脱机硬盘图文说明 修正版
IBM power一线工程师技术知识库
这里需要注意：这一步需要确认故障盘的盘柜和槽位，
这时候故障盘的盘柜会亮蓝色的定位灯，故障盘的槽 位会有黄灯闪烁
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM V7000更换脱机硬盘图文说明
首先在笔记本上设置和控制器同网段IP
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IHale Waihona Puke M power一线工程师技术知识库
输入用户名密码
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
故障盘已经恢复正常
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
1680： 驱动器故障 标识47
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
现在看下这块盘的状态
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
IBM power一线工程师技术知识库
关灯过程
本文档仅用于个人技术交流或参考，不代表官方立场。 请您在具体实施过程中，严格按照标准的手册进行部署
V7000存储自我总结磁盘替换步骤
V7000存储自我总结磁盘替换步骤背景
V7000存储提供了多种功能来确保数据安全性。
其中一项功能
是如何更换坏掉的硬盘。
本文将介绍如何在V7000存储中进行硬盘替换。
步骤
1. 确认硬盘状态
在进行硬盘替换前，需要先检查有问题的硬盘是否处于故障状态。
可以通过V7000控制台或者CLI命令查看硬盘状态。
2. 删除故障硬盘的映射关系
在更换硬盘之前，需要先从存储卷中删除故障硬盘的映射数据。
可以使用V7000控制台或者CLI命令来完成这个步骤。
3. 取下硬盘
确认映射关系删除后，可以取下故障硬盘。
具体步骤如下：
（1）定位故障硬盘，按照V7000存储设备的硬盘安装位置，找到对应的硬盘。
（2）熄灭硬盘指示灯，通常可以找到硬盘的ON/OFF开关或拔下硬盘电源线来实现。
（3）拔出硬盘。
V7000硬盘通常采用轻轻按下硬盘手柄并向外推的方式来拔出。
4. 安装新硬盘
将新硬盘插入到故障硬盘安装位置，直到听到卡槽卡住硬盘的声音。
然后推回硬盘手柄即可。
5. 重新映射数据
完成硬盘更换后，需要重新将硬盘数据映射回存储卷。
可以使用V7000控制台或CLI命令来完成这个步骤。
总结。
V7000存储节点功能简介
V7000存储节点功能简介A：IBM Flex System是一款新型的，整合了多种计算能力的服务器，网络，存储和系统管理能力的系统架构。
IBM Flex System V7000 存储节点是一款功能强大的块存储系统，专为集成到IBM PureFlex System 和 IBMFlex System 架构中而设计，具有快速的存储部署和特别简便的管理特性。
Flex System V7000存储节点:◦基于业内领先的IBM Storwize? V7000产品的存储虚拟化特性以及高效容量的设计◦尖端的存储技术包括thin provisioning，automated tiering，external storage virtualization，real-time compression，clustering，replication等，以及下一代图型管理界面(GUI)◦支持 8Gb Fibre Channel (FC) 和 10Gb Ethernet Fibre Channel over Ethernet(FCoE) 以及iSCSI 等主机连接方式◦每个硬盘柜可支持２４个2.5-inch 6Gb SAS 硬盘，近线硬盘或固态盘等◦通过连接Flex System V7000或Storwize V7000的扩展柜每个系统可扩展到２４０个硬盘或每个集群(clustered)系统可扩展到９６０个硬盘IBM Flex System? x440 计算节点是一款基于 Intel 处理器的服务器，专门为高端虚拟化，主流数据库应用，以及内存密集型高性能环境。
下图为IBM Flex System V7000 存储节点:Flex System V7000 存储节点的组件Flex System V7000 存储节点由下列部分组成:◦Flex System V7000 硬件:◦Flex System V7000 控制盘柜◦Flex System V7000 扩展盘柜◦Flex System V7000 软件所有的Flex System V7000 存储节点的功能特性均由 Flex System V7000 软件提供. The Flex SystemV7000 软件已预装在 Flex System V7000 控制盘柜中，软件的使用需采购 Flex System V7000 软件授权．更多信息请参见 Flex System V7000 软件发布文件 AG12-0199． IBM Flex System V7000 存储节点软件版本6.4 专为IBM PureSystems 的创新集成的存储而发布．Flex System V7000 硬件型号Flex System V7000 硬件型号专用于Flex System 企业机箱中.Flex System V7000 控制盘柜的特性:◦带有16GB高速缓存的双控制器(每控制器8GB)◦8Gb FC 和 10Gb FCoE / iSCSI 主机连接选件◦24个2.5-inch 6Gb SAS 硬盘插槽◦6Gb SAS 端口用于连接扩展盘柜◦用于连接Flex System机箱的集成的管理模块◦可支持通过FC或FCoE和其他存储设备连接以实现外接虚拟化功能Flex System V7000 扩展盘柜的特性:◦双扩展硬盘笼◦24个2.5-inch 6Gb SAS 硬盘插槽◦6Gb SAS 端口用于连接上下相关盘柜◦用于连接Flex System机箱的集成的管理模块主机连接:主机连接到计算节点可通过选择Flex System V7000控制盘柜的网络子卡来配置，该子卡通过中板和FlexSystem企业级机箱配置的交换机模块相连，以下选件可用：◦10Gb融合网络适配卡(CNA)双端口子卡用于FCoE和iSCSI连接◦8Gb光纤通道(FC)四端口子卡用于光纤连接所有的主机连接子卡必须成对配置(一个控制器需配置一块子卡)，支持下列配置：◦Two or four 10Gb CNA cards◦Two 8Gb FC cards◦Two 10Gb CNA cards and two 8Gb FC cards硬盘选件: Flex System V7000 控制盘柜和扩展盘柜均可支持高容量的近线硬盘，高性能的硬盘和固态盘．盘柜中可混插不同的硬盘．可支持下列6Gb SAS 硬盘：◦500 GB and 1 TB GB 7,200 rpm disk drives◦300 GB, 600 GB, and 900 GB 10,000 rpm disk drives◦146 GB and 300 GB 15,000 rpm disk drives◦200 GB and 400 GB solid state drives扩展性：Flex System V7000 控制盘柜可支持连接Flex System V7000 扩展盘柜 (最多两个) 和StorwizeV7000扩展盘柜 (最多六个). 连接在单一Flex System V7000控制盘柜后面的Flex System V7000 和 StorwizeV7000扩展柜可以混合配置，总最不得超过九个．◦通过一些列高级别的可靠性，可用性包括冗余，自动失效切换等能力，达到最长在现时间◦将不同的工作负载整合在一个内嵌了虚拟化的平台上，不同的计算能力可选择不同的处理器，内存，I/O，存储选项。
IBM V7000存储快速维护手册
IBM V7000快速维护手册V1.1目录目录 (2)版本历史： (3)IBM官方服务文档内容介绍： (3)一、V7000系列的命名 (5)二、通过GUI管理界面检查V7000系统的状态 (6)三、通过GUI图形管理界面查看V7000的软件版本 (9)四、通过Service IP访问V7000的Service Assistant 服务管理界面 (10)五、V7K LED灯状态与解释 (12)六、V7000的开关机步骤（非常重要） (15)七、如何通过Putty连接CLI (18)八、V7000连线注意事项 (20)九、V7000 网络连接注意事项： (21)十、确保使用最新的canister FRU (21)十一、V7000的故障数据收集 (22)十二、V7000故障数据的格式和上传方法 (26)十三、V7000的软件升级 (29)十四、更换电池、电源的注意事项及电池行为的说明 (34)十五、硬盘的更换方法 (35)十六、Node canister的更换 (37)十七、Enclosure chassis的更换 (37)十八、忘记Cluster IP 和Service IP时的处置方法 (37)版本历史：说明：本文档仅供参考，并不能取代IBM的以下官方文档。
IBM官方服务文档内容介绍：1．以下是红皮书Redbook，全面的介绍了硬件结构，如何安装配置、管理和维护Implementing the IBM Storwize V7000 (SG24-7938-01)/abstracts/sg247938.html?Open2．作为IBM工程师/BP代理商/客户，任何安装，实施，维护和变更工作都应首先参考官方服务文档：1）IBM Storwize V7000 Information Center/infocenter/storwize/ic/index.jsp2）IBM官方服务文档和微码下载地址：下载地址：IBM System Support 门户网站（下载官方服务文档和微码）/storage/support/storwize/v70003）Support Information for IBM Storwize V7000（检查V7K兼容性列表的link）/support/docview.wss?uid=ssg1S10037414) V7K 重要的警示信息https:///support/entry/myportal/Alerts/Hardware/System_Storage/Disk_system s/Mid-range_disk_systems/IBM_Storwize_V7000_(2076)V7K 术语表。
IBM Storwize V7000 技术白皮书
IBM Storwize V7000 中端磁盘系统要点•为所有规模的企业提供先进的企业级存储功能•在控制成本的同时，支持您不断增长的业务需求•凭借到高性能固态驱动器的自动迁移将性能提高多达200%1•在单个系统中整合块级和文件级存储，以实现简单性和更高的效率•通过动态迁移实现近乎持续的应用程序可用性•支持更快速、更高效的数据拷贝以用于在线备份、测试或数据挖掘•提供灵活的服务器与存储管理•易于使用的数据管理采用图形用户界面和点击式系统管理功能•城域镜像和全球镜像在系统之间同步或异步地复制数据以提高备份效率•固态驱动器适用于要求高速度和快速数据访问的应用程序•RAID 0、1、5、6 和10在如今的存储管理环境下，打破复杂性升高和数据爆炸式增长的循环可能是一大挑战。
购买和管理存储的老办法已变得不那么有效。
由于资源的限制，无论物理存储资源还是人力资源，IT 组织必须迅速采取行动以优化和简化其基础架构。
不受控制的复杂性和增长随着时间的推移只会变成更大的问题。
中小型组织可能还面临着一系列的挑战：登录社区，观看相关视频（http://goo.gl/kPjjc）•有中断的迁移•难以部署分层存储•不能在服务器之间共享存储•孤立的服务器和存储管理工具导致生产效率降低、成本升高•不能像使用虚拟务器一样，将虚拟化存储用作工具来优化开支、资源和能力为了克服这些挑战并使企业能够应对瞬息万变的市场，IBM® Storwize® V7000 Unified 提供了与虚拟化服务器环境互为补充的虚拟化存储系统，具有无与伦比的性能、可用性、先进的功能和高度可扩展的容量，这在中端磁盘系统中是前所未有的。
Storwize V7000 Unified 是一个强大的中端磁盘系统，经过精心打造，不仅易于使用还可实现快速部署，而无需额外的资源。
Storwize V7000 Unified 将块级和文件级工作负载整合到单个存储系统中，以简化管理并降低成本。
V7000存储数据恢复案例_存储文件系统损坏
V7000存储数据恢复案例_存储文件系统损坏
我们今天介绍的数据恢复案例是一起v7000存储文件系统损坏导致的数据丢失，首先简单介绍一下设备基本情况：发生文件系统损坏的是一台挂载在Windows2003服务器上的v7000存储，划分了一个容量为7个TB的分区，使用NTFS文件系统，里面是oracle数据库。
引起这次故障的直接原因是服务器宕机重启服务器时系统自动进行磁盘扫描修复时客户强制关机断开了存储和服务器之间的链接，直接导致这台存储文件系统损坏，报错信息为“文件或目录损坏且无法读取”。
下面我们将详细介绍这次v7000存储数据恢复的过程：
第一步也是所有数据恢复工作必须要做的就是对源存储做镜像备份，这样做的目的是可以在镜像文件上进行恢复操作，避免直接更改原有数据。
这次备份我们采用的是通过光纤交换机把整个卷镜像到我们公司自有存储设备上，原设备交还给客户不再进行任何操作。
第二步才开始对镜像卷的底层数据进行分析，通过分析我们发现问题的原因在于MFT表自身的文件记录的的80属性DATARUNS操作系统自检时被截断，并且分区内多达3451多万个文件数据，其中有20多G的mft文件，并且文件有非常大量的碎片。
第三步时我们原本使用v7000数据恢复软件进行扫描恢复，但是结果差强人意，不仅扫描结果只有1/3并且目录结构都是混乱的，所以只好改为手工分析。
手工分析的流程首先是收集分析所有mft表碎片信息，根据这些信息改写80属性DATARUNS。
这种方式所产生的工作量是十分繁杂的，但是结果喜人，经过辛苦工作后打开分区可以看到原本6T多数据完整的恢复出来，目录结构也完整。
到此，这次v7000存储数据恢复工作结束，所有数据100%恢复。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
V7000存储底层结构拆原理及Mdisk磁盘掉线的数据恢复案例
Storwize V7000(也就是我们常说的V7000)是新推出的一款中端存储系统，这款系统的定位虽然在中端，但是Storwize V7000提供有存储管理功能，这一功能以前只有高端存储才拥有（例如Storwize V3700，Storwize V5000）。
底层存储结构支持：RIAD0/RAID10/RAID5/RAID6
上层卷支持：普通卷/精简模式的卷/镜像模式的卷/精简镜像模式的卷
本文将为大家展示V7000存储的结构原理、配置方法以及Mdisk磁盘掉线的数据恢复方法。
【V7000底层结构及原理】
拆分来看V7000的底层原理结构其实不属于复杂的类型，整个存储结构一共分为四层。
第一层是物理硬盘，也就是数据实际存放的位置。
第二层Mdisk（就是存储中的raid），这一层是许多个多个物理磁盘的集合。
第三层叫做池，池又把诸多Mdisk组合而成为一个更大的逻辑容器。
第四层是卷，卷是面向用户的存储单位，它们是从池中分配出来的空间，（注：卷不可以跨池）。
通过图形可以更加清楚的观察这四层结构：
介绍到这里大家应该就能明白了，只有第一层的物理磁盘才是最终存储数据的位置。
而第二层、第三层、第四层都只是虚拟化而来的。
在物理磁盘中的数据都是以小块为单位（Block）进行存储，即我们通常理解的存放在Mdisk中的数据会分成N多个Block平均分布在所有磁盘上。
在Mdisk这一层，数据是以段为单位存储的，多个Mdisk组成了一个池，既
在池中创建的卷会被分成若干个段放到不同的Mdisk中，不同卷的类型分布在池中的方式也不同，不过最终还是以段为单位存储在Midsk中的。
V7000的存储过程就是用户将数据存放到卷中，而卷又会被分割成若干个段分布在不同Mdisk中，而Mdisk又会将段分成若干个块分布在不同的磁盘中。
最终数据全部是以块为单位分布在不同的磁盘中。
【如何配置Storwize V7000】
1、使用管理IP连接V7000，输入用户名（默认：superuser）和密码（密码：passw0rd）。
2、默认是没有任何配置的，需要先配置Mdisk，池以及卷，然后添加主机映射卷。
3、创建Mdisk，Mdisk的类型有RAID0，RAID0，RAID5以及RAID6。
4、创建池，可以将多个Mdisk划分到一个池中。
5、创建卷，卷是在池的基础之上配置的，卷的类型有通用，自动精简，镜像以及精简镜像。
6、创建主机并映射卷，主机的类型有光纤通道的主机和iscsi的主机。
至此整个配置的大致流程就算完了，
【Mdisk磁盘掉线数据恢复案例】
1、存储架构
存储型号：Storwize V7000
磁盘数量：24块（600G SAS磁盘）
Mdisk数量：2个Mdisk，（RAID5）
卷数量：2个2T的通用模式，1个3T精简模式。
2、故障原因
由于磁盘自然老化导致Mdisk有部分磁盘掉线、上层卷无法访问。
由于全局热备只设置了一个并且管理人员也没有在磁盘掉线后及时更换，造成数据丢失。
3、数据恢复方法
首先要把所有磁盘进行镜像处理，然后通过分析镜像可以得出哪些磁盘是同一组Mdisk。
然后分析一组Mdisk有没磁盘掉线情况发生。
如果有磁盘掉线就直接在Mdisk组中将掉线磁盘去除掉，生成Mdisk,接着分析Mdisk之间的结构生成池。
再分析卷的结构，由于不同的卷也有着不同的类型，所以存储结构也不一样。
分析完卷的结构后就可以生成每个卷的数据了。
由于对IBM V7000系列存储的底层结构研究的很透彻，所以对此系列存储的故障，数据几乎都可以挽救。
但是，有一种情况数据是无法挽救的，所有磁盘被重建了。
因为在创建完Mdisk 之后，系统会对Mdisk做初始化，也就是清零。
如下图
因此，如果存储被重建并且完成了初始化，那么这种情况下数据基本无法恢复了。