RH436-6 Advanced RAID

生产环境中常用RAID:0、1、5、6、10#存储一般使用10raid功能：1.保证数据的完整性（冗余）2.硬盘容错3.提高性能mdadm1.创建raid(设备文件：/dev/md0,/dev/md1...)2.配置文件：/etc/mdadm.conf3.创建raid时一定要添加“-a yes”选项，保证自动创建/dev/md1或/dev/mdN 设备文件。

RAID0：条带化1.无奇偶校验2.数据是分段的3.循环写入数据到多个硬盘4.提供大的吞吐量（写性能优秀）5.无容错机制，存储概率为100%（即存储容量＝硬盘总容量）6.可以设定chunk size7.磁盘数愈多坏的可能性越大，一块盘损坏会导致所有数据的损坏。

Chunk size和stribe （RAID0，RAID5，RAID6有这个概念）1. 一个数据包的大小称之为chunk size：RAID里面每个成员一次写入的数据量。

当一次写入的量不到chunk size设定的大小的时候是不会写入下一个成员盘。

chunk size的值必须是多个page size的大小，在X86架构下一个page size 的大小是4KB即chunk size的大小必须是2的N次方 n大于1 必须是4的倍数。

stride是每次写入raid成员的block数，即64KB的数据要写多少次。

stride 等于 chunk size / filesystem block size，创建文件系统时指定。

2. chunksize＝（avgrq-sz × 512)/（raid磁盘数× 1024）＝2的N次方KBim/diskstride＝chunksize/filesystemblocksize实例：[root@iscsi-server ~]# iostat -x /dev/sdbLinux 2.6.18-194.el5 (iscsi-server) 2011年08月12日avg-cpu: %user %nice %system %iowait %steal %idle0.05 0.02 0.09 0.07 0.00 99.77Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-szavgqu-sz await svctm %utilsdb 2.41 1.17 0.40 0.03 19.07 9.55 65.17 0.00 4 .75 0.85 0.04#查询磁盘的avgrq-sz，avgrq-sz是扇区数，每个扇区512BitChunksize＝（65.17×512）/（3×1024）＝10.86＝8KBit/diskStribe=(8KBit/disk)/(4KBit)=23.指定chunk size和stribe#mdadm -C /dev/md0 -a -yes -l 0 -n 2 --chunk=64 /dev/sda1 /dev/sdb1 #mkfs.ext3 -b 4096 -E stribe=16 /dev/md0RAID1：镜像卷1.全镜像，2.数据复制，提升了大的容错能力，3.提高了读性能4.至少两块盘5.存储概率：（100/N）%（N＝硬盘数）6.创建：#mdadm -C /dev/md0 -a yes -l 1 -n 2 /dev/sda1 /dev/sdb1RAID5：通过奇偶校验的条带（平均分布的奇偶校验）1.通过奇偶校验的条带化2.提高性能和容错能力3.对于修改数据性能很差（每修改一次数据要对数据重新做一次奇偶校验，当数据的修改量大于25%的时候不建议使用RAID5）修改数据时会做4次I/O操作3.1.读取数据3.2.更新数据，写回到磁盘，奇偶校验不正确3.3.读raid的所有磁盘，重新做奇偶校验检查3.4.更新数据和奇偶校验。

4.至少3快硬盘5.存储效率：100（1-1/N)%6.一旦有raid设备损坏，RAID立即进入降级模式，支持热备盘。

7.支持四种奇偶校验布局（--layout=<type>)：Left Asymmetric、Right Asymmetric、Left Symmetric（默认布局）、Right symmetricLeft Asymmetric Right Asymmetricsda1 sdb1 sdc1 sde1 sda1 sdb1 sdc1 sde1D0 D1 D2 P P D0 D1 D2D3 D4 P D5 D3 P D4 D5D6 P D7 D8 D6 D7 P D8P D9 D10 D11 D9 D10 D11 PD12 D13 D14 P P D12 D13 D14... ...Left Symmetric Right Symmetricsda1 sdb1 sdc1 sde1 sda1 sdb1 sdc1 sde1D0 D1 D2 P P D0 D1 D2D4 D5 P D3 D5 P D3 D4D8 P D6 D7 D7 D8 P D6P D9 D10 D11 D9 D10 D11 PD12 D13 D14 P P D12 D13 D148.创建raid5：#mdadm -C /dev/md0 -a yes -l 5 -n 3 /dev/sd[abc]1RAID6（5+1）1.两份奇偶校验的条带化2.奇偶校验比RAID5更慢，数据开销更大，提供更多容错3.两块盘损坏时进入降级模式4.至少4块磁盘5.存储效率：100（1-2/N)%6.创建RAID6#mdadm -C /dev/md0 -a yes -l 6 -n 4 /dev/sd[abcd]1RAID10(1+0)1.带镜像的条带化2.提高性能和容错能力3.至少4块盘4.存储效率：(100/N)%5.创建RAID10mdadm -C /dev/md0 -a yes -l 10 -n 4 /dev/sd[abcd]1查看RAID状态（/proc/mdstat)1.mdadm --scan2.watch -n .5 'cat /proc/mdstat'3.mdadm -D /dev/md0或mdadm --detail /dev/md04.SYSFS Interface：/sys/block/mdX/md/etc/mdadm.conf1.管理和配置RAID架构2.允许分组为多RAID提高热备盘3.为已存在raid创建配置文件：#mdadm --examine --scan#mdadm -D -s #-s：扫描eg：[root@station3 ~]#mdadm -D -s > /etc/mdadm.conf[root@station3 ~]#vim /etc/mdadm.confARRAY /dev/md0 level=raid5 num-devices=3 spares=1UUID=90efacda:657cee38:87172dab:543d8c23devices＝/dev/sda1,/dev/sdb1,/dev/sdc1 auto=yes#如果设备是/dev/md1或以上的话，必须加上auto=yes#一行开头为空格表示该行接上一行。

事件通知1.要求email工作正常2./etc/mdadm.conf #当raid出现故障时，可发送邮件或执行脚本MAILADDR root@ #邮件接收者MAILFROM root@ #邮件发送者PROGRAM /usr/sbin/my-RAID-script #执行脚本3.测试工具：mdadm --monitor --scan --oneshot --testmdadm -Fs1t4.要求启动mdmonitor服务 #默认该服务是无法启动，必须在/etc/mdadm.conf 中添加MAILADDR等故障告知处理RAID调整重新做raid、重新条带化、重新改变raid的布局1.调整设备数量2.调整chunksize大小3.改变数据布局4.改变校验的位置和类型在做RAID调整时必须备份关键区拉伸磁盘到raid5中[root@station3 ~]#mdadm /dev/md0 -a /dev/sda8[root@station3 ~]#mdadm /dev/md0 -a /dev/sda9[root@station3 ~]#mdadm -G /dev/md0 -n 4 --backup-file=/tmp/md0.bu #指定将关键区备份到文件，如果拉伸成功时，系统会自动删除该文件[root@station3 ~]#mdadm --assemble /dev/md0 --backup-file=/tmp/md0.bu /dev/sda[56789] #恢复[root@station3 ~]#watch -n 1 'cat /proc/mdstat'[root@station3 ~]#resize2fs /dev/md0 #调整文件系统共享热备盘（热备盘漂移）1.至少有一个raid有热备盘2.将raid信息写入/etc/mdadm.conf中3.建立共享热备盘组：share14：为每个Raid 指定其共享的热备盘组：spare-group=share1e.g：[root@station3 ~]# mdadm -C /dev/md1 -a yes -l 1 -n 2 /dev/sda{10,11} [root@station3 ~]# mdadm -D -s >> /etc/mdadm.conf[root@station3 ~]# vim /etc/mdadm.confMAILADDR root@ARRAY /dev/md0 level=raid5 num-devices=4 spares=1UUID=e1755b3f:13093e23:619799f8:2b921ce2 auto=yesspare-group=share #共享组名可自定义ARRAY /dev/md1 level=raid1 num-devices=2UUID=d3cf69c6:a5c19ae7:f2f87e8b:8021e1b9 auto=yesspare-group=share[root@station3 ~]# service mdmonitor restart #要求重启mdmonitor服务[root@station3 ~]# mdadm -D /dev/md0...Number Major Minor RaidDevice State0 8 5 0 active sync /dev/sda51 8 6 1 active sync /dev/sda62 8 7 2 active sync /dev/sda73 8 8 3 active sync /dev/sda84 8 9 - spare /dev/sda9#热备盘为/dev/md0中/dev/sd9[root@station3 ~]# mdadm -D /dev/md1...Number Major Minor RaidDevice State0 8 10 0 active sync /dev/sda101 8 11 1 active sync /dev/sda11 [root@station3 ~]# mdadm /dev/md1 -f /dev/sda11[root@station3 ~]# mdadm -D /dev/md1...Number Major Minor RaidDevice State0 8 10 0 active sync /dev/sda101 8 9 1 active sync /dev/sda92 8 11 - faulty spare /dev/sda11#md1中/dev/sda11出现故障后，热备盘/dev/sda9自动漂移到md1中了[root@station3 ~]# mdadm /dev/md1 -r /dev/sda11[root@station3 ~]# mdadm /dev/md1 -a /dev/sda11[root@station3 ~]# mdadm -D /dev/md1...Number Major Minor RaidDevice State0 8 10 0 active sync /dev/sda101 8 9 1 active sync /dev/sda92 8 11 - spare /dev/sda11#md1更换硬盘后，新加硬盘会再次变成热备盘重命名RAID1.移动一个raid到移到一个新系统2./dev/md0等设备被新系统占用。