分布式存储

分布式存储 glusterfs --分布卷、复制卷、条带卷、符合卷（分布式条带卷、分布式复制卷、条
分布式存储 glusterfs --分布卷、复制卷、条带卷、符合卷（分布式条带卷、分布式复制卷、条带复制卷）
================================================================
前期准备⼯作 ---》yum源 ---》防⽕墙，iptables ---》互相绑定主机名 ---》安装软件及启动服务 ---》新建信任存储池
1、配置好yum源，把源指向glusterfs官⽅，iptables/selinux/hosts
# vim /etc/yum.repos.d/gluster.repo
[glusterfs]
name=glusterfs
baseurl=ftp://192.168.100.193/pub/glusterfs
# baseurl=/pub/gluster/glusterfs/3.3/3.3.1/RHEL/epel-6Server/x86_64/ #指向glusterfs
enabled=1
gpgcheck=0
# iptables -F
# iptables -t nat -F
# iptables -t mangle -F
# service iptables save
# setenforce 0
# vim /etc/sysconfig/selinux
SELINUX=disabled
SELINUXTYPE=targeted
# vim /etc/hosts --保证每台机器的hosts⽂件能解析彼此
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.1 node1
192.168.100.2 node2
192.168.100.3 node3
192.168.100.4 node4
192.168.100.5 client5
２、服务端和客户端上安装相关的软件，并且启动服务
１）所有服务端
＃ yum -y install glusterfs glusterfs-fuse glusterfs-server
# /etc/init.d/glusterd start
# chkconfig glusterfsd on
# ps aux |grep gluster
# netstat -anlp |grep gluster
２）所有的客户端
# yum -y install glusterfs glusterfs-fuse
3、新建信任的存储池（Creating Trusted Storage Pool） ---只需在⼀台服务器上操作即可
１）看当前存储池的状态
# gluster peer status ----》No peers present
２）新建 ---不需要把当前机器加⼊，只需要加⼊其它两个节点即可
# gluster peer probe
# gluster peer probe
３）查看是否加⼊成功，并相看⽹络连接
# gluster peer status --- Peers: 2 | (Connected)
# netstat -tnp | grep 24007
=====================================================================
分布式卷服务端 gluster volume ---> create --->start --->info 客户端--->mkdir --->mount.glusterfs --->验证
1 在服务端新建分布式卷（Creating Glusterfs Server Volume）
# gluster volume create dist-volume :/dist :/dist :/dist ---新建
# gluster volume info ----Type: Distribute ---Status: Created
# gluster volume list
# gluster volume start dist-volume ---激活卷
# gluster volume info ----Status: Started
2、在客户端上访问导出的共享（可以挂载任意⼀个服务端提供的⽂件服务，这也体现了glusterfs是⽆中⼼点的）
# mkdir /mnt/dist/
# mount.glusterfs :dist-volume /mnt/dist
# df -hTP /mnt/dist/
# netstat -tnp |grep gluster
# cd /mnt/dist
# touch file1_{1..8}
# ll -h /dist/ ---每个节点查看
=====================================================================
复制卷(Replicated) 服务端 gluster volume ---> create --->start --->info 客户端--->mkdir --->mount.glusterfs --->验证
1.服务端创建并激活复制卷
# gluster volume create rep-volume replica 3 :/rep :/rep :/rep ---创建复制卷
# gluster volume status ---not started
# gluster volume start rep-volume ---激活复制卷
# gluster volume info rep-volume ---Type: Replicate Status: Started
2.在客户端上使⽤
# mkdir /mnt/rep/
# mount.glusterfs :/rep-volume /mnt/rep/
# df -TPh /mnt/rep
# vim /etc/fstab --实现开机⾃⼰挂载
:/rep-volume /mnt/rep glusterfs defaults,_netdev 0 0
# touch /mnt/rep/file1_{1..8}
3.在３个存储端上查看新写⼊的⽂件
# ls /rep/ --在每个服务端验证写⼊的⽂件情况都⼀样
# du -sh /rep
=====================================================================
条带卷(Stripped)服务端 gluster volume ---> create --->start --->info 客户端--->mkdir --->mount.glusterfs --->验证
1.新建并激活条带卷
# gluster volume create strip-volume stripe 3 :/strip :/strip :/strip -新建
# gluster volume start strip-volume --激活启动条带卷
# gluster volume info strip-volume --查看卷信息 Status: Started
2.在客户端上挂载和使⽤条带卷
# mkdir /mnt/strip
# mount.glusterfs :/strip-volume /mnt/strip/
# dd if=/dev/zero of=/mnt/strip/file bs=1024k count=100
3.在３个存储端上查看新写⼊的⽂件
# du -sh /strip/
# ls -lh /rep/
=====================================================================
glusterfs卷的管理服务端 gluster peer --->status --->probe
gluster volume add-brick | rebalance xx start | stop | delete
1.扩展卷(需要增加⼀个新的存储节点) --尽量早期架构好，不要后期增加
# gluster peer status --在任何⼀个已经加⼊存储池中的节点中扩展卷----显⽰有2个Peers，加上⾃⼰⼀个，⼀共3个
# gluster peer probe --增加新的存储节点node4 (操作之前需要在node4上service glusterd start)
# gluster peer status --确认是否成功加⼊ State: Peer in Cluster (Connected)
# gluster volume add-brick dist-volume :/dist --增加分布式卷中的存储节点
# gluster volume add-brick rep-volume replica 4 :/rep --增加复制卷中的存储节点
# gluster volume add-brick strip-volume strip 4 :/strip --不建议增加条带卷的存储节点,因为有可能导致数据丢失(添加前，确保没有数据的写⼊)
# gluster volume info --确认是否成功
2.平衡卷(只有增加了分布式卷才需要做） --在新增的节点上进⾏操作
# gluster volume rebalance dist-volume start
# ls /dist
3.停⽌卷和删除卷
# gluster volume stop dist-volume
# gluster volume delete dist-volume
=====================================================================
复合卷
１.分布式条带卷
# gluster volume create dist-strip-volume stripe 2 :/dist-strip :/dist-strip
:/dist-strip :/dist-strip ---新建
# gluster volume start dist-strip-volume ---启动
# gluster volume info dist-strip-volume ---查看状态
# mkdir /mnt/dist-strip
# mount.glusterfs :/dist-strip-volume /mnt/dist-strip/ ---在客户端上使⽤新的卷
# dd if=/dev/zero of=/mnt/dist-strip/file1 count=1 bs=10M ---验证（客户端）
# dd if=/dev/zero of=/mnt/dist-strip/file2 count=1 bs=10M
# du -sh /mnt/dist-strip/
# du -sh /dist-strip/ ---验证（服务端）
# ll /dist-strip/
２.分布式复制卷
# gluster volume create dist-rep-volume replica 2 :/dist-rep :/dist-rep
:/dist-rep :/dist-rep --新建
# gluster volume start dist-rep-volume ----激活卷组
# gluster volume info dist-rep-volume ---查看确认
# mkdir /mnt/dist-rep
# mount.glusterfs :/dist-rep-volume /mnt/dist-rep ---在客户端上使⽤新的卷
# dd if=/dev/zero of=/mnt/dist-rep/file1 count=1 bs=10M ---验证（客户端）
# dd if=/dev/zero of=/mnt/dist-rep/file2 count=1 bs=10M
# du -sh /mnt/dist-rep/
# du -sh /dist-rep/ ---验证（服务端）
# ll -h /dist-rep
３.条带复制卷 ---适合⼤部分的⽣产环境类似 raid1+0 ---安全性没那么⾼，⼀定要放在信任的内⽹！
# gluster volume create strip-rep-volume stripe 2 replica 2 :/strip-rep :/strip-rep :/strip-rep :/strip-rep --新建
# gluster volume start strip-rep-volume ---激活卷
# gluster volume info strip-rep-volume ---查看确认
# mkdir /mnt/strip-rep
# mount.glusterfs :/strip-rep-volume /mnt/strip-rep/ ---在客户端上使⽤新的卷
# dd if=/dev/zero of=/mnt/strip-rep/file1 count=1 bs=10M ---验证（客户端）
# dd if=/dev/zero of=/mnt/strip-rep/file2 count=1 bs=10M
# ls /strip-rep -lh ---验证（服务端）。