GlusterFS分布式文件系统

备选
评价维度
Ceph Sheepdog MooseFS GlusterFS
1、首要设计目标？ 2、需求满足度？ 3、项目成熟度？ 4、生产可用？ 5、大量实际案例？ 6、社区活跃度？ 7、运维是否简便？ 8、生态和商业环境？
为什么选择GlusterFS?
• 最简单的分布式文件系统 • POSIX接口，同时支持NFS/CIFS/FTP协议 • 简单可靠，社区活跃，广泛实际应用 • 无中心架构，用户空间设计，模块化扩展 • 支持Infiniband RDMA传输协议 • Block/File/Object统一存储 • 极其简便的管理和维护
file
/data3/file3
3 1、使用Davies-Meyer算法计算32
位hash值，输入参数为文件名；
2、根据hash值在集群中选择子卷 （存储服务器），进行文件定位；
3、对所选择的子卷进行数据访问。
Brick Brick1 Brick2 Brick3 Brick4
Hash range 00000000 ~ 3FFFFFFF 4FFFFFFF ~ 7FFFFFFF 8FFFFFFF ~ BFFFFFFF CFFFFFFF ~ FFFFFFFF
GlusterFS是什么？
GlusterFS is a scalable network filesystem. Using common off-the-shelf hardware, you can create large, distributed storage solutions for media streaming, data analysis, and other data- and bandwidth-intensive tasks. GlusterFS is free and open source software.
• 分布式文件系统：开源，KISS，用户空间
• 软件定义存储，通用硬件（可立旧）
• scale-out扩展，数百节点，数PB数据
• 适合数据/带宽密集型应用场景
发展简史
GlusterFS = GNU Cluster File System
GlusterFS v3.4
Libgfapi
Quorum 机制
说明
缺省值
合法值
IP访问授权
*(allow all) Ip地址
剩余磁盘空间阈值 10%
百分比
条带大小
128KB
字节
请求等待时间
1800s
0-1800
客户端等待时间 42s
0-42
关闭NFS服务
Off
Off|on
IO线程数
16
0-65
缓存校验周期
1s
0-61
读缓存大小
32MB
字节
推荐配置
运维要不要GUI？
GlusterFS分布式文件系统
开源分布式存储
HDFS
MooseFS
Ceph
GlusterFS
Lustre
MongoDB
FastDFS
Sheepdo g Swif t
TFS
如何选择分布式存储？
存储类型 Object Block File HPC
推荐 Swift Ceph GlusterFS Lustre
虚拟机存储优化
同步复制优化
GlusterFS v3.3
POSIX ACL 支持
对象存储，HDFS兼容
主动自修复
细粒度锁
复制优化
GlusterFS v3.2.x 远程复制，监控，Quota Redhat 1.36亿$收购Gluster
GlusterFS v3.1 弹性云能力
创始人：Anand Babu
构建集群NAS
• 协议支持
• NFS/CIFS/FTP
• 集群管理
• CTDB
• 负载均衡
• DNS/F5
• 网络配置
• 内部推荐10GbE/IB
• 授权认证
• LDAP/AD
高可用策略
三种高可用策略 • 多副本 • 纠删码 • SAN+HA
扩展与修复
• 弹性扩展Volume
卷数据分布
哈希卷 条带卷(RAID0) 复制卷(RAID1)
条带复制复合卷(RAID10)
副本一致性模型
数据强一致性
◦ Chain replication ◦ Direct replication（√） ◦ Master-slave replication
访问接口
典型适用场景
配置参数调优
最简单的分布式存储
• 最简单配置和管理的分布式文件系统
• 使用gluster单一命令行工具管理 − probe peer, create volume, start volume, mount
• 极其简便的系统管理 − 集群关系，进程管理，端口映射，动态配置变更 − online集群节点扩展/收缩 − online集群参数变更 − 系统升级
分同Gl布步us式副te文 本rF，件S 条系v1带统.0， ，–自 弹v3修 性.0复 哈希算法 P目er标ia：sam代y替开源Lustre和商业产品GPFS
GlusterFS特点
• 最大特点是简单：架构、使用、管理
• 完全对称式架构，无元数据服务器 • 全UserSpace设计，Stack式扩展 (源自Hurd) • Scale-out，高可用(无单点故障) • 支持多种访问协议，支持RDMA
架构特点
软件定义
无中心架构
全局命名空间
高性能
用户空间实现
堆栈式设计
弹性横向扩展 高速网络通信 数据自动修复
系统架构
堆栈式软件架构
服务进程交互
无集中元数据服务
弹性Has h算法
file1 /data1/file1 file 2
/data2/file2
hash hash hash hash
GlusterFSvolume brcik1 brick2 brick3 brick4
参数设置 gluster volume set <卷> <参数> 更多参数 gluster volume set help
参数项目 Auth.allow Cluster.min-free-disk Cluster.stripe-block-size Hale Waihona Puke Baiduetwork.frame-timeout Network.ping-timeout Nfs.disabled Performance.io-thread-count Performance.cache-refresh-timeout Performance.cache-size