常见分布式文件系统比较

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

名称条目Ceph ClusterFS MooseFS(MFS)系统类型块存储&对象存储块存储块存储

Metadata server 多个MDS,不存在单点故障和

瓶颈。MDS可以扩展,不存在

瓶颈。

无,不存在单点故障。

靠运行在各个节点上的

动态算法来代替MDS,不

需同步元数据,无硬盘

I/O瓶颈。

单个MDS。存在单点

故障和瓶颈。

FUSE支持支持支持

数据可靠性由数据的多副本提供可靠性。由镜像提供可靠性。由数据的多副本提供可靠性。

故障恢复当节点失效时,自动迁移数据

重新复制副本

当节点、硬件、磁盘、

网络发生故障时,

系统会自动处理这些故

障,

管理员不需介入。

手动恢复

扩展性可以增加元数据服务器和存储

节点。

容量可扩展。文件操作性能可

扩展。

元数据操作性能可扩展。

容量可扩展

增加存储服务器,

可以提高容量和文件

操作性能。

但是由于不能增加

MDS,

因此元数据操作性能

不能提高,

是整个系统的瓶颈。

冗余保护多副本镜像多副本

数据分布由数据的多副本提供可靠性。

由镜像提供可靠性

文件被分片,

数据块保存在不同的

存储服务器上

访问接口POSIX POSIX POSIX 常见分布式文件系统对比

Lustre HDFS Sheepdog

对象存储块存储块存储

双MDS(互相备份)。MDS

不可以扩展,存在瓶颈

单个MDS。存在单点故障和瓶颈无

支持支持支持

由存储节点上的RAID1或

RAID5/6提供可靠性。

假如存储节点失效,则

数据不可用。

由数据的多副本提供可靠性。由数据的多副本提供可靠性。

无心跳信号检测机制。

每个Datanode节点周期性地向

Namenode发送心跳信号。

Namenode是HDFS集群中的单点

故障所在。

节点故障时,数据可自动恢复

可增加存储节点,

提高容量可文件操作性能,

但是由于不能增加MDS,因此元数据操作性能不能提高,

是整个系统的瓶颈。在一个集群里可扩展到数百个

节点。

一个单一的HDFS实例应该能支

撑数以千万计的文件。

容量可扩展

无多副本多副本

可以把大文件分片并以类似RAID0的方式分散存储在多个存储节点上文件被分片,

数据块保存在不同的存储服务

器上

文件被分片,

数据块保存在不同的存储服务

器上

POSIX/MPI 不完全。为了实现对文件的流

式读取,

放宽了对POSIX的要求

POSIX

Swift

对象存储

多个MDS,不存在单点故障和瓶颈。

MDS可以扩展,不存在瓶颈。不支持

由数据的多副本提供可靠性。节点故障时,数据可自动恢复容量可扩展

多副本

文件被分片,

保存在不同的存储服务器上REST

相关文档
最新文档