分布式系统概述

分布式系统是建立在网络上的软件系统。由网络中的多个节点组成，作为整体向用户提供资源，对用户透明，数据文件存放于不同的存储节点上，而管理者可以任意添加或者删除节点，可以支持大规模的节点扩展以及PB级的数量存储。

[17]目前大多数分布式系统的基本架构都是基于client/server模式，架构如图2-1所示：

图2-1分布式系统的基本架构图

当前比较流行的分布式系统有GFS、Hadoop、FastDFS、Lustre、MooseFS、等等。

1)GFS（Google File System）是由Google公司开发的分布式系统，GFS的整体结构也是基于C/S结构，在数据存储方面GFS有别于以往的文件系统。在传统的存储概念上，几个G的文件可以算作一个大文件，但在GFS中，这种大小的数据文件是大量的。而且提供了一个比以往的文件体统更强的容错性能，因为系统是由大量的廉价的商业级别的机器构成，在使用中不能保证其长时间运行中完美的可靠性，所以把系统的各种部件发生错误的情况当做一种常态，而不像以往的系统将此列入特殊的故障情况。GFS文件系统由一个Master节点和多个Chunk 节点组成,。Master节点主要完成对文件系统元数据的维护工作，数据块的存储则由数量巨大的Chunk节点完成。GFS的数据读写流程是首先客户端与Master 节点通信，以获取文件的元数据信息，通过元数据信息找到存储该数据块的Chunk节点，之后同Chunk节点进行通信,完成数据的读写操作。由于GFS分布式系统是Google公司根据自身的搜索业务而设计的，所以并不具备通用性，同时主从式的系统架构存在着Master节点的性能瓶颈和单点失效问题。

2)Lustre是由SUN公司开发和维护的一个规模大、安全可靠、具备高可用性的分布式系统，该名字的由来因为该系统的设计是基于Linux和Clusters两个概念的，该分布式文件系统解决了传统文件系统处理不好的大数据存储问题，在高性

能计算机集群中使用普遍[21]。该系统有着很高的扩展性，同时可以支持10,000+

个数据节点，整体系统的数据存储量可以达到PB级别，同时有着较快的传输速度，最高可以达到100GB/S。目前Lustre已经运用在一些领域，例如HP SFS产品等。Lustre采用RAID方法来实现系统的容错，但该方法成本较高。Lustre的架构设计同GFS相似，当用户读写数据时，需要先访问存储元数据信息的服务器，获取数据文件的元数据信息，通过该信息在和存储节点通信，所以在处理大批量小文件的情况下，Lustre的读写性能并不令人满意，并且性能瓶颈和单点失

效两个问题也存在于该系统之中。

FastDFS是一款由淘宝开发，使用C语言实现的，专门针对互联网应用而开发的分布式系统，元数据实现内存化，提高了检索的性能，并且不需要专门存储元数据的服务器，这一点有别于其他分布式系统