面向海量高清视频的高性能分布式存储系统

摘要
近年来随着“平安城市”等项目建设的深入推进，视频监控系统作为重点建设内容，其建设规模日益增大。

不断增长的摄像头数量、更高品质的监控画面和更长的视频保存周期使得视频监控数据快速增长，如何有效地存储这些海量视频监控数据已成为存储系统学术和产业界亟需解决的问题。

传统存储方案普遍采用集中式存储的架构，将视频数据以文件的形式存储在通用文件系统中。

在多路高清视频流长时间高并发写入的场景下，传统存储方案面临着容量、性能、可靠性和可扩展性等方面的问题。

针对这些问题，通过对视频监控数据的特点和传统存储方案进行分析，设计并实现了一种面向海量高清视频的高性能分布式存储系统，称为DVSS（Distributed Video Surveillance Storage）。

为提高视频数据的存储效率，DVSS提出了一种基于裸设备的视频流数据存储模型，该存储模型通过缓冲技术和高并发写调度机制，将多路视频流对磁盘无序随机的小写转换成连续的大段写，显著地提高了磁盘I/O吞吐率。

在元数据管理上，DVSS采用了两级索引结构，分别由状态管理器和存储服务器管理，减少了状态管理器需要管理元数据的数量，消除了性能瓶颈；同时，以GOP （Group of Pictures）作为视频数据索引的最小单位，提供了精确到秒级的检索精度。

此外，DVSS作为一个分布式存储解决方案，通过增加存储节点即可实现系统容量和性能的线性扩展，DVSS还设计了元数据服务和视频数据的可用机制，使系统具备较高的容错能力和可靠性。

最后，对DVSS进行了性能测试和对比分析。

实验结果表明，DVSS具有良好的存储性能，可以满足大规模高清视频监控系统的存储需求。

关键词：海量存储，视频存储，流媒体存储，分布式系统
Abstract
With the in-depth advance of the "Safety City" and other projects in recent years, video surveillance system becomes the key construction and its construction scale extends continuously. The growing number of cameras, higher quality monitoring pictures and longer video retention cycles have led to explosive growth in video surveillance data, and how to effectively store these massive video surveillance data has become an urgent issue in the storage systems in both academic and industry. Traditional storage schemes generally use a centralized storage architecture, i.e., storing video data as files in common file system. In order to handle multi-channel high-definition video streams for a long time, the traditional storage solutions are facing with the problems in storage capacity, performance, data reliability and system scalability and other issues in the high concurrent write scenarios.
In order to address these problems, this paper designs and implements a high performance distributed storage system for large-scale high-definition video data, called DVSS, by analyzing the characteristics of video surveillance data and traditional storage schemes. In order to improve the storage efficiency of video data, DVSS proposes a video data storage model based on Raw device, which leverages the buffer technology and the high concurrent write scheduling mechanism to convert many small random writes into large sequential write, significantly improving the disk I/O throughput. DVSS leverages a two-stage index strategy to manage metadata, which can be respectively managed by the state manager and storage servers, thus reducing the amount of metadata managed by the state managers and eliminating the performance bottlenecks. In the meanwhile, leveraging the GOP(Group of Pictures) structure as the basic unit of the video data index provides the second-level video retrieval accuracy. In addition, DVSS, as a distributed storage solution, enables linear expansion of system capacity and performance by adding storage nodes. DVSS also designs the available mechanisms for metadata services and video data, which increase the fault-tolerance ability and reliability of storage systems.
Finally, the performance evaluation and comparative analysis of DVSS are conducted. The experimental results show that DVSS has good storage performance and can meet the storage requirements of large-scale high-definition video surveillance system.
Key words:Massive storage, Video storage, Stream media storage, Distributed Systems
目录
摘要 (I)
Abstract (II)
1 绪论
1.1 研究背景及意义 (1)
1.2 国内外研究现状 (2)
1.3 研究目标和主要工作 (6)
1.4 全文结构 (6)
2 研究基础与相关技术
2.1 LVM逻辑卷管理技术 (8)
2.2 分布式文件系统 (9)
2.3 数据冗余机制 (11)
2.4 本章小结 (12)
3 面向海量高清视频的高性能分布式存储系统的设计
3.1 应用场景及需求分析 (13)
3.2 总体框架 (14)
3.3 视频数据组织结构设计 (15)
3.4 系统主要流程 (20)
3.5 系统主要功能设计 (23)
3.6 系统中的关键技术 (26)
3.7 本章小结 (28)
4 面向海量高清视频的高性能分布式存储系统的实现
4.1 视频流数据存储模型VSM的实现 (29)
4.2 元数据管理的实现 (30)
4.3 心跳机制的实现 (32)
4.4 状态管理器调度模块的实现 (34)
4.5 本章小结 (36)
5 系统性能测试与结果分析
5.1 测试环境 (37)
5.2 参数选择测试 (38)
5.3 单分区性能对比测试 (40)
5.4 整体性能测试 (41)
5.5 相关工作比较 (42)
5.6 本章小结 (43)
6 总结与展望 (44)
致谢 (46)
参考文献 (47)
附录1 攻读学位期间发表论文目录 (51)
1 绪论
1.1 研究背景及意义
近年来，随着中国“平安城市”、“智慧城市”等项目建设的发展，城市视频监控系统的规模日益增大，各个城市的大街小巷都安装了摄像头，视频监控技术也逐渐趋向于“网络化”、“高清化”和“智能化”。

IMS Research发布的《2014年全球CCTV与视频监控设备市场研究报告》指出，视频监控设备今后五年的复合增长率为22%，同时期IP Camera的市场占有率从39%提高到80%1。

快速增长的监控点设备数量、日益高清的摄像头和更长的视频保留时间，对视频监控数据存储系统提出了严峻的考验。

迄今为止，视频监控技术历经了从模拟化到数字化再到网络化的发展。

相应地，视频监控数据存储技术也从VCR模拟数据存储、DVR数字数据存储，到广泛应用的集中网络存储，发展到近几年兴起的分布式云存储技术[1-2]。

尤其是近年来，各城市都开始大范围应用高清视频监控系统，以提供更高质量的监控画面和精确的智能视频分析。

大规模高清视频监控系统的应用，除了前端的高清监控设备，还需要有后端存储系统支撑。

现阶段的视频监控存储系统大多数采用的是IP-SAN/NAS存储方案：通过iSCSI协议将磁盘阵列挂载给视频服务器做标准磁盘，采用文件方式进行视频数据的集中存储。

IP-SAN/NAS相较于曾是数字监控时代主流的存储方案DVR，在容量和性能上都有一定的提升。

但是，IP-SAN/NAS也存在一些技术瓶颈。

例如，视频数据流需要经过视频服务器的转发才能写入磁盘阵列，对视频服务器的高度依赖导致存储系统存在性能瓶颈和单点故障风险。

随着前端监控设备数量的增加，将必须增加视频服务器的数量，这样不仅增大了建设成本，还使得系统管理和维护的难度加大。

另外，视频监控系统一般需要7×24小时持续工作，面对多路大码流的并发持续写入，基于通用文件系统构建的存储系统经过周期性地覆盖、删除等操作后，必定会产生大量文件碎片，导致硬盘存储性能不断下降。

主流的IP-SAN/NAS存储
1The World Market for CCTV and Video Surveillance Equipment – 2014 Edition, published by IHS.
https:///
方案已经无法满足大规模高清视频监控对存储系统在容量、可靠性、磁盘性能、可扩展性等方面的迫切需求。

单个存储设备的容量和性能有限，必须依靠集群化、分布式的解决方案。

近年来，云计算的兴起和发展，促使云存储也得到广泛关注。

云存储把网络中众多不同种类的存储设备利用集群化、虚拟化和分布式文件等技术集结起来作为一个整体，通过应用软件控制协同工作，以满足用户大容量、高性能、高可靠、易扩展的存储需求。

云存储的架构是分布式的，只需增加存储设备的数量，就可以实现存储容量与性能的线性增长，即理论上云存储系统在存储容量与性能上可以无限扩展。

国内外各大公司都发布了相应的云存储服务[3-4]。

云存储的核心是后端的大规模分布式存储系统[5]，其所具备的大容量、高性能、优良的扩展性、容错性等优势都依赖于底层的分布式文件系统的支持。

现有的云存储分布式文件系统有GFS[6]、HDFS[7]、Ceph[8]、Lustre[9]、Coda[10]、Haystack[11]和FastDFS[12]等。

它们都是为特定的目标而设计，有各自适用的应用场景。

在此背景下，云存储系统和视频监控技术整合已是大势所趋，迫切需要一个面向视频监控数据优化处理的分布式存储系统，来满足大规模高清视频监控数据对性能、可靠性、扩展性和容量等方面的需求。

分布式存储系统不仅能充分利用现有的硬件设备资源，降低系统搭建和后期维护成本，还可以为以后的视频监控的分布式智能分析提供技术支持。

1.2 国内外研究现状
1.2.1 视频监控系统的发展与现状
视频监控系统诞生于1970年代[13]，随着信息技术的进步和网络的日益普及，其获得了飞速的发展，历经了如下三个阶段。

1.模拟闭路视频监控系统
模拟闭路视频监控系统（简称CCTV），如图1.1所示，其主要由前端监控设备、传输设备、控制设备和显示与记录设备四个部分构成。

CCTV以模拟的方式进行信号的采集、传输和存储，存在着监控能力有限、扩展性有限、图像质量较低、抗干扰能力差等缺点。

而且CCTV使用磁带来存放视频数
华中科技大学硕士学位论文
据，使得视频数据管理复杂，维护开销较大，且容易造成视频数据的丢失和损坏。

随着技术的发展，CCTV逐渐被新技术取代，被市场和用户淘汰。

图1.1 模拟闭路视频监控系统组成结构图
2.模拟数字混合监控系统
此代系统利用前端的模拟摄像设备来收集视频信号，然后通过同轴电缆传输给数字硬盘录像机（Digital Video Recorder，DVR），以数字化形式进行视频信息的存储与显示。

其结构图如图1.2所示。

图1.2 模拟数字混合视频监控系统组成结构图DVR的引入提升了视频质量和存储效率，且能够支持有限的IP网络访问。

同时，由于系统的集成度更高，安装方便，成本也大大降低，很快替代模拟闭路视频监控系统，成为了市场主流。

但是，由于其网络能力不强，使得远程监控能力受限，系统规模提升困难。

3.全数字网络视频监控系统
此代系统采用全数字的摄像设备，直接以IP方式输出MPEG4或H.264等格式
华中科技大学硕士学位论文
的数字信号，每个设备都分配一个全局唯一的IP地址，授权用户可在任意时间任意位置通过网络访问视频数据。

其组成结构如图1.3所示。

图1.3 全数字网络视频监控系统组成结构图全面的数字化、网络化使得该代视频监控系统具有安装维护方便、远程监控能力强大、图像质量较高和视频数据存储安全集中等优势，并且能够方便地应用视频智能分析和处理技术。

1.2.2 视频监控存储技术的发展与现状
目前视频监控存储方案主要有DVR、IPSAN/NAS和NVR三种形态。

其中，DVR 曾是模拟数字混合监控时代的主流存储应用，系统集成度高，成本低，即插即用使用便捷，但是单个DVR最多只支持16路摄像机接入，容量有限，难以共享，只适用于小规模视频监控数据的存储。

IPSAN/NAS存储方案广泛应用于当前的全数字网络视频监控系统，与DVR相比，其得益于合理的架构，在容量和性能上提升显著，且共享性好，可以支持较大规模的视频监控系统。

但是，IPSAN/NAS同样存在一些技术瓶颈，主要表现为对视频服务器的严重依赖导致的单点故障风险和性能瓶颈，以及周期性地创建、删除视频文件导致形成大量文件碎片而严重降低了存储性能。

NVR，即是网络硬盘录像机（Network Video Recorder），其直接通过网络接收IP摄像机传来的数字视频信号进行存储和管理，不需要经过视频服务器的转发，提升了存储性能和效率。

但是，NVR属于专用设备，目前还没有形成统一的标准，大量部署成本较高，另外，NVR部署较为分散，管理与维护成本极高，单点失效率高，数据安全性低。

传统视频监控存储方案已经无法满足海量高清监控视频数据的存储需求，将云存储应用到视频监控系统中迫在眉睫。

而实现云存储，必须依赖于背后的大规模分布
式存储系统[14]。

目前国内外已有大量关于视频监控存储系统的研究工作。

针对用传统文件系统存储和管理视频数据存在的不足，研究人员根据视频监控数据的特点，提出了直写裸设备的流式存储策略，即设计一种数据布局结构，将视频流数据和索引信息以此结构组织并直接写入块设备中[15-17] ，绕开文件系统，保证视频流数据在块存储设备上连续存储。

为了提升流式存储策略的检索精度，He Ju提出采用空间大小固定的区域存储每一视频帧，将视频帧作为读写与索引的基本单位[15]，以提供精确到视频帧的检索精度。

由于每一视频帧数据大小会随画面场景的变化而改变，大小不一，采用固定大小的存储策略会造成内部碎片，且只压缩帧内数据而忽略了相邻视频帧之间的高冗余性，存储空间利用率较低。

在He Ju工作的基础上，Tang Jiaxing提出将图像群组（Group of Pictures, GOP）作为读写与索引的最小单位[16,18]，消除了相邻视频帧间的信息冗余，显著提升了空间利用率。

为提升磁盘阵列在连续数据存储场景下的写性能，Sun Zhizhuo等人提出一种面向连续数据存储应用的高效能盘阵Ripple-RAID[19]，该方案设计了新的局部并行数据布局，结合地址转换和异地更新等策略，具有较高的写性能和节能效率。

针对传统存储方案在视频监控系统规模上升时遇到成本和难以扩展等方面的问题，有学者将分布式存储应用于视频监控存储系统的研究工作中。

其中，Wu Jianyuan 等人提出了一种分布式大规模监控视频存储系统THNVR[20]。

THNVR为了避免传统存储方式存在的磁盘碎片问题，其将非结构化的视频流数据和结构化的元数据数据分别存储和管理，用定长文件的方式存储视频流数据并将其元数据保存在SQLite中，极大地提升了磁盘存储性能。

Chia-Feng Lin等人提出了一种基于Hadoop分布式文件系统（HDFS）的云视频记录系统框架（Cloud Video Recorder System, CVR system）[21]，将HDFS作为视频数据的存储引擎，并提出以后可以应用其Map/Reduce分布式计算机制执行智能视频分析任务。

Duan Hancong等人针对大规模高清视频监控存储系统存在的较低的磁盘I/O吞吐率和较差的并发随机写入性能等问题，提出了一种分布式流存储系统（Distributed Stream File System，DSFS）[22-24] 。

DSFS设计了一种连续存储模型（Continuous Storage Model, CSM）将磁盘上的并发随机写转化成顺序写，提高了磁盘I/O吞吐率。

在视频监控存储系统设计中数据可靠性需要着重关注。

在传统基于IP-SAN/NAS
的视频监控存储系统中，数据的可靠性通常是通过RAID[25]方式来保证。

在分布式存储系统中，通常采用完全副本机制。

在GFS和HDFS中，副本数量由配置参数决定，不能够根据数据重要性程度和环境的变化做出动态调整，容易造成资源的浪费[26]。

1.3 研究目标和主要工作
THNVR采用的定长文件预分配策略虽然避免了视频文件创建和删除时产生的外部碎片，但仍存在内部碎片问题。

CVR应用的HDFS并未针对视频监控数据的特点而进行优化处理，无法满足视频监控应用的细粒度检索需求。

DSFS激进地将并发随机写转换成顺序写，使得元数据管理极其复杂，导致其元数据服务器存在性能瓶颈和单点故障风险，且同一路视频流数据存储较为分散，读操作需要频繁移动磁头，视频回放性能不佳。

本文设计并实现了一种面向海量高清视频监控数据的高性能分布式存储系统——DVSS（Distributed Video Surveillance Storage）。

DVSS面向视频监控数据的特点设计，视频云存储和智能分析应用可以方便地构建在DVSS之上。

DVSS致力于为大规模高清视频监控系统提供一套大容量、高性能、高可靠、易扩展、廉价的存储解决方案。

主要工作内容包括：
(1)针对视频监控数据有序、码率稳定、持续等特点，设计了一种基于裸设备1的视频流数据存储模型VSM来组织并存储非结构化视频数据，运用多码流写入调度机制和缓冲技术，将大量并发数据流随机写转化成大段的连续写，提高了磁盘I/O聚合带宽和视频流写入并发度。

(2)实现了两级索引结构的元数据管理机制。

两级索引结构极大地减轻了状态管理器管理元数据的负担，消除了性能瓶颈。

以GOP作为视频数据读写和索引的最小单位，使得视频检索精度能够达到秒级。

(3)实现了DVSS系统原型，并对多码流磁盘写入带宽和可支持的并发视频路数等关键指标进行了详尽的测试评估，并给出了现象分析和实践建议。

1.4 全文结构
本文总共包括六个章节，设计并实现了一个面向海量高清视频监控数据的高性能分布式存储系统DVSS，主要包括视频流数据存储模型、元数据管理、高并发写调
1Raw device - Wikipedia. https:///wiki/Raw_device
度、存储空间管理和容错方案等。

本文的组织结构如下：
第一章主要介绍了本文的研究背景及意义、国内外研究现状，以及本文的研究目标和主要工作。

第二章简要介绍了本文相关的概念和技术，包括LVM逻辑卷管理技术、分布式文件系统和数据冗余机制。

第三章详细介绍了DVSS系统具体设计，主要包括系统总体架构、视频数据组织结构、系统主要流程和功能，以及关键技术。

第四章介绍了DVSS系统的视频流数据存储模型VSM、元数据管理、心跳机制和状态管理器调度模块的具体实现。

第五章评估了DVSS系统的存储性能，并对测试结果进行了分析。

第六章对全文作了总结，并展望了接下来的工作。

2 研究基础与相关技术
这一章节介绍与本文相关的基本概念和技术，包括LVM逻辑卷管理技术、分布式文件系统和数据冗余机制。

2.1 LVM逻辑卷管理技术
视频监控存储系统包含有许多磁盘存储设备，需要对它们进行有效的管理。

传统磁盘管理是通过分区实现的，在使用磁盘之前用户需要对磁盘执行分区操作。

使用磁盘分区对磁盘进行管理存在一些缺陷[27]，例如：分区大小一经确定就难以改变，限制了安装在此分区的文件系统的大小；分配给分区的磁盘空间必须是连续的，使得分区不能跨越多个物理磁盘。

面对日益变化的存储需求，磁盘分区的管理方法已经无法满足系统需求，转而采用逻辑卷技术对磁盘进行管理。

逻辑卷管理器（Logical V olume Manager，LVM）是Linux系统中的动态磁盘管方法，其通过在磁盘和分区之上建立一个抽象逻辑层，来灵活管理磁盘。

利用LVM 逻辑卷管理技术，用户不再受限于单个磁盘或分区的空间大小，可以在任何时候灵活地扩展空间。

LVM的基本概念如下：
⏹物理卷（Physical V olume，PV）：位于逻辑卷管理的最底层，可以是实际物
理磁盘上的分区，也可以是整块磁盘。

物理卷有一个特殊的header，剩下的
部分被划分为一个个物理区域。

⏹卷组（V olume Group，VG）：包含一个或者多个物理卷，相当于物理卷构成
的存储池，可以动态地添加物理卷到已有卷组中。

一个逻辑卷管理系统中可
以有不止一个卷组。

⏹逻辑卷（Logical V olume，LV）：利用卷组的空闲空间创建新的逻辑卷，创
建之后可动态改变大小。

⏹物理区域（Physical Extent）：磁盘可指派给逻辑卷的最小单位。

这些概念之间的关系如图2.1所示。

华中科技大学硕士学位论文
图2.1 LVM基本概念结构关系图
2.2 分布式文件系统
在大规模高清视频监控系统中，单台存储设备无论是在容量上还是性能上都无法线性扩展，无法满足海量视频数据的存储需求。

同时，分布式存储系统将网络中众多不同种类的存储设备集结起来作为一个整体，通过应用软件控制协同工作，为用户提供一个大容量、高性能、高可靠、可扩展的存储系统。

因此，大规模视频监控存储系统的构建离不开底层的分布式存储系统。

目前，各大互联网公司在后端均采用了分布式文件系统，为它们各自应用产生大量的图片、音乐、视频、等非结构化数据对象的存储、计算以及信息挖掘提供支撑。

分布式文件系统种类繁多，每一种都是针对特定业务需求提出的，都有各自的适用场景和限制。

接下来分别对GFS和FastDFS进行介绍，本文系统的设计受到了它们的启发。

2.2.1 GFS
GFS是Google开发的一款专用分布式文件系统，面向网页搜索数据的存储进行优化设计。

一个GFS集群由一个单独的Master节点（逻辑概念，可有备份节点）和多台Chunk服务器组成，可同时被多个客户端（Client）访问。

系统运行在大量普通的廉价设备上，组件失效经常发生。

GFS以组件失效是常
态而不是异常的设计理念，持续监控自身状态，集成了错误检测、灾难冗余以及自动恢复的机制。

GFS面向大文件设计优化，文件通常为数GB大小，在写入后就很少会被修改，主要是读取和追加操作。

因此，文件在GFS中会被切割成定长的数据块（Chunk），创建Chunk时，Master节点会为其分配一个全局唯一的64位标识，然后以Linux文件的形式保存在Chunk服务器的本地磁盘上。

出于可靠性的考量，Chunk在不同的Chunk服务器中有多份副本，默认为3份。

Master节点在内存中记录所有的元数据，主要包括：文件和Chunk的命名空间、文件和Chunk的映射关系、Chunk的位置信息，它也负责整个系统的管理。

Master 节点使用心跳协议定期与Chunk服务器交换信息。

Client是GFS提供给应用程序的专用访问接口，不遵守POSIX规范。

Client存取访问文件时，先与Master节点通讯，获取元数据，再与Chunk服务器进行数据交互。

2.2.2 FastDFS
FastDFS是国人余庆开源的一个类GFS的轻量级分布式文件系统[12]，它能满足用户对大容量存储的需求，且具备负载均衡的能力。

FastDFS面向中小文件（4KB~500MB）优化设计，特别适用于图片网站、小视频网站、网盘、应用下载等以中小文件为载体的在线服务场景。

FastDFS由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）组成。

其中，Tracker服务器负责调度数据读写请求，以实现负载均衡的目的。

它在内存中只保存存储集群中所有的存储组和Storage服务器的状态信息，不保存文件的索引信息，因此需要的内存空间非常少。

相比GFS简化了master角色，Tracker服务器不再管理元数据信息，非常地轻量化，不会成为系统瓶颈。

Storage服务器采用分组的组织方式，同组内的Storage服务器之间互相备份，为对等关系。

分组存储方法方便实现系统的纵向扩容和横向扩容。

文件和其元数据都存放在Storage服务器的本地文件系统上。

组内的任一Storage服务器都可以执行文件的上传、下载和删除等操作，系统会自动将操作同步到组内其他Storage服务器上。

Client通过专有的API对文件进行上传、下载和删除等操作。

下载文件时，Client需提供文件索引，其结构如图2.2所示。

当Client上传文件后，Storage服务器将由存储组名、虚拟磁盘路径、数据两级目录和文件名构成的文件索引返回给Client。

FastDFS可根据文件索引快速地定位文件：①Tracker服务器通过组名可立即定位到对应的Storage服务器组，依据负载
华中科技大学硕士学位论文
均衡策略选取恰当的Storage服务器供Client访问；②Storage服务器通过虚拟磁盘路径和数据两级目录可很快定位到文件所属目录，再依据文件名就可以找到Client要访问的文件。

可以看出，FastDFS相较于GFS，架构具有轻量级、对等结构和分组方式的特点。

FastDFS简洁高效，搭建成本低。

图2.2 FastDFS文件索引结构
2.3 数据冗余机制
对于视频监控存储系统来说，关键是保证视频内容的完整性、可用性和可靠性。

为了实现这一目的，在大规模分布式存储系统中都会应用数据冗余技术来提升系统的容错能力，即通过某种方式增大数据的冗余度，在数据丢失或出错时，利用冗余数据恢复原始数据[28]。

完全副本和纠删码是两种最常见的冗余机制。

2.3.1 完全副本
随着磁盘价格不断降低，完全副本凭借其简单高效的优点很受分布式文件系统的青睐。

完全副本冗余机制为系统中每一个数据对象创建多个副本，并将这些副本分发到不同的存储节点上，当发生磁盘错误或节点失效导致某个数据对象无法访问时，可通过访问存放此数据对象副本的最近节点，获取原始数据。

此外，多副本也可用来提高系统的访问性能，使用多个副本可以起到负载均衡的作用，降低用户访问延迟。

完全副本技术在分布式存储系统中受到了广泛的应用，包括GFS、HDFS、MooseFS、Ceph均使用了完全副本技术。

完全副本有上述的诸多优点，但也有不足的地方，主要体现在：①当有对象被更新时，其全部副本需要同步更新以保持一致，数据一致性协议将直接影响存储系统的性能；②多副本意味着多倍的空间开销，且需消耗额外的写带宽。

2.3.2 纠删码
纠删码（Erasure Coding，EC）是一种编码容错技术，最早用于解决信道传输的数据损耗问题，其基本原理是发送端将要传输的数据分割成N个数据块，通过特定。