数据存储

WEB开发技术

题目：浅谈分布式存储

姓名：

班级：

教师：

日期：

评价

报告摘要：

分布式是现在很流行的名词，尤其分布式数据处理领域，随着海量数据的产生，研究人员都在研究更高效、可扩展性好、高可用性的数据存储系统。分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。

1. 分布式

所谓分布式，就是指数据和程序可以不位于一个服务器上，而是分散到多个服务器，以网络上分散分布的地理信息数据及受其影响的数据库操作为研究对象的一种理论计算模型。分布式有利于任务在整个计算机系统上进行分配与优化，克服了传统集中式系统会导致中心主机资源紧张与响应瓶颈的缺陷，解决了数据异构、数据共享、运算复杂等问题，是现代系统技术的一大进步。

2. 分布式存储技术

与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

3. 分布式存储系统

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

3.1 应用方案

在一个视频监控系统中，选择什么样的存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度，目前视频监控系统中的存储方案大致上有两种：

3.1.1

在摄像监控前端采用有一定存储容量的DVR设备。所有需要的数据均保存在前端DVR的存储设备中，后台主要负责维护和必要的存储。

3.1.2

在摄像监控前端采用DVR或者网络视频服务器，而存储主要在远端通过后台的PC或者服务器软件来将数据保存在后台的存储设备上。

3.1.3

现在有推荐使用基于分布式存储、集中管理思路的、以及基于iSCSI技术的IPSAN来作为视频监控的存储解决方案，这个方案的主要特点包括：

●分布式存储，集中管理；

●基于iSCSI技术的IPSAN（STorageAreaNetwork）；

●流媒体网关可以作为存储解决方案的核心设备。

在这个方案中，共有三级：

(1)、上级监控中心：上级监控中心通常只有一个，主要由数字矩阵、认证服务器和VSTARClerk软件等。

(2)、本地监控中心：本地监控中心可以有多个，可依据地理位置设置，或者依据行政隶属关系设立，主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成；音视频的数据均主要保存在本地监控中心，这就是分布式存储的概念。

(3)、监控前端：主要由摄像头、网络视频服务器组成，其中VE4000系列的网络视频服务器可以带硬盘，该硬盘主要是用于网络不畅时，暂时对音视频数据进行保存，或者需要在前端保存一些重要数据的情况。

4. 分布式数据库系统

4.1 简介

通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都有DBMS的一份完整拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的大型数据库。

这种组织数据库的方法克服了物理中心数据库组织的弱点：

●降低了数据传送代价，因为大多数的对数据库的访问操作都是针对局部数据

库的，而不是对其他位置的数据库访问；

●系统的可靠性提高了很多，因为当网络出现故障时，仍然允许对局部数据库

的操作，而且一个位置的故障不影响其他位置的处理工作，只有当访问出现故障位置的数据时，在某种程度上才受影响；

●便于系统的扩充，增加一个新的局部数据库，或在某个位置扩充一台适当的

小型计算机，都很容易实现。

4.2 特点

●多数处理就地完成；

●各地的计算机由数据通信网络相联系；

●克服了中心数据库的弱点：降低了数据传输代价；

●提高了系统的可靠性，局部系统发生故障，其他部分还可继续工作；

●各个数据库的位置是透明的，方便系统的扩充；

●为了协调整个系统的事务活动，事务管理的性能花费高。

4.3 数据分配方式

●集中式：所有数据片段都安排在同一个场地上。

●分割式：所有数据只有一份，它被分割成若干逻辑片段，每个逻辑片段被指

派在一个特定的场地上。

●全复制式：数据在每个场地重复存储。也就是每个场地上都有一个完整的数

据副本。

●混合式：这是一种介乎于分割式和全复制式之间的分配方式。

目前分布式数据库分配的设计，越来越多的采用寻找最优解的算法，比如遗传算法、退火机制等。

4.4 数据分片类型

●水平分片：按一定的条件把全局关系的所有元组划分成若干不相交的子集，

每个子集为关系的一个片段。

●垂直分片：把一个全局关系的属性集分成若干子集，并在这些子集上作投影

运算，每个投影称为垂直分片。

●导出分片：又称为导出水平分片，即水平分片的条件不是本关系属性的条件，

而是其他关系属性的条件。

●混合分片：以上三种方法的混合。可以先水平分片再垂直分片，或先垂直分

片再水平分片，或其他形式，但他们的结果是不相同的。

5.分布式数据存储的CAP理论

所谓CAP理论，即：

Cosistency——数据的一致性

Availability——高可用性

Tolerance to newowrk Partitions——分区容忍性

一个数据存储系统不可能同时满足上述三个特性，只能同时满足其两个特性，也就是：CA,CP,AP。可以这么说，当前所有的数据存储解决方案，都可以归类的上述三种类型。

●CA 满足数据的一致性和高可用性，但没有可扩展性，如传统的关系型数据，

基本上满足是这个解决方案，如ORACLE , MYSQL 的单节点，满足数据的一致性和高可用性。

●CP 满足数据的一致性和分区性，如Oracle RAC ，Sybase 集群。虽然Oracle

RAC具备一点的扩展性，但当节点达到一定数目时，性能（也即可用性）就会下降很快，并且节点之间的网络开销很在在，需要实时同步各节点之间的数据。

●AP 在性能和可扩展性方面表现不错，但在数据一致性方面会用牺牲，各节

点的之间数据同步没有哪么快，但能保存数据的最终一致性。当前热炒的NOSQL大多类是典型的AP类型数据库。