云存储技术路线及选型分析

云存储技术路线及选型分析

目录

1.云存储的应用场景 (3)

2.云存储主要技术路线及优缺点分析 (7)

3.分布式存储技术的优势及产品选型 (10)

4.传统存储分布式架构和SDS 软件定义分布式存储架构的对比 (12)

5.存储虚拟化技术的应用和产品选型 (15)

6.对象存储技术的优势和产品选型 (17)

7.分布式存储和对象存储的应用场景分析 (19)

8.传统存储的发展趋势 (21)

哪些应用场景适合云存储？存储虚拟化、分布式存储、对象存储这几种技术主要解决什么问题？技术产品选型如何考虑？

1.云存储的应用场景

传统IT 环境中使用传统存储的困境有那些？那些应用场景是传统存储不能满足而必须借助云存储来实现的？

■分享一：

1、虚拟机存储

虚拟机存储是云计算平台中运行的虚拟机以及虚拟机镜像的存储环境，主要特点包括：

1）文件较大，一般为10G 以上；

2）单个虚拟机的IOPS 和带宽要求低，一般在几十以内；

3）可用性要求较高。

一般来说，在云计算环境下会存在大量的虚拟机，少则上千台，多则几万台甚至几十万台，虽然单台虚拟机所需资源较少，但是量变带来质变，整体对于存储的性能需求极高，该场景下为了满足所有虚拟机访问带来的带宽要求，使用传统存储的解决方案需要购置多套SAN 或者NAS 存储设备并分别部署，显然价格较贵。

云存储可构建统一的资源池，并能够动态扩展资源，并有效提升存储资源的管理和使用效率。结合虚拟机存储的使用特点，存储资源池可使用SAS 接口的磁盘甚至SATA 接口的磁盘。

2、非结构化数据存储

业务系统在运行过程中，一般会生成一些非结构化的数据，包括记录的系统运行日志、生成的一些临时文件等。该类型数据的特点包括：

1）文件大小中等，一般几十MB 到几百MB 不等；

2）IOPS 和带宽要求低，一般是连续读写；

3）可用性要求较高。

该类型的应用场景类似于虚拟机存储，差别主要在于虚拟机主要表现为随机访问，非结构化数据主要表现为连续访问。另外，该场景下的文件数量会非常大，文件大小也差别较大，从几MB 到数GB 都会有。

因此，云存储也可很好的满足上述要求，使用廉价SAS 和SATA 磁盘满足大规模非结构化数据的存储，并提供良好的扩展性。

3、数据库存储

业务系统运行过程中另外一个典型的存储应用就是关系型数据库，基本上所有的业务系统均需要存储用户基本信息、参数信息、业务交易信息等内容。结合数据库使用的不同场景，包括联机业务数据库、批量业务数据库和参数库，相关的主要特点如下：

1）联机业务数据库：面向实时交易业务处理过程中的数据存储和访问，主要特点包括业务访问并发量很高、实时性和可用性很高、每天数据量较大等，数据表内容可达到几千万甚至几亿条记录；

2）批量业务数据库：面向交易业务处理过程中的非实时数据处理，比如说基于历史数据的统计分析，主要特点包括业务访问并发量不高、访问数据量较多、实时性较高等；

3）参数库：面向业务处理过程中关联的用户信息、商户信息、业务参数等内容，主要特点包括数据增加缓慢、业务访问并发量不高、实时性较高等。

云存储结合固态硬盘SSD 的应用，完全可以满足数据库应用场景下的带宽和IOPS 方面的性能要求。

■分享二：

首先说下传统存储（包括DAS 存储、NAS 存储、SAN 存储等)的困境，主要是管理不方便，容量扩展麻烦，从成本上考虑硬件成本和维护成本都很高。

如果使用云存储，优点还是很明显的，开箱即用，扩容也比较简单。

至于哪些场景的话，主要是多媒体，音乐，图片，视频监控文件，软件，镜像，扫描件等其他海量文件的存储，这些都可以使用，主要还是易用性跟性价比。

■分享三：

从架构来看，云存储比紧耦合设计的传统存储有更好的横向扩展性，这样在容量和性能上有更大的弹性，另外云存储采用的纠删码技术也可以提供较之于传统RAID 更高的可靠性，可以

应对多个数据节点的同时失效。再者基于x86 架构的分布式云存储较之于传统机柜式存储有更灵活的部署方式。市面上的云存储普遍采用低速sata 盘，实际上，对于没有高性能要求的非交易型系统，对于这些系统产生的海量非结构化数据，云存储是个不错的选择。另外，从对海量数据的处理性能上来看，尤其是存储容量在几百TB，甚至是PB 级，文件数量在千万、亿量级的时候，传统的SAN 和NAS 实际上已经有了瓶颈，而采用扁平化数据组织方式的对象存储就有了很明显的优势。

■分享四：

云存储相对传统存储能解决的问题：

1.节点级的高可用；传统存储只解决硬盘级的故障，对设备整机损坏没有防护

2.整体接入性能随容量线性增长，多节点并发读写的模式；传统存储的IO 性能随着扩展柜的增加呈抛物线分布

云存储的适用场景：

1.开源云计算的后端存储，如果上openstack，cloudstack，通常后端会配分布式存储而不是SAN 存储。

2.海量非结构化数据存储，对于数PB 的数据的统一存储，通常需借助分布式文件系统。

3.海量小文件数据存储，对于文件规模上亿的存储场景，通常使用对象云存储，以获得更高的IO 性能和扩展性。

■分享五：

从不度的维度可以有很多场景，几乎上规模的容量、性能及文件数量要求的大前提下，基本上都可考虑采用云存储实现。从常规容量及性能维度来看，场景有海量存储需求（如多媒体存储）、对容量、读写性能有同步横向扩展需求（超算或高性能计算）等。从数据结构类型维度来看，如非结构化数据、大型数据库、虚拟机存储等。

2.云存储主要技术路线及优缺点分析

■分享一：

存储虚拟化：

存储虚拟化更多是对传统块（FC SAN,IP SAN）的虚拟化。其主要解决了企业内部传统存储资源无法有效进行存储资源整合和统一管理的难题。可以有效的提升整体存储资源的利用率和降低人员运维成本。

同时作为虚拟化网关，极大的方便了异构品牌平台存储间的数据集中和数据迁移。

很多存储虚拟化网关本身具有远超传统存储的企业级软件功能：比如thin，压缩，快照，clone，数据复制等。可以通过虚拟化网关进行统一的存储复制交付功能。

所以存储虚拟化的主要勇武之地还是在传统IT环境及私有云环境。自然面向的也是高IO负载，低读写延迟等重要应用业务环境，比如数据库。是对传统IT环境中企业存储阵列的一个补充和升华。

SDS软件定义分布式存储：