容灾-异地容灾备份-容灾一体机-数据安全备份-数据库双活网关

数存Datapp-Everest超融合产品白皮书

深圳市数存科技有限公司

All right reserved by Datapp Technology CO., Ltd

一、产品背景

随着我国进入信息化时代，企业对信息化技术的依赖越来越强。在计算机技术高速发展的今天，存储作为计算机的一个重要功能在不断发展着。然而在传统的计算资源与存储资源分离的体系架构下，光靠越来越快、核数越来越多的CPU 是不够的，瓶颈在于传统存储的硬盘读写太慢了，计算主机上大部分的CPU计算能力都空闲或者说在等待存储数据传输过来，这种不匹配的架构已经不能满足企业IT数据中心高速发展和变化的需求。

扩展困难：

传统存储SAN/NAS通过添加新的存储柜扩容升级（Scale Up)，但是这种方法并不能带来线性的性能提升。存储访问性能并不能随着虚拟机数据量增加而线性增加，致使存储访问性能最终成为数据中心性能和容量的瓶颈。

性能瓶颈

虚拟化将多个业务系统打包成独立的虚拟机同时运行，众多虚拟机的同时运行使得整个存储系统基本都是随机I/O读写，现有存储通常采用SATA/SAS机械磁盘实现，无法应对大量并发随机读写请求。

服务质量保证问题

虚拟化数据中心中运行着大量不同的应用，这些应用通常对应不同的服务等级。现有存储为20年前的设计，并没有考虑虚拟化环境中的应用负载，利用现有存储很难为不同的应用负载制定存储性能策略，以适应不同的应用负载。

管理复杂

IT管理员不仅需要同时管理计算和存储两套系统，还往往需要面对专有化设备的配置，非常繁琐。传统网络存储架构SAN/NAS起初是为静态负载场景设计，对于动态变化的负载，其管理运维就会变得相对复杂。

硬件专有化，成本高

在未来，企业用户在构建信息系统时最关注的应该是存储系统的设计与配备。主流存储厂商使用自行设计的专有芯片去优化I/O路径，如利用专有芯片做数据压缩，去冗等。这些专有化硬件带来的高额研发和生产成本必然会提升存储系统的总体拥有成本。在政府、医疗、石油、电力、顶级互联网等超大型信息化应用环境中，普通的存储产品已经无法满足爆炸增长的数据业务需求，同时对硬件平台的性能、价格也会有个更高的要求，更需要一个分布式架构的计算存储资源池来解脱对性能与价格的束缚。

二、Datapp Everest系统设计理念

2.1 分布式计算

Datapp Everest采用数据融池分布式集群架构，每一个数据节点都有能力承担另一数据节点的功能，节点之间用内部的分布式协议完成相互协作和通信，系统中的任意组件都不会成为瓶颈，不但能够实现横向扩展，还具备与各种先进的网络存储解决方案相同甚至更好的企业级数据管理功能，包括高可用性、备份、快照、灾难恢复等。

2.2 系统冗余

Datapp Everest始终把可靠性作为系统设计的最高优先级。在实际环境中，任何硬件都无法保证100%可靠，磁盘可能损坏从而导致服务器宕机。为处理这些不可预期的硬件错误，保证数据的完整以及业务的连续性，Everest采用信息稀疏矩阵算法及加密技术将数据平均分散至每个物理数据节点上，即便一个元数据服务器停机，也完全不影响元数据服务；同一份数据块也会复制到不同的物理数据节点，防止单点故障。

2.3 虚拟化

Datapp Everest 是面向虚拟化环境设计的分布式存储系统，能够支持虚拟机迁移和高可用性等的管理功能。Everest能够在不停虚机的情况下实现集群系统升级，可感知数据块的热点，调度数据块到距离VM最近的节点，较少远程I/O的访问。

2.4 分层存储

Datapp Everest充分利用了企业级固态硬盘的技术优势，采用连续自适应数据分片技术对数据进行切分，细粒度可达4KB，同时记录和分析数据的冷热程

度，将热门数据分布式地存储在SSD空间以获得最高性能，将“冷”数据或非常用数据迁移至大容量机械硬盘空间上。

2.5 自动化管理运维

Datapp Everest从部署、日常管理、容错处理都力争做到自动化。Everest 的安装部署非常简单迅速，只需简单配置IP地址和服务器角色等信息就能在1小时内完成安装部署；当硬盘损坏，数据可靠性降低时，Everest会触发自动修复将数据复制到健康的节点，整个过程无需人工参与。Everest提供了Web可视化管理和丰富的分析功能，可以采集和分析当前系统的多维指标，并设置预警，第一时间通知管理员。

三、系统架构及产品功能

Datapp Everest是一个由多个高性能服务器节点组成的可实现横向扩展的

集群系统，集群系统包含有处理器、内存和SSD高速存储器以及SATA大容量存储器，每台计算节点都运行一个标准的管理程序，通过先进的数据管理功能，形成冗余的Server-SAN超融合计算存储平台。在这平台上用户可以在任意节点上启动VM，这些VM可像使用本地存储一样创建出虚拟盘。

3.1 按需Scale-out扩展

Everest摒弃了传统的通过扩展磁盘柜扩展容量的方式，而是通过添加新的服务器节点同时获得存储容量和性能的水平扩展，扩展后的Rack空间、容量和性能是可预估的，能极大帮助企业IT选择最合适的软硬件解决方案。

在Everest超融合架构中，每一次水平扩展都具有如下特性：

➢自动负载均衡

扩展节点后，Everest会根据集群中各个服务器节点的负载和容量使用情况做负载均衡，以达到整个系统的负载均衡，避免单点过热的情况出现。

➢扩展无需暂停业务

水平扩展只需要将部署了Everest的新节点和原有集群连接到同一网络，通过图形控制台或者命令将新节点添加到Everest集群中即可，整个扩容过程不会

影响任何服务，虚拟机无需停机。

➢即刻生效

节点被添加到集群，该新增节点的计算和存储资源会通过一轮“心跳”向集群汇报，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被Everest接管。

3.2 数据保护

数据高可靠性是Everest设计中非常重要的一点：

➢弹性多副本和智能修复

同一份数据可以有多个副本，副本会分布到不同的物理节点，即便一个节点损坏也不会影响数据的可用性和可靠性。

➢数据块校验

为防止数据的静默损坏，Everest会对每个数据块做校验，通过周期性地扫描数据块的校验值发现损坏的数据块，并进行修复。

3.3 冷热数据分层存储