实时备份技术白皮书

浪擎DataBackup实时备份系统
V4 技术白皮书
版权声明
版权所有©2014上海浪擎信息科技有限公司
未经本公司许可，任何单位或个人不得以任何形式，复制、传播、摘抄本内容的部分或全部。

本书内容上可能会有增删和修改，上海浪擎信息科技有限公司会定期将修订后的内容纳入新版本中，如有更改恕不另行通知。

公司申明
浪擎科技是国内最大的备份容灾软件厂商，在备份容灾领域具备一流品牌影响力。

公司产品和解决方案分为D（数据级灾备）、A（应用级灾备）、Y（区域级云灾备平台）、S（备份存储柜）四大系列，涵盖了从桌面到服务器、从备份到容灾、从本地综合备份管理到异地数据中心建设等各个方面，构建完整的备份、容灾、存储解决方案。

浪擎科技已为众多高端用户建设了大型的灾备中心或灾备系统。

客户遍及政府、金融、医疗、能源、电信、媒体、制造、教育等各行各业，有超过10000家用户，承建了最多的区域级灾备中心建设案例。

所获成绩或荣誉：荣获2012年度上海科技小巨人；荣获2012年度全国电子政务十大IT创新品牌；荣获2012中国信息安全最具影响力企业奖；荣获2009年度科技部中小企业技术创新奖。

目录
一、浪擎DataBackup实时备份 (5)
1. 系统架构与部署 (5)
2. Web管理平台 (6)
二、主要应用系统的容灾 (7)
3. 文件系统实时备份与容灾 (7)
4. SQL Server实时备份与容灾 (8)
5. Oracle实时备份与容灾 (9)
6. MySQL实时备份与容灾 (9)
7. Sybase实时备份/容灾 (10)
8. DB2实时备份/容灾 (11)
9. 通用数据类型实时备份与容灾 (12)
三、数据定时备份 (12)
10. 定时文件备份 (12)
11. SQLServer定时备份 (13)
12. 操作系统备份与裸机恢复 (13)
13. VMWare虚拟机备份 (14)
14. 三级索引存储模块 (14)
15. 监控与报警模块 (15)
16. 其他功能模块 (15)
四、主要技术 (15)
17. 实时数据捕获引擎打造实时备份 (16)
18. 实时恢复实现业务容灾 (16)
19. ACA保障实时备份的可靠性 (16)
20. 差分合成ADA做到最快的恢复速度 (16)
21. OOF实现备份数据网络流量最小 (17)
22. 同一数据多实例运行实现大规模的并行化存储需求 (17)
23. 操作系统、应用环境的裸机或异机恢复 (17)
24. 重复数据删除 (18)
25. 基于Web的统一管理和配置 (18)
一、浪擎DataBackup实时备份
浪擎D系DataBackup实时备份(以下简称实时备份) 4.1版对业务系统数据进行定时、实时在线备份，持续保护业务系统的数据。

当业务系统的生产数据发生丢失时，可以实现任意版本、任意时间点的数据恢复，达到RTO、RPO趋于零的保护。

实时备份对备份服务器硬件和网络等无特殊要求，可实现低成本、高保障的热备份和热容灾。

其支持主流的数据库和文件的备份以及恢复，具有全面保护、安全可靠、功能强大、简单易用等产品特色。

支持定时、实时备份功能；支持本地、异地、远程备份容灾。

1.系统架构与部署
1.系统组成
系统由三部分组成：备份（存储）服务器端程序、WEB管理平台、客户端程序。

备份服务器端程序是系统的核心部件，负责整个备份系统的数据存储等后台服务；WEB管理操作平台是系统的统一配置、监控平台，用户可以通过该平台实现备份、还原等作业配置，并进行作业的监控管理等功能；客户端程序安装在需要备份的源主机上实现备份功能，或需要恢复的目标主机上实现恢复功能。

2.备份服务器端程序
备份服务器端程序是安装在备份服务器上的，是整个系统的核心部件。

备份服务器端模块是多线程、多任务的运行架构，包含并行控制、存储、备份、还原、合成备份、用户组管理、版本控制、增量传输、增量存储、通信控制、日志管理等子系统。

备份服务器端程序负责将客户端模块实时增量传输过来的数据块存储到对应的存储位置。

备份服务器端程序会根据用户制定的备份策略对存储的数据进行合成备份，生成对应时间点的备份数据版本的备份块，已达到版本控制的功能。

同时备份服务器会保存所有的备份数据块，以做到任意时间点恢复的功能。

增量块与上次版本文件构造与代理相同的文件，并依据备份类型记录当前版本信息以及存储文件，派生任务给存储子系统进行物理存储。

在还原和下载时，备份服务器端模块从最近（时间）点和最远（时间）点之间抽取出所有版本，构造还原文件，并发送给需要还原的服务器。

备份服务器端程序采用访问控制和权限列表（ACL）控制共享访问。

3.客户端程序
客户端程序一共有MsgAgent、文件备份与恢复、操作系统备份与恢复、MSSQL Server 备份与恢复、Oracle备份与恢复、虚拟机备份与恢复、MySQL备份与恢复、Sybase备份与恢复等模块。

4.WEB管理操作平台
基于WEB的管理操作平台，主要是针对用户的实际需求，将备份产品的特点、功能都集中展示和实现，体现Web-Manage理念，即所有的操作都在WEB中完成，无需在源服务器上安装额外的软件，将对源服务器性能的影响降到最低，实现真正的绿色容灾的效果。

备份服务器WEB的功能：监控功能包括监控备份服务器的备份任务运行状态及其报表；管理功能包括服务器运行参数、日志、用户与组、组策略、备份视图等管理；操作功能包括实现基本的备份、还原功能、数据删除等功能。

WEB管理操作平台实现了对用户权限划分的管理，不同权限的用户登录WEB管理操作平台所展示和实现的功能各不相同。

5.系统部署模式
只需在备份服务器上安装备份服务器端程序，同时将WEB管理操作平台也安装到备份服务器上。

在需要备份的源主机上安装客户端程序。

一般部署的大致步骤：
1.在备份服务器上安装备份服务器端程序。

2.通过WEB管理平台配置服务器端的所有设置功能。

创建用户、分配权限，对不同的用户分配对应的存储空间等。

3.在需要备份的源主机上部署客户端程序。

在WEB管理平台上配置源主机的IP地址、机器名等信息。

4.在WEB管理平台上配置各源主机的备份策略、计划。

2.Web管理平台
1.源主机或目标主机管理
管理需要备份的源主机；管理需要恢复数据的目标主机。

2.备份/恢复/过期数据清除等策略管理
由管理员部署备份策略，可以定时分发到用户主机上进行备份，具体功能如下：支持多种方式文件备份。

可以按照需求指定备份文件类型，备份类型支持通配符比如：d:\*.doc; *.html 等方式。

为不同的数据系统设置不同的备份策略，实现不同粒度的数据备份。

统一自动备份功能，可以管理统一备份的备份时间，完成统一定时备份功能。

过期数据清除策略按照备份数据的有效期进行清除生命周期（数据在服务器端存放的时
间），提高空间使用效率。

3.作业报表管理
每运行一个作业后，系统为该作业生成一个作业报表，记录作业运行时间、任务类型、用户、作业配置信息、作业内容、失败信息等，详尽反应作业运行状况。

备份、还原、策略分发、过期删除均会有报表产生。

当某一备份任务结束时，备份系统自动将此作业报表推送到灾备中心的监控服务器，实现两级监控。

4.备份运行日志管理
通过查看日志可以检查系统运行情况。

可以查看数据备份、还原、作业等运行情况。

5.版本控制
详细记录备份时刻文件系统的状态，时间点等信息。

记录备份文件版本变更历史，所有的历史版本。

记录备份文件还原点。

6.任务运行监控
全新D系可以监控的范围扩大了，能监控在线作业、客户端连接状态、用户状态。

历史作业形成报表存储到数据库中，以备查询。

二、主要应用系统的容灾
3.文件系统实时备份与容灾
实时监控Windows或Linux文件系统，并将变化的文件块数据备份至备份服务器。

4.SQL Server实时备份与容灾
SQL Server数据库的实时备份，实时监控SQL Server数据库，将SQL Server数据库系统的改变数据发送至备份服务器端进行存储。

支持SQLServer 2000、2005、2008版本。

5.Oracle实时备份与容灾
Oracle数据库的实时备份，采用追逐式全量复制技术，在全量备份的基础上实时将Oracle 的变化数据发送至服务器端进行存储。

支持Oracle 8i、9i、10g、11g版本，支持Windows、Linux、AIX、HPUX操作系统。

6.MySQL实时备份与容灾
MySQL数据库的实时备份，实时监控MySQL数据库，将MySQL数据库的变化数据发送
至备份服务器端进行存储。

7.Sybase实时备份/容灾
Sybase数据库的实时备份，实时监控Sybase数据库，将Sybase数据库的变化数据发送至备份服务器端进行存储。

支持11版本，支持Windows操作系统。

8.DB2实时备份/容灾
DB2数据库的实时备份实时捕获DB2数据库变化数据，并将变化数据发送至备份服务器端进行存储。

支持Windows、Linux操作系统。

9.通用数据类型实时备份与容灾
实时监控指定应用系统的存储文件或目录，并将变化的文件块数据备份至备份服务器。

三、数据定时备份
10.定时文件备份
支持按照接收的策略，定时备份还原指定的目录与文件。

支持过滤系统目录和特定的文件类型。

支持备份文件的版本控制。

支持在发送文件时，对文件做MD5完整性验证。

支持备份超过4G的大文件和数量达到2000W以上级别的文件目录。

支持过期数据清除。

11.SQLServer定时备份
12.操作系统备份与裸机恢复
操作系统备份是基于磁盘映像和裸机还原专利技术，可将服务器上的操作系统进行备份，能够在系统故障前，对所有Microsoft或Linux的服务器和工作站进行备份并使其完全恢复至操作状态。

备份：备份操作系统、备份整个磁盘、备份逻辑磁盘；可支持压缩备份。

裸机还原：万一硬盘故障，可从空机还原服务器，可在新硬盘上还原计算机的精确复本。

异机还原(选项)：将整个系统迁移或还原到不同硬件或虚拟机上。

虚拟化支持：
将映像备份转换成虚拟机格式：将备份映像转换成与VMware、Microsoft Hyper-V、Citrix XenServer和Parallels环境相容的虚拟机格式。

操作系统备份支持的主要功能：
可备份整个磁盘或卷，包括操作系统所有应用程序和数据。

灵活性强，可裸机恢复至任何硬件上。

支持文件和文件夹备份与恢复。

弹性灵活，既适用于个别计算机，也适用于企业。

同时支持Windows 和Linux 两种环境。

集中式管理分散的工作站和服务器。

服务器专用化，优化存储资源。

磁盘映像技术，使操作系统的备份和恢复在几分钟内即可完成。

更好地支持虚拟环境。

启动时直接从本机硬盘上的安全分区进行恢复，不必携带启动媒体。

基于策略的集中式管理方式，大幅节省人力资源和时间。

13.VMWare虚拟机备份
VMWare全量备份
可以选择备份整个虚拟机或虚拟机挂载的某个磁盘。

全量时建立在快照的基础上，在全量完成后，会有一个快照保留在备份的虚拟机中，作为下载备份的节点标志。

对于备份整个虚拟机，将备份虚拟机存储目录下的.nvrm、.vmdk、.vmsd、.vmx、.vmxf、vmsn等文件，仅备份磁盘时，备份的为vmdk、vmsd文件。

VMWare增量备份
增量备份，是在全量备份的基础上备份改变的数据。

增量备份也分为整个虚拟机的增量或虚拟机下某个磁盘的备份。

VMWare恢复
VMWare按版本恢复，可以选择恢复至全量版本或增量版本。

恢复时，可以恢复到原来虚拟机所在的物理机，也可恢复到其他物理机上。

14.三级索引存储模块
该模块负责备份数据存储，采用策略/任务/索引树三级索引的存储方式。

三级索引存储方式将存储分为应用层、策略层、索引层与存储层(Archive文件)。

应用层----实现应用系统索引。

策略层----采用数据库存储，备份策略信息，任务信息。

索引层----使用文件形式，存储目录树结构，一次全量产生一个索引文件，每次任务均产生一棵目录树，之后的每次增量任务的目录树，都存在这个索引文件中，直到下一个全量
任务时，再产生一个新的索引文件。

存储层(Archive)----存储备份的具体数据将Archive格式化，使用固定大小来存储，每个Archive文件，存储一个备份策略，默认大小为80G，当超过这个值时，才会在重新生成一个Archive文件。

可管理磁盘使用情况，提高磁盘利用率。

可监控磁盘使用情况，防止数据由于空间不够而无法使用。

15.监控与报警模块
备份系统能监控各源主机及其存储空间、备份传输网络、备份服务器等设备，以及这些设备的资源消耗状况，例如CPU、内存、网络传输带宽等资源。

当这些设备发生故障或异常导致运行服务停止时，或者某资源消耗过高超过报警门限值时，备份系统可通过短信、邮件进行报警，及时通知相关负责人。

管理员可通过Web界面配置报警源、门限值、报警方式等。

16.其他功能模块
其他功能模块：
桌面电脑备份
打开文件备份
重复数据删除功能
数据加密存储与压缩存储功能
Web-Manage 管理、配置、监控
四、主要技术
实时备份的客户端实时捕取应用系统的业务增量数据，通过IP连接，实时发送到备份服务器端存储。

备份服务器端存储着所有完整的业务系统数据块，在需要恢复时，备份服务器会根据时间或者版本整理业务数据块，找出准确的数据库完整点，合成一个完整的恢复版本。

备份存储使用三级级索引存储技术存储数据，提高数据读取性能，并且可以为用户提供各种性能保障。

而对于没有实时备份需求的用户，也有定时备份的方案，利用策略功能定时、自动的发送消息给客户端备份程序，完成定时备份。

D系采用大量的高端的、革新性的技术来打造。

17.实时数据捕获引擎打造实时备份
D系的实时备份功能组件采用了颠覆性的技术实时捕获来做备份，当然备份的完整性依靠ACA来保障，参见下一节说明。

备份速度和性能的提升关键来自于数据获取阶段，传统备份系统采用应用系统提供的数据接口方式来获取数据，例如各种数据库均提供了备份接口，SQLServer数据库提供了VDI，Oracle提供RMAN，这样的方式速度慢，备份窗口大，造成应用系统性能直线下降。

D系的ACA实时备份捕获引擎绕开这些传统获取方式，通过嵌入操作系统内核的I/O驱动程序捕获应用系统的变化数据。

这样的数据捕获方式既做到数据捕获与应用无关，又大幅提升备份速度和性能。

18.实时恢复实现业务容灾
实时备份提供实时恢复功能，将最新数据实时恢复到备份服务器或第三台容灾服务器，当生产数据库发生故障时，可立即启动容灾服务器的数据库来接替生产服务器，使业务继续运行。

19.ACA保障实时备份的可靠性
ACA引擎全称应用级捕获和分析技术，结合操作系统驱动实现应用数据的实时捕获。

该项技术来自于浪擎的A系高端产品双活容灾。

对于操作系统而言，应用系统通过数据流的方式源源不断的、时时刻刻的写入存储。

捕获到的数据流对于应用系统而言，仅是某一时刻点的数据，并且这一时刻点可能是一个不完整的状态。

因此，只有找到应用系统确认的完整点，才能保障应用系统的一致性，才是可以恢复的时间点，否则其他点都是不可恢复的点，即便恢复起来也是破坏了应用系统的内部一致性这个关系。

正是从这一原理出发，ACA引擎不但实时捕获数据流，而且实时分析应用系统的一致性状态，从而建立起可以恢复的一致性点序列库，恢复时就可恢复到某个一致性点。

这完全不同于现有的CDP技术，恢复时依靠回退(Rewinder)来穷举应用数据的一致性状态。

20.差分合成ADA做到最快的恢复速度
实时备份，或CDP技术等实时备份技术的弊端在于如何恢复，如前节所述捕获到的都是数据流，不采用ACA引擎就不能识别应用系统的一致性点，因此恢复时就靠穷举一致性点。

同时，由于没有找一致性点，其存储的序列就不能太长，否则恢复时间完全不可预料。

当然，也有其他CDP技术依靠源端应用感知技术暂时冻结应用系统活动，在此冻结期间采用存储快照技术来帮助恢复到一致性点。

但这种方式对源端生产系统影响太大，因此这类CDP技术不能做到实时，只能成为准实时。

实时备份采用浪擎科技的ACA引擎来克服了上述先天性缺陷，ACA获取了一致性点，ADA采用差分合成方式自动的、智能化的合成全量、增量版本，从而缩减恢复路径，实现了无限版本存储和最快的恢复速度。

21.OOF实现备份数据网络流量最小
OOF由浪擎科技的两项核心技术ACA引擎（应用级捕获和分析）和ADA（应用差分合成）存储技术共同创造出来。

ACA实时捕获应用数据和分析应用系统一致性状态。

ADA根据应用系统一致性状态定时的合成差异版本进行存储。

这样的技术减少了恢复路径和极大的提高恢复速度。

日常一直采用实时增量备份，后端存储技术依据一致性点不断合成全量或增量版本，从而达到ONLY-ONE-FULL定义要求，也达到了网络流量最小。

22.同一数据多实例运行实现大规模的并行化存储需求
实时备份改造了后端进程运行计算架构和存储架构，采用同一数据、同一端口、多实例运行的技术架构。

不同的读写请求可分布到不同的进程中实现，从而充分利用磁盘带宽，提升存储读写性能。

23.操作系统、应用环境的裸机或异机恢复
实时备份集成世界上操作系统备份与恢复做得最好的软件Acronis备份（由Acronis制造）。

以Acronis 专利磁盘映像与裸机还原技术为基础，建立精确的磁盘影像备份。

硬盘影像文件包括所有服务器磁盘数据包括系统、程序、数据库等等所有内容。

在系统损毁时，可在几分钟内执行完整的系统恢复还原、灾难复原恢复服务器或数据库、文件和目录。

Acronis 备份创建Transportable Image，它可将数据与旧计算机底层硬件切分开来。

恢复时会载入新硬件的驱动程序，使来自旧硬件平台的映像能够将计算机完美地还原到不同的硬件平台，完全恢复操作系统、应用程序、数据及所有先前的设置。

通常情况下，裸机要想进行信息处理需要进行硬盘分区和格式化、安装操作系统、安装驱动程序、安装应用程序等繁琐的步骤，需要花费大量的时间才能构造一个可用的系统环境。

但是实时备份可以轻松地将备份好好的系统恢复至裸机上，实现一步到位。

可以快速的恢复业务系统的运行环境，极大的降低业务系统的最大恢复时间（RTO）指标，达到高性能的容
灾。

24.重复数据删除
重复数据删除，通过删除数据集中重复的数据，减少对物理存储空间的需求，从而满足日益增长的数据存储需求。

消重算法先将数据文件分割成一组数据块，为每个数据块计算指纹，然后以指纹为关键字进行Hash查找，匹配则表示该数据块为重复数据块，仅存储数据块索引号，否则则表示该数据块是一个新的唯一块，对数据块进行存储并创建相关元信息。

实时备份的重复数据删除采用数据块级的消重和滑动块(sliding block)切分。

滑动块(sliding block)算法结合了定长切分和CDC切分的优点，块大小固定。

它对定长数据块先计算弱校验值，如果匹配则再计算md5强校验值，两者都匹配则认为是一个数据块边界。

该数据块前面的数据碎片也是一个数据块，它是不定长的。

如果滑动窗口移过一个块大小的距离仍无法匹配，则也认定为一个数据块边界。

滑动块算法对插入和删除问题处理非常高效，并且能够检测到比CDC更多的冗余数据，它的不足是容易产生数据碎片。

实时备份选择基于客户端的消重，减少备份窗口，释放带宽压力，节省存储空间，部署更加灵活，大幅优化容灾整体性能。

25.基于Web的统一管理和配置
支持Web-Manage平台，即所有的作业操作都可以在Web平台上完成。

支持远程WEB进行备份策略设置、作业监控、存储配置、空间管理等，无需进行现场维护。

通过设置备份计划与存储管理策略，让系统自动运行，极大地减少系统维护和管理工作量。

支持基于WEB的查询备份对象、图表的存储空间显示、备份策略管理、计划管理。

支持基于WEB的备份作业监控，可显示从触发、排队、启动、传输、存储整个过程。