基于SAN的海量数据查询分析系统备份与恢复策略设计

基于SAN的海量数据查询分析系统备份与恢复策略设计王乐 韩伟红 杨树强 贾焰国防科学技术大学计算机学院613教研室，长沙 410073摘要：解决海量数据查询分析系统存在的数据量与查询速度，数据访问局部性与数据无限制性需求间的矛盾，设计并实现了一种备份和恢复策略，备份加载前的数据，并将业务数据的时间属性与备份任务关联，与基于DBMS的备份和恢复方式相比，降低了海量数据对磁盘阵列空间和备份操作对系统资源的占用，增加了恢复数据的可操作粒度和配置灵活性。

对实现该策略的系统进行了功能和性能测试，满足本文所述多数据库集群下海量数据查询分析系统的要求。

1关键词：海量数据; SAN; 决策支持; 备份; 恢复The Policy of Backup and Restore Base on SAN for the System of Mass Data Queryingand AnalysisWang Le, Han Weihong, Yang Shuqiang, JiaYan613 Staff Room, Computer Scholl of NUDT, ChinaChangsha 410073Abstract：The system, querying and analyzing mass data for DSS, usually demands abundant data, which occupy overmuch disk space and result into augmented costs and complexity for managing. While the data frequently accessed is only partial. To solve above problem by dividing data into two parts, the latest that will be frequently accessed stores in RAID and the far that will be seldom queried places on tape. The subset that is stored on tap would be moved to RAID from tape when it will be accessed. This paper describes a policy mainly for moving data between RAID and tape, which comes from fault-tolerance and disaster-recovery. Store the data on tape before it loaded into database and link its time attribute with1基金项目：863课题，网络环境的新一代中间件核心技术及运行平台（No.2004AA112020)；武器装备预研基金项目（No.51415010304KG0175）资助。

backup task in log, which would be visited when restoring. At the end of paper, the function and performance of this policy are tested.Key words：mass data, SAN, DSS, backup, restore1 引言随着信息技术的发展，企业在业务信息系统的基础上建立了支持查询分析和数据挖掘的决策支持系统（如数据仓库系统），这类应用一般借助数据库技术对模式化的海量业务数据进行管理。

反映企业一定业务周期运营情况的完整的、自包含的业务数据经过模式转换加载到查询分析数据库，一定时期的积累后形成海量数据。

具有海量数据的查询分析数据库，会占用大量的磁盘空间，进而延长查询分析操作的时间，增加数据管理的难度。

另外，大量的查询分析操作往往只对最近的业务数据有较高的访问频率，而对于较久远的业务数据访问概率较小。

这种数据量与查询速度，数据访问的局部性与对数据无限制性需求间的矛盾在业务数据率比较高、时间跨度比较大的应用领域表现更为明显。

本文针对特定SAN存储网络架构下支持海量数据查询分析的多数据库集群系统，设计并实现了一种备份和恢复策略，在同时运行业务数据采集、加载和查询分析的情况下，占用更少的I/O和存储网络带宽，更小的磁盘空间和支持更灵活数据集粒度选择，满足海量数据查询分析系统要求，并较好的解决了上述矛盾。

2 海量数据查询分析系统2.1 海量数据查询分析系统结构本文所述的海量数据查询分析系统采用SAN结构，由多个数据库集群组成。

集群内部配置多个数据库服务器实例节点处理查询和分析，一组磁盘阵列保存查询分析数据库和一个磁带库备份业务数据。

服务器节点与存储设备间通过光纤和SAN交换机连接。

另外配置一或两个服务器节点负责加载业务数据到查询分析数据库和数据的备份与恢复。

查询分析数据库由Oracle 10g管理。

单数据库集群系统结构如图1。

图1 单数据库集群系统结构各个数据库集群具有相同的结构，集群间通过高速交换机互联。

另外在前端配置一个业务数据采集服务器，负责将采集的业务数据按照一定的调度策略发布到各个数据库集群。

系统结构如图2所示。

图2 查询分析系统物理结构2.2 数据处理方式数据采集服务器按照一定的调度策略将采集的业务数据通过高速网络分发到各个数据库集群。

集群内的加载服务器将接收的数据以文本格式临时保存到磁盘阵列，每一项业务数据都是自包含的，完整描述了一次业务操作。

对业务数据进行模式转换后，利用Oracle的SQL Loader加载到查询分析数据库，之后由备份模块将新接收的数据备份到磁带库。

Oracle数据库只保留最近三个月的业务数据，系统定期将超过这个时间段的数据删除。

通过这种方式，削减查询分析数据库规模，缩短查询分析的响应时间，节省磁盘阵列存储空间，降低海量数据的管理复杂性，同时保证最近数据可访问。

备份控制模块负责将新的业务数据备份到磁带库并维护备份日志。

磁带库形成本系统的离线二级存储，保存最近三年内的数据，查询分析数据库的数据是磁带库中备份数据的子集。

当某个业务周期的数据不在查询分析数据库时，通过备份日志，可以定位这部分数据在磁带库中的位置，经过恢复、组合和加载后便可以进行查询分析操作。

备份操作在各个数据库集群内以LAN-Free的方式进行，数据通过SAN交换机和光线通道在磁盘阵列和磁带库间传输，不占用LAN带宽。

3 备份与恢复策略设计对于本文所述的海量数据查询与分析系统，备份与恢复功能主要是为了解决数据量与查询速度，数据访问的局部性与对数据无限制性需求间的矛盾，适应数据放置方式对功能和性能的需要，达到减小查询分析数据库的规模，降低磁盘空间占用量，缩短查询时间，简化海量数据管理复杂性，从而节省开发和管理成本的目的，而对数据恢复的速度没有过高的要求。

备份和恢复操作也可以为系统提供一定程度上的容错和灾备能力。

3.1 数据备份与恢复性能和功能要求海量数据查询分析系统通过前端采集服务器获取的业务数据平均每天往往会达到上百吉，而且要参考系统当前的发展趋势，为未来预留一定的增长空间。

以当前每Cluster 2Cluster 1 Cluster 10天300GB业务数据和为未来三年预留每年50%的增长空间计算，则要求系统具有在指定时间范围内处理平均每天约700GB业务数据的能力。

根据图2海量数据查询分析系统结构图，相应的单个数据库集群不仅担负大量的查询和分析操作，还需处理平均每天约70GB业务数据的加载、备份，以及过期数据的移除。

为了给查询分析操作预留足够存储网络和I/O资源，对每天接受的业务数据进行加载和备份的处理时间也有要求，以不超过60分钟为例，则要求备份速度达到20MB/秒。

另外，在当前多数据库集群系统结构下，业务数据被分发到各个分系统处理和保存，而且各个查询分析数据库只保留最近一段时间（如三个月）的数据，更早（三年或更长时间）的数据备份在磁带库。

对早期某个时段的数据查询和分析，首先需要将保存在各个分系统对应时间段的数据恢复并在某个集群内组合，然后加载到查询分析数据库。

为适应这一处理过程，要求各分系统可以从自己的备份数据里抽取与该时段对应的数据，从而在某个数据库集群里组合成一个完整数据集。

这要求备份和恢复模块具有灵活配置备份和恢复数据集粒度的能力。

3.2 DBMS下的备份与恢复策略分析传统的基于数据库表空间或数据表的备份与恢复功能在商业数据管理系统基础上实现，主要解决数据容错和备灾问题。

该功能针对自身数据库管理系统的特点，做了特殊处理和优化，从而达到适用的一般性和广泛性。

基于DBMS的备份与恢复方式操作查询分析数据库模式下的数据，这部分数据从支持查询和分析的角度进行定义，其概念和描述角度与业务系统不同，数据结构发生了变化，数据粒度也进行了迁移。

所以，在DBMS下备份到磁带库是查询分析数据库的某个完整表空间或数据表。

相应的在恢复操作时，无法从磁带库的完整表空间或数据表中抽取与某个业务时间段对应的数据子集。

不符合3.1所述的备份与恢复功能要求。

为了满足3.1中各个数据库集群灵活配置恢复数据粒度要求，可以采用首先将包含指定业务时间段数据的表（可能是需要的数据的超集）恢复到各自数据库集群，然后用查询的方式抽取需要的业务数据，并在某个集群进行组合和重新加载，从而形成完整的业务数据。

这种方式一方面在恢复操作中涉及的数据库集群会覆盖掉自己已有的数据，并造成数据重复恢复；另一方面，重复的数据恢复和通过查询抽取数据会占用大量的CPU资源和存储设备带宽，过多的干扰数据库集群的加载和查询分析操作。

对于本文所述的海量数据查询与分析系统，备份与恢复功能主要是为了解决数据量与查询速度，数据访问的局部性与对数据无限制性需求间的矛盾。

DBMS下解决数据容错和备灾问题的备份和恢复策略不适应本文所述的海量数据查询分析系统设计要求。

3.3 基于SAN的业务数据备份与恢复策略数据库管理系统下的备份策略不适合本文所述的查询分析系统。

采用基于SAN 的备份策略，对加载前的业务数据进行备份，则可以满足当前系统的性能和功能需要。

（1）策略设计原理在数据库管理系统下备份和恢复操作的对象是表空间或者数据表，是经过结构转换和模式化的业务数据，所以无法直接从业务系统的角度进行数据子集的备份和恢复操作。

用查询、组合的方式取得制定时间段的数据集则会过多地涉及数据库操作，干扰加载和查询的性能。

针对加载前的业务数据进行备份和恢复，使操作的对象保留业务数据的原始结构，并且在备份操作中将数据对应的时间属性与完成其备份的任务进行关联，写入备份日志。