远程数据库传输方案

编号：

内部：密C

远程数据库传输方案

作者：k a i ju n.yi

目录

1概述 (2)

1.1编写目的 (2)

1.2背景 (2)

1.3适用范围 (2)

1.4读者对象 (2)

1.5术语定义 (2)

1.6参考资料 (2)

2需求 (2)

3方案A (3)

3.1使用技术 (3)

3.2执行频率 (3)

3.3人工工作量 (3)

3.4数据及时率 (4)

3.5对生产数据库的影响 (4)

3.6优点 (4)

3.7缺点 (4)

4方案B (4)

4.1使用技术 (4)

4.2执行频率 (5)

4.3人工工作量 (5)

4.4数据及时率 (5)

4.5对生产数据库的影响 (5)

4.6优点 (5)

4.7缺点 (5)

5数据分析 (5)

6方案C (6)

6.1使用技术 (6)

6.2执行频率 (7)

6.3人工工作量 (7)

6.4数据及时率 (7)

6.5对生产数据库的影响 (7)

6.6优点 (7)

6.7缺点 (8)

7方案D (8)

7.1使用技术 (8)

7.2执行频率 (9)

7.3人工工作量 (9)

7.4数据及时率 (9)

7.5对生产数据库的影响 (9)

7.6优点 (9)

7.7缺点 (10)

8几种常用网络间文件传输方案 (10)

8.1使用QQ或MSN直接对传 (10)

8.2使用FTP传输 (10)

8.3网络硬盘 (10)

8.4QQ邮箱中转站 (10)

8.5刻盘邮寄 (10)

8.6VPN (10)

此页空白

1概述

1.1编写目的

本文档的主要目的是对远程数据库传输到本地供相关人员分析使用进行初步方案设计，并对后续实际操作进行指导作用。

1.2背景

远程数据库存放在客户的生产环境中，不方便公司相关人员对生产过程数据进行相应的分析和研究，需要把数据库内容传输到本地本地数据库中，供相关人员及时分析。

1.3适用范围

1.4读者对象

本文档预期读者对象为：

1)

1.5术语定义

1.6参考资料

2需求

1、通过数据传输，方便相关人员对远程生产数据进行分析

2、要求按需要及时传输数据

3、远程数据库在内部网络，不方便联网，需人工把数据从内网复制到外网并传输

4、传输过程越快越好

5、单次传输的文件越小越好

6、不能破坏远程数据库安全保证机制

基于以上需求，在此考虑了两大类的四个方案供大家讨论及选择。四个方案各有利弊，仅供相关负责人进行决策时的参考。方案列表如下：

第一类：使用备份策略

A、全备+差异备份循环进行

B、一次全备+连续差异备份进行

第二类：编程实现

C、编程实现自动导出数据文件和手动导入数据

D、编程实现手动导出数据文件和手动导入数据

由于远程生产数据库在内网，不管什么方案，都避免不了人工的从内网把数据复制到外网并通过网络发送到本地，所以方案不考虑数据文件如何发送、及网络选择的问题。

以下对这四个方案进行详细描述。

3方案A

3.1使用技术

方案A，使用mssqlserver自带的备份、恢复技术，制定备份、恢复策略进行循环完整备份+差异备份的策略。策略为每段时期进行一个完整备份和若干次的差异备份。备份自动生成文件后，由人员手工进行传输，相关使用人员手工进行恢复。

3.2执行频率

执行的频率根据为数据库设计的备份、恢复策略进行执行。数据库备份自动执行，频率完全根据制定的策略进行。人工传输数据的频率在一个周期内至少传输一次，如果不进行传输，则数据文件会被自动备份事务覆盖重写。

3.3人工工作量

需要设计备份、恢复策略，并在数据库上进行实施策略。

需要周期性地根据备份、恢复的策略的执行频率，在执行完备份后，及时把相应的文件发送到本地。发送文件的频率也可以和备份的频率不同步，可以设定在数据分析能接受的延迟时段，但每个周期至少要发送一个相关文件。

发送差异备份时，对网络的压力应该不大。但在发送完整备份时，对网络压力较大，考虑可以人工使用winrar进行分包压缩后再传输。

相关使用人员对传输来的文件进行恢复到相应数据库的操作。

3.4数据及时率

数据的及时率主要看备份策略的执行频率及网络传输的能力。在有特殊需要时，可以进行额外的差异备份。

3.5对生产数据库的影响

可以按现行生产库的备份、恢复策略进行，对生产库不会产生影响。系统发生故障时，使用完整备份+差异备份进行恢复。丢失数据时间段视备份策略的时间段而定。

3.6优点

1、恢复库与生产库使用同样的备份、恢复策略

2、备份及恢复的操作比较简单

3、备份可以自动完成，人工工作量只有复制、发送文件和恢复数据库

4、文件相对较少，人工操作不易出错

3.7缺点

1、每个周期会有一次完整备份，完整备份文件相对大

2、完整备份时，对网络的要求比较高

4方案B

4.1使用技术

方案B，为恢复使用一次完整备份+连续差异备份的方式，使用mssqlserver自带的备份技术。远程的备份策略可以使用日志传输或是镜像。本地的数据库每次使用差异备份进行恢复。根据备份的策略，备份自动生成文件后，由人员手工进行传输，相关使用人员手工进行恢复。

4.2执行频率

执行的频率根据为数据库设计的备份频率进行执行。数据库备份自动执行，频率完全根据制定的策略进行。人工传输数据的频率可以比备份的频率慢，但需要注意不能丢失文件。并且备份的频率如果对文件进行周期性重写，则一定需要在周期性重写之前，把相应的文件复制出来，不然缺失了差异备份的文件，只能是重新进行一次完整备份后再执行后续的差异备份才能进行恢复。

4.3人工工作量

需要根据备份、恢复的策略的执行频率，在执行完备份后，及时把相应的文件发送到本地。发送文件的频率也可以和备份的频率不同步，可以设定在数据分析能接受的延迟时段。

发送差异备份时，对网络的压力应该不大。只要在第一次发送完整备份。日常工作量及对网络的需求量都不会太大。

4.4数据及时率

数据的及时率主要看备份策略的执行频率及网络传输的能力。在有特殊需要时，可以进行额外的差异备份。

4.5对生产数据库的影响

对目前的数据库不会产生影响，但需要增加一台日志传送的服务器。系统发生故障时，可以使用日志服务器作为生产服务器。丢失数据的时间段视日志传送的频率而定。

4.6优点

1、远程使用的备份策略与恢复数据使用的策略没有关系，各自自由处理

2、只有第一次完整备份的数据较大，后续的差异备份根据频率文件会较小

3、差异文件连续较多，需要操作人员细心并持续操作

4.7缺点

1、需要增加一台服务器

2、某个差异备份文件丢失，将无法进行恢复，需要重新进行一次完整备份后再进行相应的策

略

5数据分析

此数据分析应用于方案C和方案D。

根据目前本地的生产数据库统计每个表所占用的空间，并进行平均计算每个表的每条记录所占用的空间。

根据计算得到的数据可知，在经常性业务的数据表要导出时，所有表每表一条数据所占用的空间为9K，每次导出10000条数据的文件大小为90M，如果进行压缩，数据文件一般可达到20%的压缩率则为18M左右。所以，可以设定为导出1万条数据为一个数据包。根据分析可知生产600个产品，数据量最多的表才会增长1万条数据。所以实际每次导1万条数据，按600个产品进行