大数据量下OGG快速同步方式实践NEW

一n-
」 大数据量下数据库快速全量同步方式研究
（一）存在的问题
数据库迁移、系统升级、数据库恢复的首要步骤是数据库的全量同步，但随着电信业务的不断进展，NGBOSS 核心业务系统数据库愈发庞大，数据库全量同步的时刻慢慢增加。

数据库全量同步有两种方式，一是通过RMAN 备份恢复来实现数据全量同步。

该方式是将源数据库的全备通过RMAN 恢复的方式同步到目标库。

该方式麻施包括全量备份源库■全量恢复目标库两徑茲■的数据库
全量备份就需耗时10小时以上。

再加上目标端的数据全量恢复和数据追平工作，累计耗时应在40小时以上。

消耗时刻较长。

同时RMAN 恢复需要 源库和目标库的操作系统和数据库版本相同，操作范围较窄。

二是通过exp/imp 或expdp/impdp 源库导出、目标库导入来实现。

该方式通过先从源端数据库导出DMP 文件，再将此文件导入目标端，操作 简单、易实现。

该方式无需考虑操作系统平台和数据库版本，以下图是利用 该方式进行全量同步的流程：
|_划分
批次
生产库导出数据（DATAONLY ）
H
s l s ^s s s f f l ・
s
^s s s s m ,s s .^
s
^-I s s u e s •S E S S S M k H M S
H -T Y M E K •
S
S R B S t e i e s ■M 誥W ^M W O E 離器隔
«
@f l n l /\R I <)u o 爲
5S p a e v 岸e
u l <n n <h s !s l 9s ・
l a
s w n .f f i M
S B Q
S
R
S •
養
巖隔
I -l
I
・
W
S S S S M S M S
T
3
■■'
n
9
-s
f f l l •
i w s i
^。

蛊
s s
孤養蚤富H K
養僵
M
H -T
Y K
K ■
a s
s s s s
w .
o e
H S £i
・
s
i s s s i s s s m w s •
龍
并行导出模块
并行导出模块要紧实现源端并行导出数据，要紧通过oracle导出工具
expdp实行4进程、4并发批量导出。

所谓的四进程、四并发的含义是指有4个导出进程同时在进行导出工作，而且每一个进程的并行度为4。

那个地址的并行度大小依托于主机及数据库的性能而定，专门在资源忙碌时需适度缩小并行度。

数据传输模块
数据传输模块要紧实现对完成数据导出的DMP文件进行批量传输。

该模块放■在目标端，那个地址的传输采纳了SCP方式。

由于配置了目标端到源端的单边信任关系后，顾能够在目标端进行批量的SCP拷贝工作。

由于批量的数据传输会给网络带宽带来庞大的压力，显现带宽争用从而会阻碍业务的正常运转。

对此安徽省公司认真分析了阻碍数据库业务正常运转这一要紧环节，在核心库与应急库之间从头架设一条千兆专用线路用于数据传送。

这一方法排除对业务阻碍的可能性，而且由于是千兆专用网络，这就极大提高了数据传输速度，从而节省了整体数据同步的时刻。

关于没有专线的条件下建议从基础设施、业务逻辑、网络流量等环节重点把控。

要紧分为以下三点：
1.设置源端、目标端的数据库运行环境，建议/实施适合手腕以保障数据
库的平稳同步。

2.在保障业务数据的前提下,数据全量同步应躲开业务顶峰期（如：把数
据传输订放在夜间执行），并制定合理的快速回退预案。

3.尽可能缩短数据全量同步时刻,制定完善的应用系统测试用例,以保障数据同步前后的业务持续性、可用性。

W
E i u o 陽
e
」.f f
z p a e y u 陽
s
濮
S
M
匿番
«
喘
|@昂
1
9^喘|@
品
&円
l /\m
p
a e M 岸e u l £n <
s
s l l p e 量11
昂專s
w §•
歸
o
^x s i ^d
w a
g
帐噩w n m B W U。