DSG 双活中心方案交流

10 11 12 13 14 15 16 17
Queue
Queue
RS Agent
RS Agent
节点1
节点N
断点续传功能
网 络 控 制
Cluster 集群
逻辑错误的防范
逻辑错误：drop table ,truncate table
பைடு நூலகம்
Truncate table A Truncate table A
数据库逻辑复制 数据库层 逻辑卷 存储级别 存储级别 卷复制+远程RAC 数据库层 逻辑卷 存储级别 存储级别
存储虚拟化复制+远程RAC
存储硬件复制
数据复制技术比较
盘阵
(EMC/IBM/HP/HDS)
主机卷/虚拟存储
SF/Vplex/SVC
数据库复制
DSG SuperSync， Oracle GoldenGate
硬件环境
主机和盘阵同构
主机同构盘阵可异 构
服务器、存储和数据库 版本都可异构 带宽最低，支持几兆带 宽 连续实时可用,支持双 活功能
网络资源
独占光纤链接
几千兆的带宽
不可用，配合 Extend RAC技术 后可用 只支持硬件故障， 但不包含物理坏块 、RAC自身故障和 逻辑错误。
目标端数 据可用
不可用 只支持硬件故障 ，但不包含物理 坏块和逻辑错误 。
DSG$$A$$09031702039
A B
A B
如何进行一致性的比较和修复
一致性比较包括的内容？
Object属性比较 记录条数的比较 记录内容的比较（最困难和最耗费时间的内容）
传统的记录比较方法？
采用select方式比较每条记录的每个字段是否相同？ 缺点：速度非常缓慢
10 11 12 13 14 15 16 17
DXF
I/O
DSG XEXP
DSG XIMP
I/O
SuperSync的实时复制特点
亚秒级复制，支持每天3T以上归档日志的实时复制 非侵入式复制方式，对源库影响非常小 以完整交易为单位进行复制，保证业务的完整性 检查点机制，保证数据不丢失 对Drop、Truncated等危险操作有备份功能 支持跨异构平台复制，无需更改现网环境 10倍以上的压缩传输，完美适应远程、低带宽环境
数据库双活复制软件技术特点
优势： 完全的松耦合双活容灾机制，生产中心发生任何故障，如软硬件故 障、文件坏块、物理坏块等所有故障，都可以有效的实时接管业务 10倍以上压缩传输，对于带宽要求非常低，几十兆到几兆的带宽都 能够部署这种双活机制； 支持软硬件异构平台之间的双活容灾，硬件品牌型号可以随意选择 ，降低投资； 双活容灾端能够承担任何查询业务，能够承担可分离业务的写操作 缺点： 由于是松耦合系统，没有所标机制，所以正常情况下只能够承担查 询、报表统计等业务分担，或者能够承担可分离业务的写业务双活 分担； 总结：其着重点首先是保证任何故障下的100%接管业务，其次才考虑 到尽量满足双活的场景，可以做到部分业务分担和快速接管，所以牺牲 了双端系统同时写业务双活分担的部分功能。
必须是整库复制，不够灵活 性能慢 要求业务中断 速度快：业务不中断：可选择性复制
技术特点 用xexp直接读取block导出 数据 用direct path装载 多任务并发：>200G/小时 压缩传输：压缩比4-8:1 操作简单:只需要一条命令
USER SQL
Transformation
DSG双活中心方案交流
王浩 Tel：13911924934 Mail: wanghao@dsgdata.com 迪思杰集团
提纲 • 双活容灾方案概述
• DSG双活容灾方案介绍
• 移动公司案例介绍
灾备的两个重要概念
RPO：Recovery Point Object 恢复点目标 ，指一个过去的 时间点，当灾难或紧急事件发生时，数据可以恢复到的时 间点，是衡量数据丢失量的一个指标。
提纲 • 双活容灾方案概述
• DSG双活容灾方案介绍
• 移动公司双活容灾案例介绍
DSG Realsync的定位
Realsync:oracle数据库实时同步软件，将生产中心的数据 变化实时同步到目标数据库； 可用于 Oracle数据库容灾/双活需求 Oracle数据库数据备份需求 Oracle数据库查询分离需求 数据交互共享需求 ETL数据实时增量通知需求
SuperSync双中心方案特点总结
效果评估：
实时性 低影响 灵活性 异构性 分级高可用 高效性 亚秒级抓取增量数据，2~5S整体延时 完全松耦合双中心方案，不会降低两端系统的效率 具备灵活的拓扑结构，能够适应各种复杂的应 用环境，正常情况下无需添加任何中间设备 支持软硬件异构，无需更改现网的软硬件环境， 充分利旧小机和X86服务器。 本地硬件设备故障通过RAC实现高可用， SuperSync能够在任意软硬件故障、灾难的情况下 接管业务 支持每天2TB以上日志量的高频交易
统一经营分析
数据统一稽核等 1:N复制,可实现企业数据分发 数据共享 企业应用集成 数据分布式查询等
实现方式
SuperSync高效的数据初始化功 能 不停业务
描述 要求两端盘阵列属于同一或一个系列
存储复制方式
备份、恢复方 式
Export/Impor t方式 DSG 方式
要求OS和ORACLE完全相同
SuperSync实现原理
XEXP QUEUE ologx
Redo Log
sender
Archived log
Transactions XF1 Format
ROWID Mapping Table
OCI
loader QUEUE receiver
双向复制原理
Realsync部署结构
TCP/IP
LAN LAN
SuperSync Agent ora Oracle 备份系统
SuperSync Agent
ora
备份中心 生产存储 双向复制数据流
生产中心
SuperSync技术指标
技术参数 工作方式 源端支持数据库 目标端支持数据库 支持的主机操作系统 支持的主机结构 支持复制操作类型 可选择性复制 支持多种复制结构 延时 描述 Transaction-Based数据复制，目标端数据可用 Oracle ，Sql Server支持异构 Oracle，Sql Server，DB2，Teradata，Hadoop Hbase，落地文件 Solaris, AIX, HP-UX, Linux,Tru64、windows等，支持异构 HA 、RAC、 Clustering 、集群 DML、DDL语句.. 选择整库、user、表为复制单位 一对一，双向，一对多，多对一 准实时，2-5秒，也可灵活设置
最大距离
传输数据量 对系统性能的影响 监控管理界面
没有限制
archive log文件大小的1/3 对主系统CPU占用率<5%。 中文
业务接管1
业务接管2
业务回切
SuperSync灵活的拓扑结构
单向1:1复制,可实现完全复制和选择性复制
双向1:1复制,实现双数据中心
N:1复制,可实现企业数据整合 统一报表、查询平台
SuperSync的安全与高可用性
Header Body
网 络 传 输
数据一致性保障
Import Process Post Process
Capture Process
Export Process
高可用性
自动切换到预设的 主机节点上
10 11 12 13 14 15 16 17
10 11 12 13 14 15 16 17
RTO：RecoveryTime Object恢复实践目标，是指灾难发生 后，从IT系统宕机导致业务停顿之刻开始，到IT系统恢复至 可以支持各部门运作，业务恢复运营之时，此两点之间的 时间段成为RTO。
双活容灾核心技术---数据复制
数据库的双活容灾（或双中心）技术的核心实际上就是数据 复制技术。即通过数据复制技术，保证两端数据库数据一致 并且实时可用，在一定程度上达到共同承担部分业务和实时 接管的目的。
DSG SuperSync比较方法
采用快速EXP和CRC校验码算法进行比较 可以实现实时动态比较 比较每一条记录及内容 可单独修复不同步的表
有限带宽下的复制延迟测试
带宽 2M 交易条数 1k-I 10k-I 100k-I 1M-I 256K 1k-I 10k-I 100k-I 最小延迟 2s 2s 1s 1s 3s 5s 20s 最大延迟 2s 2s 9s 7s 3s 6s 2m15s 1-2m
DDL支持程度
支持频繁DDL（案例：北京移动计费容灾，河南移动双中心项 目等）
支持少量DDL，DDL频繁的情况下会导致内存溢出和进程异常（案 例：北京移动EOMS系统，最终停止使用；广东移动8套系统容灾， 需派8个专人进行DDL操作的手动执行，最终停止使用）
1、需要修改源库的参数 2、需要打开附加日志，增加了归档日志量和资源消耗 3、需要利用Triger捕捉DDL，频繁的情况下导致内存溢出和进程 异常--所以默认情况下不开启DDL复制功能； YES 不支持 支持读/写 逻辑一致 支持 基础维保不包含现场人天服务，人天服务需要单独购买并且极其 昂贵。（1W/人天）
同类复制技术比对
源端同步采集方法 传输方法 目标端应用方法 源端抓取效率 数据丢失程度 是否支持非归档 首次全同步效率 最佳使用场景 传输效率 数据层面切换时间 DML复制效率 DSG SuperSync redo log 抽取Queue (基于交易) 复制Queue 装载 高（2G以上日志量每分钟） 零丢失 支持 200G每小时，初始化和数据迁移不需要停止业务 异构+灾备+双活+数据分发+数据集中 高可压缩（10倍以上） 秒级切换和在线反向数据修复，支持双活 以ROWID来定位数据，insert效率与OGG等相同，Delete和 Update效率最高 OGG/CDC等 redo log 抽取Queue (基于交易) 复制Queue 装载 较高（1.5G-2G日志量每分钟） 零丢失 （无DDL情况下） 不支持 不支持，数据初始化和数据迁移需要停止业务 异构+灾备+双活+数据分发+数据集中 可压缩（小于10倍或无压缩） 秒级切换，回切数据修复时间较长，支持双活 以PK/UK来定位数据，Delete和Update的效率较低，遇到无主键的 情况会产生大量附加日志，效率低下并且占用更多的主机资源
数据来源于某证券公司测试
平均延迟
2-4s 2-4s
对DDL操作的支持
支持几乎所有的DDL操作，基于日志，把DDL分析出来，根 据条件进行转换，然后在灾备端进行过滤操作，对生产库 没有任何影响； 某移动案例：计费系统升级后，DDL最频繁的时候每天达到 上万条DDL操作，目前使用DSG SuperSync进行数据复制应 用良好。 同类复制产品支持DDL的种类比较少，并且主要是通过生产 库的全局Trigger捕捉DDL操作，DDL频繁的情况下会导致生 产库内存溢出或者复制进程挂死的情况发生。如果不开启 DDL同步功能，将需要大量的人工维护工作量，数据一致性 也无法保障。
故障容忍 范围
软硬件故障，包括物理 坏块、误删除等错误
Extend RAC 技术的特点
优势： 具备RAC技术的所有优势：如负荷分担、单侧硬件故障冗余等； 增加双存储环节，单侧主机、存储故障可以及时接管业务 存在的问题： 对网络要求很高：必需部署地理上冗余的高速低延迟网络（裸纤或WDM） ，一般需要几根裸光纤或者Infiniband几万兆级别的同城网络需求； 主机平台必须同构，包括主机硬件、操作系统和数据库版本，否则无法实现 由于是紧耦合的远程RAC系统，两端主机的所有列应用都会锁表，导致另外 一段机房的应用访问处于等待状态，并产生大量的交换信息，对于大型 OLTP事务型数据库的性能影响比较大，在业务高峰期两端同时带业务的效 率反而不如主备模式的应用； 对于故障涵盖并不全面---对于不完整交易引起的数据坏块、集群软件故障、 双活技术自身故障和误删除等故障，可能引起双中心两端数据库同时不可用 严重依赖仲裁设备，容易出现数据库“脑裂”，导致灾难性的后果。 其着重点是双活业务分担，紧耦合机制，所以牺牲了故障覆盖率，对于文件坏块 、数据坏块、脑列、数据库软件等故障的情况下两端系统会同时宕机。