Oracle GoldenGate技术培训(公司内部培训)

• 基于GoldenGate TDM，我们提供高可用/容灾和实时数据集成的解决 方案。 • GoldenGate TDM 采用高内聚低耦合的结构，能够支持多种拓扑结构， 包括一对一，一对多，多对一，多对多，层叠和双向复制。
CDC：Change Data Capture，就是我们通常提到的变化数据捕获
Oracle GoldenGate
GoldenGate 解决方案
高可用性: 容灾与应急备份
实现:
• 快速恢复和切换
• 最小化数据损失 • 重新同步主备两端数据 用途: • 在非计划性停机时保持业务连 续
高可用性: 减少计划内停机
实现:
• 保障业务零或者近似零停机
• 滚动升级 • 降低业务中断带来的损失 用途: • 保障系统/应用/数据库在升级、 移植和维护期间业务的可用性
（Transactional Data Management-交易数据管理）
Oracle GoldenGate for Mainframe Oracle GoldenGate Veridata Management Pack for Oracle GoldenGate Oracle GoldenGate Application Adapters GoldenGate Studio
GoldenGate 10.4支持的主流数据库版本
• Oracle 8i (DML only) • Oracle 9.1 and 9.2 (DML and DDL) • Oracle 10.1 and 10.2 (DML and DDL) • Oracle 11g (DML and DDL) • DB2 UDB 8.x and 9.5 on Windows and UNIX • DB2 UDB for OS/390 and z/OS 7.1 (until IBM end of service date) • DB2 UDB for z/OS Version 8.1 and 9.1 • SQL Server 2000 and 2005 on MSsupported OS as a source or target. • SQL Server 2008 on MS-supported OS as a target only. • Sybase 12.5.4 and 15 ASE • MySQL versions 4.0 and 4.1
Oracle GoldenGate 使用场景
很多客户需要连续的实时数据
降低IT系统的成本赢得业务系统运行的效率
Real-Time
关键的应用和数据的连续可用性
• 在灾难发生时系统的可用性 • 在计划宕机期间的系统仍然可以使 用 • 负载均衡和数据分担
Business Operations
降低IT系统的成本& 提高效率
GoldenGate是什么?
Oracle GoldenGate 提供异构环境间事务数据的实时、低影响的捕获、 路由、转换和交付 • 实时数据整合市场的领导者 • GoldenGate 给Oracle的数据整合方案带来了在异构平台的快速的,可 扩展的,实时数据整合能力
• GoldenGate 为应用或数据库的提供了在线升级,迁移的能力
异构环境支持
在不同平台和数据库环境下复制数据
可扩展
开放的结构使客户适应各种异构数据平台
以交易为单位复制
维护交易一致性
可靠
保证数据的连续可用
独立于数据库系统的复制技术
提供7x24服务
不停机,保证业务的连续性,在线升级,迁移数据库系统及 应用
GoldenGate变化数据捕捉的优势
针对SQL SERVER,DB2都提供基于日志的CDC 直接从数据库日志中通过自己的专有程序抽取数据。 支持在备份系统上抓取变化数据。 对一些数据类型如LONG,XML,BLOB都提供了支持。
GoldenGate架构中关键的技术
• • • • • • 分布式松散耦合的进程架构 初始化装载时不影响数据库使用 可以在异构平台之间进行数据初始化装载 可扩展性: 变化数据捕获API (VAM) 客户化定制: User Exits, SQL callouts, Macros 异步的数据变化传输
• 只传输提交的数据 • DML, Metadata, DDL
• •
Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX
• •
• •
ODBC compatible databases ETL products JMS message queues MySQL TimesTen
HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS
Databases O/S and Platforms
Capture:
• Oracle • DB2 • Microsoft SQL • • •
Delivery:
• All listed above, plus: • HP Neoview, Netezza, Greenplum, and any Windows 2000, 2003, XP Linux Sun Solaris
高可用性: 双业务中心（Active-Active)
实现: • 负载均衡，提高系统整体性能 • 连续可用，快速的容灾接管 • 冲突检测和处理
数据仓库实时供给（和ODI结合使用）
实现:
• 数据仓库数据实时得到更新 • 对源系统低影响
用途:
• 提升商务智能和信息分析能力 • 实时可用的数据仓库
实时报表
• 数据冲突的检测和解决机制: 用于双向数据传输（双活）的系统 • 在目标数据库延迟应用目标端的数据 • 基于事件驱动的基本架构
• e.g., 自动的主备机切换 • 进程的自动定位
• • • •
支持动态回滚和基于时间点的数据恢复 支持并行操作 批量数据抽取和批量数据入库 恢复
GoldenGate的核心竞争点
Oracle GoldenGate 架 构
Oracle GoldenGate 架 构
Oracle GoldenGate 架 构
Oracle GoldenGate 架构的优势
降低开销和总拥有成本
• 捕获一次即可交付给多个目标做不同用途 • 基于日志的非侵入式捕获 • 只移动提交的数据，降低了带宽要求
•Management Pack for Oracle GoldenGate 需要安装Oracle Weblogic标准版,需要购买相关的 License
GoldenGate TDM介绍
• GoldenGate TDM 是基于日志的实时CDC软件平台，提供异构环境下 大量交易数据的实时捕捉、变换和投递，同时保持亚秒一级的数据延 迟。
Oracle GoldenGate技术交流
XX公司技术沙龙第二期 XXX 2017年3月
Oracle GoldenGate介绍
前GoldenGate公司简介
• 创建于1995年，总部在美国旧金山。 • 数据复制领域的专业公司。 • 全球超过4,000个安装许可，分布在政府、银行、制造、传媒、电信、 证券、医疗和零售等各大行业，其中有多个全球财富500强企业。 • Oracle、IBM、HP、Microsoft、Sybase、Teradata等著名企业建立了 紧密合作关系。 • 中科领新信息技术有限公司是GoldenGate公司中国区总代理和技术 支持中心。 • 2009年被Oracle收购。
• 加密：128-位，SSL
• 自定义延时应用修改 • 根据事务大小和数量自动管理内存
• 整合：ETL tools, Message Service
• 灵活拓扑结构 • 复制冲突检测和解决
事务完整性-事务级粒度
• 只复制成功提交的事务 • 防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Oracle GoldenGate
Oracle Data Integrator
GoldenGate与Streams的比较
Oracle Streams
• Oracle从9i开始推出streams，用于提供灵活的复制和容灾解决方案。 但是9i的streams配置相当的麻烦，少说也有十几个步骤，还容易出 错。10gR2则将整个配置过程封装在几个简单的PL/SQL过程中，使 得配置过程大大的简化。但是实际的配置步骤还是一样的，Oracle只 是利用这些PL/SQL过程先生成对应的脚本，然后再执行脚本进行配 置。这个过程可以全自动完成，也可以先将脚本生成到某个指定的目 录，我们根据需要修改脚本，然后再执行脚本进行配置，这样就灵活 又方便。 • Streams的原理其实很简单，通过logmnr技术从oracle的log中解析出 数据，然后传递到目标库并应用，从而将源库的数据复制到目标库。 当然，复制可以是双向的，也可以是单向的。双向复制还需要考虑数 据冲突的问题。而多源复制其实是双向复制的基础上衍生而来的。
GoldenGate产品组件
GoldenGate产品组件 Oracle GoldenGate TDM 功能 主要功能组件 使用于主机及大型机(HP Non-Stop databases and IBM Mainframe) 验证及监控复制两端数据库的数据差异性 图形化的配置,管理及监控工具 为Base24, Logger for Enscribe, and JMS and Flat File 提供的实时数据同步适配器 图形化配置复制过程的套件
• 统一的 Trail 文件格式
• 在异构平台之间交换数据
• 可以设定数据转换规则，设置数据和操作过滤条件(table, row, column) • 基于的事务的批量操作
GoldenGate架构中关键的技术-续
• 归档和审计功能
• Trail 文件备份 • 审计 – 保存所有变化 (Insert all records)
实现:
• 将实时报表从主系统剥离，可 根据客户需求定制
• 显著提高主系统性能 用途: • 实时报表 • 提高系统性能和可用性
OGG与Oracle其他数据复制产品
OGG在oracle数据复制产品中的定位
Lantency 延迟
Transformation 转换
Oracle Active Data Guard（ADG）
GoldenGate 工作原理
交易数据管理 Transactional Data Management（TDM）
GoldenGate提供异构环境下交易数据的实时捕捉、变换、投递， 主要是支持异构数据库环境下的变化数据同步。
特性: 实时性
亚秒一级延迟
收益: 高性能
能够以低资源消耗完成每秒数千交易的复制
• Active-Active
• 避免了资源浪费，提高系统利用率 • 即时接管 • 在线迁移
• 可靠的数据传输
• Checkpoint机制，以便于发生错 误时恢复 • 基于TCP/IP网络，对网络连接要求 低
• 基于事务日志的数据抽取
• 处理量大，负载小 • 过滤 • 配置并行
• 强大的异构支持 • 无需停机的数据比较方案 • 图形化的集中管理
高性能和高可靠性
• 即使在大数据量情况下也能实现亚秒级延迟 • 保持事务完整性 • 确保数据可恢复性
灵活性和易用性
• 提供分离的模块化架构 • 支持异构源和目标，可满足不同的延迟需求 • 与ELT/ETL 和消息处理解决方案共存且集成
GoldenGate的工作特点
• 实时数据复制 • 支持异构环境 • 可靠性：断点续传，不影响系统连续 运行。 • 高性能，对生产系统影响小Байду номын сангаас• 事务完整性 • 事件标记基础架构(Event marker infrastructure) • 路由和压缩：TCP/IP，LAN，WAN
• 根据需求选择最好的系统 • 现代化老式的主机系统 • 报表业务分担
商业智能和决策支持的实时信息访问
• 报表系统可以即时获得生产数据 • 分析系统可以访问到关键的生产信息 • 异构平台的数据交换
数 据 复 制 的 拓 扑 结 构
降低成本 降低风险 实现卓越的运营
满 足 实 时 数 据 需 求 的 企 业 级 解 决用 方例 案
基于日志的实时数据复制
• 亚秒级复制 • 不依赖源数据库的触发器和规则，对源数据库影响小。
OGG在数据传输方面的优势
• • • • OGG有很好的机制来保证传输的交易一致性和断点续传。 事务完整性-事务级粒度 只复制成功提交的事务 防止源和目标的不一致性
Oracle GoldenGate 架构