GoldenGate_Oracle数据仓库解决方案——集中复制配置

合集下载

Oraclegoldengate安装以及单向复制配置

安装以及单向复制配置不支持操作一、简介软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。

可以在异构的基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。

同时，可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。

二、技术结构和传统的逻辑复制一样，实现原理是通过抽取源端的或者，然后通过投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。

以下是的技术架构进程进程是的控制进程，运行在源端和目标端上。

它主要作用有以下几个方面：启动、监控、重启的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。

进程运行在数据库源端，负责从源端数据表或者日志中捕获数据。

进程进程运行在数据库源端。

其作用是如果源端使用了本地的文件，那么进程就会把以数据块的形式通过协议发送到目标端，这通常也是推荐的方式。

进程本质是进程的一种特殊形式，如果不使用文件，那么就是进程在抽取完数据以后，直接投递到目标端。

文件为了更有效、更安全的把数据库事务信息从源端投递到目标端。

引进文件的概念。

前面提到抽取完数据以后会将抽取的事务信息转化为一种专有格式的文件。

然后负责把源端的文件投递到目标端，所以源、目标两端都会存在这种文件。

文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用机制来记录其读写位置，如果故障发生，则数据可以根据记录的位置来重传。

进程进程，通常我们也把它叫做应用进程。

运行在目标端，是数据传递的最后一站，负责读取目标端文件中的内容，并将其解析为或语句，然后应用到目标数据库中。

是的缩写，它提供了十分丰富的命令来对进行各种操作，如创建、修改、监控进程等等三、应用的拓展结构、支持平台和数据库四、在上安装以及初始化数据(用来做数据迁移)操作系统：源端:目标端：、软件安装(源端和目标端相同的操作)到官网注册账号下载最新的软件。

使用 Oracle GoldenGate 进行实时数据集成

使用 Oracle GoldenGate 进行实时数据集成了解如何安装、设置和配置 Oracle GoldenGate 以轻松实现 Oracle Database 10g和 11g之间数据的无缝复制。

作者：Porus Homi Havewala2010 年 4 月发布Oracle GoldenGate 用于在各种企业系统间以亚秒级速度复制和集成事务数据，是同类最佳的、易于部署的产品。

Oracle GoldenGate 可以灵活地在同类和异类系统（包括不同版本的 Oracle Database、不同的硬件平台）之间以及 Oracle 数据库和非 Oracle 数据库（包括 Microsoft SQL Server、用于开放系统和 z/OS 的 IBM DB2、Sybase 等等）之间移动数据。

本文演示如何安装、设置和配置此产品以轻松实现 Oracle Database 10g和 11g 之间数据的无缝复制，还介绍了此产品的加速能力。

Oracle 于 2009 年收购了 GoldenGate，我们可以看到在全球各行业超过 4,000 个解决方案中实施了 Oracle GoldenGate。

该软件执行实时的、基于日志的更改数据捕获 (CDC)，能够在异构数据库间以极低的延迟和很小的空间移动大量事务数据。

通常，您部署 GoldenGate 捕获、数据泵和交付进程，并且可将这些进程部署在许多不同的操作系统和数据库上。

可根据目标数据库的需要，复制所有数据或部分数据。

当 Oracle GoldenGate 用于 Oracle 数据库时，可以复制数据操作语言 (DML) 和数据定义语言 (DDL) 操作。

（目前只能在同类（不能在异类的）Oracle 版本间复制 DDL 操作。

）Oracle GoldenGate 官方支持 Oracle9i第 2 版到 Oracle Database 11g第 2 版，并且对所有这些版本提供 DML/DDL 支持。

goldengate 双向复制配置

MAP scott.emp_ogg, TARGET scott.emp_ogg;
------------------------------------------------------
二、支持DDL复制配置
1、在第两个节点执行执行DDL同步脚本命令：
先进入goldengate软件安装目录，以SYSDBA身份登录oracle执行以下脚本，执行脚本过程中，需要输入的用户全部是ogg，安装模式为INITIALSETUP，如果数据字典或者某些内部的包有错误，则需要运行catalog.sql和catproc.sql脚本。
一、双向复制节点2配置：
1）添加附加的redolog信息
DBLOGIN USERID ogg, PASSWORD ogg
ADD TRANDATA scott.*
2)配置extract
GGSCI (cuug97) 11> EDIT PARAMS EORA_1 ຫໍສະໝຸດ EXTRACT EORA_1
SQL>@marker_setup
SQL>@ddl_setup
SQL>@role_setup
SQL>grant GGS_GGSUSER_ROLE to ogg;
SQL>@ddl_enable
如果某项脚本执行错误，需要重新执行时，先要执行清除的脚本：ddl_remove.sql和marker_remove.sql
GGSCI (cuug97) 17> ADD RMTTRAIL ./dirdat/pa, EXTRACT PORA_1, MEGABYTES 5
RMTTRAIL added.
GGSCI (cuug97) 18> START EXTRACT PORA_1

oralce 企业数据集成(goldengate)解决方案

Previous Version
New Version
OGG
原有DB版本新DB版本
收益:
• 标准化部署数据中心，先进的数据部署平台 • 关键业务的零停机 • 安全的从一个系统迁移到另一系统, 迁移时保持业务运行.
12
持续高可靠
数据分布/ 同步
解决方案:
Oracle 9i Oracle 11g
• 分布式应用的数据复制，实现数据的全局控制以及提升操作效率 • 异构环境的分布式数据实时访问 • Active-Active配置保持多数据中心数据同步
多级复制层次化企业数据
异构平台支持
Databases
Oracle GoldenGate Capture:

O/S and Platforms
Linux
新
Oracle DB2 Microsoft SQL Server 2008 Sybase ASE Teradata Enscribe SQL/MP SQL/MX 新 JMS message queues
Oracle 企业集成数据（GoldenGate）解决方案
芦克强高级技术顾问
持续访问实时数据
降低IT成本和提高运行效率
持续业务
操作
关键应用的持续高可靠
•避免灾难发生时的业务停止 • 消除计划当机时间 • 负载均衡
实时信息访问 •秒级的数据操作访问 • 及时的信息分析 • 分布式数据访问
降低IT花费 & 提高效能
Sun Solaris Windows 2000, 2003, XP
HP NonStop
HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS IBM iSeries

Oracle数据库教程 ——goldengate基于表复制

Oracle数据库教程——gold engate基于表复制本文是基于表复制设置。

至于goldengate的安装配置，及基于用户的配置，请参阅《goldengate部署实施案例》1、在源端主进程配置添加主进程GGSCI (ggate1) 2> edit params mgrPORT 7809PURGEOLDEXTRACTS /oracle/ggate/dirdat/mytest_xiuj/ex*, USECHECKPOINTS, MINKEEPDAYS 7登录到数据库GGSCI (ggate1) 3> dblogin userid ggate,password ggateSuccessfully logged into database.GGSCI (ggate1) 4> start mgr2、配置抽了进程GGSCI (ggate1) 13> add trandata mytest.mytest_xiujLogging of supplemental redo data enabled for table MYTEST.MYTEST_XIUJ.GGSCI (ggate1) 14> add extract exiuj,tranlog,begin nowEXTRACT added.GGSCI (ggate1) 15> add exttrail /oracle/ggate/dirdat/mytest_xiuj/ex,extract exiuj EXTTRAIL added.GGSCI (ggate1) 17> edit params exiujextract exiujuserid ggate,password ggateexttrail /oracle/ggate/dirdat/mytest_xiuj/extable mytest.mytest_xiuj;3、配置传输进程GGSCI (ggate1) 23> add extract pxiuj,exttrailsource /oracle/ggate/dirdat/mytest_xiuj/ex EXTRACT added.GGSCI (ggate1) 24> add rmttrail /u01/app/ggate/dirdat/mytest_xiuj/re,extract pxiuj RMTTRAIL added.GGSCI (ggate1) 25> edit params pxiujextract pxiujrmthost 192.168.92.191,mgrport 7809passthrurmttrail /u01/app/ggate/dirdat/mytest_xiuj/retable mytest.mytest_xiuj;4、配置复制进程GGSCI (ggate2) 3> dblogin userid ggate,password ggateSuccessfully logged into database.GGSCI (ggate2) 4> add checkpointtable chkxiujSuccessfully created checkpoint table CHKxiuj.GGSCI (ggate2) 5> add replicat rxiuj,exttrail/u01/app/ggate/dirdat/mytest_xiuj/re,checkpointtable chkxiujREPLICAT added.GGSCI (ggate2) 6> edit params rxiujreplicat rxiujsetenv ( NLS_LANG = "SIMPLIFIED CHINESE_CHINA.UTF8") --注意，本处不能少，因为目标端与源端字符集不同assumetargetdefsHANDLECOLLISIONSuserid ggate,password ggatediscardfile /u01/app/ggate/dirdat/mytest_xiuj/rep1_discard.txt, append, megabytes 10map mytest.mytest_xiuj, target receiver.mytest_xiuj;--说明：在配置goldengate时，要确定源端与目标端的字符集是否相同通过:SQL> select userenv('language') from dual;USERENV('LANGUAGE')----------------------------------------------------SIMPLIFIED CHINESE_CHINA.ZHS16GBK而源端为："SIMPLIFIED CHINESE_CHINA.UTF8"，使目标端与源端相同，否则在目标端，会出现乱码。

Oracle数据复制产品GoldenGate解决方案介绍

•
•
Data can be transformed between dissimilar database tables
Mapping can be applied either when extracting or replicating data
This example uses special values to build history of operations data
GoldenGate提供异构环境下交易数据的实时捕捉、转换、投递。
TDM 具有 : 实时性
秒一级延迟
特性: 高性能
能够以低资源消耗完成每秒数千交易的复制

异构环境支持
在不同平台和数据库环境下复制数据

可扩展
开的结构使客户适应各种异构数据平台

以事务为单位复制
维护交易一致性

可靠性
保证数据的连续可用
– 可以自定义基于表和行的过滤规则. – 可以对实时数据执行灵活映射和转换.
• 提供数据压缩和加密
– 降低传输所需带宽，提高传输安全性.
Oracle GoldenGate 组件
Communications and Startup
GGSCI
Interactive Interface
Manager
GGSCI Manager
Interactive Interface
Network
Source Database
Capture
Source Trail
Pump
Collector
Target Trail
Delivery
Target Database
Source

enable_goldengate_replication作用

enable_goldengate_replication作用引言概述：在数据库管理中，启用GoldenGate复制是一项重要的任务。

GoldenGate是一种高性能的数据复制和数据集成解决方案，它能够实时地从源数据库复制数据到目标数据库，保证数据的一致性和可靠性。

本文将详细介绍enable_goldengate_replication的作用，并从六个大点来阐述其具体内容。

正文内容：1. 提供实时数据复制：1.1 GoldenGate复制技术可以实现实时数据复制，确保源数据库和目标数据库之间的数据保持同步。

1.2 通过enable_goldengate_replication，可以启用GoldenGate复制，并配置源数据库和目标数据库之间的连接。

1.3 实时数据复制可以保证数据的一致性，使得目标数据库中的数据与源数据库中的数据保持同步。

2. 支持高可用性和灾备：2.1 enable_goldengate_replication可以将源数据库的数据复制到多个目标数据库，以实现高可用性和灾备。

2.2 当源数据库发生故障时，可以快速切换到目标数据库，确保业务的连续性。

2.3 GoldenGate复制技术具有高可靠性，即使在网络故障或其他异常情况下，也能够保证数据的完整性和一致性。

3. 支持数据集成和数据分发：中，实现数据的集中管理和统一分发。

3.2 可以根据需求选择性地复制特定的数据表或数据列，提高数据集成的灵活性和效率。

3.3 GoldenGate复制技术支持多种数据格式和数据类型，可以实现异构数据库之间的数据集成和分发。

4. 提供实时数据分析：4.1 通过enable_goldengate_replication，可以将源数据库中的数据实时复制到目标数据库，以供实时数据分析和报表生成。

4.2 实时数据分析可以帮助企业及时了解市场动态和业务趋势，支持决策的快速响应。

4.3 GoldenGate复制技术具有低延迟和高性能的特点，可以满足实时数据分析的需求。

goldengate 参数

goldengate 参数GoldenGate是一种常用的数据复制和数据集成解决方案，可以在异构数据库之间实现高性能、实时的数据复制和数据同步。

本文将介绍GoldenGate的基本概念、主要特点以及使用场景。

一、GoldenGate的基本概念1. 数据复制：GoldenGate可以将源数据库中的数据复制到一个或多个目标数据库中，实现数据的实时同步。

2. 数据集成：GoldenGate可以将来自不同数据库的数据集成到一个目标数据库中，实现数据的统一管理。

3. 事务复制：GoldenGate可以将源数据库中的事务操作记录下来，并在目标数据库上重新执行，从而实现数据的一致性复制。

4. 实时性：GoldenGate可以实时地捕获源数据库中的数据变更，并将其应用到目标数据库中，实现数据的实时同步。

5. 高可用性：GoldenGate具有高可用性，当源数据库或目标数据库出现故障时，可以自动切换到备用数据库，确保数据的连续性。

二、GoldenGate的主要特点1. 支持多种数据库：GoldenGate可以支持多种主流的数据库，包括Oracle、MySQL、SQL Server等，具有良好的兼容性。

2. 高性能：GoldenGate采用了基于日志的数据复制机制，能够以非常高的性能进行数据复制和数据同步。

3. 实时同步：GoldenGate具有实时同步的能力，可以在毫秒级别将源数据库中的数据变更应用到目标数据库中。

4. 灵活配置：GoldenGate提供了丰富的配置选项，可以根据实际需求进行灵活配置，满足各种复杂的数据复制和数据集成需求。

5. 数据过滤：GoldenGate可以对复制的数据进行过滤，可以选择复制部分表或者部分列，减少网络传输和存储开销。

6. 数据转换：GoldenGate可以对复制的数据进行转换，可以进行数据格式的转换、数据字段的映射等，满足不同数据库之间的数据兼容性需求。

三、GoldenGate的使用场景1. 数据备份与恢复：GoldenGate可以将源数据库中的数据实时备份到一个或多个目标数据库中，当源数据库出现故障时可以快速切换到目标数据库，实现数据的快速恢复。

GoldenGate多对一复制解决方案

目录1多对一复制方案简介 (2)2多对一复制方案实现过程 (2)2.1同步表说明 (2)2.2用户配置 (3)2.2.1同步用户 (3)2.2.2源数据库用户 (3)2.2.3目标数据库用户 (3)2.3源数据库1配置 (3)2.3.1增加Primary Extract (3)2.3.2增加Pump Extract (4)2.3.3检查启动状态 (4)2.4源数据库2配置 (5)2.4.1增加Primary Extract (5)2.4.2增加Pump Extract (5)2.4.3检查启动状态 (6)2.5目标数据库配置 (6)2.5.1增加数据源1的Replicat (6)2.5.2增加数据源2的Replicat (7)2.5.3检查启动状态 (7)3测试 (7)1 多对一复制方案简介多对一复制方案适用于从多个数据源向一个目标数据库进行数据汇总，如下图所示：在GoldenGate中实现多对一方式和一对一方式类似，在目标数据库建立多个Replicate，分别对应不同的数据源即可。

在建立Replicat时，需使用不同的Trail id，以区分不同的数据源发过来的Trail。

对于多对一的方式，客户应用程序应保证不同的数据源的向目标传送的数据是不同的，否则将在目标端引发数据冲突。

多对一复制方案可应用于客户有特定复制需求的业务场景，具体实现过程见下面的描述。

2 多对一复制方案实现过程2.1 同步表说明本文以“TCUSTMER”表作为同步的数据库表。

建表脚本如下：CREATE TABLE tcustmer(cust_code VARCHAR2(4),name VARCHAR2(30),city VARCHAR2(20),state CHAR(2),PRIMARY KEY (cust_code)USING INDEX);2.2 用户配置2.2.1 同步用户该用户用于在GoldenGate中将源数据库中的数据同步到目标数据库，该用户必须能够访问源数据库用户和目标数据库用户下面的所有数据。

oracle goldengate 使用方法

oracle goldengate 使用方法### Oracle GoldenGate 使用方法Oracle GoldenGate 是一种强大的数据复制和集成解决方案，支持实时数据集成和事务复制，广泛应用于数据迁移、数据同步和容灾恢复等多种场景。

下面将详细介绍Oracle GoldenGate 的使用方法。

#### 一、安装与配置1.**环境准备**：确保所有需要的操作系统补丁已安装，网络配置正确，所需端口开放。

2.**安装GoldenGate**：下载对应的GoldenGate 版本，使用命令行或图形界面安装。

```shell# 示例命令行安装./runInstaller -silent -responseFile <path_to_response_file>```3.**配置Manager**：Manager 是GoldenGate 的核心组件，负责管理整个复制过程。

- 创建必要的目录。

- 配置参数文件`f`，包括端口、跟踪文件位置等。

- 启动Manager。

```shellggsci > start manager```4.**配置Extract 和Pump**：Extract 用于从源数据库捕获数据变更，Pump 用于将数据传输到目标系统。

- 创建Extract 和Pump 的参数文件。

- 使用`add extract` 和`add pump` 命令在Manager 中注册Extract 和Pump。

- 启动Extract 和Pump。

```shellggsci > start extract <extract_name>ggsci > start pump <pump_name>```5.**配置Replicat**：Replicat 用于在目标端应用数据变更。

- 创建Replicat 的参数文件。

- 在Manager 中注册Replicat。

GoldenGateOGGORACLE数据复制实施方案

GoldenGateOGGORACLE数据复制实施⽅案GoldenGate OGG ORACLE数据复制实施⽅案2013/05/03 BY1 ORACLE数据复制⽅案环境要求1.1 操作系统环境要求1.1.1 磁盘要求数据库为集群⽅式。

要安装Oracle GoldenGate ⼆进制⽂件和其他⽂件到共享阵列。

数据库为主备HA⽅式。

要安装Oracle GoldenGate ⼆进制⽂件和其他⽂件到共享阵列。

复制软件本⾝的⼤⼩为200 MB左右。

为Oracle GoldenGate trails分配⾜够的磁盘空间，⼀般与GoldenGate分配到同⼀⽂件系统。

这些trails⽂件占⽤的磁盘空间依赖于处理的数据量⼤⼩，根据Trail⽂件的保存期限进⾏设置。

说明如下：Trail⽂件可以位于Oracle GoldenGate安装的本地驱动器上，它们也可以位于NAS或者SAN设备上。

对于存储在源端的那些trails⽂件，应该有⾜够的空间处理⽹络连接失败时的数据累积。

在典型配置下，第⼆个extract进程(data pump)通过⽹络从本地trail发送数据，当⽹络连接中断，发送将失败。

然⽽，读事务⽇志并且写到本地trail的主extract进程将继续。

这个extract进程不应该因失败⽽停⽌，因此应该有⾜够的磁盘空间来容纳数据累积。

在⽬标端的安装位置与空间建议与源端相同。

估算trail需要的空间的⽅法1. 估算⽹络不可⽤的最长时间。

2. 估算商业应⽤程序每⼩时⽣成多少事务⽇志。

3. 使⽤下⾯的公式计算需要的磁盘空间[每⼩时的⽇志量] x [宕机⼩时数] x .4 = trail需要的磁盘空间这个等式使⽤百分之四⼗是因为Oracle GoldenGate⼤约只需要⼀个事务⽇志中百分之四⼗的数据。

注意:这个公式只是⼀个保守的估算，应该在配置好Oracle GoldenGate后，做测试来决定trail⽂件需要的准确空间。

oracle ogg方案

oracle ogg方案Oracle GoldenGate（简称OGG）是一种实时数据复制和数据集成解决方案，可以应用于Oracle数据库环境中。

OGG方案基于异构数据库之间的数据同步和数据传输，具有高性能、高可用性和高灵活性的特点。

本文将介绍OGG方案的原理、主要功能和应用场景。

一、OGG方案的原理OGG方案基于异构数据库之间的数据同步和数据传输。

它使用了一种轻量级的、基于日志的数据抽取和传输技术，可以实时捕捉源数据库的变更，并将这些变更应用到目标数据库中。

这种基于日志的抽取和应用方式减少了对源数据库的负载和影响，并且实现了高性能的数据同步和数据传输。

二、OGG方案的主要功能1. 数据实时复制：OGG方案可以实时捕捉源数据库的变更，包括插入、更新、删除等操作，并将这些变更实时地应用到目标数据库中，从而实现数据的实时复制。

2. 数据过滤和转换：OGG方案可以通过配置过滤条件和转换规则，实现对数据的灵活过滤和转换。

可以根据具体需求对数据进行选择性复制，也可以对数据进行格式转换、编码转换和字段映射等操作。

3. 数据一致性保证：OGG方案通过事务的原子性和一致性保证，确保源数据库和目标数据库之间的数据一致性。

同时，OGG方案还提供了冲突检测和解决机制，可以处理由于并发操作引起的数据冲突。

4. 高可用性和容灾性：OGG方案支持多种高可用性和容灾性的配置方式。

可以配置双向复制，实现源数据库和目标数据库之间的数据双向同步。

还可以配置多个目标数据库，实现数据的多点复制和容灾备份。

5. 实时监控和管理：OGG方案提供了实时监控和管理功能，可以对数据同步和数据传输的状态进行实时监控和管理。

通过OGG的监控界面，管理员可以查看数据同步的进度、数据处理的状态和错误信息等。

三、OGG方案的应用场景1. 数据实时复制和同步：OGG方案可以应用于数据实时复制和同步的场景。

例如，在金融机构的核心业务系统中，需要实时将交易数据从主数据库复制到备份数据库，以实现数据的热备份和容灾备份。

浅议Oracle 数据库的集中复制方法

准备工作在进行复制之前需要准备的东西很多，当然最基础就是网络必须畅通，之后需要收集一些复制环境的基本信息：1．需要复制的数据库站点的数量2．每个站点的Oracle版本号3．每个需要复制的数据库的大小4．每个数据库所使用的字符集5．每个需要复制的数据所用的方案名收集完环境信息，可以开始建立总部的集中数据库，集中数据库要求版本高于所有主战点的版本，最好所有的数据库都是用相同的字符集。

建好库后为每个主站点的备份数据分别建一个表空间，表空间大于需要复制的数据量，至于预留以后的发展空间视实际情况而定。

为每个主站点的对应复制数据建立方案，如果各个主站点所使用的方案名不同，在集中数据库站点分别建立名称相同的对应方案。

否则为各主站点的复制数据分别建立相应的方案名。

实际情况是后者，各营业部的数据库都是用Oracle的方案名，这里我们建立三个对应方案：SHORACL、HZORACL 和WHORACL。

所有数据库的版本都是9i。

基本概念复制之前先解释一下复制中的几个概念：1．主站点（Mater Site）：在复制过程中提供数据源的站点。

如上图中的上海数据库站点。

2．实体化视图站点（Materialized View Site）：实体化视图复制中的目标站点。

如上图中的北京数据库站点。

3．多主体站点复制（Multimaster Replication）：复制环境中的站点都是主站点，对复制的数据库对象有相同的管理权限。

4．实体化视图复制（Materialized View Replication）：一个主体站点提供源复制对象，一个实体化视图站点拷贝主站点数据。

5．实体化视图（Materialized View）：在实体化视图站点为每个复制表或者视图建立一个对应的表保存相应的数据，该表只能通过Oracle的复制机制进行增删改数据的操作。

6．快速刷新、完全刷新和强制刷新：复制过程中的三种刷新方式。

快速刷新只复制源数据对象的改变部分；完全刷新每次都拷贝一遍源数据对象；强制刷新是数据库的一个折衷方案，如果快速刷新失败则使用完全刷新。

Oracle Goldengate数据复制产品解决方案介绍

Oracle GoldenGate介绍
• GoldenGate TDM 可以提供可靠的数据复制，主要体现在下面三点： • 保证事务一致性 • GoldenGate TDM 在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为实时查询和事务处理创造了条件。 • 检查点机制保障数据无丢失 • GoldenGate TDM的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程，其检查点记录当前已经抽取日志的位置和写队列文件的位置；对于投递进程，其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate TDM进程故障重启后数据无丢失。 • 可靠的数据传输机制 • GoldenGate TDM 用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。
GoldenGate工作原理简介-几个进程介绍
1. Manager管理进程在两端控制开启，监控和重启其他进程；分配数据存储和报告错误及事件。 2. Extract进程从日志中抓取并传输到target端事务数据 3. Server Collector进程在target端接受数据并写入trail文件 4. Replicat进程读取trail文件，并且应用到target database。 5. trail文件是gg自己存储抓捕信息的文件，是一个 os文件，存放在./dirdat/下，以xx00000n 命名， n顺序1，2，3.。。。此文件应用完后可配置参数自动删除。
议程
• • • • GoldenGate整体介绍 GoldenGate工作原理简介配置Oracle GoldenGate GoldenGate优势和对比

GoldenGate同步解决方案及性能测试

GoldenGate同步解决方案及性能测试目录1、GoldenGate同步方案 (2)1.1 使用GoldenGate初始化加载 (2)1.2一对多数据同步（广播复制） (4)1.3多对一数据同步（集中复制） (5)1.4数据转换和过滤 (6)1.5关于目标端高数据安全性下的GoldenGate配置方案 (10)1.6GoldenGate双向复制（active-active） (13)2、GoldenGate数据同步性能测试 (16)2.1 测试中主要监测数据和监测方式 (16)2.2 测试脚本和GoldenGate配置 (17)2.3 测试步骤 (21)2.4 性能测试结果 (23)1、Gold enGate同步方案GoldenGate工具虽小，但它提供表级字段级同步映射，而且同步性能优异、资源消耗低，使它的灵活性很强，可以提供多种数据同步、冗灾的解决方案。

1.1 使用GoldenGate初始化加载这里所指的GoldenGate初始化加载，只是它指提供的direct load方式，因为其他几种官方介绍的初始化方式要么需要借助其他数据库工具（如extract->SQL*Loader），要么中间走了完全没必要的步骤导致性能很差（如extract->file->replicat方式），都不算纯正的GoldenGate方式。

初始化加载架构：上图中，显示了初始化加载启用了两条同步路线：上面一条是真正的initial load，负责将源数据端的数据一次性发送到目标数据库；下面一条，其实就是普通的GoldenGate同步进程，负责抓取初始化加载时源端数据库进行的在线数据变化。

因为在实际应用中，往往需要在生产库（源数据库）不停机的状态下，将数据加载到备用数据库（目标数据库）中并应用实时同步，在数据初始化的过程中，生产库将继续进行正常的事务操作，所以此时需要有抓取进程在初始化时开始将这些变化捕获，以免数据丢失。

goldengate克隆技术原理

goldengate克隆技术原理GoldenGate克隆技术原理介绍GoldenGate克隆技术是一种先进的数据复制和实时数据集成解决方案，被广泛应用于数据库和数据仓库的克隆、迁移、高可用和实时数据集成等领域。

本文将从浅入深，逐步解释GoldenGate克隆技术的原理。

原理GoldenGate克隆技术的原理可以简单概括为以下几个步骤：1.源端捕获：GoldenGate的捕获进程会监视源端数据库的日志文件，实时抓取并解析变更的数据。

2.数据转换：捕获到的数据会被GoldenGate进行格式转换，以确保适配目标端数据库的格式和结构。

3.数据传输：转换后的数据会通过网络传输到目标端，并由传输进程负责确保可靠且高效的传输。

4.数据应用：目标端的进程将接收到的数据应用到目标端数据库，确保数据在两端的一致性。

详细解释下面将对每个步骤进行详细解释：源端捕获GoldenGate通过实时监视源端的日志文件，可以捕获到源端数据库中的各种变更操作，包括插入、更新和删除等。

这个捕获的过程是非侵入性的，不会对源端数据库的性能造成影响。

数据转换捕获到的数据并不是直接复制到目标端数据库，而是经过GoldenGate的数据转换进程进行格式转换。

这个过程包括对数据的解析、映射和转换等操作，以确保源端和目标端数据库的数据格式和结构一致。

数据传输经过数据转换的数据会通过网络传输到目标端。

GoldenGate的传输进程负责确保数据的可靠传输，包括数据压缩、流量控制和错误处理等。

传输过程采用高效的网络协议，可以在保证数据安全的同时，提供较低的传输延迟。

数据应用目标端的进程会接收到传输过来的数据，并将这些数据应用到目标端的数据库中。

应用过程包括对数据进行事务管理、冲突检测和应用等操作，以确保目标端数据库与源端数据库的一致性。

结论GoldenGate克隆技术通过源端捕获、数据转换、数据传输和数据应用等步骤，实现了高效、可靠的数据库复制和实时数据集成。

goldengate 参数

goldengate 参数GoldenGate是一种用于数据复制和数据集成的软件，它能够在异构的数据库之间实现实时的数据同步。

它是Oracle公司开发的一款高性能、高可靠性的数据复制工具，适用于Oracle数据库以及其他主流数据库系统。

GoldenGate的主要功能是实时数据同步和数据复制。

它可以将源数据库的数据实时复制到目标数据库，保持两个数据库之间的数据一致性。

无论是在同一个数据库系统内部的不同实例之间复制数据，还是在不同数据库系统之间复制数据，GoldenGate都能够提供稳定可靠的数据复制功能。

在实际应用中，GoldenGate可以广泛应用于数据备份、数据迁移、数据仓库、数据分析等场景。

通过GoldenGate，用户可以实时地将生产环境的数据复制到备份环境，确保数据的安全性和可用性；同时，GoldenGate还可以将数据从不同的数据库系统中集成到一个统一的数据仓库中，方便用户进行数据分析和报表生成。

GoldenGate具有以下几个特点：1. 高性能：GoldenGate采用了高效的数据传输和应用机制，能够实现低延迟的数据同步。

它使用了基于日志的增量抓取和应用技术，可以在源数据库的事务提交后立即将数据复制到目标数据库，保证数据的实时性。

2. 高可靠性：GoldenGate具有强大的容错和恢复能力，能够保证数据的一致性和完整性。

它可以通过重试机制和故障转移机制来应对网络故障、服务器故障等异常情况，确保数据的可靠复制。

3. 灵活性：GoldenGate支持多种数据源和目标，可以与主流的数据库系统无缝集成。

它可以复制不同数据库之间的数据，包括Oracle、SQL Server、MySQL等，也可以复制同一个数据库系统内部的不同实例之间的数据。

4. 实时监控：GoldenGate提供了丰富的监控和管理工具，可以实时监控数据复制的状态和性能。

管理员可以通过这些工具查看复制进程、检测故障、调整性能参数等，确保数据复制的稳定运行。