GoldenGate运维手册

合集下载

Oracle_GoldenGate软件安装、配置、运维管理_整理版

Oracle_GoldenGate软件安装、配置、运维管理整理版目录Oracle_GoldenGate安装、配置、管理整理版 (1)a) Oracle GoldenGate主要组件 (5)GoldenGate for Oracle (8)b) 把源端数据库的数据同步到目标数据库 (13)c) 源数据库的修改实时同步到目标数据库 (34)d) 把源数据库的DDL修改同步到目标数据库中 (42)e) 术语和缩略语 (61)基于命令行的监控 (63)f) 说明 (63)g) 启动GoldenGate进程 (63)h) 停止GoldenGate进程 (64)i) 查看整体运行情况 (66)j) 查看参数设置 (67)k) 查看进程状态 (67)l) 查看延时 (70)m) 查看统计信息 (70)n) 查看运行报告 (71)基于GoldenGate Director的监控 (73)o) GoldenGate Director概述 (73)p) GoldenGate Director的安装部署 (75)部署方案及必需条件 (75)安装GoldenGate Director Server (77)安装GoldenGate Director Client (82)q) 启动GoldenGate Server (83)r) 配置被监控实例 (83)s) 登录Director Web监控界面 (86)t) 监控整体运行情况 (88)u) 监控进程状态 (89)v) 手工配置重点监控列表 (89)w) 查看事件日志 (92)x) Email告警 (93)y) 运行GGSCI命令 (94)日常维护指南 (96)z) 日常维护注意事项 (96)aa) 配置自动删除队列 (96)bb) 配置启动MGR时自动启动Extract和Replicat进程 (97)cc) 配置MGR自动重新启动Extract和Replicat进程 (97)dd) 长事务管理 (98)a) 源端和目标端数据库增减复制表 (101)b) 修改表结构 (104)c) 表的重新再同步 (105)异常处理预案 (106)d) 网络故障 (106)e) RAC环境下单节点失败 (106)f) Extract进程常见异常 (107)g) Replicat进程常见异常 (108)h) 异常处理一般步骤 (108)参考文献 (110)GoldenGate工作原理a) Oracle GoldenGate主要组件● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话，那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制，该参数允许delay的最大时间是7天。

企业级IT运维宝典之GoldenGate实战_第7章(下)_decrypted

Be
22、在主库上做以下操作：赋予应用用户对备库的 insert，update，delete 权限执行启用 trigger 和级联删除约束的脚本执行切换应用，启动应用和拷贝必须文件的脚本
� � �
23、在主库上，修改 Extract 进程从当前时间开始抽取。否者 Extract 会从使用 ADD EXTRACT 命令创建他的时间开始抽取 GGSCI (OE5) 11> alter extract ext_1 , begin now EXTRACT altered.
GGSCI (OE5) 3> stop
pump_2
示例 7-77
20、在主库上，执行下列命令直到返回“At EOF (end of file).”表明所有的数据已经复制到了主库上
21、在主库上，停止 Replicat 进程 GGSCI (OE5) 3> stop
gL
ijin
Sending STOP request to REPLICAT rep_2 ... Request processed. 示例 7-79
7.6.1 Primary-Standby 模式切换
Be
7.6.1.1
正常的业务操作都发生在主库，所有的备库都是获取主库的变化来使数据再同步，所以在配置 Primary-Standby 模式的时候需要备份主库然后在备库上恢复来实现初始化同步。实施 Primary-Standby 模式的时候，主库和备库的容量和结构要尽量的一致。数据的选择，转换和过滤在这种数据库上不适用。如果允许可以利用备库来实现报表和查询，但不可以是改变备库数据的 DML 操作。如果你想使备库上也可以有 DML 的业务操作。你可以配置 GoldenGate 为 Active-Active 模式。在正常情况下，只有主库上的 Extract、Pump 进程和备库上的 Replicat 进程处在 running 状态。而备库上的 Extract 、Pump 进程和主库的上 Replicat 要处在停止状态，

GoldenGate基本原理、安装过程和基本维护

目录一、GoldenGate介绍 (3)二、GoldenGate安装实施 (5)2.1创建GoldenGate软件安装目录 (5)2.2 GoldenGate的管理用户 (5)2.3安装GoldenGate软件 (6)2.4设置数据库归档模式 (6)2.5打开数据库的附加日志 (7)2.6开启数据库强制日志模式 (7)2.7创建GoldenGate管理用户 (7)2.8编辑GLOBALS参数文件 (8)2.9管理进程MGR参数配置 (8)2.10抽取进程EXTN参数配置 (9)2.11 传输进程DPEN参数配置 (9)2.12建立OGG的DDL对象 (11)2.13 数据初始化 (12)2.14 容灾端管理进程MGR参数配置 (15)2.15编辑GLOBALS参数文件 (15)2.16 容灾端复制进程REPN参数配置 (16)2.17创建复制进程repn (17)2.18启动生产端传输进程和容灾端复制进程 (17)2.19测试场景 (17)三．GoldenGate基本运维命令 (18)四、常见故障排除 (18)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。

GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。

GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。

GoldenGate基本架构Oracle GoldenGate主要由如下组件组成●Extract●Data pump●Trails●Collector●Replicat●ManagerOracle GoldenGate 数据复制过程如下：利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。

goldengate维护手册

一、Goldengate监控1、监控进程状态a)Manage进程:[ggs@GZCRMDB1] $./ggsciOracle GoldenGate Command Interpreter for OracleVersion 10.4.0.19 Build 002AIX 5L, ppc, 64bit (optimized), Oracle 10 on Sep 23 2009 16:08:43Copyright (C) 1995, 2009, Oracle and/or its affiliates. All rights reserved. GGSCI (GZCRMDB1) 1> info mgrManager is running (IP port GZCRMDB1.7810)b)Capture、dump、replicat进程：GGSCI (GZCRMDB1) 2> info allProgram Status Group Lag Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EDEPCRMA 00:00:00 00:00:05 EXTRACT ABENDED EGZCRMA 13:58:22 21:36:36 EXTRACT RUNNING EGZCRMB 00:00:00 00:00:02 EXTRACT RUNNING EGZCRMHX 00:00:00 00:00:02 EXTRACT RUNNING PDEPCRMA 00:00:00 00:00:02 EXTRACT RUNNING PGZCRMA 00:00:00 00:00:03 EXTRACT RUNNING PGZZYA 00:00:00 00:00:08 EXTRACT RUNNING PGZZYHX 00:00:00 00:00:01 EXTRACT ABENDED PODSASCA 00:00:00 21:36:37 EXTRACT ABENDED PODSDSCA 00:00:00 21:36:30 EXTRACT ABENDED PODSDSCD 240:39:16 33:50:40 EXTRACT RUNNING PSZCRMA 00:00:00 00:00:06 REPLICAT RUNNING RDEPCRMA 00:00:00 00:00:06 REPLICAT RUNNING RGZCRMA 00:00:00 00:00:06说明：如果进程状态是RUNNING 表示进程正常如果进程状态是STOPPED 或者ABENDED表示进程异常2、监控延迟情况命令：lag 进程名例如：GGSCI (GZCRMDB1) 18> lag EGZCRMASending GETLAG request to EXTRACT EGZCRMA ...Last record lag: 5 seconds.At EOF, no more records to process.说明目前延迟5秒3、监控进程同步情况命令：stats 进程名例如;GGSCI (GZCRMDB1) 19> stats EGZCRMAExtracting from CRM_GZ_INST.TB_CS_PLAN to CRM_GZ_INST.TB_CS_PLAN:*** Total statistics since 2010-04-19 10:09:05 ***Total inserts 77881.00Total updates 462.00Total deletes 43.00Total discards 0.00Total operations 78386.00说明：如果discards 出现数据表示同步的数据有问题，需要查看discard文件。

GoldenGate 10g安装配置操作手册

GoldenGate安装配置GoldenGate支持跨平台的数据实时同步操作：即源和目标可以是不同版本的ORACLE数据库。

GoldenGate需要要在源，目标库机器上都安装，并具是与数据库相匹配的版本：即根据源和目标的ORACLE版本，安装对应的goldenGate。

ogg12的版本是可以兼容11g,12c 版本的数据库，但是10g及以下版本需要找对应的版本，但是最多支持到8i。

GoldenGate是通过读取本地的数据库归档日志，投递给远程，实现同步的。

GoldenGate的日志投递方式有两种：直接投递和数据泵的方式。

原理如下图所示：两种抽取方式的结构示图两种抽取方式的区别：上面的INITIAL LOAD投递方式是直接投递，在源抽取端不缓存捕获队列数据。

而下面的DataPump数据泵方式，会在源库目录下保留抽取数据，在网络服务故障时，能保留未投递的数据不丢失，并在服务正常后能补投数据。

而两种投递方式在接收端在配置上没有区别。

要做双机互备，互为主从，配置两组反向的投递队列就好了。

注：我不推荐做双向同步，在系统故障需要恢复的时候，可能导致数据混乱。

一、操作环境环境二、数据库的准备工作下面的操作，都需要在源和目标数据库上操作。

2.1切换到归档模式SQL> archive log list; 查看归档模式Database log mode No Archive ModeAutomatic archival DisabledArchive destination /soft/u01/app/oracle/product/10.2.0/db_1/dbs/arch Oldest online log sequence 5263Current log sequence 5265如果不是归档模式，需要执行SQL> shutdown immediateSQL> startup mountSQL> alter database archivelog; #修改为归档模式SQL> alter database open;2.2禁用recycle_binSQL> show parameter recyclebin ;禁用recycle binoracle11需要重启才能生效SQL> ALTER SYSTEM SET recyclebin = OFF scope=spfile;对于10g不需要SQL> Alter system set recyclebin=off;2.3处理日志验证未使用并行日志（只针对9i,高级版本无此参数）Sql> show parameter LOG_PARALLELISM。

Goldengate配置手册

目录1综述-------------------------------------------------------------------------- 1.1目的 -------------------------------------------------------------------------------------------------1.2原则 -------------------------------------------------------------------------------------------------2OGG设计原则------------------------------------------------------------------ 2.1OGG的版本及下载 -----------------------------------------------------------------------------2.2GoldenGate运行用户--------------------------------------------------------------------------2.3为GoldenGate运行用户配置环境变量 --------------------------------------------------2.4网络设置-------------------------------------------------------------------------------------------2.5GoldenGate安装位置--------------------------------------------------------------------------2.6OGG DDL复制 ------------------------------------------------------------------------------------2.7OGG数据复制链路结构 ----------------------------------------------------------------------2.8OGG进程命名规则 -----------------------------------------------------------------------------2.8.1总述--------------------------------------------------------------------------------------------------------------2.8.2主Extract进程命名规则 ----------------------------------------------------------------------------------2.8.3本地队列命名规则------------------------------------------------------------------------------------------2.8.4Data Pump Extract进程命名规则-----------------------------------------------------------------------2.8.5本地队列命名规则------------------------------------------------------------------------------------------2.8.6Replicat进程命名规则 -------------------------------------------------------------------------------------2.9OGG进程数量设计 -----------------------------------------------------------------------------2.9.1主Extract进程设计-----------------------------------------------------------------------------------------2.9.2Data Pump进程设计 ---------------------------------------------------------------------------------------2.9.3Replicat进程设计--------------------------------------------------------------------------------------------3GG实施步骤------------------------------------------------------------------- 3.1准备 -------------------------------------------------------------------------------------------------3.2创建运行GoldenGate的用户 ---------------------------------------------------------------3.3安装GoldenGate --------------------------------------------------------------------------------3.4添加变量-------------------------------------------------------------------------------------------3.5增加附加日志 ------------------------------------------------------------------------------------3.6OGG源端配置------------------------------------------------------------------------------------3.6.1MGR进程参数模板 -----------------------------------------------------------------------------------------3.6.2主Extract进程参数模板 ----------------------------------------------------------------------------------3.6.3Data Pump传输进程参数模板 --------------------------------------------------------------------------3.7OGG目标端配置 --------------------------------------------------------------------------------3.7.1安装GoldenGate---------------------------------------------------------------------------------------------3.7.2添加变量 -------------------------------------------------------------------------------------------------------3.7.3MGR进程配置------------------------------------------------------------------------------------------------3.7.4数据入库Replicat进程参数模板-----------------------------------------------------------------------3.8启动GoldenGate进程 -------------------------------------------------------------------------3.8.1启动源端管理进程------------------------------------------------------------------------------------------3.8.2启动目标端管理进程---------------------------------------------------------------------------------------3.8.3启动源端抽取进程------------------------------------------------------------------------------------------3.8.4启动源端传输进程------------------------------------------------------------------------------------------3.8.5启动目标端入库进程---------------------------------------------------------------------------------------4GG初始化说明----------------------------------------------------------------- 4.1数据库说明----------------------------------------------------------------------------------------4.2数据库信息----------------------------------------------------------------------------------------4.3Goldengate同步内容 --------------------------------------------------------------------------4.3.1 个税内部Goldengate进程说明 ------------------------------------------------------------------------------4.3.2 与外部其他系统Goldengate进程说明 --------------------------------------------------------------------4.4附件 -------------------------------------------------------------------------------------------------1综述1.1目的本文档作为实施人员在使用Oracle GoldenGate数据复制时作为详细设计的指导性规范。

GoldenGate基本原理、安装过程和基本维护知识讲解

G o l d e n G a t e基本原理、安装过程和基本维护目录一、GoldenGate介绍 (4)二、GoldenGate安装实施 (6)2.1创建GoldenGate软件安装目录 (6)2.2 GoldenGate的管理用户 (6)2.3安装GoldenGate软件 (7)2.4设置数据库归档模式 (7)2.5打开数据库的附加日志 (8)2.6开启数据库强制日志模式 (8)2.7创建GoldenGate管理用户 (8)2.8编辑GLOBALS参数文件 (9)2.9管理进程MGR参数配置 (9)2.10抽取进程EXTN参数配置 (10)2.11 传输进程DPEN参数配置 (10)2.12建立OGG的DDL对象 (12)2.13 数据初始化 (14)2.14 容灾端管理进程MGR参数配置 (16)2.15编辑GLOBALS参数文件 (17)2.16 容灾端复制进程REPN参数配置 (17)2.17创建复制进程repn (18)2.18启动生产端传输进程和容灾端复制进程 (18)2.19测试场景 (19)三．GoldenGate基本运维命令 (19)四、常见故障排除 (20)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。

GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。

GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。

GoldenGate基本架构Oracle GoldenGate主要由如下组件组成● Extract● Data pump● Trails● Collector● Replicat● ManagerOracle GoldenGate 数据复制过程如下：利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。

GoldenGate运维重点学习的手册.doc

GOLDENGATE运维手册2014 年 4 月文档修改记录版本号日期说明编写者审核者2014/4文档编写目录1 OGG常用监控命令--------------------------------------------- 错误 ! 未定义书签。

说明 ----------------------------------------- 错误 !未定义书签。

启动 GoldenGate 进程 --------------------------- 错误 !未定义书签。

停止 GoldenGate 进程 --------------------------- 错误 !未定义书签。

查看整体运行情况 ------------------------------ 错误 !未定义书签。

查看参数设置 - --------------------------------- 错误 !未定义书签。

查看进程状态 - --------------------------------- 错误 !未定义书签。

查看延时- ------------------------------------- 错误 !未定义书签。

查看统计信息 - --------------------------------- 错误 !未定义书签。

查看运行报告 - --------------------------------- 错误 !未定义书签。

2 OGG的常见运维任务指南 --------------------------------------- 错误 ! 未定义书签。

配置自动删除队列 ------------------------------ 错误 !未定义书签。

配置启动 MGR时自动启动 Extract 和 Replicat 进程 - 错误 !未定义书签。

配置 MGR自动重新启动 Extract 和 Replicat 进程 --- 错误 !未定义书签。

GoldenGate运维手册

GOLDENGATE运维手册2014年4月文档修改记录目录TOC \o "1-4" \h \z \u HYPERLINK \l "_Toc319066974" 1 OGG 常用监控命令 PAGEREF _Toc319066974 \h 3HYPERLINK \l "_Toc319066975" 1.1 说明 PAGEREF_Toc319066975 \h 3HYPERLINK \l "_Toc319066976" 1.2 启动GoldenGate进程PAGEREF _Toc319066976 \h 3HYPERLINK \l "_Toc319066977" 1.3 停止GoldenGate进程PAGEREF _Toc319066977 \h 4HYPERLINK \l "_Toc319066978" 1.4 查看整体运行情况 PAGEREF _Toc319066978 \h 6HYPERLINK \l "_Toc319066979" 1.5 查看参数设置 PAGEREF _Toc319066979 \h 7HYPERLINK \l "_Toc319066980" 1.6 查看进程状态 PAGEREF _Toc319066980 \h 7HYPERLINK \l "_Toc319066981" 1.7 查看延时 PAGEREF_Toc319066981 \h 8HYPERLINK \l "_Toc319066982" 1.8 查看统计信息 PAGEREF _Toc319066982 \h 9HYPERLINK \l "_Toc319066983" 1.9 查看运行报告 PAGEREF _Toc319066983 \h 9HYPERLINK \l "_Toc319066984" 2 OGG的常见运维任务指南PAGEREF _Toc319066984 \h 11HYPERLINK \l "_Toc319066985" 2.1 配置自动删除队列 PAGEREF _Toc319066985 \h 11HYPERLINK \l "_Toc319066986" 2.2 配置启动MGR时自动启动Extract和Replicat进程 PAGEREF _Toc319066986 \h 11 HYPERLINK \l "_Toc319066987" 2.3 配置MGR自动重新启动Extract和Replicat进程 PAGEREF _Toc319066987 \h 12 HYPERLINK \l "_Toc319066988" 2.4 长事务管理 PAGEREF_Toc319066988 \h 12HYPERLINK \l "_Toc319066989" 2.5 表的重新再同步（需时间窗口） PAGEREF _Toc319066989 \h 15HYPERLINK \l "_Toc319066990" 2.6 表的重新再同步（无需时间窗口） PAGEREF _Toc319066990 \h 15HYPERLINK \l "_Toc319066991" 3 数据结构变更和应用升级PAGEREF _Toc319066991 \h 17HYPERLINK \l "_Toc319066992" 3.1 （仅复制DML时）源端和目标端数据库增减复制表 PAGEREF _Toc319066992 \h 17 HYPERLINK \l "_Toc319066993" 3.2 （仅复制DML时）修改表结构 PAGEREF _Toc319066993 \h 19HYPERLINK \l "_Toc319066994" 3.3 （仅复制DML时）客户应用的升级 PAGEREF _Toc319066994 \h 19HYPERLINK \l "_Toc319066995" 3.4 配置DDL复制自动同步数据结构变更 PAGEREF _Toc319066995 \h 21HYPERLINK \l "_Toc319066996" (一) 是否打开DDL复制 PAGEREF _Toc319066996 \h 21HYPERLINK \l "_Toc319066997" (二) 打开DDL复制的步骤PAGEREF _Toc319066997 \h 21HYPERLINK \l "_Toc319066998" (三) DDL复制的典型配置 PAGEREF _Toc319066998 \h 23HYPERLINK \l "_Toc319066999" 4 异常处理预案 PAGEREF _Toc319066999 \h 24HYPERLINK \l "_Toc319067000" 4.1 网络故障 PAGEREF_Toc319067000 \h 24HYPERLINK \l "_Toc319067001" 4.2 RAC环境下单节点失败PAGEREF _Toc319067001 \h 25HYPERLINK \l "_Toc319067002" 4.3 Extract进程常见异常PAGEREF _Toc319067002 \h 25HYPERLINK \l "_Toc319067003" 4.4 Replicat进程常见异常PAGEREF _Toc319067003 \h 26HYPERLINK \l "_Toc319067004" 4.5 异常处理一般步骤 PAGEREF _Toc319067004 \h 26HYPERLINK \l "_Toc319067005" 5 附录 PAGEREF_Toc319067005 \h 28HYPERLINK \l "_Toc319067006" 5.1 Oracle GoldenGate V11.1数据复制限制 PAGEREF _Toc319067006 \h 28HYPERLINK \l "_Toc319067007" (四) 不支持文件等非结构化数据复制 PAGEREF _Toc319067007 \h 28HYPERLINK \l "_Toc319067008" (五) Oracle数据类型限制PAGEREF _Toc319067008 \h 28HYPERLINK \l "_Toc319067009" (六) Oracle DML操作支持PAGEREF _Toc319067009 \h 29HYPERLINK \l "_Toc319067010" (七) Oracle DDL复制限制PAGEREF _Toc319067010 \h 30HYPERLINK \l "_Toc319067011" 5.2 Oracle 9i中如何为超过32列的无主键表添加附加日志 PAGEREF _Toc319067011 \h 31OGG常用监控命令说明对GoldenGate实例进行监控，最简单的办法是通过GGSCI命令行的方式进行。

GoldenGate运维最佳实践（25）

GoldenGate运维最佳实践（25）CHECKPARAMS如果加入该参数，表示下次运行只是检查一下语法，并不实际运行进程。

注意：该命令只能检查一些简单语法，并不能保证参数文件是完全正确的。

COMMENT注释行，也可以用两个中划线--代替.--checkparams表示本行已经被注释掉EXTRACT定义抽取进程的名字OBEY可以将外部文件的内容包含到本参数文件中来。

用于将一些可以重复利用的参数文件部分内容隔离出来，便于统一修改。

Obey tables.txtTABLEEXCLUDE定义所需要排除的表。

如果在table里面定义了使用通配符，那么可以使用该参数定义排除掉其中的部分表。

如：tableexclude ctais2.TMP_*;tableexclude ctais2.TEMPTAB;RMTHOST指定目标系统及其GoldenGate Manager进程的端口号，也用于定义是否使用压缩进行传输。

rmthost 99.16.1.12,mgrport 7809, compressRMTTRAIL指定写入到目标端的哪个队列。

EXTTRAIL指定写入到本地的哪个队列。

SQLEXEC在extract运行时首先运行一个sql语句。

sqlexec "Alter session set constraints=deferred"PASSTHRU禁止extract与数据库交互，适用于Data Pump传输进程（dpeXX）。

GETENV | SETENV针对extract进程设定系统环境变量。

setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )REPORT定义自动定时报告。

REPORT AT 01:59STATOPTIONS定义每次使用stat时统计数字是否需要重置。

REPORTCOUNT报告已经处理的纪录条数统计数字。

TLTRACE打开对于数据库日志的跟踪日志TRACE/TRACE2打开对GoldenGate进程的跟踪日志，一般用于调试。

oracle ogg数据不一致常见运维命令及解决方法

oracle ogg数据不一致常见运维命令及解决方法当 Oracle GoldenGate (OGG) 数据不一致时，可以使用以下运维命令来检查和解决问题：1. CHECKPARAMS：检查 GoldenGate 配置文件参数是否正确设置。

解决方法：使用 GGSCI CHECKPARAMS 命令来检查配置文件参数并进行修复。

2. INFO：查看 GoldenGate 运行状态和相关信息。

解决方法：使用 GGSCI INFO 命令来查看状态和错误信息，并根据需要采取相应的操作。

3. STATS：查看 GoldenGate 运行时统计信息。

解决方法：使用 GGSCI STATS 命令来查看统计信息，了解数据传输和复制的情况，并根据需要采取相应的操作。

4. PURGEOLDEXTRACTS：清除过期的 Extract 进程。

解决方法：使用 GGSCI PURGEOLDEXTRACTS 命令来清除过期的 Extract 进程，以释放资源并减少数据传输延迟。

5. VIEW REPORT：查看 GoldenGate 运行报告。

解决方法：使用 GGSCI VIEW REPORT 命令来查看GoldenGate 运行报告，以了解过程中可能出现的错误和警告。

6. STOP，START：停止和启动 GoldenGate 进程。

解决方法：使用 GGSCI STOP 和 START 命令来停止和启动GoldenGate 进程，以重新启动或重新配置系统。

如果以上命令无法解决数据不一致的问题，可能需要更深入分析和调试。

可以考虑使用 GoldenGate 相关的日志和工具来进行故障排除，例如：- GGSERR.log：查看 GoldenGate 错误日志，了解具体的错误信息。

- DUMP FILE：使用 GGSCI DUMP FILE 命令来生成详细的日志信息，以便进行分析和调试。

- GoldenGate 诊断工具：使用 Oracle 提供的 GoldenGate 诊断工具来分析和解决更复杂的问题。

(精选)《叱咤风云：GoldenGate企业级运维实战》第9章__GoldenGate错误分析与处理

第9章GoldenGate错误分析与处理在维护GoldenGate过程中，由于各种意外情况，难免还是会遇到各种各样的问题。

掌握一些常见的GoldenGate故障诊断和错误分析的方法是非常有必要的，而且掌握这些错误分析工具也进一步加深对GoldenGate产品的认识与对GoldenGate原理的理解。

9.1 GoldenGate常见异常处理GoldenGate运行起来后，随着时间的推移可能会碰到各种各样的问题，下面就来介绍常见的异常现象以及常见的异常处理方法。

9.1.1 异常处理的一般步骤首先确定是GoldenGate的哪类进程有故障（是抽取，投递还是复制进程有问题），解决故障的一般思路如下。

（1）通过GGSCI>view report命令查找ERROR字样，确定错误原因并根据其信息进行排除。

（2）通过GGSCI>view ggsevt查看告警日志信息。

（3）检查两端数据库是否正常运行，网络是否连通。

（4）通过logdump工具对队列文件进行分析。

9.1.2 RAC单节点失败在RAC环境下，GoldenGate软件安装在共享目录下，可以通过任一个节点连接到共享目录，启动GoldenGate运行界面。

如果其中一个节点失败，导致GoldenGate进程中止，可直接切换到另外一个节点继续运行。

操作步骤如下。

（1）以Oracle用户登录源系统（使用另外一个正常的节点）。

（2）确认将GoldenGate安装的所在文件系统装载到另一节点相同目录。

（3）确认GoldenGate安装目录属于Oracle用户及其所在组。

（4）确认Oracle用户及其所在组对GoldenGate安装目录拥有读写权限。

（5）进入GoldenGate安装目录。

（6）执行./ggsci进入命令行界面。

（7）执行start mgr启动MGR。

（8）执行start er *启动所有进程。

检查各进程是否正常启动，即可进入正常复制。

9.1.3 Extract常见异常以下为列举的一些常见错误信息作参考用。

goldengate安装手册(bigdata-v12.2)

×××公司Oracle Goldengate安装手册目录1Goldengate安装说明 (3)1.1 总体说明 (3)1.2 添加环境变量 (3)1.3 GG软件的安装（源和目标系统均需要安装） (4)1.4 开启源端数据库附加日志 (5)1.5数据库11.2.0.4版本参数修改 (6)1.6 配置GLOBALS (6)1.7 配置定义文件 (6)1.8 建立OGG进程和队列 (6)2数据初始同步 (11)2.1 将源端数据导入之中间库 (11)2.2 将中间库数据导入至Hadoop (11)2.3 目标启动replicat进程并追加增量数据 (11)1 Goldengate安装说明1.1 总体说明Goldengate软件目录的属主为oracle:dba，权限为775;Goldengate目录一般是建立在共享存储上，这样实际上goldengate的软件和相应的文件如参数文件，队列文件等都是在共享存储上的。

这样做的好处是，例如在RAC环境下，如果一台服务区宕机，则可以将$GG_HOME mount到另外一个正常的rac节点上，启动goldengate各个进程就可以了，不需要做任何其他的动作;本次测试过程是部署在gpfs文件系统上。

1.2 添加环境变量在oracle用户下增加环境变量：源端：export GG_HOME=/data/oggoexport PATH=$PATH:$GG_HOMEexport LIBPATH=$GG_HOME:$ORACLE_HOME/lib目标端bigdata：要求必须jdk1.7export GG_HOME=/data/oggtexport PATH=$PATH:$GG_HOMEexportLD_LIBRARY_PA TH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre/lib/amd 64/serverPlatform Environment variableIBM AIX LIBPATHHP-UX SHLIB_PA THSun Solaris LD_LIBRARY_PATHHP Tru64 (OSF/1)LINUX1.3 GG软件的安装（源和目标系统均需要安装）1)使用Oracle用户（如非此用户，请自行取代，下同）通过ftp上传GGS软件到安装目录下并解压缩：unzip fbo_ggs_Linux_x64_shiphome.zip.zip修改参数文件：cd fbo_ggs_Linux_x64_shiphome/Disk1/response执行vi oggcore.rsp修改一下参数：INSTALL_OPTION=ORA11gSOFTWARE_LOCATION=/data/oggoDATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle执行runInstaller开始安装：./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp2)在/goldengate目录下运行GGS命令行控制界面：./ggsci3)在GGS命令行界面下创建子目录：GGSCI> create subdirs1.4 开启源端数据库附加日志1）检查附加日志情况使用以下sql语句检查数据库附加日志的打开状况:SelectSUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DA TA_PK,SUPPLEMENTAL_LOG_DA TA_UI,SUPPLEMENTAL_LOG_DA TA_FK,SUPPLEMENTAL_LOG_DA TA_ALL, FORCE_LOGGING from v$database;2）打开数据库附加日志打开附加日志并切换日志（保证Online redo log和Archive log一致）在mount状态下打开归档日志：Alter database archivelog;alter database add supplemental log data ;或全部打开：alter database add supplemental log data(primary key,unique) columns;alter database force logging;3）创建Goldengate用户create tablespace ogg datafile ‘/data/oradata/orcl/ogg.dbf’ size 1G;create user ogg identified by ogg default tablespace ogg;GRANT execute on DBMS_SQL to ogg;grant EXEMPT ACCESS POLICY to ogg;grant create table to ogg;grant create sequence to ogg;alter user ogg quota unlimited on ogg;GRANT CONNECT TO ogg;GRANT RESOURCE TO ogg;GRANT DBA TO ogg;GRANT CREATE SESSION TO ogg;GRANT ALTER SESSION TO ogg;GRANT SELECT ANY DICTIONARY TO ogg;GRANT SELECT ANY TABLE TO ogg;GRANT FLASHBACK ANY TABLE TO ogg;GRANT ALTER ANY TABLE TO ogg;GRANT ALTER SYSTEM TO ogg;GRANT SELECT on dba_clusters TO ogg;GRANT EXECUTE ON utl_file TO ogg;BEGINDBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(Grantee => 'OGG',privilege_type => 'CAPTURE',grant_select_privileges => TRUE,do_grants => TRUE);END;/4)打开表级附加日志alter table ogg.test add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns;…….1.5 数据库11.2.0.4版本参数修改从数据库11.2.0.4版本开始，需要在源和目标端数据库上同时修改ENABLE_GOLDENGATE_REPLICATION参数：sqlplus / as sysdbaalter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both;1.6 配置GLOBALS编辑GLOBALS：EDIT PARAMS ./GLOBALSGGSCHEMA ogg1.7 配置定义文件./ggsci…….1.8 建立OGG进程和队列（1）MGR参数和进程（源和目标均需要配置）cd $GG_HOME./ggsciggsci>edit param mgr --源端PORT 7809DYNAMICPORTLIST 7840-7914--AUTORESTART EXTRACT *, RETRIES 5, W AITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45ggsci>edit param mgr --目标端PORT 17809DYNAMICPORTLIST 17810-17820--AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45配置完成后，源和目标均启动：ggsci> start mgr（2）源端配置extract和pump进程（根据用户实际环境填写）配置服务器A捕获进程cd $GG_HOME./ggsciggsci>edit param ext_jl具体ext_jl.prm内容如下：EXTRACT ext_jlSETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")USERID ogg, PASSWORD oggDISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100TRANLOGOPTIONS dblogreaderDBOPTIONS ALLOWUNUSEDCOLUMNWARNLONGTRANS 2h,CHECKINTERV AL 3mFETCHOPTIONS NOUSESNAPSHOTTRANLOGOPTIONS CONVERTUCS2CLOBS--ddl include mappedEXTTRAIL ./dirdat/jl--TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2WILDCARDRESOLVE DYNAMICdynamicresolutionGETUPDATEBEFORESNOCOMPRESSUPDATESNOCOMPRESSDELETESgettruncatesTABLE SMODEL_JLJ.*, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));TABLE gg.tcustmer, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));配置传输进程cd $GG_HOME./ggsciggsci>edit param dpe_jl具体dpe_jl.prm内容如下：EXTRACT dpe_jlPASSTHRURMTHOST 10.142.96.16, MGRPORT 17809RMTTRAIL ./dirdat/jlDYNAMICRESOLUTIONGETTRUNCATESTABLE SMODEL_JLJ.*;table gg.tcustmer;增加ext和pump进程以及队列：cd $GG_HOME./ggsciADD EXTRACT ext_jl, TRANLOG, BEGIN NOWADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jlADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200（3）配置hdfs投递进程创建hdfs目录：su – hjpthadoop fs –mkdir /data/hjpt/itf/hqit/oss/jlhadoop fs –ls /data/hjpt/itf/hqit/oss/jlhadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl设置HDFS_HOME环境变量./ggsciggsci>edit param hive_jl具体hive_jl.prm内容如下：REPLICAT hive_jlTARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_jl.props GETUPDATEBEFORESgettruncatesDISCARDFILE ./dirrpt/ hive_jl.dsc, purge REPORTCOUNT EVERY 1 MINUTES, RATE GROUPTRANSOPS 2000MAXTRANSOPS 5000MAP gg.*, TARGET gg.*;MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*;配置hdfs_jl.props内容如下：gg.handlerlist=hdfsgg.handler.hdfs.type=hdfsgg.handler.hdfs.includeTokens=truegg.handler.hdfs.maxFileSize=256mgg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jlgg.handler.hdfs.fileRollInterval=0gg.handler.hdfs.inactivityRollInterval=0gg.handler.hdfs.fileSuffix=.txtgg.handler.hdfs.partitionByTable=truegg.handler.hdfs.rollOnMetadataChange=truegg.handler.hdfs.authType=nonegg.handler.hdfs.format=delimitedtextgg.handler.hdfs.format.includeColumnNames=falsegg.handler.hdfs.mode=tx#gg.handler.hdfs.format.includeOpTimestamp=truegg.handler.hdfs.format.includeCurrentTimestamp=truegg.handler.hdfs.format.insertOpKey=Igg.handler.hdfs.format.updateOpKey=Ugg.handler.hdfs.format.deleteOpKey=Dgg.handler.hdfs.format.truncateOpKey=Tgg.handler.hdfs.format.encoding=UTF-8gg.handler.hdfs.format.fieldDelimiter=CDA TA[\u0001]#gg.handler.hdfs.format.fieldDelimiter='|'gg.handler.hdfs.format.lineDelimiter=CDA TA[\n]gg.handler.hdfs.format.includeTableName=truegg.handler.hdfs.format.keyValueDelimiter=CDATA[=]#gg.handler.hdfs.format.kevValuePairDelimiter=CDATA[,] gg.handler.hdfs.format.pkUpdateHandling=updategg.handler.hdfs.format.nullValueRepresentation=gg.handler.hdfs.format.missingValueRepresentation=CDATA[] gg.handler.hdfs.format.includePosition=false#erexit.timestamp=utcerexit.writers=javawriterjavawriter.stats.display=TRUEjavawriter.stats.full=TRUEgg.log=log4jgg.log.level=INFOgg.report.time=30secgg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop/lib/*javawriter.bootoptions=-Xmx8200m –Xms8192m -Djava.class.path=ggjava/ggjava.jar增加目标端hive投递进程：cd $GG_HOME./ggsciGGSCI> add replicat hive_jl, EXTTRAIL ./dirdat/jl。

GoldenGate Guide

Oracle GoldenGold安装手册2011.12目录1GOLDENGATE简介 (1)1.1G OLDEN G ATE目的 (1)1.2G OLDEN G ATE和同类产品的差异 (1)1.2.1支持异构平台 (1)1.2.2交易的完整性 (1)1.3G OLDEN G ATE产品 (2)2GOLDENGATE技术原理 (2)2.1G OLDEN G ATE架构和原理 (2)2.2G OLDEN G ATE C HECK P OINT (3)2.3P ARAMETERS,P ROCESS G ROUPS (4)2.4G OLDEN G ATE配置过程 (4)3GOLDENGATE环境准备 (5)3.1创建系统用户 (5)3.2源端系统配置 (6)3.3目标端系统配置 (7)3.4安装GOLDENGATE软件 (7)3.5数据库方面的准备 (8)3.5.1在源端数据库中打开归档模式 (8)3.5.2在源端数据库中打开force logging (9)3.5.3在源端数据库中打开supplemental log (9)3.5.4在源端数据库中关闭回收站 (10)3.5.5确保goldengate能够连接到数据库的ASM实例 (10)3.5.6字符集 (11)3.5.7创建goldengate数据库用户 (12)3.5.8UNDO的设置 (13)3.6安装DDL OBJECTS (14)3.6.1执行marker_setup (14)3.6.2执行ddl_setup (15)3.6.3执行role_setup (16)3.6.4将创建的角色授权给goldengate用户 (16)3.6.5启用DDL触发器 (16)3.7安装可选的性能工具 (17)3.7.1安装dbms_shared_pool包 (17)3.7.2ddl_pin (17)4配置GOLDENGATE (18)4.1创建GOLDENGATE工作目录 (18)4.2创建TRAIL文件存放目录 (18)4.3配置MANAGER (18)4.4全局参数设置 (19)4.5配置源端EXTRACT (20)4.6配置目标端REPLICAT (23)4.7ADD TRANDATA (25)5数据初始化(INITIAL DATA LOAD) (27)5.1通过EXPDP/IMPDP来迁移初始数据 (27)5.1.1准备工作 (27)5.1.2在源端和目标端打开MANAGER (27)5.1.3在源端，执行expdp导出数据 (28)5.1.4将初始数据导入到目标数据库 (28)5.1.5在目标端，启动复制进程 (29)5.2通过文件到REPLICA T方式来迁移初始数据 (30)5.2.1准备工作 (30)5.2.2在源端和目标端打开MANAGER (30)5.2.3配置初始化extract (30)5.2.4在目标库中创建表空间、用户及表结构 (31)5.2.5在源端，打开抽取进程 (32)5.2.6在源端，启动initial-load extract (32)5.2.7配置初始化replicat (32)5.2.8在目标端，启动initial-load replicat (33)5.2.9在目标端，启动复制进程 (33)6日常管理和维护 (35)6.1故障切换 (35)6.2一些错误和警告信息 (36)6.2.1错误 (36)6.2.2警告 (37)1GoldenGate简介1.1GoldenGate目的●实时报表●实时BI●无缝升级、迁移●数据集中（EPM，Exadata）1.2GoldenGate和同类产品的差异1.2.1支持异构平台核心架构●支持多数据库平台●规范的跟踪文件（trail file）格式●规范的元数据定义●自动通用数据类型映射数据抓取方法●日志截取（直接文件访问）●数据库内建日志接口(log API)●Intercepts/exits●Vendor-provided access modules针对Oracle的特性●支持RAC，ASM●支持IOT（Index-organized Table）●支持Clustered Table，object Table●支持DDL●ALO（archivelog only）模式●Off-platform capture (LOGSOURCE)●Multi-threaded capture1.2.2交易的完整性交易边界（Transaction boundaries）●在GG跟踪文件中记录●根据提交顺序记录交易●根据record filtering或者trail splits 自动调整Boundaries交易完整性（Transaction integrity）●Checkpointing and recovery are based on transaction boundaries●Original commit sequence is maintained by the delivery process1.3GoldenGate产品For Unix/Linux，Windows●GoldenGate TDM（Transactional Data Management）●GoldenGate Director●GoldenGate Veridata●TDM Integration Edition●TDM Netezza Integration●TDM Greenplum IntegrationFor NonStop2GoldenGate技术原理2.1GoldenGate架构和原理2.2GoldenGate CheckPoint抓取过程中的检查点写入过程中的检查点2.3Parameters, Process GroupsGoldenGate进程的参数文件以ASCII 编码保存。

GoldenGate软件实现一对多数据同步功能安装配置手册

GoldenGate一对多数据同步安装配置手册2001年11月一、前言GoldenGate支持灵活的拓扑复制结构，比如一对多、多对一、双向复制等拓扑复制结构。

GoldenGate要实现一对多的复制可以通过多种办法来实现，我们这里来讨论主要的复制拓扑实现方法和机制。

数据从一个源端抓取出来，分发到多个目标端去。

二、安装环境概述三、GoldenGate一对多配置实现3.1、Oracle GoldenGate软件环境安装需求源端安装环境需求（1）网络：要实现GoldenGate数据复制软件源端和目标端的数据通信，需要开通源端和目标端服务器的7809到7810，7840到7890之间的网络端口。

（2）Oracle GoldenGate系统用户Oracle GoldenGate安装运行需要调用Oracle 的数据库产品的类库文件，所以建议安装Oracle GoldenGate的系统用户在系统的Oracle:dba用户组中，或则就使用系统Oracle 用户进行安装。

为PATH环境变量增加安装GoldenGate的路径。

（3）Oracle GoldenGate数据库用户goldengate（4）数据库字符集源和目标数据库字符集应一致，检查Oracle字符集命令：检查nls_lang环境变量目的是为了确保GoldenGate进行数据抽取的时候使用正确的NLS_LANG环境变量，使用以下命令确认数据库的字符集。

获得的结果主要在GoldenGate进程的参数文件中的setenv（NLS_LANG）参数中使用。

（5）安装存储空间安装GoldenGate对于存储空间的要求：应为GoldenGate创建文件系统，也可在现有文件系统中建立一个目录，GoldenGate对于安装目录没有任何限制。

GoldenGate软件本身占用不到100M空间；（6）数据队列存储空间需要在共享阵列上为GoldenGate软件划分一定的存储空间来存储GoldenGate队列。