Oracle GoldenGate安装、配置、管理
Oracle GoldenGate Java Adaptor的安装与配置
目录Java Adapter的安装与配置 (2)1.1在Weblogic上创建JMS Queue (2)1.2生成JMS客户端 (6)1.3GoldenGate配置过程 (6)1.3.1安装JDK (6)1.3.2安装GG for Java (6)1.3.3配置Extract (7)1.3.4生成Source Def配置文件 (8)1.3.5配置Data Pump (8)1.4测试 (15)1.5Java测试客户端样例 (17)1.5.1JMSSender.java (17)1.5.2JMSReceiver.java (20)Java Adapter的安装与配置GoldenGate提供Java Adapter可以将复制目标端设置为JMS队列,将源数据库表记录内容,按照既定的转换规则,发布到JMS队列,以满足客户灵活的要求,具体实现方法如下文所述。
1.1 在Weblogic上创建JMS Queue配置方法参见Weblogic相关资料,简要步骤如下:1、配置消息存储(Message Stores)Services->Persistent Stores,New->Create FileStore输入文件存储的名字和目录,这个目录很重要,开始我以为是本地的一个目录就行了,其实测试之后发现必须是建立的domain下的一个目录才行,把目录名写上去就ok了。
例如:C:\Oracle\Middleware\user_projects\domains\osb_domain\ODIFileStore目录名:ODIFileStore,不用写全路径2、配置JMS ServerServices -> Messaging -> JMS Server -> Select NewCreate a name, select Persistent Store (选择上面建立的消息存储:ODIFileStore) Target this to the AdminServer3、配置连接工厂(Connection Factories)。
oracle goldengate使用前的准备事项-概述说明以及解释
oracle goldengate使用前的准备事项-概述说明以及解释1.引言1.1 概述Oracle GoldenGate是一种用于实时数据复制和数据在不同数据库之间的同步的解决方案。
它支持跨数据库平台和操作系统的复制,并且可以用于广泛的业务需求,包括数据库迁移、数据同步和实时分析等。
在开始使用Oracle GoldenGate之前,有一些准备工作是必要的。
首先,需要了解Oracle GoldenGate的基本概念和工作原理。
它通过捕获源数据库的事务日志,将变更数据传输到目标数据库,并应用这些变更以保持两个数据库之间的一致性。
因此,对于Oracle GoldenGate的使用,对于源和目标数据库的理解是非常重要的。
其次,确保满足Oracle GoldenGate的硬件和软件要求。
根据不同的操作系统和数据库平台,Oracle GoldenGate对硬件和软件的要求也有所不同。
在使用Oracle GoldenGate之前,需要确保所使用的硬件和软件环境符合Oracle GoldenGate的要求,以便能够正常运行和实现预期的功能。
最后,准备好源和目标数据库。
在使用Oracle GoldenGate之前,需要确保源数据库和目标数据库已经成功安装和配置,并且能够正常工作。
此外,需要进行一些特定的配置,以便Oracle GoldenGate能够访问并捕获源数据库的事务日志,以及将变更数据应用到目标数据库。
在本文中,我们将深入探讨Oracle GoldenGate使用前的准备事项,包括硬件和软件要求的准备、数据库的准备,以及一些使用Oracle GoldenGate的建议和总结。
通过充分理解和准备这些事项,您将能够更好地使用Oracle GoldenGate,满足您的业务需求。
1.2 文章结构文章结构部分的内容应该包括以下内容:文章结构是指文章在内容组织上的布局和安排。
一个良好的文章结构将有助于读者更好地理解和接受文章的内容。
goldengate如何安装和配置
goldengate如何安装和配置要安装goldengate,第一步当然要先下载软件,您可以到/网站上下载相关软件,注意goldengate是在oracle fusion middleware大类下面,它和操作系统版本,数据库版本都有关系,下载时注意别下错版本。
对于源端数据库,要做以下准备,这里以oracle为例,其它数据库请查找相关手册:a.在源端操作系统上,创建GoldenGate系统用户,设置该用户环境变量(如果是oracle数据库的话,ORACLE_SID,ORACLE_HOME等等),也可以采用oracle 安装用户运行GoldenGate。
建议采用oracle的安装用户安装运行GoldenGate,无需建立新用户,否则还得给新用户授一堆权限,具体请参考安装手册。
b.在数据库中创建GoldenGate数据库用户,名称无所谓,这里以goldengate 为例,用户至少应该有connect,resource,select any dictionary,select any table的权限,当然如果能给dba,一切就都覆盖了:CREATE USER goldengate IDENTIFIED BY goldengate;GRANT dba TO goldengate;c.检查源端数据库是否为归档模式,若为非归档模式,建议将其改为归档模式,其实在非归档模式下也能运行,但以防万一,还是配置归档保险:SQL> alter database archivelog;(需要在数据库mount状态下执行);SQL>archive log list;d.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效:SQL〉ALTER SYSTEM ARCHIVE LOG CURRENT;在目标数据库上,也需要建立一个goldengate用户,或者利用现有用户也行,该用户应该至少有connect,resource,select any table,select any dictionary以及对应同步表的insert/update/delete权限。
Oracle GoldenGate 安装、配置、管理
Oracle GoldenGate 安装、配置、管理Oracle GoldenGate主要由如下一些组件组成● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话,那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制,该参数允许delay的最大时间是7天。
按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程。
GoldenGate操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS那里分配相应的virtual memory.l GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程。
l 每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量。
所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数。
goldengate 安装 详细命令
源端与目标端前言之解压缩文件包unzip Oracle_GoldenGate_V11.1.1.1.0_for_Oracle_10g_on_Linux_x86.zipmkdir oggmv fbo_ggs_Linux_x64_ora10g_32bit.tar ogg/tar zxf fbo_ggs_Linux_x64_ora10g_32bit.tar -C /oracle/goldengate0、增加环境变量export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport GGATE=/oracle/goldengate1、开启附加日志alter database add supplemental log data;select supplemental_log_data_min from v$database;2、为goldengate创建用户、表空间并授权create tablespace tbs_gguser datafile '/data0/u02/oradata/ora10g/jtuser1/gguser.dbf' size 1000m autoextend on;create user ogg identified by ufsoft default tablespace tbs_gguser temporary tablespace TEMP quota unlimited on tbs_gguser;grant connect,resource to ogg;grant create session,alter session to ogg;grant select any dictionary,select any table to ogg;grant alter any table to ogg;grant flashback any table to ogg;grant execute on dbms_flashback to ogg;grant insert any table to ogg;grant delete any table to ogg;grant update any table to ogg;++++++++++++++++++++++++++++++++++3、开启强制日志模式(为支持DDL复制)alter database force logging;alter system set recyclebin=off scope=both;[root@vm2 oracle]# chown oracle.oinstall /oracle/goldengate/ -R [oracle@vm2 ~]$ cd /oracle/goldengate/[oracle@vm2 goldengate]$ sqlplus / as sysdbaSQL> @marker_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………SQL> @ddl_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………Enter mode of installation:INITIALSETUP …………………………………………………………..Enter yes or no:yes…………………………..SQL> @role_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………SQL>grant GGS_GGSUSER_ROLE to ogg;SQL> @ddl_enableTrigger altered.4、源端配置goldengate4.1、安装goldengate#Su – oracle$cd /oracle/goldengate>./ggsci> CREATE SUBDIRSGGSCI (vm1) 2> exit至此,goldengate安装完成基于DDL的同步配置源端4.2、配置管理进程与抽取进程./ggsciGGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr //编辑管理进程#文件内容如下PORT 7809#保存退出#启动管理进程GGSCI (vm1) 3> start mgrGGSCI (vm1) 4> edit params GLOBALS#文件内容GGSCHEMA ogg#保存退出GGSCI (vm1) 7> add extract eini_1,tranlog,begin now //添加组名为eini_1的抽取进程,即刻为新增日志添加到抽取进程GGSCI (vm1) 11> add rmttrail /oracle/goldengate/dirdat/ma,megabytes 100,extract eini_1 //add rmttrail <trail name> extract <group name即上面创建的eini_1>GGSCI (vm1) 12> edit params eini_1 //编辑抽取进程EXTRACT EINI_1dynamicresolutionSETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)USERID ogg PASSWORD ufsoftRMTHOST 172.16.1.201,MGRPORT 7809 //目标数据库地址和端口TRANLOGOPTIONS EXCLUDEUSER oggRMTTRAIL /oracle/goldengate/dirdat/ma //目标端数据库的trail文件位置DDL INCLUDE ALLtable scott.*; //以scott用户下的表做测试目标端5、配置管理进程与抽取进程./ggsciGGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr //编辑管理进程#文件内容如下PORT 7809PURGEOLDEXTRACTS /dirdat,USECHECKPOINTS#保存退出#启动管理进程GGSCI (vm1) 3> start mgrGGSCI (vm1) 4> edit params GLOBALS#文件内容GGSCHEMA ogg#保存退出GGSCI (vm2) 7> add checkpointtable ogg.checkpoint //添加ogg用户下的检查点表GGSCI (vm2) 10> add replicat rini_1,exttrail /oracle/goldengate/dirdat/ma,beginnow,checkpointtable ogg.checkpoint //添加名称为rini_1的应用进程,检查点表名称为ogg.checkpoint,即刻生效GGSCI (vm2) 11> edit params rini_16、测试验证6.1、源端与目标端SQL> conn / as sysdbaSQL> alter user scott account unlock;SQL> conn scott/tigerERROR:ORA-28001: the password has expiredChanging password for scottNew password:Retype new password:Password changedConnected.6.2、源端SQL> conn scott/123456SQL> create table tbs_test(id number primary key,name varchar2(50));Table created.SQL> insert into tbs_test values (1,'lugeng');1 row created.beginfor i in 2000002..2002000 loopinsert into tbs_test values(i,'ge');commit;end loop;end;SQL> commit;Commit complete.6.3、目标端SQL> conn scott/123456Connected.SQL> desc tbs_test;Name Null? Type----------------------------------------- -------- ----------------------------ID NOT NULL NUMBER NAME VARCHAR2(50)SQL> select * from tbs_test;ID NAME---------- --------------------------------------------------1 lugeng基于PUMP的DDL同步配置源端GGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr#文件内容port 7809#保存退出GGSCI (vm1) 5> edit params eini_1#文件内容EXTRACT EINI_1dynamicresolutionSETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)USERID ogg PASSWORD ufsoftRMTHOST 172.16.1.201,MGRPORT 7809TRANLOGOPTIONS EXCLUDEUSER oggexttrail /oracle/goldengate/dirdat/laDDL INCLUDE ALLtable scott.*;#保存退出GGSCI (vm1) 8> add extract eini_1,tranlog,begin 2011-11-02 17:03GGSCI (vm1) 9> add exttrail /oracle/goldengate/dirdat/la,extract eini_1GGSCI (vm1) 10> edit params pump_so#文件内容extract pump_sodynamicresolutionUSERID ogg PASSWORD ufsoftrmthost 172.16.1.201,mgrport 7809,compressrmttrail /oracle/goldengate/dirdat/matable scott.*;#保存退出GGSCI (vm1) 11> add extract pump_so,exttrailsource /oracle/goldengate/dirdat/laGGSCI (vm1) 12> add rmttrail /oracle/goldengate/dirdat/ma,extract pump_so目标端GGSCI (vm2) 1> dblogin userid ogg,password ufsoftGGSCI (vm2) 2> edit params mgr#文件内容port 7809PURGEOLDEXTRACTS /dirdat,USECHECKPOINTS#保存退出GGSCI (vm2) 5> edit params GLOBALSGGSCHEMA oggGGSCI (vm2) 6> add checkpointtable ogg.checkpointGGSCI (vm2) 7> add replicat rini_1,exttrail /oracle/goldengate/dirdat/ma,begin now,checkpointtable ogg.checkpointGGSCI (vm2) 9> edit params rini_1#文件内容REPLICAT RINI_1SETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)ASSUMETARGETDEFSUSERID ogg PASSWORD ufsoftDISCARDFILE /oracle/goldengate/dirrpt/RINIaa.dsc,PURGEDDL INCLUDE ALLDDLERROR DEFAULT IGNORE RETRYOP MAXRETRIES 3 RETRYDELAY 5DDLERROR DEFAULT DISCARDDDLERROR DEFAULT IGNORE RETRYOPMAP scott.* , TARGET scott.*;#保存退出create table t (id number primary key,name varchar2(50));。
GoldenGate 10g安装配置操作手册
GoldenGate安装配置GoldenGate支持跨平台的数据实时同步操作:即源和目标可以是不同版本的ORACLE数据库。
GoldenGate需要要在源,目标库机器上都安装,并具是与数据库相匹配的版本:即根据源和目标的ORACLE版本,安装对应的goldenGate。
ogg12的版本是可以兼容11g,12c 版本的数据库,但是10g及以下版本需要找对应的版本,但是最多支持到8i。
GoldenGate是通过读取本地的数据库归档日志,投递给远程,实现同步的。
GoldenGate的日志投递方式有两种:直接投递和数据泵的方式。
原理如下图所示:两种抽取方式的结构示图两种抽取方式的区别:上面的INITIAL LOAD投递方式是直接投递,在源抽取端不缓存捕获队列数据。
而下面的DataPump数据泵方式,会在源库目录下保留抽取数据,在网络服务故障时,能保留未投递的数据不丢失,并在服务正常后能补投数据。
而两种投递方式在接收端在配置上没有区别。
要做双机互备,互为主从,配置两组反向的投递队列就好了。
注:我不推荐做双向同步,在系统故障需要恢复的时候,可能导致数据混乱。
一、操作环境环境二、数据库的准备工作下面的操作,都需要在源和目标数据库上操作。
2.1切换到归档模式SQL> archive log list; 查看归档模式Database log mode No Archive ModeAutomatic archival DisabledArchive destination /soft/u01/app/oracle/product/10.2.0/db_1/dbs/arch Oldest online log sequence 5263Current log sequence 5265如果不是归档模式,需要执行SQL> shutdown immediateSQL> startup mountSQL> alter database archivelog; #修改为归档模式SQL> alter database open;2.2禁用recycle_binSQL> show parameter recyclebin ;禁用recycle binoracle11需要重启才能生效SQL> ALTER SYSTEM SET recyclebin = OFF scope=spfile;对于10g不需要SQL> Alter system set recyclebin=off;2.3处理日志验证未使用并行日志(只针对9i,高级版本无此参数)Sql> show parameter LOG_PARALLELISM。
GoldenGate基本原理、安装过程和基本维护知识讲解
G o l d e n G a t e基本原理、安装过程和基本维护目录一、GoldenGate介绍 (4)二、GoldenGate安装实施 (6)2.1创建GoldenGate软件安装目录 (6)2.2 GoldenGate的管理用户 (6)2.3安装GoldenGate软件 (7)2.4设置数据库归档模式 (7)2.5打开数据库的附加日志 (8)2.6开启数据库强制日志模式 (8)2.7创建GoldenGate管理用户 (8)2.8编辑GLOBALS参数文件 (9)2.9管理进程MGR参数配置 (9)2.10抽取进程EXTN参数配置 (10)2.11 传输进程DPEN参数配置 (10)2.12建立OGG的DDL对象 (12)2.13 数据初始化 (14)2.14 容灾端管理进程MGR参数配置 (16)2.15编辑GLOBALS参数文件 (17)2.16 容灾端复制进程REPN参数配置 (17)2.17创建复制进程repn (18)2.18启动生产端传输进程和容灾端复制进程 (18)2.19测试场景 (19)三.GoldenGate基本运维命令 (19)四、常见故障排除 (20)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。
GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。
GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。
GoldenGate基本架构Oracle GoldenGate主要由如下组件组成● Extract● Data pump● Trails● Collector● Replicat● ManagerOracle GoldenGate 数据复制过程如下:利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。
GoldenGate Director 安装及配置文档---精品管理资料
GoldenGate Director安装及配置文档目录1.1概述 (2)1。
2G OLDEN G ATE D IRECTOR概述 (2)1。
3G OLDEN G ATE D IRECTOR的安装 (3)1.3.1部署方案必需条件 (3)1。
3。
1.1 ............................................................................................................ Director服务器安装前提31。
3。
1.2 ............................................................................................................ Director客户端安装前提31。
3。
2安装GoldenGate Director Server (4)1.3。
3安装GoldenGate Director Client (7)1.3.4启动GoldenGate Director Server/Client (7)1。
4G OLDEN G ATE D IRECTOR的配置使用 (8)1.4.1Director Admin (8)1。
4.2基于Web的Director客户端 (11)1。
4。
2.1 ...................................................................................................................... 监控整体运行情况121。
4。
2。
2 ........................................................................................................................... 监控进程状态131.4。
GoldenGate安装部署及解决方案
GoldenGate安装部署及解决方案目录GoldenGate安装部署及解决方案 (1)1、GoldenGate 简介 (3)2、文档约定和说明 (5)3、GoldenGate软件安装 (6)3.1 GoldenGate软件安装包下载 (6)3.2 Windows下安装 (7)3.3 Linux和Unix下安装 (8)4、GoldenGate同步基本配置 (9)4.1 oracle之间同步和GoldenGate基础 (9)4.2 oracle与db2同步 (17)4.3 oracle与sybase同步 (18)5、GoldenGate同步方案 (19)5.1 使用GoldenGate初始化加载 (19)5.2 一对多数据同步(广播复制) (21)5.3 多对一数据同步(集中复制) (22)5.4 数据转换和过滤 (23)5.5 关于目标端高数据安全性下的GoldenGate配置方案 (27)5.6 GoldenGate双向复制(active-active) (30)6、GoldenGate数据同步性能测试 (33)6.1 测试中主要监测数据和监测方式 (33)6.2 测试脚本和GoldenGate配置 (34)6.3 测试步骤 (38)6.4 性能测试结果 (40)7、GoldenGate推荐配置 (42)7.1 添加必要的环境参数 (42)7.2 BATCHSQL参数 (42)7.3 数据库用户密码加密 (43)7.4 trail再压缩 (44)8、GoldenGate Troubleshooting (45)8.1 一些常用的进程信息和日志的查看方式 (45)8.2 解析trail文件 (45)附:GoldenGate新版本的一个特性 (46)参考文档 (48)1、GoldenGate 简介GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库实时同步(real-time data synchronize)、双活(active-active high availability)。
oraclegoldengate安装笔记
oraclegoldengate安装笔记ORACLE GoldenGate安装测试平台:REDHAT LINUX 6DB:ORACLE 10G205一、在源数据库操作系统上新增GoldenGate的用户,需要和oracle数据库用户在一个组:二、在源数据库的操作系统上安装GoldenGate软件三、设置源数据库为归档模式,回收站为off(设置DDL复制需要),并设置为最细log四、在源数据库上创建GoldenGate的账号,并赋权限五、在目的主机DB2上新增GoldenGate的用户,需要和oracle 数据库用户在一个组:十一、配置GGS的manager 1234十二、验证结果十三、问题总结:源数据库不配置SUPPLEMENTAL_LOG_DATA_MIN为YES的话,extract会一直起不来,且为stopped状态sys@RHDB> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------NO[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -42012-05-31 13:33:28 ERROR OGG-00730 Oracle GoldenGate Capture for Oracle, ext1.prm: No minimum supplemental logging is enabled. This may cause extract process to handle key update incorrectly if key column is not in first row piece.2012-05-31 13:33:28 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.开启数据库的最细log模式:sys@RHDB> alter database add supplemental log data;Database altered.sys@RHDB> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------YES-------------------------源数据库配置SUPPLEMENTAL_LOG_DATA_MIN为YES,目的数据库不配的话,extract会一直起不来,且为ABENDED状态GGSCI (RHDB-1) 11> start extract ext1Sending START request to MANAGER ...EXTRACT EXT1 startingGGSCI (RHDB-1) 12> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT STOPPED EXT1 00:00:00 02:15:57GGSCI (RHDB-1) 13> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT ABENDED EXT1 02:16:04 00:00:19[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -10target directories:/home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirtmp.2012-05-31 13:41:24 INFO OGG-01515 Oracle GoldenGate Capture for Oracle, ext1.prm: Positioning to begin time May 31, 2012 11:25:26 AM.2012-05-31 13:41:24 INFO OGG-01516 Oracle GoldenGate Capture for Oracle, ext1.prm: Positioned to Sequence 104, RBA 24428048, SCN 0.0, May 31, 2012 11:25:26 AM.2012-05-31 13:41:24 INFO OGG-00993 Oracle GoldenGate Capture for Oracle, ext1.prm: EXTRACT EXT1 started.2012-05-31 13:41:30 INFO OGG-01226 Oracle GoldenGate Capture for Oracle, ext1.prm: Socket buffer size set to 27985 (flush size 27985).2012-05-31 13:41:30 INFO OGG-01052 Oracle GoldenGate Capture for Oracle, ext1.prm: No recovery is required for target file/home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt0000 00, at RBA 0 (file not opened).2012-05-31 13:41:30 INFO OGG-01478 Oracle GoldenGate Capture for Oracle, ext1.prm: Output file /home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt is using format RELEASE 11.2. 2012-05-31 13:41:30 ERROR OGG-00717 Oracle GoldenGate Capture for Oracle, ext1.prm: Found unsupported in-memory undo record in sequence 104, at RBA 24428048, with SCN 0.1454118 (1454118) ... Minimum supplemental logging must be enabled to prevent data loss. 2012-05-31 13:41:30 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.配置目的数据库的如下后,依然报错sys@RHDB> alter database add supplemental log data;Database altered.[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -4 ggserr.log2012-05-31 13:57:32 INFO OGG-01053 Oracle GoldenGate Capture for Oracle, ext1.prm: Recovery completed for target file /home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt000003, at RBA 1060.2012-05-31 13:57:32 INFO OGG-01057 Oracle GoldenGate Capture for Oracle, ext1.prm: Recovery completed for all targets.2012-05-31 13:57:32 ERROR OGG-00717 Oracle GoldenGate Capture for Oracle, ext1.prm: Found unsupported in-memory undo record in sequence 104, at RBA 24428048, with SCN 0.1454118 (1454118) ... Minimum supplemental logging must be enabled to prevent data loss. 2012-05-31 13:57:32 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.重启配置源端的EXTRACT,不再报错:GGSCI (RHDB-1) 30> alter extract ext1, tranlog, begin now EXTRACT altered.GGSCI (RHDB-1) 31> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT STOPPED EXT1 00:00:00 00:00:03GGSCI (RHDB-1) 32> start EXTRACT ext1Sending START request to MANAGER ...EXTRACT EXT1 startingGGSCI (RHDB-1) 33> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EXT1 00:00:00 00:00:19但在源端删除表时,目的端报错,由于目的端没有这个表,所以如下报错:[ogg@RHDB-2 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -0f ggserr.log2012-05-31 14:15:46 INFO OGG-01407 Oracle GoldenGate Delivery for Oracle, rep1.prm: Setting current schema for DDL operation to [SYS].2012-05-31 14:15:47 ERROR OGG-00519 Oracle GoldenGate Delivery for Oracle, rep1.prm: Fatal error executing DDL replication: error [Error code [942], ORA-00942: table or view does not exist SQL drop table receiver."TESTTAB1" /* GOLDENGATE_DDL_REPLICATION */], no error handler present.2012-05-31 14:15:47 ERROR OGG-01668 Oracle GoldenGate Delivery for Oracle, rep1.prm: PROCESS ABENDING.查看目的端的gg状态,REPLICAT状态变为了ABENDED:GGSCI (RHDB-2) 22> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGREPLICAT ABENDED REP1 00:00:33 00:02:56执行start命令后依然报错:GGSCI (RHDB-2) 23> START REPLICAT REP1Sending START request to MANAGER ...REPLICAT REP1 startingGGSCI (RHDB-2) 24> INFO ALLProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGREPLICAT ABENDED REP1 00:00:00 00:00:02在目的端创建表testtab1后,成功:receiver@RHDB2> create table testtab1 (id number,teststrvarchar2(12));Table created.receiver@RHDB2> select tname from tab;TNAME------------------------------TESTTAB11 row selected.receiver@RHDB2> select * from testtab1;ID TESTSTR---------- ------------1 adljfoiweur1 row selected.GGSCI (RHDB-2) 6> start replicat rep1Sending START request to MANAGER ...REPLICAT REP1 startingGGSCI (RHDB-2) 7> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGREPLICAT RUNNING REP1 00:08:06 00:00:01。
Oraclegoldengate安装以及单向复制配置
Oracle golden gate 安装以及单向复制配置--------------------不支持ddl操作一、 GoldenGate简介Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步。
Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。
同时,Oracle Golden Gate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。
二、技术结构和传统的逻辑复制一样,Oracle GoldenGate实现原理是通过抽取源端的redo log或者archive log,然后通过TCP/IP投递到目标端,最后解析还原应用到目标端,使目标端实现同源端数据同步。
以下是OracleGoldenGate的技术架构Manager进程Manager进程是GoldenGate的控制进程,运行在源端和目标端上。
它主要作用有以下几个方面:启动、监控、重启Goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等。
Extract进程Extract运行在数据库源端,负责从源端数据表或者日志中捕获数据。
Pump进程pump进程运行在数据库源端。
其作用是如果源端使用了本地的trail文件,那么pump 进程就会把trail以数据块的形式通过TCP/IP协议发送到目标端,这通常也是推荐的方式。
pump进程本质是extract进程的一种特殊形式,如果不使用trails文件,那么就是extract进程在抽取完数据以后,直接投递到目标端。
Oracle 11g 安装配置GoldenGate
Oracle 11gR2 RAC和GoldenGate都是Oracle比较热门的产品,经过简单的学习和阅读文档,配置单节点的GoldenGate进行数据的复制相信不是什么太有难度的事情,但是对于利用GoldenGate进行RAC系统到RAC系统的复制,还是有些配置的技巧和策略设置的,前阵子就遇到一个这样一个问题:假设源和目标分别是两节点的RAC系统,如何保证目标部分节点失效的时候replicate会自动切换?其实如果了解GG的工作机制和RAC的资源管理,问题的解决就十分清晰了。
今天就从系统的介绍下11gR2 RAC上OGG (Oracle GoldenGate的简称,下同)的完整配置步骤,并简单谈谈如何解决上面这个场景的问题。
第一阶段:下载OGG(可以参考之前的单节点的复制例子,不再赘述)OGG的下载地址第二阶段:OGG的安装1)登录源端的RAC系统中的任一个节点,并在ACFS上建立一个供OGG使用的共享目录,比如叫/cloudfs/goldengate2)解压OGG的安装包到/cloudfs/goldengate目录3) 设置好OGG工作的环境变量,比如export LIBRARY_PATH=/cloudfs/goldengate:$ORACLE_HOME/lib:$LD_LIBRARY_PATH4)启动ggsci并创建目录,然后进行必要的设置,启动manager$ ggsciGGSCI > create subdirs(optional, support for DDL/Sequence)Create and edit the parameter file for GLOBALS:GGSCI > EDIT PARAMS ./GLOBALSAdd this line to GLOBALS parameter file:GGSCHEMA ggsNOTE: 'ggs' is the example OGG user and will be used in the rest of this document.GGSCI > EDIT PARAMS mgrAdd the following lines to Manager parameter file:PORT 7809AUTOSTART ER *AUTORESTART ER *GGSCI > START mgr5)在目标端重复上面的步骤1-4,注意目录名的使用,我们在目标端使用/mycloudfs/goldengate以示区分。
部分GoldenGate安装配置、常用命令与目标初始化
同步延迟
检查网络状况和数据库性能, 确保数据能够实时同步。
日志异常
检查日志文件,查找异常信息 ,并根据异常信息进行相应的
பைடு நூலகம்处理。
03 Goldengate常用命令
数据采集命令
DG_COMMAND
用于执行数据采集命令,如启动数据采集进程、停止数据采 集进程等。
DG_INFO
用于获取数据采集的详细信息,如数据采集状态、数据采集 进度等。
安装Goldengate服务器
按照安装向导的指示,完成Goldengate服务器的安装。
安装Goldengate客户端
在需要使用Goldengate的客户端计算机上安装Goldengate客户端。
配置Goldengate环境变量
设置Goldengate的环境变量,以便在命令行中调用Goldengate命令。
用于获取数据校验的详细信息,如数据校验状态、数据校验结果等。
其他常用命令
DG_CONFIG
用于配置Goldengate的相关参数,如设置数据采集频率、设置数据同步目标等 。
DG_STATUS
用于获取Goldengate的运行状态,如Goldengate的启动状态、运行日志等。
04 Goldengate目标初始化
无法连接到Goldengate目标数据库 。
解决方案
检查目标数据库的配置是否正确, 包括数据库连接字符串、用户名和 密码等。
02 Goldengate配置
数据源配置
数据源类型
支持多种数据源类型,如Oracle、MySQL、SQL Server等。
连接参数
需要提供数据库的地址、端口、用户名和密码等 连接参数。
集群版部署案例
Goldengate 安装配置文档
GOLDEN GATE配置示例安装1.解压zip文件2.将解压后的文件夹转移到目标文件夹,注意目标文件夹名称中不能包含“空格”。
源端配置数据库及系统配置1.在源端,创建GoldenGate系统用户,建议使用oracle用户。
a.创建GoldenGate数据库用户goldengateCREATE USER goldengate IDENTIFIED BY goldengate default tablespace xxx ;GRANT dba TO goldengate;2.检查源端数据库是否为归档模式,若为非归档模式,将其改为归档模式SQL>archive log list;3.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效:SQL〉alter system archive log current;创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,保存文件。
安装管理进程在DOS命令行下运行INSTALL ADDSERVICE ADDEVENTS配置mgr管理进程参数输入port 7809,保存文件。
7809为默认端口,需要确保该端口未被占用。
其它参数启动mgr进程Manager must be running before you start other GoldenGate processesTo start Manager from GGSCI1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.START MANAGERTo stop Manager1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.STOP MANAGER [!]Where: ! stops Manager without user confirmation.配置ExtractIn the Manager parameter file, use the PURGEOLDEXTRACTS parameter to control the purging of files from the trailTo configure the primary Extract group on the source1.ADD EXTRACT <ext_1>, TRANLOG, BEGIN <time> [, THREADS <n>]2.On the source, use the ADD EXTTRAIL command to create a local trailADD EXTTRAIL <local_trail_1>, EXTRACT <ext>e the EDIT PARAMS command to create a parameter file for the ext_1 Extract group.-- Identify the Extract group:EXTRACT <ext_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the local trail that this Extract writes to:EXTTRAIL <local_trail_1>-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●ADD EXTRACT extsp, TRANLOG,BEGIN now●add exttrail ./dirdat/ex, extract extsp, megabytes 10●edit param exts pEXTRACT extspUSERID xgt,PASSWORD xgtEXTTRAIL ./dirdat/exTABLE xgt.TBLDICT;To configure the data pump on the sourcee the ADD EXTRACT command to create a data pump groupADD EXTRACT <pump_1>, EXTTRAILSOURCE <local_trail_1>, BEGIN <time>e the ADD RMTTRAIL command to specify a remote trail that will be created on the second system in thecascadeADD RMTTRAIL <remote_trail_1>, EXTRACT <pump_1>Use the EXTRACT argument to link the remote trail to the pump_1 data pump group. The linked data pump writes to this trail.e the EDIT PARAMS command to create a parameter file for the pump_1 data pump-- Identify the data pump group:EXTRACT <pump_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the name or IP address of second system in cascade:RMTHOST <target_1>, MGRPORT <portnumber>-- Specify the remote trail on the second system:RMTTRAIL <remote_trail_1>-- Allow mapping, filtering, conversion or pass data through as-is: [PASSTHRU | NOPASSTHRU]-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●add extract extpump,exttrailsource ./dirdat/ex,begin now●ADD RMTTRAIL ./dirdat/sp, EXTRACT extpump,megabytes 10●edit param extpumpEXTRACT extpumpdynamicresolutionUSERID xgt,PASSWORD xgtRMTHOST 192.168.139.128,MGRPORT 7809RMTTRAIL ./dirdat/spnumfiles 300TABLE xgt.TBLDICT;启动ExtractStart extspStart extpump目标端配置创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,CHECKPOINTTABLE target.ggschkpt保存文件。
手把手教你生产安装goldengate的步骤
手把手教你生产安装goldengate的步骤一、简介GoldenGate是Oracle公司的一款数据库同步工具,可以实现在不影响生产环境的情况下进行数据库的实时同步和迁移。
本文将以手把手的方式,介绍在生产环境中安装和配置GoldenGate的步骤。
二、环境准备在开始安装GoldenGate之前,需要确保以下环境准备工作已经完成:1.安装并配置Oracle数据库,确保数据库可以正常运行。
2.确定GoldenGate版本和操作系统平台的兼容性,并下载GoldenGate的安装包。
三、安装GoldenGate1.解压GoldenGate安装包到指定的安装目录。
可以使用以下命令解压:tar zxvf ggxx_linux64.tar.gz2.进入解压后的目录,并执行安装脚本。
具体命令如下:cd ggxx./gginstall3.根据安装向导的提示进行安装,包括选择安装类型、输入安装路径等。
一般情况下,可以选择完全安装和默认安装路径。
4.等待安装完成。
安装过程可能需要一些时间,取决于系统性能和GoldenGate的版本。
5.安装完成后,可以通过以下命令验证GoldenGate的安装是否成功:ggsci如果看到类似以下信息,则表示安装成功:GoldenGate Command Interpreter for OracleVersion 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191214.0354Linux, x64, 64bit (optimized), Oracle 19c on Dec 14 2019 05:55:59四、配置GoldenGate1.创建GoldenGate的主目录,一般命名为gg_home,并进入该目录:mkdir gg_homecd gg_home2.在gg_home中创建GoldenGate的子目录dirdat、dirrpt和dirprm。
GoldenGate基本原理、安装过程和基本维护
目录一、GoldenGate介绍 (3)二、GoldenGate安装实施 (5)2.1创建GoldenGate软件安装目录 (5)2.2 GoldenGate的管理用户 (5)2.3安装GoldenGate软件 (6)2.4设置数据库归档模式 (6)2.5打开数据库的附加日志 (7)2.6开启数据库强制日志模式 (7)2.7创建GoldenGate管理用户 (7)2.8编辑GLOBALS参数文件 (8)2.9管理进程MGR参数配置 (8)2.10抽取进程EXTN参数配置 (9)2.11 传输进程DPEN参数配置 (10)2.12建立OGG的DDL对象 (11)2.13 数据初始化 (12)2.14 容灾端管理进程MGR参数配置 (14)2.15编辑GLOBALS参数文件 (15)2.16 容灾端复制进程REPN参数配置 (15)2.17创建复制进程repn (17)2.18启动生产端传输进程和容灾端复制进程 (17)2.19测试场景 (17)三.GoldenGate基本运维命令 (17)四、常见故障排除 (18)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。
GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。
GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。
GoldenGate基本架构Oracle GoldenGate主要由如下组件组成●Extract●Data pump●Trails●Collector●Replicat●ManagerOracle GoldenGate 数据复制过程如下:利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。
Oracle GoldenGate 实时同步配置
OGG 同步(DML)配置及测试【备注】:包括GG安装,数据库配置,已有数据初始化加载和实时同步4部分。
文末附一则优化过的配置。
GG包装包括GG工作目录创建,端口指定,用户创建等。
数据库配置主要是修改归档模式和最小日志附加模式。
===============================安装配置GG步骤及注意事项===============================1.将解压到磁盘。
2.配置环境变量系统变量:ORACLE_HOME/ORACLE_SID。
3.cmd进入GG解压目录,执行ggsci命令,打开gg控制台。
4.创建GG工作目录,执行create subdirs命令。
会在当前目录创建一系列的目录。
其作用如下:a.dirchk:存放检查点文件b.dirdat:存放Trail文件c.dirdef:存放通过DEFGEN工具生成的源或目标端数据定义文件d.dirpcs:存放进程状态文件e.dirprm:存放配置参数文件f.dirrpt:存放进程报告文件g.dirsql:存放sql脚本文件h.dirtmp:当食物所需要的内存超过已分配内存时,默认存储在这个目录。
5.把Manager进程添加到windows服务。
不作为服务存在则用户注销后Manager进程就会终止运行。
将Manager进程作为服务,则与用户无关了。
非Win集群下可选的,但是win下强烈建议安装为服务。
win集群环境下,必须将MGR进程添加到Win服务,因为出现一台服务器故障时,只有通过服务才能将其自动切换到备用服务器上。
服务名默认为GGSMGR。
a.cmd进入GG目录--->GGSCI--->EDIT PARAMS ./GLOBALS 在弹出的记事本中自定义服务名:MGRSERVNAME GGMGRb.退出ggsci,在gg根目录执行install addservice。
就可以将MGR添加为服务了。
===============================数据库做相关设置===============================1.启用归档模式,GG是基于对日志变化的捕获,所以redo对于GG非常重要,为了保证GG能够读取完整的事务日志,必须打开归档。
goldengate_安装配置指南
goldengate_安装配置指南goldengate_安装配置指南2011-09-23 14:56解压安装包(用oracle用户来做,用root会出现权限问题)$tar -xvf xxxx.tar$ls -l --检查全线问题配置环境(两边都要配置)$env --查看环境变量LD_LIBRARY_PATH=/u01/app/oracle/prodcut/10.2.0/db_1/lib是否设置$vi .profile设置验证ggsci命令$./ggsciGGSCI>help --可以查看gg的各种命令新建一些目录GGSCI>create subdirs --不需要指定路径,默认在当前目录下(所以进入ggsci的时候,一定要在gg的当前目录)新建出来的目录有:name Purpose--dirchk Checkpoint files存放检查点(Checkpoint)文件(和Oracle的checkpoint含义不同,如oralce的一个实例失败,从最近一次的checkpoint开始recorver, oracle的一次checkpoint是让dbwrt进程把被修改的数据从数据缓冲区中写入数据文件。
而OGG的checkpoint是OGG捕捉了很多事务日志,哪些被传输了,哪些未被传输。
每隔一段时间,执行一次checkpoint,之前的所有数据都要传送过去。
如果soure or target db断电了,那下次启动的时候,就要支持断点续传,那那个断点位置就是最后一次OGG执行checkpoint的位置)--dirdat GoldenGate trails, 存放Trail与Extract文件--dirdef Data Definition files,过DEFGEN工具生成的源或目标的数据定义文件--dirprm Parameter files, 存放参数文件--dirpcs Process status files, 存放进程状态文件--dirrpt Report files, 存放进程报告文件--dirsql SQL script files,存放SQL脚本文件--dirtmp Temporary files,当事务所需要的内存超过已分配内存时,缺省存储于此5.Configure Oracle Database for Goldengate5.1 Create Goldengate User -- 创建Goldengate用户[oracle@grid_ogg] sqlplus /as sysdbaCreate user ogg for both source system and target system, and grant appropriate privileges--创建源端和目标端的用户,并授予权限Create tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on--gg建议创建一个50M的表空间个gg的用户作为默认表空间Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_gguser--创建一个ogg用户用户grant CONNECT, RESOURCE to ogg; --内部的角色grant CREATE SESSION, ALTER SESSION to ogg; --这两个可以省略,CONNECTION,RESOURCE已经包含了grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg; --可以看所有的数据字典,可以看所有的表的权限grant ALTER ANY TABLE to ogg;grant FLASHBACK ANY TABLE to ogg;grant EXECUTE on DBMS_FLASHBACK to ogg; --执行xxx包的权限--在源端创建两张同步的测试表SQL>conn soctt/tiggerSQL>select * from emp_egg;SQL>seelct * from dept_egg;目标端:建立相同的用户,表空间,权限,并授予测试表的DML 权限Create user ogg for both source system and target system, and grant appropriate privilegesCreate tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_ggusergrant CONNECT, RESOURCE to ogg;grant CREATE SESSION, ALTER SESSION to ogg;grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg;grant CREATE TABLE to ogg;--Create empty test table and grant DML privilege to GG user SQL>connect scott/tiggerSQL>grant INSERT,UPDATE, DELETE on socktt.emp_ogg to oggSQL>grant INSERT,UPDATE,DELETE on socott.dept_ogg to ogg5.2. Enable supplemental log mode(打开附加日志模式) in source system(源数据库是否打开supplemental log)--这里的库级的附加日志区别于表级的附加日志(见trandata的说明)--supplemental log意思是说除了relog以外的一些额外的redolog,也是放在redlog文件中,如要修改一个表,oracle记录更多的一些列的该表的信息记录到redolog中,这些信息对OGG是非常重要的.check supplemental log mode is enabled or not by following querySQL>select SUPPLEMENTAL_LOG_DATA_MIN from v$database;if not, enable itSQL>alter database add supplemental log dataSQL>alter system switch logfile5.3 Enable archive log mode(打开归档日志模式) in source system(在源端打开归档日志模式--必须要做)因为OGG的捕捉进程比oracle的进程级别低,从redo log中捕捉不到的日志,要到archive log中捕捉enable archive log mode[oracle@db_ogg]sqlplus /as sysdbaSQL>alter system set log_archive_dest='/u01/app/oracle/oradata/arch' --要考虑如何定期清理归档日志的内容,否则会占用磁盘SQL>shutdown immediateSQL>startup mountSQL>alter database archivelog --打开/alter database noarchivelog --关闭归档日志SQL>alter database openSQL>archive log list;SQL>select name from v$ARCHIVED_LOG WHERE FIRST_NAME =(SELECT MAX(FIRST_TIME) FROM v$ARCHIVED_LOG)5.4 Enable force logging(强制日志模式) in source system(因为当我们对oracle进行数据操作的时候,有时为了提高效率,会用no logging模式,不产生日志,这样操作更快但是带来的问题是,不再产生redo log日志,这样导致无法做recovery, gg也无法捕捉到日志.所以在gg备份的情况下,配置成强制需要生成redo log的模式(no logging失效)Check force logging mode is enabled or not by following querySQL>SELECT force logging FROM v$databaseif not, enable itSQL>alter database force logging--在源端设置哪些表被加入到TRANDATAEnable transaction data change capture for these two table in source systemGGSCI>DBLOGIN USERID ogg, PASSWORD ogg #dblogin 是OGG里面的一个命令GGSCI>ADD TRANDATA scott.EMP_OGG #ADD TRANDATA是将源端和目标端的两张对应表执行第一次同步(即初始化同步操作)GGSCI>ADD TRANDATA scott.DEPT_OGG #删除表补全日志如果该表没有主键或唯一索引,那么指定唯一标示的字段,否则会用所有的字段来标示,同时其还有字段列数限制GGSCI>ADD TRANDATA OWNER.table_name, nokey, cols(column,column,....)Verify that supplemental logging has been turned on for these tables (验证一下归档日志是否确实被打开)GGSCI>INFO TRANDATA scott.emp* #查看scott用户中以emp开头的表是否打开了trandata设置,是否会执行初始化同步Logging of supplemental redo log data is disabled[未打开](enabled[已打开])for table SCOTT.EMP1附加解释:这里的TRANDATA和5.2的alter database add supplemental log data的区别是只有在库级的附加日志打开的情况下,表级的附加日志才有效果。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Oracle GoldenGate主要由如下一些组件组成● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话,那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制,该参数允许delay的最大时间是7天。
按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程。
GoldenGate操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS 那里分配相应的virtual memory.●GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程。
●每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量。
所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数。
工作目录每个GoldenGate实例的工作目录(working directories and binaries),大约需要40M的空间,如果你要同一台Server安装多个GoldenGate实例到不同的目录/文件系统下话,那么就需要多倍的空间分配,在考虑空间分配的时候,也需要考虑这个因数。
辅助空间这部分空间主要用于存放GoldenGate Trails,它包含了工作数据。
这部分空间的消耗取决于Trail,依赖于将要处理的数据量。
根据实际的数据库系统的规模,每天产生的日志量的大小,建议这部分空间从1GB-100G不等,可以保存7-10天的GoldenGate队列文件即可。
对于RAC环境对于RAC环境,GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数.否则如果运行在单个node上的话,需要将剩余node中的归档日志通过一定的技术共享出来并加载到 GoldenGate运行节点.对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步.因为GoldenGate会比较本地的系统时间和commit的时间戳.所以不能忽略这个设置.否则可能导致数据复制的紊乱.网络要求●Configure the system to use TCP/IP services, including DNS●GoldenGate 使用主机名或者IP地址进行连接,主机名的方式更容易使用●GoldenGate需要无限制的和自由的TCP/IP端口:一个port用于两个GoldenGate的Manager process之间通信(比如Source的Manager process和Target的Manager process)本地GoldenGate进程间通信使用的端口范围:缺省的端口范围从7840开始,或者可以定义一个从7840+256的端口●建议保存一份分配给GoldenGate的端口使用记录●配置防火墙允许接受来自GoldenGate端口的请求●如果可能的话,可以设置FTP端口用于GoldenGate传输数据、参数和来自Source和Target的report.否则的话,需要提供其他的传输方法。
GoldenGate for Oracle1.支持的平台支持的Oracle Database 版本在当前的Oracle GoldenGate 10.4版本中,支持如下Oracle Database版本√Oracle 8i (DML support only)√Oracle 9.1 and 9.2 (DML and DDL support)√Oracle 10.1 and 10.2 (DML and DDL support)√Oracle 11g (DML and DDL support)支持的操作系统平台几乎所有主流的操作系统,GoldenGate都支持√Windows 2000, 2003, XP√Linux√Sun Solaris√HP NonStop√HP-UX√HP TRU64√IBM AIX√IBM z/OS2.操作系统需求内存要求按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程.GoldenGate是操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS那里分配相应的virtual memory.GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程.每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量.所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数.DISK空间需求安装文件从Oracle 官方网站上download下来的GoldenGate 压缩软件包大约是50M,所以在分配磁盘空间前你需要提高考虑到这些额外的资源开销,当然了,安装完毕后,你就可以把这个压缩软件包删除了.工作目录每个GoldenGate实例的工作目录(working directories and binaries),大约需要40M的空间,如果你要同一台Server安装多个GoldenGate实例到不同的目录/文件系统下话,那么就需要多倍的空间分配,在考虑空间分配的时候,也需要考虑这个因数.辅助空间这部分空间主要用于存放GoldenGate Trails,它包含了工作数据。
这部分空间的消耗取决于Trail,依赖于将要处理的数据量。
根据实际的数据库系统的规模,每天产生的日志量的大小,建议这部分空间从1GB-100G不等,可以保存7-10天的GoldenGate队列文件即可.对于RAC环境对于RAC环境,GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数.否则如果运行在单个node上的话,需要将剩余node中的归档日志通过一定的技术共享出来并加载到 GoldenGate运行节点。
对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步.因为GoldenGate会比较本地的系统时间和commit的时间戳.所以不能忽略这个设置,否则可能导致数据复制的紊乱。
网络要求Configure the system to use TCP/IP services, including DNSGoldenGate 使用主机名或者IP地址进行连接,主机名的方式更容易使用GoldenGate需要无限制的和自由的TCP/IP端口:一个port用于两个GoldenGate的Manager process之间通信(比如Source的Manager process和Target的Manager process)本地GoldenGate进程间通信使用的端口范围:缺省的端口范围从7840开始,或者可以定义一个从7840+256的端口建议保存一份分配给GoldenGate的端口使用记录配置防火墙允许接受来自GoldenGate端口的请求如果可能的话,可以设置FTP端口用于GoldenGate传输数据、参数和来自Source和Target的report.否则的话,需要提供其他的传输方法.Database user在数据库中创建一个供GoldenGate使用的专用用,GoldenGate的所有进程可以使用这个用户连接到数据库中:⊙Extract (source database)⊙Replicat (target database)⊙Manager (source database, if usin g DDL support)⊙DEFGEN (source or target database)从系统安全的角度出发,这个GoldenGate用户建议不给任何其他应用使用,仅供GoldenGate使用。
对于Oracle 10g及以后的版本,如果使用了Automatic Storage Management (ASM),GoldenGate的Extract进程需要一个用户来访问ASM实例,但GoldenGate不支持O/S认证的授权方式,所以你可以使用sys或任何其他具有sysdba/sysasm权限的用户来连接到ASM实例.建议保留一份数据库用户的记录这些用户信息需要在GoldenGate参数文件中使用.USERID 是用户名,PASSWORD是口令对于ASM user,可以通过TRANLOGOPTIONS (带有ASMUSER 和 ASMPASSWORD选项)参数来配置。
Database Configuration对于Source Oracle Database要求数据库处于归档模式下打开补充日志打开force loggingGoldenGate的安装非常的简单,我以linux平台下的install为例简单的说一下步骤,详细的说明在对应的document上都有介绍1. 将软件ftp(二进制模式上传)到目标服务器上的指定目录下2. 解压缩安装文件到指定目录gzip -dc <filename>.tar.gz | tar -xvof –3. 进入到GoldenGate的安装目录.4. 运行GGSCI5. In GGSCI, issue the following command to create the GoldenGate working directories.CREATE SUBDIRS6. Issue the following command to exit GGSCI.EXIT就这么简单,就装完了在配置GoldenGate环境时,刚开始的时候,我们总是需要先初始化把Source Database中需要复制的表的数据先load到目标库中,除非Source Database是一个新建的库或需要复制的对象中还没有任何数据。