Oracle GoldenGate 安装、配置、管理
Oracle GoldenGate Java Adaptor的安装与配置
目录Java Adapter的安装与配置 (2)1.1在Weblogic上创建JMS Queue (2)1.2生成JMS客户端 (6)1.3GoldenGate配置过程 (6)1.3.1安装JDK (6)1.3.2安装GG for Java (6)1.3.3配置Extract (7)1.3.4生成Source Def配置文件 (8)1.3.5配置Data Pump (8)1.4测试 (15)1.5Java测试客户端样例 (17)1.5.1JMSSender.java (17)1.5.2JMSReceiver.java (20)Java Adapter的安装与配置GoldenGate提供Java Adapter可以将复制目标端设置为JMS队列,将源数据库表记录内容,按照既定的转换规则,发布到JMS队列,以满足客户灵活的要求,具体实现方法如下文所述。
1.1 在Weblogic上创建JMS Queue配置方法参见Weblogic相关资料,简要步骤如下:1、配置消息存储(Message Stores)Services->Persistent Stores,New->Create FileStore输入文件存储的名字和目录,这个目录很重要,开始我以为是本地的一个目录就行了,其实测试之后发现必须是建立的domain下的一个目录才行,把目录名写上去就ok了。
例如:C:\Oracle\Middleware\user_projects\domains\osb_domain\ODIFileStore目录名:ODIFileStore,不用写全路径2、配置JMS ServerServices -> Messaging -> JMS Server -> Select NewCreate a name, select Persistent Store (选择上面建立的消息存储:ODIFileStore) Target this to the AdminServer3、配置连接工厂(Connection Factories)。
GoldenGate安装部署与解决方案
GoldenGate安装部署及解决方案目录GoldenGate 安装部署及解决方案 (1)1、 GoldenGate 简介 (3)2、文档约定和说明 (5)3、 GoldenGate 软件安装 (6)3.1 GoldenGate 软件安装包下载63.2 Windows 下安装73.3 Linux 和 Unix 下安装84、 GoldenGate 同步基本配置 (9)4.1 oracle 之间同步和GoldenGate 基础94.2 oracle 与 db2 同步174.3 oracle 与 sybase 同步185、 GoldenGate 同步方案 (19)5.1 使用 GoldenGate 初始化加载195.2 一对多数据同步(广播复制)215.3 多对一数据同步(集中复制)225.4 数据转换和过滤23 5.5 关于目标端高数据安全性下的GoldenGate 配置方案275.6 GoldenGate 双向复制( active-active )306、 GoldenGate 数据同步性能测试 (33)6.1 测试中主要监测数据和监测方式33 6.2 测试脚本和GoldenGate 配置346.3 测试步骤386.4 性能测试结果407、 GoldenGate 推荐配置 (42)7.1 添加必要的环境参数427.2 BATCHSQL参数427.3 数据库用户密码加密437.4 trail 再压缩448、 GoldenGate Troubleshooting (45)8.1 一些常用的进程信息和日志的查看方式458.2 解析 trail 文件45附: GoldenGate 新版本的一个特性 (46)参考文档 (48)1、 GoldenGate简介GoldenGate 软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库实时同步( real-time data synchronize)、双活(active-active high availability)。
goldengate如何安装和配置
goldengate如何安装和配置要安装goldengate,第一步当然要先下载软件,您可以到/网站上下载相关软件,注意goldengate是在oracle fusion middleware大类下面,它和操作系统版本,数据库版本都有关系,下载时注意别下错版本。
对于源端数据库,要做以下准备,这里以oracle为例,其它数据库请查找相关手册:a.在源端操作系统上,创建GoldenGate系统用户,设置该用户环境变量(如果是oracle数据库的话,ORACLE_SID,ORACLE_HOME等等),也可以采用oracle 安装用户运行GoldenGate。
建议采用oracle的安装用户安装运行GoldenGate,无需建立新用户,否则还得给新用户授一堆权限,具体请参考安装手册。
b.在数据库中创建GoldenGate数据库用户,名称无所谓,这里以goldengate 为例,用户至少应该有connect,resource,select any dictionary,select any table的权限,当然如果能给dba,一切就都覆盖了:CREATE USER goldengate IDENTIFIED BY goldengate;GRANT dba TO goldengate;c.检查源端数据库是否为归档模式,若为非归档模式,建议将其改为归档模式,其实在非归档模式下也能运行,但以防万一,还是配置归档保险:SQL> alter database archivelog;(需要在数据库mount状态下执行);SQL>archive log list;d.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效:SQL〉ALTER SYSTEM ARCHIVE LOG CURRENT;在目标数据库上,也需要建立一个goldengate用户,或者利用现有用户也行,该用户应该至少有connect,resource,select any table,select any dictionary以及对应同步表的insert/update/delete权限。
GoldenGate安装部署及解决方案
GoldenGate安装部署及解决方案目录GoldenGate安装部署及解决方案.................................错误!未定义书签。
1、GoldenGate 简介........................................错误!未定义书签。
2、文档约定和说明.........................................错误!未定义书签。
3、GoldenGate软件安装....................................错误!未定义书签。
GoldenGate软件安装包下载............................错误!未定义书签。
Windows下安装.......................................错误!未定义书签。
Linux和Unix下安装..................................错误!未定义书签。
4、GoldenGate同步基本配置................................错误!未定义书签。
oracle之间同步和GoldenGate基础.....................错误!未定义书签。
oracle与db2同步....................................错误!未定义书签。
oracle与sybase同步.................................错误!未定义书签。
5、GoldenGate同步方案....................................错误!未定义书签。
使用GoldenGate初始化加载............................错误!未定义书签。
一对多数据同步(广播复制)...........................错误!未定义书签。
goldengate 安装 详细命令
源端与目标端前言之解压缩文件包unzip Oracle_GoldenGate_V11.1.1.1.0_for_Oracle_10g_on_Linux_x86.zipmkdir oggmv fbo_ggs_Linux_x64_ora10g_32bit.tar ogg/tar zxf fbo_ggs_Linux_x64_ora10g_32bit.tar -C /oracle/goldengate0、增加环境变量export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport GGATE=/oracle/goldengate1、开启附加日志alter database add supplemental log data;select supplemental_log_data_min from v$database;2、为goldengate创建用户、表空间并授权create tablespace tbs_gguser datafile '/data0/u02/oradata/ora10g/jtuser1/gguser.dbf' size 1000m autoextend on;create user ogg identified by ufsoft default tablespace tbs_gguser temporary tablespace TEMP quota unlimited on tbs_gguser;grant connect,resource to ogg;grant create session,alter session to ogg;grant select any dictionary,select any table to ogg;grant alter any table to ogg;grant flashback any table to ogg;grant execute on dbms_flashback to ogg;grant insert any table to ogg;grant delete any table to ogg;grant update any table to ogg;++++++++++++++++++++++++++++++++++3、开启强制日志模式(为支持DDL复制)alter database force logging;alter system set recyclebin=off scope=both;[root@vm2 oracle]# chown oracle.oinstall /oracle/goldengate/ -R [oracle@vm2 ~]$ cd /oracle/goldengate/[oracle@vm2 goldengate]$ sqlplus / as sysdbaSQL> @marker_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………SQL> @ddl_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………Enter mode of installation:INITIALSETUP …………………………………………………………..Enter yes or no:yes…………………………..SQL> @role_setup………………………………Enter GoldenGate schema name:ogg ………………………………………………………SQL>grant GGS_GGSUSER_ROLE to ogg;SQL> @ddl_enableTrigger altered.4、源端配置goldengate4.1、安装goldengate#Su – oracle$cd /oracle/goldengate>./ggsci> CREATE SUBDIRSGGSCI (vm1) 2> exit至此,goldengate安装完成基于DDL的同步配置源端4.2、配置管理进程与抽取进程./ggsciGGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr //编辑管理进程#文件内容如下PORT 7809#保存退出#启动管理进程GGSCI (vm1) 3> start mgrGGSCI (vm1) 4> edit params GLOBALS#文件内容GGSCHEMA ogg#保存退出GGSCI (vm1) 7> add extract eini_1,tranlog,begin now //添加组名为eini_1的抽取进程,即刻为新增日志添加到抽取进程GGSCI (vm1) 11> add rmttrail /oracle/goldengate/dirdat/ma,megabytes 100,extract eini_1 //add rmttrail <trail name> extract <group name即上面创建的eini_1>GGSCI (vm1) 12> edit params eini_1 //编辑抽取进程EXTRACT EINI_1dynamicresolutionSETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)USERID ogg PASSWORD ufsoftRMTHOST 172.16.1.201,MGRPORT 7809 //目标数据库地址和端口TRANLOGOPTIONS EXCLUDEUSER oggRMTTRAIL /oracle/goldengate/dirdat/ma //目标端数据库的trail文件位置DDL INCLUDE ALLtable scott.*; //以scott用户下的表做测试目标端5、配置管理进程与抽取进程./ggsciGGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr //编辑管理进程#文件内容如下PORT 7809PURGEOLDEXTRACTS /dirdat,USECHECKPOINTS#保存退出#启动管理进程GGSCI (vm1) 3> start mgrGGSCI (vm1) 4> edit params GLOBALS#文件内容GGSCHEMA ogg#保存退出GGSCI (vm2) 7> add checkpointtable ogg.checkpoint //添加ogg用户下的检查点表GGSCI (vm2) 10> add replicat rini_1,exttrail /oracle/goldengate/dirdat/ma,beginnow,checkpointtable ogg.checkpoint //添加名称为rini_1的应用进程,检查点表名称为ogg.checkpoint,即刻生效GGSCI (vm2) 11> edit params rini_16、测试验证6.1、源端与目标端SQL> conn / as sysdbaSQL> alter user scott account unlock;SQL> conn scott/tigerERROR:ORA-28001: the password has expiredChanging password for scottNew password:Retype new password:Password changedConnected.6.2、源端SQL> conn scott/123456SQL> create table tbs_test(id number primary key,name varchar2(50));Table created.SQL> insert into tbs_test values (1,'lugeng');1 row created.beginfor i in 2000002..2002000 loopinsert into tbs_test values(i,'ge');commit;end loop;end;SQL> commit;Commit complete.6.3、目标端SQL> conn scott/123456Connected.SQL> desc tbs_test;Name Null? Type----------------------------------------- -------- ----------------------------ID NOT NULL NUMBER NAME VARCHAR2(50)SQL> select * from tbs_test;ID NAME---------- --------------------------------------------------1 lugeng基于PUMP的DDL同步配置源端GGSCI (vm1) 1> dblogin userid ogg,password ufsoftGGSCI (vm1) 2> edit params mgr#文件内容port 7809#保存退出GGSCI (vm1) 5> edit params eini_1#文件内容EXTRACT EINI_1dynamicresolutionSETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)USERID ogg PASSWORD ufsoftRMTHOST 172.16.1.201,MGRPORT 7809TRANLOGOPTIONS EXCLUDEUSER oggexttrail /oracle/goldengate/dirdat/laDDL INCLUDE ALLtable scott.*;#保存退出GGSCI (vm1) 8> add extract eini_1,tranlog,begin 2011-11-02 17:03GGSCI (vm1) 9> add exttrail /oracle/goldengate/dirdat/la,extract eini_1GGSCI (vm1) 10> edit params pump_so#文件内容extract pump_sodynamicresolutionUSERID ogg PASSWORD ufsoftrmthost 172.16.1.201,mgrport 7809,compressrmttrail /oracle/goldengate/dirdat/matable scott.*;#保存退出GGSCI (vm1) 11> add extract pump_so,exttrailsource /oracle/goldengate/dirdat/laGGSCI (vm1) 12> add rmttrail /oracle/goldengate/dirdat/ma,extract pump_so目标端GGSCI (vm2) 1> dblogin userid ogg,password ufsoftGGSCI (vm2) 2> edit params mgr#文件内容port 7809PURGEOLDEXTRACTS /dirdat,USECHECKPOINTS#保存退出GGSCI (vm2) 5> edit params GLOBALSGGSCHEMA oggGGSCI (vm2) 6> add checkpointtable ogg.checkpointGGSCI (vm2) 7> add replicat rini_1,exttrail /oracle/goldengate/dirdat/ma,begin now,checkpointtable ogg.checkpointGGSCI (vm2) 9> edit params rini_1#文件内容REPLICAT RINI_1SETENV (NLS_LANG=AMERICAN_AMERICA.UTF8)ASSUMETARGETDEFSUSERID ogg PASSWORD ufsoftDISCARDFILE /oracle/goldengate/dirrpt/RINIaa.dsc,PURGEDDL INCLUDE ALLDDLERROR DEFAULT IGNORE RETRYOP MAXRETRIES 3 RETRYDELAY 5DDLERROR DEFAULT DISCARDDDLERROR DEFAULT IGNORE RETRYOPMAP scott.* , TARGET scott.*;#保存退出create table t (id number primary key,name varchar2(50));。
GoldenGate 10g安装配置操作手册
GoldenGate安装配置GoldenGate支持跨平台的数据实时同步操作:即源和目标可以是不同版本的ORACLE数据库。
GoldenGate需要要在源,目标库机器上都安装,并具是与数据库相匹配的版本:即根据源和目标的ORACLE版本,安装对应的goldenGate。
ogg12的版本是可以兼容11g,12c 版本的数据库,但是10g及以下版本需要找对应的版本,但是最多支持到8i。
GoldenGate是通过读取本地的数据库归档日志,投递给远程,实现同步的。
GoldenGate的日志投递方式有两种:直接投递和数据泵的方式。
原理如下图所示:两种抽取方式的结构示图两种抽取方式的区别:上面的INITIAL LOAD投递方式是直接投递,在源抽取端不缓存捕获队列数据。
而下面的DataPump数据泵方式,会在源库目录下保留抽取数据,在网络服务故障时,能保留未投递的数据不丢失,并在服务正常后能补投数据。
而两种投递方式在接收端在配置上没有区别。
要做双机互备,互为主从,配置两组反向的投递队列就好了。
注:我不推荐做双向同步,在系统故障需要恢复的时候,可能导致数据混乱。
一、操作环境环境二、数据库的准备工作下面的操作,都需要在源和目标数据库上操作。
2.1切换到归档模式SQL> archive log list; 查看归档模式Database log mode No Archive ModeAutomatic archival DisabledArchive destination /soft/u01/app/oracle/product/10.2.0/db_1/dbs/arch Oldest online log sequence 5263Current log sequence 5265如果不是归档模式,需要执行SQL> shutdown immediateSQL> startup mountSQL> alter database archivelog; #修改为归档模式SQL> alter database open;2.2禁用recycle_binSQL> show parameter recyclebin ;禁用recycle binoracle11需要重启才能生效SQL> ALTER SYSTEM SET recyclebin = OFF scope=spfile;对于10g不需要SQL> Alter system set recyclebin=off;2.3处理日志验证未使用并行日志(只针对9i,高级版本无此参数)Sql> show parameter LOG_PARALLELISM。
GoldenGate在Windows平台的配置
ORACLE GoldenGate在Windows平台中单向、双向数据传输配置1、安装GoldenGate环境源数据库平台:64位Windows server2008Oracle11.2.0.1.0目标数据库平台:64位Windows server2008Oracle11.2.0.1.0源数据库:服务器名称:SERVER1,ip:192.168.1.101目标数据库:服务器名称:SERVER3,ip:192.168.1.102源数据库:归档模式,ORACLE_SID:orcl用户:scott goldengate专属用户:ggs01目标数据库:归档模式,ORACLE_SID:orcl用户:scott goldengate专属用户:ggs2、分别在源数据库,目标数据库安装GoldenGate官方文档要求用administrator权限安装(需要系统管理员的权限)双击GoldenGate目录下的ggsci.exeGGSCI(SERVER1)1>CREATE SUBDIRSGGSCI(SERVER1)1>EXIT3、把源数据库的修改数据同步到目标数据库中3.1在源数据库orcl上打开归档日志及其辅助日志Sql>alter database add supplemental log data;SQL>alter system set recyclebin=off;Sql>alter system switch logfile;3.2在源数据库,目标数据库创建GoldenGate GLOBALS参数文件3.2.1在源数据库创建GGSCI>edit params./GLOBALS内容:MGRSERVNAME mgrserver01GGSCHEMA ggs013.2.2源数据库创建Goldengate manager服务C:\ggs>INSTALL ADDSERVICE ADDEVENTS3.2.3在目标数据库创建GGSCI>edit params./GLOBALS内容:MGRSERVNAME mgrserver03checkpointtable ggs.ggs_checkpoint3.2.4目标数据库创建Goldengate manager服务C:\ggs>INSTALL ADDSERVICE ADDEVENTS3.3在源数据库,目标数据库配置mgr,启动manager进程3.3.1配置manager服务的mgr配置文件GGSCI>EDIT PARAMS MGR内容为:PORT80013.3.2启动mgrGGSCI>start MGRGGSCI>info MGR3.3.3同样在目标数据库配置mgr文件3.4在goldengate中用oracle用户登陆数据库GGSCI>dblogin userid scott@orcl,password test--(需要授予scott用户dba 权限)3.5增加需要传输的用户表GGSCI>Add trandata scott.*GGSCI>info trandata scott.*3.6在源数据库配置一个EXTRACT进程及配置其文件3.6.1配置EXTRACT文件GGSCI>edit param ext01内容:extract ext01SETENV(NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK")userid scott@orcl,password testexttrail./dirdat/tt--DDLtable scott.*;3.6.2在GGSCI.exe增加一个EXTRACT进程GGSCI>ADD EXTRACT ext01,TRANLOG,BEGIN NOWGGSCI>ADD EXTTRAIL./dirdat/tt,EXTRACT ext01,MEGABYTES5GGSCI>info rmttrail*3.7配置data pump3.7.1在源数据库端添加一个pump进程GGSCI>edit param epump01内容:extract epump01passthrurmthost192.168.1.103,mgrport8003rmttrail./dirdat/tttable scott.*;3.7.2在源数据库的ggsci中增加extract进程其作用为读取本地trail文件到目标端trail文件GGSCI>ADD EXTRACT epump01,EXTTRAILSOURCE./dirdat/tt添加进程并通过EXTTRAILSOURCE说明本地trail文件存放地。
goldengate安装手册(bigdata-v12.2)
×××公司Oracle Goldengate安装手册目录1Goldengate安装说明 (3)1.1 总体说明 (3)1.2 添加环境变量 (3)1.3 GG软件的安装(源和目标系统均需要安装) (4)1.4 开启源端数据库附加日志 (5)1.5数据库11.2.0.4版本参数修改 (6)1.6 配置GLOBALS (6)1.7 配置定义文件 (6)1.8 建立OGG进程和队列 (6)2数据初始同步 (11)2.1 将源端数据导入之中间库 (11)2.2 将中间库数据导入至Hadoop (11)2.3 目标启动replicat进程并追加增量数据 (11)1 Goldengate安装说明1.1 总体说明Goldengate软件目录的属主为oracle:dba,权限为775;Goldengate目录一般是建立在共享存储上,这样实际上goldengate的软件和相应的文件如参数文件,队列文件等都是在共享存储上的。
这样做的好处是,例如在RAC环境下,如果一台服务区宕机,则可以将$GG_HOME mount到另外一个正常的rac节点上,启动goldengate各个进程就可以了,不需要做任何其他的动作;本次测试过程是部署在gpfs文件系统上。
1.2 添加环境变量在oracle用户下增加环境变量:源端:export GG_HOME=/data/oggoexport PATH=$PATH:$GG_HOMEexport LIBPATH=$GG_HOME:$ORACLE_HOME/lib目标端bigdata:要求必须jdk1.7export GG_HOME=/data/oggtexport PATH=$PATH:$GG_HOMEexportLD_LIBRARY_PA TH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre/lib/amd 64/serverPlatform Environment variableIBM AIX LIBPATHHP-UX SHLIB_PA THSun Solaris LD_LIBRARY_PATHHP Tru64 (OSF/1)LINUX1.3 GG软件的安装(源和目标系统均需要安装)1)使用Oracle用户(如非此用户,请自行取代,下同)通过ftp上传GGS软件到安装目录下并解压缩:unzip fbo_ggs_Linux_x64_shiphome.zip.zip修改参数文件:cd fbo_ggs_Linux_x64_shiphome/Disk1/response执行vi oggcore.rsp修改一下参数:INSTALL_OPTION=ORA11gSOFTWARE_LOCATION=/data/oggoDATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle执行runInstaller开始安装:./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp2)在/goldengate目录下运行GGS命令行控制界面:./ggsci3)在GGS命令行界面下创建子目录:GGSCI> create subdirs1.4 开启源端数据库附加日志1)检查附加日志情况使用以下sql语句检查数据库附加日志的打开状况:SelectSUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DA TA_PK,SUPPLEMENTAL_LOG_DA TA_UI,SUPPLEMENTAL_LOG_DA TA_FK,SUPPLEMENTAL_LOG_DA TA_ALL, FORCE_LOGGING from v$database;2)打开数据库附加日志打开附加日志并切换日志(保证Online redo log和Archive log一致)在mount状态下打开归档日志:Alter database archivelog;alter database add supplemental log data ;或全部打开:alter database add supplemental log data(primary key,unique) columns;alter database force logging;3)创建Goldengate用户create tablespace ogg datafile ‘/data/oradata/orcl/ogg.dbf’ size 1G;create user ogg identified by ogg default tablespace ogg;GRANT execute on DBMS_SQL to ogg;grant EXEMPT ACCESS POLICY to ogg;grant create table to ogg;grant create sequence to ogg;alter user ogg quota unlimited on ogg;GRANT CONNECT TO ogg;GRANT RESOURCE TO ogg;GRANT DBA TO ogg;GRANT CREATE SESSION TO ogg;GRANT ALTER SESSION TO ogg;GRANT SELECT ANY DICTIONARY TO ogg;GRANT SELECT ANY TABLE TO ogg;GRANT FLASHBACK ANY TABLE TO ogg;GRANT ALTER ANY TABLE TO ogg;GRANT ALTER SYSTEM TO ogg;GRANT SELECT on dba_clusters TO ogg;GRANT EXECUTE ON utl_file TO ogg;BEGINDBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(Grantee => 'OGG',privilege_type => 'CAPTURE',grant_select_privileges => TRUE,do_grants => TRUE);END;/4)打开表级附加日志alter table ogg.test add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns;…….1.5 数据库11.2.0.4版本参数修改从数据库11.2.0.4版本开始,需要在源和目标端数据库上同时修改ENABLE_GOLDENGATE_REPLICATION参数:sqlplus / as sysdbaalter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both;1.6 配置GLOBALS编辑GLOBALS:EDIT PARAMS ./GLOBALSGGSCHEMA ogg1.7 配置定义文件./ggsci…….1.8 建立OGG进程和队列(1)MGR参数和进程(源和目标均需要配置)cd $GG_HOME./ggsciggsci>edit param mgr --源端PORT 7809DYNAMICPORTLIST 7840-7914--AUTORESTART EXTRACT *, RETRIES 5, W AITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45ggsci>edit param mgr --目标端PORT 17809DYNAMICPORTLIST 17810-17820--AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45配置完成后,源和目标均启动:ggsci> start mgr(2)源端配置extract和pump进程(根据用户实际环境填写)配置服务器A捕获进程cd $GG_HOME./ggsciggsci>edit param ext_jl具体ext_jl.prm内容如下:EXTRACT ext_jlSETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")USERID ogg, PASSWORD oggDISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100TRANLOGOPTIONS dblogreaderDBOPTIONS ALLOWUNUSEDCOLUMNWARNLONGTRANS 2h,CHECKINTERV AL 3mFETCHOPTIONS NOUSESNAPSHOTTRANLOGOPTIONS CONVERTUCS2CLOBS--ddl include mappedEXTTRAIL ./dirdat/jl--TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2WILDCARDRESOLVE DYNAMICdynamicresolutionGETUPDATEBEFORESNOCOMPRESSUPDATESNOCOMPRESSDELETESgettruncatesTABLE SMODEL_JLJ.*, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));TABLE gg.tcustmer, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));配置传输进程cd $GG_HOME./ggsciggsci>edit param dpe_jl具体dpe_jl.prm内容如下:EXTRACT dpe_jlPASSTHRURMTHOST 10.142.96.16, MGRPORT 17809RMTTRAIL ./dirdat/jlDYNAMICRESOLUTIONGETTRUNCATESTABLE SMODEL_JLJ.*;table gg.tcustmer;增加ext和pump进程以及队列:cd $GG_HOME./ggsciADD EXTRACT ext_jl, TRANLOG, BEGIN NOWADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jlADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200(3)配置hdfs投递进程创建hdfs目录:su – hjpthadoop fs –mkdir /data/hjpt/itf/hqit/oss/jlhadoop fs –ls /data/hjpt/itf/hqit/oss/jlhadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl设置HDFS_HOME环境变量./ggsciggsci>edit param hive_jl具体hive_jl.prm内容如下:REPLICAT hive_jlTARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_jl.props GETUPDATEBEFORESgettruncatesDISCARDFILE ./dirrpt/ hive_jl.dsc, purge REPORTCOUNT EVERY 1 MINUTES, RATE GROUPTRANSOPS 2000MAXTRANSOPS 5000MAP gg.*, TARGET gg.*;MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*;配置hdfs_jl.props内容如下:gg.handlerlist=hdfsgg.handler.hdfs.type=hdfsgg.handler.hdfs.includeTokens=truegg.handler.hdfs.maxFileSize=256mgg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jlgg.handler.hdfs.fileRollInterval=0gg.handler.hdfs.inactivityRollInterval=0gg.handler.hdfs.fileSuffix=.txtgg.handler.hdfs.partitionByTable=truegg.handler.hdfs.rollOnMetadataChange=truegg.handler.hdfs.authType=nonegg.handler.hdfs.format=delimitedtextgg.handler.hdfs.format.includeColumnNames=falsegg.handler.hdfs.mode=tx#gg.handler.hdfs.format.includeOpTimestamp=truegg.handler.hdfs.format.includeCurrentTimestamp=truegg.handler.hdfs.format.insertOpKey=Igg.handler.hdfs.format.updateOpKey=Ugg.handler.hdfs.format.deleteOpKey=Dgg.handler.hdfs.format.truncateOpKey=Tgg.handler.hdfs.format.encoding=UTF-8gg.handler.hdfs.format.fieldDelimiter=CDA TA[\u0001]#gg.handler.hdfs.format.fieldDelimiter='|'gg.handler.hdfs.format.lineDelimiter=CDA TA[\n]gg.handler.hdfs.format.includeTableName=truegg.handler.hdfs.format.keyValueDelimiter=CDATA[=]#gg.handler.hdfs.format.kevValuePairDelimiter=CDATA[,] gg.handler.hdfs.format.pkUpdateHandling=updategg.handler.hdfs.format.nullValueRepresentation=gg.handler.hdfs.format.missingValueRepresentation=CDATA[] gg.handler.hdfs.format.includePosition=false#erexit.timestamp=utcerexit.writers=javawriterjavawriter.stats.display=TRUEjavawriter.stats.full=TRUEgg.log=log4jgg.log.level=INFOgg.report.time=30secgg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop/lib/*javawriter.bootoptions=-Xmx8200m –Xms8192m -Djava.class.path=ggjava/ggjava.jar增加目标端hive投递进程:cd $GG_HOME./ggsciGGSCI> add replicat hive_jl, EXTTRAIL ./dirdat/jl2 数据初始同步在不允许停源端数据库的情况下,需要准备一个临时中间数据库。
Oracle-11G搭建单实例GoldenGate步骤(汇编)
Oracle 11G 搭建单实例GoldenGate步骤1 GoldenGate安装准备在Oracle官网上下载GoldenGate介质,GoldenGate是包含在Fusion Middleware 类目下面,并上传到源数据库和目标数据库主机;2 GoldenGate安装过程注意:此步骤需要在两台主机上操作2.1 创建GoldenGate操作系统用户这里直接使用Oracle用户安装GoldenGate,而不创建新的用户。
2.2 创建GoldenGate安装路径[root@GMDBA ~]# mkdir -p /u01/ggs/11.2.0[root@GMDBA ~]# mv /u01/software/ogg112101_fbo_ggs_Linux_x86_ora11g_32bit.zip /u01/ggs/11.2.0/ [root@GMDBA ~]# chown -R oracle:oinstall /u01/ggs/[root@GMDBA ~]# su - oracle2.3 编辑用户环境变量[oracle@GMDBA ogg]$ vi ~/.bash_profile# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcFi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_SID=GMDBAexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1export PATH=$ORACLE_HOME/bin:/u01/ggs/11.2.0:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/u01/ggs/11.2.0:/libalias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'2.4 安装GoldenGate文件[oracle@GMDBA ~]$ cd /u01/ggs/11.2.0/[oracle@GMDBA 11.2.0]$ unzip ogg112101_fbo_ggs_Linux_x86_ora11g_32bit.zip Archive: ogg112101_fbo_ggs_Linux_x86_ora11g_32bit.zipinflating: fbo_ggs_Linux_x86_ora11g_32bit.tarinflating: OGG_WinUnix_Rel_Notes_11.2.1.0.1.pdfinflating: Oracle GoldenGate 11.2.1.0.1 README.txtinflating: Oracle GoldenGate 11.2.1.0.1 README.doc[oracle@GMDBA 11.2.0]$ tar -xvf fbo_ggs_Linux_x86_ora11g_32bit.tar [oracle@GMDBA 11.2.0]$ cd[oracle@GMDBA ~]$ cd /u01/ggs/11.2.0[oracle@GMDBA 11.2.0]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBO Linux, x86, 32bit (optimized), Oracle 11g on Apr 23 2012 08:09:25Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (GMDBA) 1> create subdirsCreating subdirectories under current directory /u01/ggs/11.2.0Parameter files /u01/ggs/11.2.0/dirprm: already exists Report files /u01/ggs/11.2.0/dirrpt: created Checkpoint files /u01/ggs/11.2.0/dirchk: created Process status files /u01/ggs/11.2.0/dirpcs: createdSQL script files /u01/ggs/11.2.0/dirsql: created Database definitions files /u01/ggs/11.2.0/dirdef: createdExtract data files /u01/ggs/11.2.0/dirdat: created Temporary files /u01/ggs/11.2.0/dirtmp: created Stdout files /u01/ggs/11.2.0/dirout: createdGGSCI (GMDBA) 2>注意:需要进入ogg的安装目录在执行ggsci[oracle@GMDBA ~]$ cd /u01/ogg/11.2.0/[oracle@GMDBA 11.2.0]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBO Linux, x86, 32bit (optimized), Oracle 11g on Apr 23 2012 08:09:25Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved. GGSCI (GMDBA) 1> helpGGSCI Command Summary:Object: Command:SUBDIRS CREATEER INFO, KILL, LAG, SEND, STATUS, START, STATS, STOP EXTRACT ADD, ALTER, CLEANUP, DELETE, INFO, KILL,LAG, REGISTER, SEND, START, STATS, STATUS, STOPUNREGISTEREXTTRAIL ADD, ALTER, DELETE, INFOGGSEVT VIEWMANAGER INFO, SEND, START, STOP, STATUSMARKER INFOPARAMS EDIT, VIEWREPLICAT ADD, ALTER, CLEANUP, DELETE, INFO, KILL, LAG, SEND,START, STATS, STATUS, STOPREPORT VIEWRMTTRAIL ADD, ALTER, DELETE, INFOTRACETABLE ADD, DELETE, INFOTRANDATA ADD, DELETE, INFOSCHEMATRANDATA ADD, DELETE, INFOCHECKPOINTTABLE ADD, DELETE, CLEANUP, INFOCommands without an object:(Database) DBLOGIN, LIST TABLES, ENCRYPT PASSWORD, FLUSH SEQUENCEMININGDBLOGIN(DDL) DUMPDDL(Miscellaneous) FC, HELP, HISTORY, INFO ALL, OBEY, SET EDITOR, SHELL,SHOW, VERSIONS, ! (note: you must type the wordCOMMAND after the !to display the ! help topic.)i.e.: GGSCI (sys1)>help !commandFor help on a specific command, type HELP .Example: HELP ADD REPLICATGGSCI (GMDBA) 2>2.5 配置源数据库2.5.1 开启归档[oracle@GMDBA ~]$ sqlplus / as sysdbaSQL*Plus: Release 11.2.0.3.0 Production on Sun Dec 15 20:16:57 2013 Copyright (c) 1982, 2011, Oracle. All rights reserved.Connected to an idle instance.SQL> startupORACLE instance started.Total System Global Area 422670336 bytesFixed Size 1345380 bytesVariable Size 327157916 bytesDatabase Buffers 88080384 bytesRedo Buffers 6086656 bytesDatabase mounted.Database opened.SQL> show parameter log_archive_destNAME TYPE VALUE ------------------------------------ ----------- ------------------------------log_archive_dest stringlog_archive_dest_1 stringlog_archive_dest_10 stringlog_archive_dest_11 stringlog_archive_dest_12 stringlog_archive_dest_13 stringlog_archive_dest_14 stringlog_archive_dest_15 stringlog_archive_dest_16 stringlog_archive_dest_17 stringlog_archive_dest_18 stringlog_archive_dest_19 stringlog_archive_dest_2 stringlog_archive_dest_20 stringlog_archive_dest_21 stringlog_archive_dest_22 stringlog_archive_dest_23 stringlog_archive_dest_24 stringlog_archive_dest_25 stringlog_archive_dest_26 stringlog_archive_dest_27 stringlog_archive_dest_28 stringlog_archive_dest_29 stringlog_archive_dest_3 stringlog_archive_dest_30 stringlog_archive_dest_31 stringlog_archive_dest_4 stringlog_archive_dest_5 stringlog_archive_dest_6 stringlog_archive_dest_7 stringlog_archive_dest_8 stringlog_archive_dest_9 stringSQL> show parameter db_recoveryNAME TYPE VALUE------------------------------------ ----------- ------------------------------db_recovery_file_dest string /u01/app/oracle/fast_recovery_areadb_recovery_file_dest_size big integer 4977MSQL> shutdown immediateDatabase closed.Database dismounted.ORACLE instance shut down.SQL> startup mountORACLE instance started.Total System Global Area 422670336 bytesFixed Size 1345380 bytesVariable Size 327157916 bytesDatabase Buffers 88080384 bytesRedo Buffers 6086656 bytesDatabase mounted.SQL> alter database archivelog;Database altered.SQL> alter database open;Database altered.2.5.2 打开补充日志SQL> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------NOSQL> alter database add supplemental log data;Database altered.SQL> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------YES2.5.3 创建GoldenGate管理用户SQL> create user ggs identified by ggs default tablespace users temporary tablespace temp;User created.SQL> grant connect,resource to ggs;Grant succeeded.SQL> grant execute on utl_file to ggs;Grant succeeded.SQL> grant select any dictionary,select any table to ggs;Grant succeeded.SQL> grant alter any table to ggs;Grant succeeded.SQL> grant flashback any table to ggs;Grant succeeded.SQL> grant execute on DBMS_FLASHBACK to ggs; Grant succeeded.SQL>2.5.4 添加表级trandata对hr用户下的所有表进行同步[oracle@GMDBA ggs]$ cd 11.2.0/[oracle@GMDBA 11.2.0]$ ./ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBO Linux, x86, 32bit (optimized), Oracle 11g on Apr 23 2012 08:09:25Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (GMDBA) 1> dblogin userid ggs password ggsSuccessfully logged into database.GGSCI (GMDBA) 2> add trandata hr.*Logging of supplemental redo data enabled for table HR.COUNTRIES. Logging of supplemental redo data enabled for table HR.DEPARTMENTS. Logging of supplemental redo data enabled for table HR.EMPLOYEES.Logging of supplemental redo data enabled for table HR.JOBS.Logging of supplemental redo data enabled for table HR.JOB_HISTORY. Logging of supplemental redo data enabled for table HR.LOCATIONS. Logging of supplemental redo data enabled for table HR.REGIONS.GGSCI (GMDBA) 3>2.5.5 配置源端mgr管理进程组GGSCI (GMDBA) 1> edit params mgrport 7500dynamicportlist 7501-7505autorestart extract *,waitminutes 2,retries 5GGSCI (GMDBA) 2> view params mgrport 7500dynamicportlist 7501-7505autorestart extract *,waitminutes 2,retries 5GGSCI (GMDBA) 3> start mgrManager started.GGSCI (GMDBA) 4> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNING2.5.6 配置Extract抽取进程组GGSCI (GMDBA) 6> edit params ext1extract ext1dynamicresolutionuserid ggs,password ggssetenv(ORACLE_SID=GMDBA)exttrail /u01/ggs/11.2.0/dirdat/ettable hr.*;GGSCI (GMDBA) 7> view params ext1extract ext1dynamicresolutionuserid ggs,password ggssetenv(ORACLE_SID=GMDBA)exttrail /u01/ggs/11.2.0/dirdat/ettable hr.*;创建extract进程GGSCI (GMDBA) 8> add extract ext1,tranlog,begin nowEXTRACT added.GGSCI (GMDBA) 9> add exttrail /u01/ggs/11.2.0/dirdat/et,extract EXT1 EXTTRAIL added.GGSCI (GMDBA) 10> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT STOPPED EXT1 00:00:00 00:00:41 GGSCI (GMDBA) 11> start ext1Sending START request to MANAGER ...EXTRACT EXT1 startingGGSCI (GMDBA) 12> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EXT1 00:12:29 00:00:072.5.7 配置pump投递进程组GGSCI (GMDBA) 13> edit params pump1extract pump1dynamicresolutionuserid ggs,password ggsrmthost 192.168.80.30,mgrport 7809,compressrmttrail /u01/ggs/11.2.0/dirdat/pttable hr.*;GGSCI (GMDBA) 14> add extract pump1,exttrailsource /u01/ggs/11.2.0/dirdat/et EXTRACT added.GGSCI (GMDBA) 15>ADD RMTTRAIL /u01/ggs/11.2.0/dirdat/pt, EXTRACT PUMP1 RMTTRAIL added.GGSCI (GMDBA) 16> start pump1Sending START request to MANAGER ...EXTRACT PUMP1 startingGGSCI (GMDBA) 17> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EXT1 00:00:00 00:00:00 EXTRACT RUNNING PUMP1 00:00:00 00:04:072.6 目标端操作2.6.1 目标端用户创建SQL> create user ggs identified by ggs default tablespace users temporary tablespace temp;User created.SQL>grant connect,resource to ggs;Grant succeeded.SQL> grant execute on utl_file to ggs; Grant succeeded.SQL> grant select any table to ggs; Grant succeeded.SQL> grant insert any table to ggs; Grant succeeded.SQL> grant delete any table to ggs; Grant succeeded.SQL> grant update any table to ggs;Grant succeeded.SQL> GRANT ALTER SESSION TO ggs;Grant succeeded.SQL> GRANT SELECT ANY DICTIONARY to ggs;Grant succeeded.2.6.2 添加checkpoint表[oracle@GMDBAGC ogg]$ cd 11.2.0/[oracle@GMDBAGC 11.2.0]$ ./ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBO Linux, x86, 32bit (optimized), Oracle 11g on Apr 23 2012 08:09:25Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (GMDBAGC) 1> edit params ./GLOBALScheckpointtable ggs.checkpointGGSCI (GMDBAGC) 1> dblogin userid ggs password ggsERROR: Unable to connect to database using user ggs. Please check privileges. ORA-00942: table or view does not exist.GGSCI (GMDBAGC) 2> dblogin userid ggs password ggsSuccessfully logged into database.GGSCI (GMDBAGC) 3> add checkpointtable ggs.checkpointSuccessfully created checkpoint table ggs.checkpoint.GGSCI (GMDBAGC) 4>2.6.3 配置mgrGGSCI (GMDBAGC) 1> edit params mgrport 7809dynamicportlist 7800-8000autostart er *autorestart extract *,waitminutes 2,retries 5lagreporthours 1laginfominutes 3lagcriticalminutes 5purgeoldextracts /u01/ggs/11.2.0/dirdat/rt*,usecheckpoints,minkeepdays 3 GGSCI (GMDBAGC) 2> start mgrManager started.GGSCI (GMDBAGC) 3> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNING2.6.4 配置replicatGGSCI (GMDBAGC) 4> edit params replreplicat repluserid ggs,password ggsassumetargetdefsreperror default,discarddiscardfile /u01/ggs/11.2.0/dirrpt/repl.dsc,append,megabytes 50 dynamicresolutionmap hr.*,target hr.*;GGSCI (GMDBAGC) 5> add replicat repl,exttrail /u01/ggs/11.2.0/dirdat/pt REPLICAT added.GGSCI (GMDBAGC) 4> start replSending START request to MANAGER ...REPLICAT REPL startingGGSCI (GMDBAGC) 5> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGREPLICAT RUNNING REPL 00:00:00 00:00:01 3 测试源库SQL> create table test (a int,b int);Table created.SQL> insert into test values(1,1);1 row created.SQL> commit;Commit complete.SQL>目标库SQL> create table test (a int,b int);Table created.SQL>SQL> select * from test; no rows selectedSQL> select * from test;A B---------- ----------1 1 SQL>。
oracle goldengate 使用方法
oracle goldengate 使用方法### Oracle GoldenGate 使用方法Oracle GoldenGate 是一种强大的数据复制和集成解决方案,支持实时数据集成和事务复制,广泛应用于数据迁移、数据同步和容灾恢复等多种场景。
下面将详细介绍Oracle GoldenGate 的使用方法。
#### 一、安装与配置1.**环境准备**:确保所有需要的操作系统补丁已安装,网络配置正确,所需端口开放。
2.**安装GoldenGate**:下载对应的GoldenGate 版本,使用命令行或图形界面安装。
```shell# 示例命令行安装./runInstaller -silent -responseFile <path_to_response_file>```3.**配置Manager**:Manager 是GoldenGate 的核心组件,负责管理整个复制过程。
- 创建必要的目录。
- 配置参数文件`f`,包括端口、跟踪文件位置等。
- 启动Manager。
```shellggsci > start manager```4.**配置Extract 和Pump**:Extract 用于从源数据库捕获数据变更,Pump 用于将数据传输到目标系统。
- 创建Extract 和Pump 的参数文件。
- 使用`add extract` 和`add pump` 命令在Manager 中注册Extract 和Pump。
- 启动Extract 和Pump。
```shellggsci > start extract <extract_name>ggsci > start pump <pump_name>```5.**配置Replicat**:Replicat 用于在目标端应用数据变更。
- 创建Replicat 的参数文件。
- 在Manager 中注册Replicat。
GoldenGate Director 安装及配置文档---精品管理资料
GoldenGate Director安装及配置文档目录1.1概述 (2)1。
2G OLDEN G ATE D IRECTOR概述 (2)1。
3G OLDEN G ATE D IRECTOR的安装 (3)1.3.1部署方案必需条件 (3)1。
3。
1.1 ............................................................................................................ Director服务器安装前提31。
3。
1.2 ............................................................................................................ Director客户端安装前提31。
3。
2安装GoldenGate Director Server (4)1.3。
3安装GoldenGate Director Client (7)1.3.4启动GoldenGate Director Server/Client (7)1。
4G OLDEN G ATE D IRECTOR的配置使用 (8)1.4.1Director Admin (8)1。
4.2基于Web的Director客户端 (11)1。
4。
2.1 ...................................................................................................................... 监控整体运行情况121。
4。
2。
2 ........................................................................................................................... 监控进程状态131.4。
oraclegoldengate安装笔记
oraclegoldengate安装笔记ORACLE GoldenGate安装测试平台:REDHAT LINUX 6DB:ORACLE 10G205一、在源数据库操作系统上新增GoldenGate的用户,需要和oracle数据库用户在一个组:二、在源数据库的操作系统上安装GoldenGate软件三、设置源数据库为归档模式,回收站为off(设置DDL复制需要),并设置为最细log四、在源数据库上创建GoldenGate的账号,并赋权限五、在目的主机DB2上新增GoldenGate的用户,需要和oracle 数据库用户在一个组:十一、配置GGS的manager 1234十二、验证结果十三、问题总结:源数据库不配置SUPPLEMENTAL_LOG_DATA_MIN为YES的话,extract会一直起不来,且为stopped状态sys@RHDB> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------NO[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -42012-05-31 13:33:28 ERROR OGG-00730 Oracle GoldenGate Capture for Oracle, ext1.prm: No minimum supplemental logging is enabled. This may cause extract process to handle key update incorrectly if key column is not in first row piece.2012-05-31 13:33:28 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.开启数据库的最细log模式:sys@RHDB> alter database add supplemental log data;Database altered.sys@RHDB> select SUPPLEMENTAL_LOG_DATA_MIN from v$database;SUPPLEME--------YES-------------------------源数据库配置SUPPLEMENTAL_LOG_DATA_MIN为YES,目的数据库不配的话,extract会一直起不来,且为ABENDED状态GGSCI (RHDB-1) 11> start extract ext1Sending START request to MANAGER ...EXTRACT EXT1 startingGGSCI (RHDB-1) 12> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT STOPPED EXT1 00:00:00 02:15:57GGSCI (RHDB-1) 13> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT ABENDED EXT1 02:16:04 00:00:19[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -10target directories:/home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirtmp.2012-05-31 13:41:24 INFO OGG-01515 Oracle GoldenGate Capture for Oracle, ext1.prm: Positioning to begin time May 31, 2012 11:25:26 AM.2012-05-31 13:41:24 INFO OGG-01516 Oracle GoldenGate Capture for Oracle, ext1.prm: Positioned to Sequence 104, RBA 24428048, SCN 0.0, May 31, 2012 11:25:26 AM.2012-05-31 13:41:24 INFO OGG-00993 Oracle GoldenGate Capture for Oracle, ext1.prm: EXTRACT EXT1 started.2012-05-31 13:41:30 INFO OGG-01226 Oracle GoldenGate Capture for Oracle, ext1.prm: Socket buffer size set to 27985 (flush size 27985).2012-05-31 13:41:30 INFO OGG-01052 Oracle GoldenGate Capture for Oracle, ext1.prm: No recovery is required for target file/home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt0000 00, at RBA 0 (file not opened).2012-05-31 13:41:30 INFO OGG-01478 Oracle GoldenGate Capture for Oracle, ext1.prm: Output file /home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt is using format RELEASE 11.2. 2012-05-31 13:41:30 ERROR OGG-00717 Oracle GoldenGate Capture for Oracle, ext1.prm: Found unsupported in-memory undo record in sequence 104, at RBA 24428048, with SCN 0.1454118 (1454118) ... Minimum supplemental logging must be enabled to prevent data loss. 2012-05-31 13:41:30 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.配置目的数据库的如下后,依然报错sys@RHDB> alter database add supplemental log data;Database altered.[ogg@RHDB-1 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -4 ggserr.log2012-05-31 13:57:32 INFO OGG-01053 Oracle GoldenGate Capture for Oracle, ext1.prm: Recovery completed for target file /home/ogg/fbo_ggs_Linux_x64_ora10g_64bit/dirdat/lt000003, at RBA 1060.2012-05-31 13:57:32 INFO OGG-01057 Oracle GoldenGate Capture for Oracle, ext1.prm: Recovery completed for all targets.2012-05-31 13:57:32 ERROR OGG-00717 Oracle GoldenGate Capture for Oracle, ext1.prm: Found unsupported in-memory undo record in sequence 104, at RBA 24428048, with SCN 0.1454118 (1454118) ... Minimum supplemental logging must be enabled to prevent data loss. 2012-05-31 13:57:32 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, ext1.prm: PROCESS ABENDING.重启配置源端的EXTRACT,不再报错:GGSCI (RHDB-1) 30> alter extract ext1, tranlog, begin now EXTRACT altered.GGSCI (RHDB-1) 31> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT STOPPED EXT1 00:00:00 00:00:03GGSCI (RHDB-1) 32> start EXTRACT ext1Sending START request to MANAGER ...EXTRACT EXT1 startingGGSCI (RHDB-1) 33> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EXT1 00:00:00 00:00:19但在源端删除表时,目的端报错,由于目的端没有这个表,所以如下报错:[ogg@RHDB-2 fbo_ggs_Linux_x64_ora10g_64bit]$ tail -0f ggserr.log2012-05-31 14:15:46 INFO OGG-01407 Oracle GoldenGate Delivery for Oracle, rep1.prm: Setting current schema for DDL operation to [SYS].2012-05-31 14:15:47 ERROR OGG-00519 Oracle GoldenGate Delivery for Oracle, rep1.prm: Fatal error executing DDL replication: error [Error code [942], ORA-00942: table or view does not exist SQL drop table receiver."TESTTAB1" /* GOLDENGATE_DDL_REPLICATION */], no error handler present.2012-05-31 14:15:47 ERROR OGG-01668 Oracle GoldenGate Delivery for Oracle, rep1.prm: PROCESS ABENDING.查看目的端的gg状态,REPLICAT状态变为了ABENDED:GGSCI (RHDB-2) 22> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGREPLICAT ABENDED REP1 00:00:33 00:02:56执行start命令后依然报错:GGSCI (RHDB-2) 23> START REPLICAT REP1Sending START request to MANAGER ...REPLICAT REP1 startingGGSCI (RHDB-2) 24> INFO ALLProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGREPLICAT ABENDED REP1 00:00:00 00:00:02在目的端创建表testtab1后,成功:receiver@RHDB2> create table testtab1 (id number,teststrvarchar2(12));Table created.receiver@RHDB2> select tname from tab;TNAME------------------------------TESTTAB11 row selected.receiver@RHDB2> select * from testtab1;ID TESTSTR---------- ------------1 adljfoiweur1 row selected.GGSCI (RHDB-2) 6> start replicat rep1Sending START request to MANAGER ...REPLICAT REP1 startingGGSCI (RHDB-2) 7> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGREPLICAT RUNNING REP1 00:08:06 00:00:01。
Oracle 11g 安装配置GoldenGate
Oracle 11gR2 RAC和GoldenGate都是Oracle比较热门的产品,经过简单的学习和阅读文档,配置单节点的GoldenGate进行数据的复制相信不是什么太有难度的事情,但是对于利用GoldenGate进行RAC系统到RAC系统的复制,还是有些配置的技巧和策略设置的,前阵子就遇到一个这样一个问题:假设源和目标分别是两节点的RAC系统,如何保证目标部分节点失效的时候replicate会自动切换?其实如果了解GG的工作机制和RAC的资源管理,问题的解决就十分清晰了。
今天就从系统的介绍下11gR2 RAC上OGG (Oracle GoldenGate的简称,下同)的完整配置步骤,并简单谈谈如何解决上面这个场景的问题。
第一阶段:下载OGG(可以参考之前的单节点的复制例子,不再赘述)OGG的下载地址第二阶段:OGG的安装1)登录源端的RAC系统中的任一个节点,并在ACFS上建立一个供OGG使用的共享目录,比如叫/cloudfs/goldengate2)解压OGG的安装包到/cloudfs/goldengate目录3) 设置好OGG工作的环境变量,比如export LIBRARY_PATH=/cloudfs/goldengate:$ORACLE_HOME/lib:$LD_LIBRARY_PATH4)启动ggsci并创建目录,然后进行必要的设置,启动manager$ ggsciGGSCI > create subdirs(optional, support for DDL/Sequence)Create and edit the parameter file for GLOBALS:GGSCI > EDIT PARAMS ./GLOBALSAdd this line to GLOBALS parameter file:GGSCHEMA ggsNOTE: 'ggs' is the example OGG user and will be used in the rest of this document.GGSCI > EDIT PARAMS mgrAdd the following lines to Manager parameter file:PORT 7809AUTOSTART ER *AUTORESTART ER *GGSCI > START mgr5)在目标端重复上面的步骤1-4,注意目录名的使用,我们在目标端使用/mycloudfs/goldengate以示区分。
Goldengate 安装配置文档
GOLDEN GATE配置示例安装1.解压zip文件2.将解压后的文件夹转移到目标文件夹,注意目标文件夹名称中不能包含“空格”。
源端配置数据库及系统配置1.在源端,创建GoldenGate系统用户,建议使用oracle用户。
a.创建GoldenGate数据库用户goldengateCREATE USER goldengate IDENTIFIED BY goldengate default tablespace xxx ;GRANT dba TO goldengate;2.检查源端数据库是否为归档模式,若为非归档模式,将其改为归档模式SQL>archive log list;3.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效:SQL〉alter system archive log current;创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,保存文件。
安装管理进程在DOS命令行下运行INSTALL ADDSERVICE ADDEVENTS配置mgr管理进程参数输入port 7809,保存文件。
7809为默认端口,需要确保该端口未被占用。
其它参数启动mgr进程Manager must be running before you start other GoldenGate processesTo start Manager from GGSCI1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.START MANAGERTo stop Manager1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.STOP MANAGER [!]Where: ! stops Manager without user confirmation.配置ExtractIn the Manager parameter file, use the PURGEOLDEXTRACTS parameter to control the purging of files from the trailTo configure the primary Extract group on the source1.ADD EXTRACT <ext_1>, TRANLOG, BEGIN <time> [, THREADS <n>]2.On the source, use the ADD EXTTRAIL command to create a local trailADD EXTTRAIL <local_trail_1>, EXTRACT <ext>e the EDIT PARAMS command to create a parameter file for the ext_1 Extract group.-- Identify the Extract group:EXTRACT <ext_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the local trail that this Extract writes to:EXTTRAIL <local_trail_1>-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●ADD EXTRACT extsp, TRANLOG,BEGIN now●add exttrail ./dirdat/ex, extract extsp, megabytes 10●edit param exts pEXTRACT extspUSERID xgt,PASSWORD xgtEXTTRAIL ./dirdat/exTABLE xgt.TBLDICT;To configure the data pump on the sourcee the ADD EXTRACT command to create a data pump groupADD EXTRACT <pump_1>, EXTTRAILSOURCE <local_trail_1>, BEGIN <time>e the ADD RMTTRAIL command to specify a remote trail that will be created on the second system in thecascadeADD RMTTRAIL <remote_trail_1>, EXTRACT <pump_1>Use the EXTRACT argument to link the remote trail to the pump_1 data pump group. The linked data pump writes to this trail.e the EDIT PARAMS command to create a parameter file for the pump_1 data pump-- Identify the data pump group:EXTRACT <pump_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the name or IP address of second system in cascade:RMTHOST <target_1>, MGRPORT <portnumber>-- Specify the remote trail on the second system:RMTTRAIL <remote_trail_1>-- Allow mapping, filtering, conversion or pass data through as-is: [PASSTHRU | NOPASSTHRU]-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●add extract extpump,exttrailsource ./dirdat/ex,begin now●ADD RMTTRAIL ./dirdat/sp, EXTRACT extpump,megabytes 10●edit param extpumpEXTRACT extpumpdynamicresolutionUSERID xgt,PASSWORD xgtRMTHOST 192.168.139.128,MGRPORT 7809RMTTRAIL ./dirdat/spnumfiles 300TABLE xgt.TBLDICT;启动ExtractStart extspStart extpump目标端配置创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,CHECKPOINTTABLE target.ggschkpt保存文件。
GoldenGate基本原理、安装过程和基本维护
目录一、GoldenGate介绍 (3)二、GoldenGate安装实施 (5)2.1创建GoldenGate软件安装目录 (5)2.2 GoldenGate的管理用户 (5)2.3安装GoldenGate软件 (6)2.4设置数据库归档模式 (6)2.5打开数据库的附加日志 (7)2.6开启数据库强制日志模式 (7)2.7创建GoldenGate管理用户 (7)2.8编辑GLOBALS参数文件 (8)2.9管理进程MGR参数配置 (8)2.10抽取进程EXTN参数配置 (9)2.11 传输进程DPEN参数配置 (10)2.12建立OGG的DDL对象 (11)2.13 数据初始化 (12)2.14 容灾端管理进程MGR参数配置 (14)2.15编辑GLOBALS参数文件 (15)2.16 容灾端复制进程REPN参数配置 (15)2.17创建复制进程repn (17)2.18启动生产端传输进程和容灾端复制进程 (17)2.19测试场景 (17)三.GoldenGate基本运维命令 (17)四、常见故障排除 (18)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。
GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。
GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。
GoldenGate基本架构Oracle GoldenGate主要由如下组件组成●Extract●Data pump●Trails●Collector●Replicat●ManagerOracle GoldenGate 数据复制过程如下:利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log,然后进行解析,只提取其中数据的变化信息,比如DML操作——增、删、改操作,将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。
GoldenGate Guide
Oracle GoldenGold安装手册2011.12目录1GOLDENGATE简介 (1)1.1G OLDEN G ATE目的 (1)1.2G OLDEN G ATE和同类产品的差异 (1)1.2.1支持异构平台 (1)1.2.2交易的完整性 (1)1.3G OLDEN G ATE产品 (2)2GOLDENGATE技术原理 (2)2.1G OLDEN G ATE架构和原理 (2)2.2G OLDEN G ATE C HECK P OINT (3)2.3P ARAMETERS,P ROCESS G ROUPS (4)2.4G OLDEN G ATE配置过程 (4)3GOLDENGATE环境准备 (5)3.1创建系统用户 (5)3.2源端系统配置 (6)3.3目标端系统配置 (7)3.4安装GOLDENGATE软件 (7)3.5数据库方面的准备 (8)3.5.1在源端数据库中打开归档模式 (8)3.5.2在源端数据库中打开force logging (9)3.5.3在源端数据库中打开supplemental log (9)3.5.4在源端数据库中关闭回收站 (10)3.5.5确保goldengate能够连接到数据库的ASM实例 (10)3.5.6字符集 (11)3.5.7创建goldengate数据库用户 (12)3.5.8UNDO的设置 (13)3.6安装DDL OBJECTS (14)3.6.1执行marker_setup (14)3.6.2执行ddl_setup (15)3.6.3执行role_setup (16)3.6.4将创建的角色授权给goldengate用户 (16)3.6.5启用DDL触发器 (16)3.7安装可选的性能工具 (17)3.7.1安装dbms_shared_pool包 (17)3.7.2ddl_pin (17)4配置GOLDENGATE (18)4.1创建GOLDENGATE工作目录 (18)4.2创建TRAIL文件存放目录 (18)4.3配置MANAGER (18)4.4全局参数设置 (19)4.5配置源端EXTRACT (20)4.6配置目标端REPLICAT (23)4.7ADD TRANDATA (25)5数据初始化(INITIAL DATA LOAD) (27)5.1通过EXPDP/IMPDP来迁移初始数据 (27)5.1.1准备工作 (27)5.1.2在源端和目标端打开MANAGER (27)5.1.3在源端,执行expdp导出数据 (28)5.1.4将初始数据导入到目标数据库 (28)5.1.5在目标端,启动复制进程 (29)5.2通过文件到REPLICA T方式来迁移初始数据 (30)5.2.1准备工作 (30)5.2.2在源端和目标端打开MANAGER (30)5.2.3配置初始化extract (30)5.2.4在目标库中创建表空间、用户及表结构 (31)5.2.5在源端,打开抽取进程 (32)5.2.6在源端,启动initial-load extract (32)5.2.7配置初始化replicat (32)5.2.8在目标端,启动initial-load replicat (33)5.2.9在目标端,启动复制进程 (33)6日常管理和维护 (35)6.1故障切换 (35)6.2一些错误和警告信息 (36)6.2.1错误 (36)6.2.2警告 (37)1GoldenGate简介1.1GoldenGate目的●实时报表●实时BI●无缝升级、迁移●数据集中(EPM,Exadata)1.2GoldenGate和同类产品的差异1.2.1支持异构平台核心架构●支持多数据库平台●规范的跟踪文件(trail file)格式●规范的元数据定义●自动通用数据类型映射数据抓取方法●日志截取(直接文件访问)●数据库内建日志接口(log API)●Intercepts/exits●Vendor-provided access modules针对Oracle的特性●支持RAC,ASM●支持IOT(Index-organized Table)●支持Clustered Table,object Table●支持DDL●ALO(archivelog only)模式●Off-platform capture (LOGSOURCE)●Multi-threaded capture1.2.2交易的完整性交易边界(Transaction boundaries)●在GG跟踪文件中记录●根据提交顺序记录交易●根据record filtering或者trail splits 自动调整Boundaries交易完整性(Transaction integrity)●Checkpointing and recovery are based on transaction boundaries●Original commit sequence is maintained by the delivery process1.3GoldenGate产品For Unix/Linux,Windows●GoldenGate TDM(Transactional Data Management)●GoldenGate Director●GoldenGate Veridata●TDM Integration Edition●TDM Netezza Integration●TDM Greenplum IntegrationFor NonStop2GoldenGate技术原理2.1GoldenGate架构和原理2.2GoldenGate CheckPoint抓取过程中的检查点写入过程中的检查点2.3Parameters, Process GroupsGoldenGate进程的参数文件以ASCII 编码保存。
goldengate_安装配置指南
goldengate_安装配置指南goldengate_安装配置指南2011-09-23 14:56解压安装包(用oracle用户来做,用root会出现权限问题)$tar -xvf xxxx.tar$ls -l --检查全线问题配置环境(两边都要配置)$env --查看环境变量LD_LIBRARY_PATH=/u01/app/oracle/prodcut/10.2.0/db_1/lib是否设置$vi .profile设置验证ggsci命令$./ggsciGGSCI>help --可以查看gg的各种命令新建一些目录GGSCI>create subdirs --不需要指定路径,默认在当前目录下(所以进入ggsci的时候,一定要在gg的当前目录)新建出来的目录有:name Purpose--dirchk Checkpoint files存放检查点(Checkpoint)文件(和Oracle的checkpoint含义不同,如oralce的一个实例失败,从最近一次的checkpoint开始recorver, oracle的一次checkpoint是让dbwrt进程把被修改的数据从数据缓冲区中写入数据文件。
而OGG的checkpoint是OGG捕捉了很多事务日志,哪些被传输了,哪些未被传输。
每隔一段时间,执行一次checkpoint,之前的所有数据都要传送过去。
如果soure or target db断电了,那下次启动的时候,就要支持断点续传,那那个断点位置就是最后一次OGG执行checkpoint的位置)--dirdat GoldenGate trails, 存放Trail与Extract文件--dirdef Data Definition files,过DEFGEN工具生成的源或目标的数据定义文件--dirprm Parameter files, 存放参数文件--dirpcs Process status files, 存放进程状态文件--dirrpt Report files, 存放进程报告文件--dirsql SQL script files,存放SQL脚本文件--dirtmp Temporary files,当事务所需要的内存超过已分配内存时,缺省存储于此5.Configure Oracle Database for Goldengate5.1 Create Goldengate User -- 创建Goldengate用户[oracle@grid_ogg] sqlplus /as sysdbaCreate user ogg for both source system and target system, and grant appropriate privileges--创建源端和目标端的用户,并授予权限Create tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on--gg建议创建一个50M的表空间个gg的用户作为默认表空间Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_gguser--创建一个ogg用户用户grant CONNECT, RESOURCE to ogg; --内部的角色grant CREATE SESSION, ALTER SESSION to ogg; --这两个可以省略,CONNECTION,RESOURCE已经包含了grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg; --可以看所有的数据字典,可以看所有的表的权限grant ALTER ANY TABLE to ogg;grant FLASHBACK ANY TABLE to ogg;grant EXECUTE on DBMS_FLASHBACK to ogg; --执行xxx包的权限--在源端创建两张同步的测试表SQL>conn soctt/tiggerSQL>select * from emp_egg;SQL>seelct * from dept_egg;目标端:建立相同的用户,表空间,权限,并授予测试表的DML 权限Create user ogg for both source system and target system, and grant appropriate privilegesCreate tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_ggusergrant CONNECT, RESOURCE to ogg;grant CREATE SESSION, ALTER SESSION to ogg;grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg;grant CREATE TABLE to ogg;--Create empty test table and grant DML privilege to GG user SQL>connect scott/tiggerSQL>grant INSERT,UPDATE, DELETE on socktt.emp_ogg to oggSQL>grant INSERT,UPDATE,DELETE on socott.dept_ogg to ogg5.2. Enable supplemental log mode(打开附加日志模式) in source system(源数据库是否打开supplemental log)--这里的库级的附加日志区别于表级的附加日志(见trandata的说明)--supplemental log意思是说除了relog以外的一些额外的redolog,也是放在redlog文件中,如要修改一个表,oracle记录更多的一些列的该表的信息记录到redolog中,这些信息对OGG是非常重要的.check supplemental log mode is enabled or not by following querySQL>select SUPPLEMENTAL_LOG_DATA_MIN from v$database;if not, enable itSQL>alter database add supplemental log dataSQL>alter system switch logfile5.3 Enable archive log mode(打开归档日志模式) in source system(在源端打开归档日志模式--必须要做)因为OGG的捕捉进程比oracle的进程级别低,从redo log中捕捉不到的日志,要到archive log中捕捉enable archive log mode[oracle@db_ogg]sqlplus /as sysdbaSQL>alter system set log_archive_dest='/u01/app/oracle/oradata/arch' --要考虑如何定期清理归档日志的内容,否则会占用磁盘SQL>shutdown immediateSQL>startup mountSQL>alter database archivelog --打开/alter database noarchivelog --关闭归档日志SQL>alter database openSQL>archive log list;SQL>select name from v$ARCHIVED_LOG WHERE FIRST_NAME =(SELECT MAX(FIRST_TIME) FROM v$ARCHIVED_LOG)5.4 Enable force logging(强制日志模式) in source system(因为当我们对oracle进行数据操作的时候,有时为了提高效率,会用no logging模式,不产生日志,这样操作更快但是带来的问题是,不再产生redo log日志,这样导致无法做recovery, gg也无法捕捉到日志.所以在gg备份的情况下,配置成强制需要生成redo log的模式(no logging失效)Check force logging mode is enabled or not by following querySQL>SELECT force logging FROM v$databaseif not, enable itSQL>alter database force logging--在源端设置哪些表被加入到TRANDATAEnable transaction data change capture for these two table in source systemGGSCI>DBLOGIN USERID ogg, PASSWORD ogg #dblogin 是OGG里面的一个命令GGSCI>ADD TRANDATA scott.EMP_OGG #ADD TRANDATA是将源端和目标端的两张对应表执行第一次同步(即初始化同步操作)GGSCI>ADD TRANDATA scott.DEPT_OGG #删除表补全日志如果该表没有主键或唯一索引,那么指定唯一标示的字段,否则会用所有的字段来标示,同时其还有字段列数限制GGSCI>ADD TRANDATA OWNER.table_name, nokey, cols(column,column,....)Verify that supplemental logging has been turned on for these tables (验证一下归档日志是否确实被打开)GGSCI>INFO TRANDATA scott.emp* #查看scott用户中以emp开头的表是否打开了trandata设置,是否会执行初始化同步Logging of supplemental redo log data is disabled[未打开](enabled[已打开])for table SCOTT.EMP1附加解释:这里的TRANDATA和5.2的alter database add supplemental log data的区别是只有在库级的附加日志打开的情况下,表级的附加日志才有效果。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Oracle GoldenGate 安装、配置、管理Oracle GoldenGate主要由如下一些组件组成● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话,那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制,该参数允许delay的最大时间是7天。
按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程。
GoldenGate操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS那里分配相应的virtual memory.l GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程。
l 每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量。
所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数。
工作目录每个GoldenGate实例的工作目录(working directories and binaries),大约需要40M的空间,如果你要同一台Server安装多个GoldenGate实例到不同的目录/文件系统下话,那么就需要多倍的空间分配,在考虑空间分配的时候,也需要考虑这个因数。
辅助空间这部分空间主要用于存放GoldenGate Trails,它包含了工作数据。
这部分空间的消耗取决于Trail,依赖于将要处理的数据量。
根据实际的数据库系统的规模,每天产生的日志量的大小,建议这部分空间从1GB-100G不等,可以保存7-10天的GoldenGate队列文件即可。
对于RAC环境对于RAC环境,GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数.否则如果运行在单个node上的话,需要将剩余node中的归档日志通过一定的技术共享出来并加载到GoldenGate运行节点.对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步.因为GoldenGate会比较本地的系统时间和commit的时间戳.所以不能忽略这个设置.否则可能导致数据复制的紊乱.网络要求l Configure the system to use TCP/IP services, including DNSl GoldenGate 使用主机名或者IP地址进行连接,主机名的方式更容易使用l GoldenGate需要无限制的和自由的TCP/IP端口:一个port用于两个GoldenGate的Manager process之间通信(比如Source的Manager process和Target的Manager process)本地GoldenGate进程间通信使用的端口范围:缺省的端口范围从7840开始,或者可以定义一个从7840+256的端口l 建议保存一份分配给GoldenGate的端口使用记录l 配置防火墙允许接受来自GoldenGate端口的请求l 如果可能的话,可以设置FTP端口用于GoldenGate传输数据、参数和来自Source和Target的report.否则的话,需要提供其他的传输方法。
GoldenGate for Oracle1.支持的平台支持的Oracle Database 版本在当前的Oracle GoldenGate 10.4版本中,支持如下Oracle Database版本√Oracle 8i (DML support only)√Oracle 9.1 and 9.2 (DML and DDL support)√Oracle 10.1 and 10.2 (DML and DDL support)√Oracle 11g (DML and DDL support)支持的操作系统平台几乎所有主流的操作系统,GoldenGate都支持√Windows 2000, 2003, XP√Linux√Sun Solaris√HP NonStop√HP-UX√HP TRU64√IBM AIX√IBM z/OS2.操作系统需求内存要求按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程.? GoldenGate是操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate 程序控制的,GoldenGate进程会根据需要从OS那里分配相应的virtual memory.? GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程.? 每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量.所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数.DISK空间需求安装文件从Oracle 官方网站上download下来的GoldenGate 压缩软件包大约是50M,所以在分配磁盘空间前你需要提高考虑到这些额外的资源开销,当然了,安装完毕后,你就可以把这个压缩软件包删除了.工作目录每个GoldenGate实例的工作目录(working directories and binaries),大约需要40M的空间,如果你要同一台Server安装多个GoldenGate实例到不同的目录/文件系统下话,那么就需要多倍的空间分配,在考虑空间分配的时候,也需要考虑这个因数.辅助空间这部分空间主要用于存放GoldenGate Trails,它包含了工作数据。
这部分空间的消耗取决于Trail,依赖于将要处理的数据量。
根据实际的数据库系统的规模,每天产生的日志量的大小,建议这部分空间从1GB-100G不等,可以保存7-10天的GoldenGate队列文件即可.对于RAC环境对于RAC环境,GoldenGate的相关软件和工作目录需要配置在shared disk环境中,从而保证对所有node都是可用的,从任何一个node都可以启动GoldenGate的进程,当其中一个node出现异常时,可以在剩余的node启动而无须修改任何配置参数.否则如果运行在单个node上的话,需要将剩余node中的归档日志通过一定的技术共享出来并加载到GoldenGate运行节点。
对于RAC环境,GoldenGate要求所有node必须保持时钟同步,同时必须保持所有RAC node和运行extract进程的node节点保持时钟同步.因为GoldenGate会比较本地的系统时间和commit的时间戳.所以不能忽略这个设置,否则可能导致数据复制的紊乱。
网络要求? Configure the system to use TCP/IP services, including DNS? GoldenGate 使用主机名或者IP地址进行连接,主机名的方式更容易使用? GoldenGate需要无限制的和自由的TCP/IP端口:一个port用于两个GoldenGate的Manager process之间通信(比如Source的Manager process和Target的Manager process)本地GoldenGate进程间通信使用的端口范围:缺省的端口范围从7840开始,或者可以定义一个从7840+256的端口? 建议保存一份分配给GoldenGate的端口使用记录? 配置防火墙允许接受来自GoldenGate端口的请求? 如果可能的话,可以设置FTP端口用于GoldenGate传输数据、参数和来自Source和Target的report.否则的话,需要提供其他的传输方法.Database user在数据库中创建一个供GoldenGate使用的专用用,GoldenGate的所有进程可以使用这个用户连接到数据库中:⊙Extract (source database)⊙Replicat (target database)⊙Manager (source database, if using DDL support)⊙DEFGEN (source or target database)从系统安全的角度出发,这个GoldenGate用户建议不给任何其他应用使用,仅供GoldenGate使用。
对于Oracle 10g及以后的版本,如果使用了Automatic Storage Management (ASM),GoldenGate的Extract进程需要一个用户来访问ASM实例,但GoldenGate不支持O/S认证的授权方式,所以你可以使用sys或任何其他具有sysdba/sysasm权限的用户来连接到ASM实例.建议保留一份数据库用户的记录这些用户信息需要在GoldenGate参数文件中使用.USERID 是用户名,PASSWORD是口令对于ASM user,可以通过TRANLOGOPTIONS (带有ASMUSER 和 ASMPASSWORD选项)参数来配置。