AIX 系统下GOLDENGATE 安装配置文档
GoldenGate安装配置信息收集
Oracle GoldenGate安装信息收集表为了能够顺利进行GoldenGate复制软件的安装,请按照实际情况填写下列信息:一、客户信息二、源数据库信息源系统*操作系统版本应当包括完整的版本号(包括X86/Itanium/SPARC/PA-RISC, 32-bit/64-bit等),请尽量根据附录中方法获取并返回全部信息。
*数据库检查脚本请见附录,请使用sqlplus执行并返回AllSchemaCheckOracle.out。
目标库信息附录如何获取操作系统版本如何查看AIX版本# oslevel -r5300-03注意:如果是Aix一定要收集xlC和libpthreads版本,方法如下:查看xlC版本:# xlC –qversionOr#lslpp -l | grep -i xlc查看libpthreads版本:os> lslpp -h bos.rte.libpthreadsNote:OGG on AIX 5.3 requires XL C/C++ Runtime v10.1 or later and libpthreads version to be 5.3.0.51 or later如何查看HP-Unix版本# uname -a如何查看Sun Solaris版本# showrev或# cat /etc/release如何查看Linux版本# lsb_release -a或#cat /etc/issue数据库检查脚本请将下列脚本放到生产库上并使用具有dba权限的用户执行:sqlplus <userid>/<pw> @full-DB_CheckOracle.sql脚本内容如下:------------------------------------------------------------------------------------ This script spools the output to a file named schemaCheckOracle.out-- Example of running the script:-- sqlplus <userid>/<pw> @full-DB_CheckOracle.sql--set null "NULL VALUE"set feedback offset heading offset linesize 132set pagesize 9999set echo offset verify offset trimspool oncol table_name for a30col column_name for a30col data_type for a15col object_type for a20col constraint_type_desc for a30spool AllSchemaCheckOracle.outSELECT '------ System Info: 'FROM dual;set heading onselect to_char(sysdate, 'MM-DD-YYYY HH24:MI:SS') "DateTime: " from dual /select banner from v$version/select name, log_mode "LogMode",supplemental_log_data_min "SupLog: Min", supplemental_log_data_pk "PK", supplemental_log_data_ui "UI", force_logging "Forced",supplemental_log_data_fk "FK", supplemental_log_data_all "All",to_char(created, 'MM-DD-YYYY HH24:MI:SS') "Created"from v$database/selectplatform_namefrom v$database/set heading offSELECT '------ Distinct Object Types and their Count By Schema: 'FROM dual;SELECT owner, object_type, count(*) totalFROM all_objectsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')GROUP BY object_type, owner/SELECT '------ Distinct Column Data Types and their Count in the Schema: 'FROM dual;SELECT data_type, count(*) totalFROM all_tab_columnsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')GROUP BY data_type/SELECT '------ Tables that will Fail Add Trandata in the Database 'FROM dual;SELECT distinct(table_name)FROM dba_tab_columnsWHERE owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND column_id > 32AND table_name in(SELECT distinct(table_name)FROM all_tablesWHERE owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')MINUS(SELECT FROM er$ user1,er$ user2,SYS.cdef$ cdef,SYS.con$ con1,SYS.con$ con2,SYS.obj$ obj1,SYS.obj$ obj2WHERE not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND cdef.type# = 2AND con2.owner# = er#(+)AND cdef.robj# = obj2.obj#(+)AND cdef.rcon# = con2.con#(+)AND obj1.owner# = er#AND cdef.con# = con1.con#AND cdef.obj# = obj1.obj#UNIONSELECT idx.table_nameFROM all_indexes idxWHERE idx.owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND idx.uniqueness = 'UNIQUE'))/SELECT '------ Tables With No Primary Key or Unique Index by Schema: 'FROM dual;SELECT owner, table_nameFROM all_tablesWHERE owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')MINUS(SELECT , FROM er$ user1,er$ user2,SYS.cdef$ cdef,SYS.con$ con1,SYS.con$ con2,SYS.obj$ obj1,SYS.obj$ obj2WHERE not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND cdef.type# = 2AND con2.owner# = er#(+)AND cdef.robj# = obj2.obj#(+)AND cdef.rcon# = con2.con#(+)AND obj1.owner# = er#AND cdef.con# = con1.con#AND cdef.obj# = obj1.obj#UNIONSELECT distinct(owner), idx.table_nameFROM all_indexes idxWHERE idx.owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND idx.uniqueness = 'UNIQUE')/SELECT '------ Tables With No Primary Key or Unique Index and Column lenght > 256'FROM dual;SELECT owner, table_nameFROM all_tab_columnsWHERE owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')group by owner, table_nameHA VING sum(data_length) > 256000MINUS(SELECT , FROM er$ user1,er$ user2,SYS.cdef$ cdef,SYS.con$ con1,SYS.con$ con2,SYS.obj$ obj1,SYS.obj$ obj2WHERE not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND cdef.type# = 2AND con2.owner# = er#(+)AND cdef.robj# = obj2.obj#(+)AND cdef.rcon# = con2.con#(+)AND obj1.owner# = er#AND cdef.con# = con1.con#AND cdef.obj# = obj1.obj#UNIONSELECT idx.owner, idx.table_nameFROM all_indexes idxWHERE idx.owner not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS','ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND idx.uniqueness = 'UNIQUE')/SELECT '------ Tables Defined with Rowsize > 512k in all Schemas 'FROM dual;SELECT owner, table_name, sum(data_length) row_length_over_512kFROM all_tab_columnsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')GROUP BY owner, table_nameHA VING sum(data_length) > 512000/SELECT '------ Tables With CLOB, BLOB, LONG, NCLOB or LONG RAW Columns in ALL Schemas 'FROM dual;SELECT OWNER, TABLE_NAME, COLUMN_NAME, DA TA_TYPEFROM all_tab_columnsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND data_type in ('CLOB', 'BLOB', 'LONG', 'LONG RAW', 'NCLOB')/SELECT '------ Tables With Columns of UNSUPPORTED Datatypes in ALL Schemas 'FROM dual;SELECT OWNER, TABLE_NAME, COLUMN_NAME, DA TA_TYPEFROM all_tab_columnsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND (data_type in ('BFILE', 'TIMEZONE_REGION', 'BINARY_INTEGER', 'PLS_INTEGER', 'UROWID', 'URITYPE', 'MLSLABEL', 'TIMEZONE_ABBR', 'ANYDATA', 'ANYDATASET')or data_type like 'INTERV AL%')/SELECT '------ Cluster, or Object Tables - ALL UNSUPPORTED - in ALL Schemas 'FROM dual;SELECT OWNER, TABLE_NAME, CLUSTER_NAME, TABLE_TYPEFROM all_all_tablesWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND (cluster_name is NOT NULL or TABLE_TYPE is NOT NULL)/Select 'All tables that have compression enabled (which we do not support): 'from dual;select owner, table_namefrom DBA_TABLESwhere COMPRESSION = 'ENABLED'/SELECT '------ IOT - in ALL Schemas 'FROM dual;SELECT OWNER, TABLE_NAME, IOT_TYPE, TABLE_TYPEFROM all_all_tablesWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')AND (IOT_TYPE is not null or TABLE_TYPE is NOT NULL)/SELECT '------ Types of Constraints on the Tables in ALL Schemas 'FROM dual;SELECT DECODE(constraint_type,'P','PRIMARY KEY','U','UNIQUE', 'C', 'CHECK', 'R','REFERENTIAL') constraint_type_desc, count(*) totalFROM all_constraintsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')GROUP BY constraint_type/SELECT '------ Cascading Deletes on the Tables in ALL Schemas 'FROM dual;SELECT table_name, constraint_nameFROM all_constraintsWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')and constraint_type = 'R' and delete_rule = 'CASCADE'/SELECT '------ Tables Defined with Triggers in ALL Schema: 'FROM dual;SELECT table_name, COUNT(*) trigger_countFROM all_triggersWHERE OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')GROUP BY table_name/SELECT '------ Performance issues - Reverse Key Indexes Defined in ALL Schema: 'FROM dual;col Owner format a10col TABLE_OWNER format a10col INDEX_TYPE format a12SET Heading onselectOWNER,INDEX_NAME,INDEX_TYPE,TABLE_OWNER,TABLE_NAME,TABLE_TYPE,UNIQUENESS,CLUSTERING_FACTOR,NUM_ROWS,LAST_ANAL YZED,BUFFER_POOLfrom dba_indexeswhere index_type = 'NORMAL/REV'And OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')/SET Heading offSELECT '------ Sequence numbers - Sequences could be a issue for HA configurations 'FROM dual;COLUMN SEQUENCE_OWNER FORMAT a15COLUMN SEQUENCE_NAME FORMAT a30COLUMN INCR FORMA T 999COLUMN CYCLE FORMA T A5COLUMN ORDER FORMA T A5SET Heading onSELECT SEQUENCE_OWNER,SEQUENCE_NAME,MIN_V ALUE,MAX_V ALUE,INCREMENT_BY INCR,CYCLE_FLAG CYCLE,ORDER_FLAG "ORDER",CACHE_SIZE,LAST_NUMBERFROM DBA_SEQUENCESWHERE SEQUENCE_OWNER not in ('SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS','CTXSYS',' ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS','PUBLIC')/set linesize 132col "Avg Log Size" format 999,999,999select sum (BLOCKS) * max(BLOCK_SIZE)/ count(*)"Avg Log Size" From gV$ARCHIVED_LOG;Prompt Table: Frequency of Log Switches by hour and daySELECT SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),1,5) DAY, TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'00',1,0)),'99') "00",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'01',1,0)),'99') "01",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'02',1,0)),'99') "02",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'03',1,0)),'99') "03",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'04',1,0)),'99') "04",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'05',1,0)),'99') "05",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YYHH:MI:SS'),10,2),'06',1,0)),'99') "06",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'07',1,0)),'99') "07",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'08',1,0)),'99') "08",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'09',1,0)),'99') "09",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'10',1,0)),'99') "10",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'11',1,0)),'99') "11",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'12',1,0)),'99') "12",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'13',1,0)),'99') "13",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'14',1,0)),'99') "14",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'15',1,0)),'99') "15",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'16',1,0)),'99') "16",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'17',1,0)),'99') "17",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'18',1,0)),'99') "18",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'19',1,0)),'99') "19",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'20',1,0)),'99') "20",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'21',1,0)),'99') "21",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'22',1,0)),'99') "22",TO_CHAR(SUM(DECODE(SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),10,2),'23',1,0)),'99') "23"FROM V$LOG_HISTORYGROUP BY SUBSTR(TO_CHAR(FIRST_TIME, 'MM-DD-YY HH:MI:SS'),1,5) ;heading offselect '* This output may be found in file: AllSchemsCheckOracle.out' from dual/spool offundefine b0-- exit。
GoldenGate安装部署及解决方案
GoldenGate安装部署及解决方案目录GoldenGate安装部署及解决方案.................................错误!未定义书签。
1、GoldenGate 简介........................................错误!未定义书签。
2、文档约定和说明.........................................错误!未定义书签。
3、GoldenGate软件安装....................................错误!未定义书签。
GoldenGate软件安装包下载............................错误!未定义书签。
Windows下安装.......................................错误!未定义书签。
Linux和Unix下安装..................................错误!未定义书签。
4、GoldenGate同步基本配置................................错误!未定义书签。
oracle之间同步和GoldenGate基础.....................错误!未定义书签。
oracle与db2同步....................................错误!未定义书签。
oracle与sybase同步.................................错误!未定义书签。
5、GoldenGate同步方案....................................错误!未定义书签。
使用GoldenGate初始化加载............................错误!未定义书签。
一对多数据同步(广播复制)...........................错误!未定义书签。
手把手教你生产安装goldengate的步骤最终版
手把手教你生产安装goldengate的步骤最终版1. 安装配置GoldenGate (3)1.1. 设置环境变量 (3)1.1.1. 官方资料 (3)1.1.2. 源端10.34.1.1机器 (7)1.1.3. 源端10.34.1.1上增加tns解析 (8)1.1.4. 修改10.34.1.1上ASM数据库的参数 (9)1.1.5. 目标端10.34.1.72机器 (10)1.2. 安装GG(只在小机1和分析2上建) (11)1.3. 官方系统要求 (12)1.4. 目标机器manager进程添加到Windows服务 (16)1.5. GoldenGate相关命令 (17)1.6. 数据库预备 (19)1.6.1. 源数据库要开归档 (19)1.6.2. 打开数据库级别的补充日志(supplemental log) (19)1.6.3. 在源端和目标端创建GoldenGate治理用户,并授权 (20)1.6.4. 官方技术要求 (21)1.6.5. 数据库字符集检查 (26)1.7. 在源端添加表级的transdata (26)1.8. 在目标端添加checkpoint表 (28)1.9. 源端配置MGR治理进程组 (29)1.9.1. 配置参数文件 (29)1.9.2. 官方技术要求 (30)1.9.3. 使用GGSCI命令治理MGR (32)1.10. 源端配置Extract抽取进程组 (34)1.10.1. 创建和编辑Extract进程配置文件 (34)1.10.2. Extract相关命令 (35)1.11. 源端配置Pump投递进程组 (39)1.11.1. 创建和编辑Pump进程配置文件 (39)1.11.2. 使用GGSCI命令治理Pump (40)1.12. 目标端创建和配置MGR治理进程组 (41)1.13. 目标端配置Replicat复制进程组 (42)1.14. 验证DML复制结果 (46)1.15. 增加表进行监控的方法 (47)2. 安装配置Director (49)2.1. 安装配置Director Server (49)2.1.1. 安装前预备 (49)2.1.2. 启动weblogic server (53)2.1.3. 登入服务端 (53)2.2. 安装配置Director Client (54)2.2.1. 安装客户端。
Oracle GoldenGate 安装、配置、管理
Oracle GoldenGate 安装、配置、管理Oracle GoldenGate主要由如下一些组件组成● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话,那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制,该参数允许delay的最大时间是7天。
按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程。
GoldenGate操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS那里分配相应的virtual memory.l GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程。
l 每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量。
所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数。
GoldenGate 10g安装配置操作手册
GoldenGate安装配置GoldenGate支持跨平台的数据实时同步操作:即源和目标可以是不同版本的ORACLE数据库。
GoldenGate需要要在源,目标库机器上都安装,并具是与数据库相匹配的版本:即根据源和目标的ORACLE版本,安装对应的goldenGate。
ogg12的版本是可以兼容11g,12c 版本的数据库,但是10g及以下版本需要找对应的版本,但是最多支持到8i。
GoldenGate是通过读取本地的数据库归档日志,投递给远程,实现同步的。
GoldenGate的日志投递方式有两种:直接投递和数据泵的方式。
原理如下图所示:两种抽取方式的结构示图两种抽取方式的区别:上面的INITIAL LOAD投递方式是直接投递,在源抽取端不缓存捕获队列数据。
而下面的DataPump数据泵方式,会在源库目录下保留抽取数据,在网络服务故障时,能保留未投递的数据不丢失,并在服务正常后能补投数据。
而两种投递方式在接收端在配置上没有区别。
要做双机互备,互为主从,配置两组反向的投递队列就好了。
注:我不推荐做双向同步,在系统故障需要恢复的时候,可能导致数据混乱。
一、操作环境环境二、数据库的准备工作下面的操作,都需要在源和目标数据库上操作。
2.1切换到归档模式SQL> archive log list; 查看归档模式Database log mode No Archive ModeAutomatic archival DisabledArchive destination /soft/u01/app/oracle/product/10.2.0/db_1/dbs/arch Oldest online log sequence 5263Current log sequence 5265如果不是归档模式,需要执行SQL> shutdown immediateSQL> startup mountSQL> alter database archivelog; #修改为归档模式SQL> alter database open;2.2禁用recycle_binSQL> show parameter recyclebin ;禁用recycle binoracle11需要重启才能生效SQL> ALTER SYSTEM SET recyclebin = OFF scope=spfile;对于10g不需要SQL> Alter system set recyclebin=off;2.3处理日志验证未使用并行日志(只针对9i,高级版本无此参数)Sql> show parameter LOG_PARALLELISM。
Goldengate配置手册
目录1综述-------------------------------------------------------------------------- 1.1目的 -------------------------------------------------------------------------------------------------1.2原则 -------------------------------------------------------------------------------------------------2OGG设计原则------------------------------------------------------------------ 2.1OGG的版本及下载 -----------------------------------------------------------------------------2.2GoldenGate运行用户--------------------------------------------------------------------------2.3为GoldenGate运行用户配置环境变量 --------------------------------------------------2.4网络设置-------------------------------------------------------------------------------------------2.5GoldenGate安装位置--------------------------------------------------------------------------2.6OGG DDL复制 ------------------------------------------------------------------------------------2.7OGG数据复制链路结构 ----------------------------------------------------------------------2.8OGG进程命名规则 -----------------------------------------------------------------------------2.8.1总述--------------------------------------------------------------------------------------------------------------2.8.2主Extract进程命名规则 ----------------------------------------------------------------------------------2.8.3本地队列命名规则------------------------------------------------------------------------------------------2.8.4Data Pump Extract进程命名规则-----------------------------------------------------------------------2.8.5本地队列命名规则------------------------------------------------------------------------------------------2.8.6Replicat进程命名规则 -------------------------------------------------------------------------------------2.9OGG进程数量设计 -----------------------------------------------------------------------------2.9.1主Extract进程设计-----------------------------------------------------------------------------------------2.9.2Data Pump进程设计 ---------------------------------------------------------------------------------------2.9.3Replicat进程设计--------------------------------------------------------------------------------------------3GG实施步骤------------------------------------------------------------------- 3.1准备 -------------------------------------------------------------------------------------------------3.2创建运行GoldenGate的用户 ---------------------------------------------------------------3.3安装GoldenGate --------------------------------------------------------------------------------3.4添加变量-------------------------------------------------------------------------------------------3.5增加附加日志 ------------------------------------------------------------------------------------3.6OGG源端配置------------------------------------------------------------------------------------3.6.1MGR进程参数模板 -----------------------------------------------------------------------------------------3.6.2主Extract进程参数模板 ----------------------------------------------------------------------------------3.6.3Data Pump传输进程参数模板 --------------------------------------------------------------------------3.7OGG目标端配置 --------------------------------------------------------------------------------3.7.1安装GoldenGate---------------------------------------------------------------------------------------------3.7.2添加变量 -------------------------------------------------------------------------------------------------------3.7.3MGR进程配置------------------------------------------------------------------------------------------------3.7.4数据入库Replicat进程参数模板-----------------------------------------------------------------------3.8启动GoldenGate进程 -------------------------------------------------------------------------3.8.1启动源端管理进程------------------------------------------------------------------------------------------3.8.2启动目标端管理进程---------------------------------------------------------------------------------------3.8.3启动源端抽取进程------------------------------------------------------------------------------------------3.8.4启动源端传输进程------------------------------------------------------------------------------------------3.8.5启动目标端入库进程---------------------------------------------------------------------------------------4GG初始化说明----------------------------------------------------------------- 4.1数据库说明----------------------------------------------------------------------------------------4.2数据库信息----------------------------------------------------------------------------------------4.3Goldengate同步内容 --------------------------------------------------------------------------4.3.1 个税内部Goldengate进程说明 ------------------------------------------------------------------------------4.3.2 与外部其他系统Goldengate进程说明 --------------------------------------------------------------------4.4附件 -------------------------------------------------------------------------------------------------1综述1.1目的本文档作为实施人员在使用Oracle GoldenGate数据复制时作为详细设计的指导性规范。
goldengate安装手册(bigdata-v12.2)
×××公司Oracle Goldengate安装手册目录1Goldengate安装说明 (3)1.1 总体说明 (3)1.2 添加环境变量 (3)1.3 GG软件的安装(源和目标系统均需要安装) (4)1.4 开启源端数据库附加日志 (5)1.5数据库11.2.0.4版本参数修改 (6)1.6 配置GLOBALS (6)1.7 配置定义文件 (6)1.8 建立OGG进程和队列 (6)2数据初始同步 (11)2.1 将源端数据导入之中间库 (11)2.2 将中间库数据导入至Hadoop (11)2.3 目标启动replicat进程并追加增量数据 (11)1 Goldengate安装说明1.1 总体说明Goldengate软件目录的属主为oracle:dba,权限为775;Goldengate目录一般是建立在共享存储上,这样实际上goldengate的软件和相应的文件如参数文件,队列文件等都是在共享存储上的。
这样做的好处是,例如在RAC环境下,如果一台服务区宕机,则可以将$GG_HOME mount到另外一个正常的rac节点上,启动goldengate各个进程就可以了,不需要做任何其他的动作;本次测试过程是部署在gpfs文件系统上。
1.2 添加环境变量在oracle用户下增加环境变量:源端:export GG_HOME=/data/oggoexport PATH=$PATH:$GG_HOMEexport LIBPATH=$GG_HOME:$ORACLE_HOME/lib目标端bigdata:要求必须jdk1.7export GG_HOME=/data/oggtexport PATH=$PATH:$GG_HOMEexportLD_LIBRARY_PA TH=$GG_HOME:/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/jre/lib/amd 64/serverPlatform Environment variableIBM AIX LIBPATHHP-UX SHLIB_PA THSun Solaris LD_LIBRARY_PATHHP Tru64 (OSF/1)LINUX1.3 GG软件的安装(源和目标系统均需要安装)1)使用Oracle用户(如非此用户,请自行取代,下同)通过ftp上传GGS软件到安装目录下并解压缩:unzip fbo_ggs_Linux_x64_shiphome.zip.zip修改参数文件:cd fbo_ggs_Linux_x64_shiphome/Disk1/response执行vi oggcore.rsp修改一下参数:INSTALL_OPTION=ORA11gSOFTWARE_LOCATION=/data/oggoDATABASE_LOCATION=/usr/lib/oracle/u01/app/oracle执行runInstaller开始安装:./runInstaller -silent -nowait -responseFile /data/oggo/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp2)在/goldengate目录下运行GGS命令行控制界面:./ggsci3)在GGS命令行界面下创建子目录:GGSCI> create subdirs1.4 开启源端数据库附加日志1)检查附加日志情况使用以下sql语句检查数据库附加日志的打开状况:SelectSUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DA TA_PK,SUPPLEMENTAL_LOG_DA TA_UI,SUPPLEMENTAL_LOG_DA TA_FK,SUPPLEMENTAL_LOG_DA TA_ALL, FORCE_LOGGING from v$database;2)打开数据库附加日志打开附加日志并切换日志(保证Online redo log和Archive log一致)在mount状态下打开归档日志:Alter database archivelog;alter database add supplemental log data ;或全部打开:alter database add supplemental log data(primary key,unique) columns;alter database force logging;3)创建Goldengate用户create tablespace ogg datafile ‘/data/oradata/orcl/ogg.dbf’ size 1G;create user ogg identified by ogg default tablespace ogg;GRANT execute on DBMS_SQL to ogg;grant EXEMPT ACCESS POLICY to ogg;grant create table to ogg;grant create sequence to ogg;alter user ogg quota unlimited on ogg;GRANT CONNECT TO ogg;GRANT RESOURCE TO ogg;GRANT DBA TO ogg;GRANT CREATE SESSION TO ogg;GRANT ALTER SESSION TO ogg;GRANT SELECT ANY DICTIONARY TO ogg;GRANT SELECT ANY TABLE TO ogg;GRANT FLASHBACK ANY TABLE TO ogg;GRANT ALTER ANY TABLE TO ogg;GRANT ALTER SYSTEM TO ogg;GRANT SELECT on dba_clusters TO ogg;GRANT EXECUTE ON utl_file TO ogg;BEGINDBMS_GOLDENGATE_AUTH.GRANT_ADMIN_PRIVILEGE(Grantee => 'OGG',privilege_type => 'CAPTURE',grant_select_privileges => TRUE,do_grants => TRUE);END;/4)打开表级附加日志alter table ogg.test add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_PORT add supplemental log data(all) columns;alter table SMODEL_JLJ.CM_LINK add supplemental log data(all) columns;…….1.5 数据库11.2.0.4版本参数修改从数据库11.2.0.4版本开始,需要在源和目标端数据库上同时修改ENABLE_GOLDENGATE_REPLICATION参数:sqlplus / as sysdbaalter system set ENABLE_GOLDENGATE_REPLICATION=true scope=both;1.6 配置GLOBALS编辑GLOBALS:EDIT PARAMS ./GLOBALSGGSCHEMA ogg1.7 配置定义文件./ggsci…….1.8 建立OGG进程和队列(1)MGR参数和进程(源和目标均需要配置)cd $GG_HOME./ggsciggsci>edit param mgr --源端PORT 7809DYNAMICPORTLIST 7840-7914--AUTORESTART EXTRACT *, RETRIES 5, W AITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45ggsci>edit param mgr --目标端PORT 17809DYNAMICPORTLIST 17810-17820--AUTORESTART REPLICAT *, RETRIES 5, WAITMINUTES 3, RESETMINUTES 60 PURGEOLDEXTRACTS ./dirdat/*, usecheckpoints, minkeepdays 1LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45配置完成后,源和目标均启动:ggsci> start mgr(2)源端配置extract和pump进程(根据用户实际环境填写)配置服务器A捕获进程cd $GG_HOME./ggsciggsci>edit param ext_jl具体ext_jl.prm内容如下:EXTRACT ext_jlSETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")USERID ogg, PASSWORD oggDISCARDFILE ./dirrpt/ext_jl.dsc, APPEND, MEGABYTES 100TRANLOGOPTIONS dblogreaderDBOPTIONS ALLOWUNUSEDCOLUMNWARNLONGTRANS 2h,CHECKINTERV AL 3mFETCHOPTIONS NOUSESNAPSHOTTRANLOGOPTIONS CONVERTUCS2CLOBS--ddl include mappedEXTTRAIL ./dirdat/jl--TRANLOGOPTIONS ALTARCHIVELOGDEST PRIMARY INSTANCE oraXPAD1 /gg/sarch1, ALTARCHIVELOGDEST INSTANCE oraXPAD2 /gg/sarch2WILDCARDRESOLVE DYNAMICdynamicresolutionGETUPDATEBEFORESNOCOMPRESSUPDATESNOCOMPRESSDELETESgettruncatesTABLE SMODEL_JLJ.*, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));TABLE gg.tcustmer, tokens (INDICATOR=@GETENV('GGHEADER','BEFOREAFTERINDICATOR'));配置传输进程cd $GG_HOME./ggsciggsci>edit param dpe_jl具体dpe_jl.prm内容如下:EXTRACT dpe_jlPASSTHRURMTHOST 10.142.96.16, MGRPORT 17809RMTTRAIL ./dirdat/jlDYNAMICRESOLUTIONGETTRUNCATESTABLE SMODEL_JLJ.*;table gg.tcustmer;增加ext和pump进程以及队列:cd $GG_HOME./ggsciADD EXTRACT ext_jl, TRANLOG, BEGIN NOWADD EXTTRAIL ./dirdat/jl, EXTRACT ext_jl, MEGABYTES 200ADD EXTRACT dpe_jl, EXTTRAILSOURCE ./dirdat/jlADD RMTTRAIL ./dirdat/jl, EXTRACT dpe_jl, MEGABYTES 200(3)配置hdfs投递进程创建hdfs目录:su – hjpthadoop fs –mkdir /data/hjpt/itf/hqit/oss/jlhadoop fs –ls /data/hjpt/itf/hqit/oss/jlhadoop fs -chmod -R +w /data/hjpt/itf/hqit/oss/oss/jl设置HDFS_HOME环境变量./ggsciggsci>edit param hive_jl具体hive_jl.prm内容如下:REPLICAT hive_jlTARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs_jl.props GETUPDATEBEFORESgettruncatesDISCARDFILE ./dirrpt/ hive_jl.dsc, purge REPORTCOUNT EVERY 1 MINUTES, RATE GROUPTRANSOPS 2000MAXTRANSOPS 5000MAP gg.*, TARGET gg.*;MAP SMODEL_JLJ.*, TARGET SMODEL_JLJ.*;配置hdfs_jl.props内容如下:gg.handlerlist=hdfsgg.handler.hdfs.type=hdfsgg.handler.hdfs.includeTokens=truegg.handler.hdfs.maxFileSize=256mgg.handler.hdfs.rootFilePath=/data/hjpt/itf/hqit/oss/jlgg.handler.hdfs.fileRollInterval=0gg.handler.hdfs.inactivityRollInterval=0gg.handler.hdfs.fileSuffix=.txtgg.handler.hdfs.partitionByTable=truegg.handler.hdfs.rollOnMetadataChange=truegg.handler.hdfs.authType=nonegg.handler.hdfs.format=delimitedtextgg.handler.hdfs.format.includeColumnNames=falsegg.handler.hdfs.mode=tx#gg.handler.hdfs.format.includeOpTimestamp=truegg.handler.hdfs.format.includeCurrentTimestamp=truegg.handler.hdfs.format.insertOpKey=Igg.handler.hdfs.format.updateOpKey=Ugg.handler.hdfs.format.deleteOpKey=Dgg.handler.hdfs.format.truncateOpKey=Tgg.handler.hdfs.format.encoding=UTF-8gg.handler.hdfs.format.fieldDelimiter=CDA TA[\u0001]#gg.handler.hdfs.format.fieldDelimiter='|'gg.handler.hdfs.format.lineDelimiter=CDA TA[\n]gg.handler.hdfs.format.includeTableName=truegg.handler.hdfs.format.keyValueDelimiter=CDATA[=]#gg.handler.hdfs.format.kevValuePairDelimiter=CDATA[,] gg.handler.hdfs.format.pkUpdateHandling=updategg.handler.hdfs.format.nullValueRepresentation=gg.handler.hdfs.format.missingValueRepresentation=CDATA[] gg.handler.hdfs.format.includePosition=false#erexit.timestamp=utcerexit.writers=javawriterjavawriter.stats.display=TRUEjavawriter.stats.full=TRUEgg.log=log4jgg.log.level=INFOgg.report.time=30secgg.classpath=/etc/hadoop/conf.empty:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/lib/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop/lib/*javawriter.bootoptions=-Xmx8200m –Xms8192m -Djava.class.path=ggjava/ggjava.jar增加目标端hive投递进程:cd $GG_HOME./ggsciGGSCI> add replicat hive_jl, EXTTRAIL ./dirdat/jl2 数据初始同步在不允许停源端数据库的情况下,需要准备一个临时中间数据库。
AIX系统上oracle和weblogic安装
第一章AIX系统上安装oracle数据库一、AIX系统下的环境准备1、首先建立orajdls用户在命令行窗口输入:#smit user执行后弹出用户管理的图形界面,选择第一项:ADD a User在用户增加界面中填写基本信息User name:orajdlsAdministrative user:truePrimary GROUP:dbaGROUP SET:dbaAdministrative Groups:dbaROLES:ManageBasicUsers其它选项默认即可,填好后点击OK按钮,就会创建该用户。
用户创建好后会在/home/下建立一个以用户名命名的文件夹,用户的环境变量文件(.profile)就在这个文件夹下。
要修改用户的信息,命令行输入:#smit user ,选择第三项:Chang/Show Characteristics Of a User,然后更改Home directory为/jdlsetax ,系统就会在/jdlsetax下生成.Profile文件。
2、建立dba组在命令行窗口输入:#smit group选择第二项:Add a Group在Group增加界面中,user list中输入orajdls,administrator list中输入orajdls,填好后点击OK按钮,就会创建该用户组。
注:如果数据库服务器上已经存在dba组,安装时我们不用再建立,所以只要命令行输入:#smit group,选择第三项:Chang/Show Characteristics Of a group,然后在dba组中把orajdls用户加进去就行了。
3、建立逻辑卷为orajdls用户建立一个逻辑卷jdlsetax,oracle数据文件都将存放到这个逻辑卷中。
在命令行窗口输入:#smitty lv选择第二项:ADD a Logical Volume在list列表里选择逻辑卷组的名称,rootvg是默认的根卷组,也可以自己建逻辑卷组Logical volume NAME:jdlsetaxVolume group name:rootvgNumber of Logical Partitions:80//这里80代表逻辑块的个数,一个块是512M,所以80个块实际就是分配40G空间Logical volume names:hdisk0Logical volume TYPE:jfs2//jfs2是大文件系统,最大可支持1TG的文件长度其它的选项默认即可,填好后点击OK按钮,就会成生jdlsetax逻辑卷。
AIX系统安装,配置手册(个人)
目录AIX系统的安装 (1)AIX系统安装后要做的事 (4)系统参数配置 (9)HA安装及配置 (11)IBM C 4.3 For AIX的安装 (26)AIX上为rootvg做镜像 (31)解除镜像 (33)关闭和打开dtlogin(CDE图形界面) (35)镜像盘mksysb恢复到单个磁盘 (37)mksysb磁带备份 (37)磁带恢复备份 (37)AIX上克隆rootvg的操作方法 (37)AIX系统补丁下载网站 (40)AIX系统的安装安装介质与方式AIX操作系统的安装可以:1)通过Tape安装。
需要16M RAM。
PCI总线的RS/6000系列小型机不支持该方式。
2)通过CD-ROM安装。
需要有8M RAM.3)通过网络安装。
这需要使用AIX Network Install Manager (NIM)来实现。
系统支持通过Token Ring 、FDDI、ethernet的安装。
4)预先安装(Preinstall).在购买时选择“预装操作系统”。
AIX操作系统的安装方式(Installation Method)有以下四种:完全覆盖安装:操作系统被安装在rootvg的第一块硬盘上,这将覆盖原系统中所有的系统保留目录。
保留安装:这种安装方式可以保留操作系统的版本不变,同时保留 rootvg上的用户数据,但将覆盖/usr 、/tmp、/var 和/ 目录。
用户还可以利用/etc/preserve.list指定系统安装时需要保留的文件系统。
默认的需保留的文件系统为/etc/filesystem 中所列。
升级安装:这种安装方式用于操作系统的升级,这将覆盖/tmp目录。
这是系统默认的安装方式。
备份带安装:恢复用mksysb命令生成的安装带中/image.data中指定的文件系统,这种安装方式用于系统(rootvg)的复制。
BOS(Base Operating System)安装? 打开主机电源。
? 连接好系统终端,把第一张安装介质(磁带、光碟)插入驱动器。
AIX系统goldengate快速实施指南
AIX环境goldengate快速实施指南安装goldengateAIX5.3下安装goldengate需求,确保以下两个包的版本达到要求:XL C/C++ Runtime v10.1 or laterlibpthreads version 5.3.0.51 or later1、设置oracle用户的LIBPATH环境变量$vi .profileLIBPATH=/goldengate:$ORACLE_HOME/libexport LIBPATH$. ~/.profile2、创建goldengate目录mkdir /goldengate3、在goldengate目录里解压goldengate安装包tar xvf ggs.tarchown -R oracle:dba /goldengate4、队列空间规划:队列文件系统大小=〔日均归档日志量×1/3×允许数据复制中断恢复天数〕5、创建goldengate的相关目录$cd /goldengate$./ggsciggsci>create subdirs调整源端数据库1、开启supplemental logsql> alter database add supplemental log data;sql> alter system switch logfile;2、在数据库中增加goldengate所需要的用户和表空间,并授予DBA权限sql> create tablespace sgcc datafile 'SGCC_SJRZ' size 100M reuse; SQL> create user SGCC_SJRZ identified by SGCC_SJRZ Default tablespace sgcc;SQL> grant dba to SGCC_SJRZ;3、为schema增加tranlogggsci>dblogin userid SGCC_SJRZ, password SGCC_SJRZggsci>add trandata <schema>.*配置源端mgr进程ggsci> edit param mgrport 7839DYNAMICPORTLIST 7840-7914AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 7 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3 LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 45ggsci> start mgr配置源端extract进程1、增加相关的extract进程ggsci> add extract extoa,tranlog,begin nowggsci> add extract extob,tranlog,begin nowggsci> add extract extoc,tranlog,begin nowggsci> add extract extod,tranlog,begin nowggsci> add extract extoe,tranlog,begin nowggsci> add extract extof,tranlog,begin nowggsci> add extract extog,tranlog,begin nowggsci> add extract extoh,tranlog,begin now2、给extract进程关联相应的队列文件ggsci> add exttrail ./dirdat/oa, extract extoa, megabytes 200 ggsci> add exttrail ./dirdat/ob, extract extob, megabytes 200 ggsci> add exttrail ./dirdat/oc, extract extoc, megabytes 200 ggsci> add exttrail ./dirdat/od, extract extod, megabytes 200 ggsci> add exttrail ./dirdat/oe, extract extoe, megabytes 200 ggsci> add exttrail ./dirdat/of, extract extof, megabytes 200 ggsci> add exttrail ./dirdat/og, extract extog, megabytes 200 ggsci> add exttrail ./dirdat/oh, extract extoh, megabytes 2003、编辑extract配置参数ggsci> edit param extoaEXTRACT extoauserid SGCC_SJRZ,password SGCC_SJRZGETTRUNCATESREPORTCOUNT EVERY 1 MINUTES, RATEDBOPTIONS ALLOWUNUSEDCOLUMNDISCARDFILE ./dirrpt/extoa.dsc,APPEND,MEGABYTES 1000 WARNLONGTRANS 2h,CHECKINTERVAL 3mEXTTRAIL ./dirdat/oaTRANLOGOPTIONS CONVERTUCS2CLOBSDYNAMICRESOLUTIONtable <schema>.<table>;table <schema>.<table>;table <schema>.<table>;......4、启动extract抽取进程ggsci>start ext*配置源端datapump进程1、增加datapump进程ggsci>add extract dpeoa,exttrailsource ./dirdat/oaggsci>add extract dpeob,exttrailsource ./dirdat/obggsci>add extract dpeoc,exttrailsource ./dirdat/ocggsci>add extract dpeod,exttrailsource ./dirdat/odggsci>add extract dpeoe,exttrailsource ./dirdat/oeggsci>add extract dpeof,exttrailsource ./dirdat/ofggsci>add extract dpeog,exttrailsource ./dirdat/ogggsci>add extract dpeoh,exttrailsource ./dirdat/oh2、给datapump进程分配相应的队列文件ggsci>add rmttrail ./dirdat/oa,extract dpeoa,megabytes 200 ggsci>add rmttrail ./dirdat/ob,extract dpeob,megabytes 200 ggsci>add rmttrail ./dirdat/oc,extract dpeoc,megabytes 200 ggsci>add rmttrail ./dirdat/od,extract dpeod,megabytes 200 ggsci>add rmttrail ./dirdat/oe,extract dpeoe,megabytes 200 ggsci>add rmttrail ./dirdat/of,extract dpeof,megabytes 200 ggsci>add rmttrail ./dirdat/og,extract dpeog,megabytes 200 ggsci>add rmttrail ./dirdat/oh,extract dpeoh,megabytes 2003、编辑datapump配置文件ggsci>edit param dpeoaEXTRACT dpeoaRMTHOST 10.108.128.14, MGRPORT 7839, compressPASSTHRURMTTRAIL ./dirdat/oaDYNAMICRESOLUTIONtable <schema>.<table>;table <schema>.<table>;table <schema>.<table>;......调整目标端数据库1、在数据库中增加goldengate所需要的用户和表空间,并授予DBA权限sql> create tablespace sgcc datafile 'SGCC_SJRZ' size 100M reuse; SQL> create user SGCC_SJRZ identified by SGCC_SJRZ Default tablespace sgcc;SQL> grant dba to SGCC_SJRZ;配置目标端mgr进程1、配置GLOBALGGSCI>EDIT PARAMS ./GLOBALSCHECKPOINTTABLE sgcc_sjrz.ggschkpt2、增加checkpoint表ggsci>dblogin userid SGCC_SJRZ, password SGCC_SJRZggsci>add checkpointtable sgcc_sjrz.ggschkpt3、修改mgr配置文件ggsci> edit param mgrport 7839DYNAMICPORTLIST 7840-7914AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 7 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3 LAGREPORTHOURS 1LAGINFOMINUTES 30LAGCRITICALMINUTES 454、启动mgr进程ggsci> start mgr源端启动datapump并RMAN备份、传输1、启动数据泵进程ggsci>start dpe*2、记录开始备份的时间点,并执行rman脚本$cat rman.sh#!/usr/bin/shrman target / <<EOFcrosscheck archivelog all;run{CONFIGURE DEVICE TYPE DISK BACKUP TYPE TO COMPRESSED BACKUPSET;allocate channel c1 device type disk maxpiecesize 4G;allocate channel c2 device type disk maxpiecesize 4G;allocate channel c3 device type disk maxpiecesize 4G;allocate channel c4 device type disk maxpiecesize 4G;allocate channel c5 device type disk maxpiecesize 4G;allocate channel c6 device type disk maxpiecesize 4G;allocate channel c7 device type disk maxpiecesize 4G;allocate channel c8 device type disk maxpiecesize 4G;backup database format='/goldengate/rman/db%d_%s_%p';sql'alter system archive log current';backup current controlfile format='/goldengate/rman/con%d_%s_%p';release channel c1;release channel c2;release channel c3;release channel c4;release channel c5;release channel c6;release channel c7;release channel c8;}$nohup ./rman.sh &3、保险起见,手动备份一份控制文件SQL> ALTER DATABASE BACKUP CONTROLFILE TO '/goldengate/rman/control.bak';4、从spfile创建一份pfileSQL> create pfile '/goldengate/rman/pfile.bak' from spfile;5、收集目标端数据库恢复需要的密码文件PWD<ORACLE_SID>.ora6、备份完成后,将以上这些文件和rman备份期间的归档文件传输到目标端服务器执行rman恢复1、在目标机建立相同的目录结构,并正确设置:ORACLE_BASE,ORACLE_HOME,ORACLE_SID环境变量。
上海AIX双机安装OGG详细步骤
AIX双机操作系统安装OGG 11g一、获取基本信息1.AIX操作系统信息控制台输入:uname –a命令:输出信息:AIX jlscdb02 1 6 00F82B6A4C002.数据库信息执行sql语句:select * from v$version;查询结果:Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production根据操作系统信息及ORACLE版本信息,可判断安装什么版本的OGG,如,根据上述信息需安装:AIX 64 位的 ogg软件二、添加环境变量1.查找xxx文件目录切换到ORACLE用户:su – oracle(oracle用户)2.添加环境变量先执行如下命令:AIX控制台输入:vi .profile在打开的.profile文件中添加:LIBPATH=/ogg:$ORACLE_HOME/lib:$ LIBPATHexport LIBPATH其中/ogg 是goldengate的安装目录3.生效环境变量AIX控制台输入:. ./.profile三、检查和更改数据库配置(上海只创建了一个用户)1.以SYS用户登录数据库AIX控制台输入:sqlplus /nologSQLPLUS控制台输入:conn sys/sys密码@实例名 as sysdba 2.设置数据库为归档模式确认数据库是否处于归档模式:SQLPLUS控制台输入:Select log_mode from v$database;如果不是,开启归档模式:SQLPLUS控制台输入:shutdown immediate;SQLPLUS控制台输入:startup mount;SQLPLUS控制台输入:alter database archivelog;SQLPLUS控制台输入:alter database open;注:归档日志文件存放在默认目录下,建议将归档日志目录设置为空间比较大的目录下,可通过如下方式:SQLPLUS控制台输入:alter system set log_archive_dest='目录路径';如果出现错误:ora-02097:无法修改参数,因为指定的值无效ora-16018:无法将LOG_ARCHIVE_DEST与OG_ARCHIVE_DEST_n或DB_RECOVERY_FILE_DEST一起使用通过以下方式解决:SQLPLUS控制台输入:alter system set log_archive_dest='';SQLPLUS控制台输入:alter system set log_archive_dest='目录路径';可通过:SQLPLUS控制台输入:select * from v$archived_log;结果中的“NAME”字段查看目录是否更改成功。
部分GoldenGate安装配置、常用命令与目标初始化
同步延迟
检查网络状况和数据库性能, 确保数据能够实时同步。
日志异常
检查日志文件,查找异常信息 ,并根据异常信息进行相应的
பைடு நூலகம்处理。
03 Goldengate常用命令
数据采集命令
DG_COMMAND
用于执行数据采集命令,如启动数据采集进程、停止数据采 集进程等。
DG_INFO
用于获取数据采集的详细信息,如数据采集状态、数据采集 进度等。
安装Goldengate服务器
按照安装向导的指示,完成Goldengate服务器的安装。
安装Goldengate客户端
在需要使用Goldengate的客户端计算机上安装Goldengate客户端。
配置Goldengate环境变量
设置Goldengate的环境变量,以便在命令行中调用Goldengate命令。
用于获取数据校验的详细信息,如数据校验状态、数据校验结果等。
其他常用命令
DG_CONFIG
用于配置Goldengate的相关参数,如设置数据采集频率、设置数据同步目标等 。
DG_STATUS
用于获取Goldengate的运行状态,如Goldengate的启动状态、运行日志等。
04 Goldengate目标初始化
无法连接到Goldengate目标数据库 。
解决方案
检查目标数据库的配置是否正确, 包括数据库连接字符串、用户名和 密码等。
02 Goldengate配置
数据源配置
数据源类型
支持多种数据源类型,如Oracle、MySQL、SQL Server等。
连接参数
需要提供数据库的地址、端口、用户名和密码等 连接参数。
集群版部署案例
Goldengate 安装配置文档
GOLDEN GATE配置示例安装1.解压zip文件2.将解压后的文件夹转移到目标文件夹,注意目标文件夹名称中不能包含“空格”。
源端配置数据库及系统配置1.在源端,创建GoldenGate系统用户,建议使用oracle用户。
a.创建GoldenGate数据库用户goldengateCREATE USER goldengate IDENTIFIED BY goldengate default tablespace xxx ;GRANT dba TO goldengate;2.检查源端数据库是否为归档模式,若为非归档模式,将其改为归档模式SQL>archive log list;3.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效:SQL〉alter system archive log current;创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,保存文件。
安装管理进程在DOS命令行下运行INSTALL ADDSERVICE ADDEVENTS配置mgr管理进程参数输入port 7809,保存文件。
7809为默认端口,需要确保该端口未被占用。
其它参数启动mgr进程Manager must be running before you start other GoldenGate processesTo start Manager from GGSCI1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.START MANAGERTo stop Manager1. From the GoldenGate directory, run GGSCI.2. In GGSCI, issue the following command.STOP MANAGER [!]Where: ! stops Manager without user confirmation.配置ExtractIn the Manager parameter file, use the PURGEOLDEXTRACTS parameter to control the purging of files from the trailTo configure the primary Extract group on the source1.ADD EXTRACT <ext_1>, TRANLOG, BEGIN <time> [, THREADS <n>]2.On the source, use the ADD EXTTRAIL command to create a local trailADD EXTTRAIL <local_trail_1>, EXTRACT <ext>e the EDIT PARAMS command to create a parameter file for the ext_1 Extract group.-- Identify the Extract group:EXTRACT <ext_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the local trail that this Extract writes to:EXTTRAIL <local_trail_1>-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●ADD EXTRACT extsp, TRANLOG,BEGIN now●add exttrail ./dirdat/ex, extract extsp, megabytes 10●edit param exts pEXTRACT extspUSERID xgt,PASSWORD xgtEXTTRAIL ./dirdat/exTABLE xgt.TBLDICT;To configure the data pump on the sourcee the ADD EXTRACT command to create a data pump groupADD EXTRACT <pump_1>, EXTTRAILSOURCE <local_trail_1>, BEGIN <time>e the ADD RMTTRAIL command to specify a remote trail that will be created on the second system in thecascadeADD RMTTRAIL <remote_trail_1>, EXTRACT <pump_1>Use the EXTRACT argument to link the remote trail to the pump_1 data pump group. The linked data pump writes to this trail.e the EDIT PARAMS command to create a parameter file for the pump_1 data pump-- Identify the data pump group:EXTRACT <pump_1>-- Specify database login information as needed for the database:[SOURCEDB <dsn_1>,][USERID <user>[, PASSWORD <pw>]]-- Specify the name or IP address of second system in cascade:RMTHOST <target_1>, MGRPORT <portnumber>-- Specify the remote trail on the second system:RMTTRAIL <remote_trail_1>-- Allow mapping, filtering, conversion or pass data through as-is: [PASSTHRU | NOPASSTHRU]-- Specify tables to be captured:TABLE <owner>.<table>;示例命令如下:●add extract extpump,exttrailsource ./dirdat/ex,begin now●ADD RMTTRAIL ./dirdat/sp, EXTRACT extpump,megabytes 10●edit param extpumpEXTRACT extpumpdynamicresolutionUSERID xgt,PASSWORD xgtRMTHOST 192.168.139.128,MGRPORT 7809RMTTRAIL ./dirdat/spnumfiles 300TABLE xgt.TBLDICT;启动ExtractStart extspStart extpump目标端配置创建golden gate所需的子文件夹配置管理进程参数输入MGRSERVNAME $severname,CHECKPOINTTABLE target.ggschkpt保存文件。
AIX安装文档
1.1 安装系统1.1.1AIX基础1、AIX安装AIX可供选择的安装方式有三种:全新覆盖安装(New and Complete Overwrite)这种方法安装系统将会覆盖用户所选择目标盘上的所有数据。
保留安装(Preservation Install)如果用户希望保留rootvg卷组中的用户数据,则可选择这种安装方法。
此时/usr、/tmp、/var和/文件系统中的所有数据都将被覆盖,系统安装完后还须重新配置。
迁移安装(Migration Install)这种方法通常用来做系统升级,使用这种方法安装时,除了tmp以外的所有文件系统的内容都会被保留。
但一些AIX设备驱动的软件必须重新安装。
处于下列情况时,必须使用全新覆盖安装。
①新机器第一次安装操作系统时;②已经安装AIX操作系统,由于某种原因,系统被破坏了,必须重新覆盖原有的操作系统;③当需要重新分配所有硬盘时,由于rootvg(存放操作系统的一组硬盘)也要重新分配,所以必须重新安装操作系统。
注:如果在第2,3种情况下使用全新覆盖安装,建议安装之前备份系统。
2、基本概念物理卷(PV):一个物理卷就是一个单独的硬盘(hdisk0 , hdisk1...)。
卷组(VG):一个卷组由一个或若干个物理卷(硬盘)组成。
逻辑卷(LV):一个卷组可划分若干个逻辑卷。
一个逻辑卷在物理上可能是不连续的,有可能跨越了一个卷组中的多个物理卷。
文件系统(FileSystem):是由若个文件和目录组成的分级树形结构。
文件系统通过一个挂接点(mount point)连接到系统的逻辑卷上。
在AIX中,一个文件系统总是独占一个逻辑卷。
文件系统类型有日志文件系统jfs,网络文件系统nfs,光盘文件系统cdrfs等等。
3 操作系统安装差异在安装5.2操作系统,选择的是中文内核,即初始安装就装成中文。
在安装5.3操作系统,选择安装的是英文,中文是作为附加语言安装进去。
1.1.2 安装系统1、 插上电源线,系统进入启动前自检,等绿灯开始闪烁,可以按电源按钮,开机。
GoldenGate安装配置手册_V1.0
XXXX平台GoldenGate安装配置手册(版本号 1.0)xxxxxxx有限公司二〇一二年八月更改履历版本号修改编号更改时间更改的图表和章节号更改简要描述更改人批准人注:更改人除形成初稿,以后每次修改在未批准确认前均需采用修订的方式进行修改。
1项目背景 (1)2GOLDENGATE简要说明 (1)2.1G OLDEN G ATE技术结构 (1)2.2G OLDEN G ATE拓扑结构 (2)3单机→单机复制配置 (3)3.1环境简介 (3)3.2源端安装G OLDEN G ATE (4)3.3目标端安装G OLDEN G ATE (4)3.4配置源端数据库 (5)3.5配置源端进程组 (6)3.6配置目标数据库 (8)3.7配置目标端进程组 (9)3.8启动进程进行数据同步 (10)4RAC→单机复制配置 (11)4.1环境简介 (11)4.2源端安装OCFS2集群文件系统 (11)4.3源端安装G OLDEN G ATE (12)4.4目标端安装G OLDEN G ATE (13)4.5配置源端数据库 (13)4.6配置源端进程组 (14)4.7配置目标数据库 (15)4.8配置目标端进程组 (16)4.9启动进程进行数据同步 (16)5RAC→单机下的HA配置 (17)5.1节点故障的手工处理方式 (17)5.2G OLDEN G ATE的HA配置 (17)6常见错误及解决方法 (22)6.1OGG-00446 (22)I6.2OGG-01223 (23)6.3OGG-01224 (23)6.4OGG-01031 (23)6.5OGG-01154 (24)II 版权所有20121项目背景2GoldenGate简要说明GoldenGate现在是业内成熟的数据容灾与复制产品,经过多年的发展与完善,现在已经成为业内事实上的标准之一。
GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步。
AIX系统安装、配置文档
一、AIX操作系统的安装与调整AIX 全名为(Advanced Interactive Executive),它是IBM 公司的UNIX操作系统,整个系统的设计从网络、主机硬件系统,到操作系统完全遵守开放系统的原则。
下面对AIX 作以介绍。
RS/6000 采用IBM 的UNIX操作系统-AIX作为其操作系统。
这是一个目前操作系统界最成功,应用领域最广,最开放的第二代的UNIX系统。
它特别适合于做关键数据处理(CRITICAL)。
AIX 包含了许多IBM 大型机传统受欢迎的特征,如系统完整性,系统可管理性和系统可用性。
在 AIX 操作系统上,有许多的数据库和开发工具,用户除了选用已有的应用软件外,还可以根据各自的需要进行开发。
此外,在AIX 之上,有一组功能强,使用方便的系统管理工具。
对于异种平台互存,互操作有很成熟的解决方案。
由于该 UNIX 的先进的内核技术和最好的开放性,因此,虽然RS/6000从宣布到今天只有短短的5 年多的时间,它已在各行各业有了广泛的运用,并在1993和1994年连续二年在MIDRANGE商用 UNIX 领域处于第一位。
RISC SYSTEM/6000的操作系统是AIX ,它是性能卓越的、开放的UNIX,汇集了多年来计算机界在UNIX上的研究成果,以IBM 在计算机体系结构、操作系统方面40多年极其丰富的经验。
最大限度的使用RISC技术,安装了象AIX 这样的具备工业界实力的UNIX操作系统。
它既可连接SAA 体系结构,又能与非IBM 系统的网络相连,因此,可以和多数专业银行现有的系统实现互连,这对今后业务系统拓展将带来极大的灵活性,并降低投资。
AIX 遵循一系列的国际标准:* IEEE POSIX1004.1-1990* X/OPEN 移植指南ISSUE3的基本级(XPG3)* AES/OS REVISION A (OSF/1 LEVEL 2 资格)* FIPS 151-1* AIX的编译器: XLC、C++(可选)、FORTRAN(可选)、PASCAL(可选)、COBOL(可选)* ADA 的编译器已达到XPG3“成员”级的认可。
GoldenGate安装配置文档及概要使用说明
GoldenGate软件安装部署文档此方案为某客户的配置方案,具体参数可以不考虑,请根据自己的实际情况修改。
1GoldenGate部署方案为GoldenGate阵列上为GoldenGate划分27G存储空间,目录为”/export/home/oracle/ggs”以保存7-10天GoldenGate队列文件,保留目标数据库初始化期间的增量数据,在目标数据库初始化完成后,追加增量数据,使主备端数据库数据同步。
2GoldenGate软件安装配置步骤2.1实施前准备a.阵列上为GoldenGate软件划分100G左右的存储空间,并创建文件系统。
也可在现有文件系统中建立一个目录,GoldenGate对于安装目录没有任何限制。
b.源数据库应当处于归档模式,并且建议保留3天以上的归档日志;c.源数据库是RAC环境,GoldenGate可以只运行于单个节点,需要将其它节点归档日志目录通过NFS共享出来,并装载到GoldenGate运行节d.GoldenGate要求RAC各节点之间配置时钟同步,必须为各个节点配置时钟同步服务(如NTP服务)。
e.关于C++编辑器xlc runtime 9.0 version.和Oracle用户的环境变量设置.●setenv PATH <installation directory>:$PATH●setenv <shared libraries variable> <absolute path of installationdirectory>:$<shared libraries variable>◆Sun Solaris LD_LIBRARY_PATHExample LD_LIBRARY_PATH=/lib路径/;export LD_LIBRARY_PATHf.由双方工程师共同确定所需要复制的表以及划分复制通道。
2.2源端数据库及系统配置a.在源端,创建GoldenGate系统用户,设置该用户环境变量,也可以采用oracle用户运行GoldenGate。
goldengate_安装配置指南
goldengate_安装配置指南goldengate_安装配置指南2011-09-23 14:56解压安装包(用oracle用户来做,用root会出现权限问题)$tar -xvf xxxx.tar$ls -l --检查全线问题配置环境(两边都要配置)$env --查看环境变量LD_LIBRARY_PATH=/u01/app/oracle/prodcut/10.2.0/db_1/lib是否设置$vi .profile设置验证ggsci命令$./ggsciGGSCI>help --可以查看gg的各种命令新建一些目录GGSCI>create subdirs --不需要指定路径,默认在当前目录下(所以进入ggsci的时候,一定要在gg的当前目录)新建出来的目录有:name Purpose--dirchk Checkpoint files存放检查点(Checkpoint)文件(和Oracle的checkpoint含义不同,如oralce的一个实例失败,从最近一次的checkpoint开始recorver, oracle的一次checkpoint是让dbwrt进程把被修改的数据从数据缓冲区中写入数据文件。
而OGG的checkpoint是OGG捕捉了很多事务日志,哪些被传输了,哪些未被传输。
每隔一段时间,执行一次checkpoint,之前的所有数据都要传送过去。
如果soure or target db断电了,那下次启动的时候,就要支持断点续传,那那个断点位置就是最后一次OGG执行checkpoint的位置)--dirdat GoldenGate trails, 存放Trail与Extract文件--dirdef Data Definition files,过DEFGEN工具生成的源或目标的数据定义文件--dirprm Parameter files, 存放参数文件--dirpcs Process status files, 存放进程状态文件--dirrpt Report files, 存放进程报告文件--dirsql SQL script files,存放SQL脚本文件--dirtmp Temporary files,当事务所需要的内存超过已分配内存时,缺省存储于此5.Configure Oracle Database for Goldengate5.1 Create Goldengate User -- 创建Goldengate用户[oracle@grid_ogg] sqlplus /as sysdbaCreate user ogg for both source system and target system, and grant appropriate privileges--创建源端和目标端的用户,并授予权限Create tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on--gg建议创建一个50M的表空间个gg的用户作为默认表空间Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_gguser--创建一个ogg用户用户grant CONNECT, RESOURCE to ogg; --内部的角色grant CREATE SESSION, ALTER SESSION to ogg; --这两个可以省略,CONNECTION,RESOURCE已经包含了grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg; --可以看所有的数据字典,可以看所有的表的权限grant ALTER ANY TABLE to ogg;grant FLASHBACK ANY TABLE to ogg;grant EXECUTE on DBMS_FLASHBACK to ogg; --执行xxx包的权限--在源端创建两张同步的测试表SQL>conn soctt/tiggerSQL>select * from emp_egg;SQL>seelct * from dept_egg;目标端:建立相同的用户,表空间,权限,并授予测试表的DML 权限Create user ogg for both source system and target system, and grant appropriate privilegesCreate tablespace tbs_gguser datafile '/u01/app/oracle/oradata/gguser.dbf' size 50m autoextend on Create usr ogg identified by ogg default tablespace tbs_ggusre temporary tablespace temp quota unlimited on tbs_ggusergrant CONNECT, RESOURCE to ogg;grant CREATE SESSION, ALTER SESSION to ogg;grant SELECT ANY DICTIONARY, SELECT ANY TABLE to ogg;grant CREATE TABLE to ogg;--Create empty test table and grant DML privilege to GG user SQL>connect scott/tiggerSQL>grant INSERT,UPDATE, DELETE on socktt.emp_ogg to oggSQL>grant INSERT,UPDATE,DELETE on socott.dept_ogg to ogg5.2. Enable supplemental log mode(打开附加日志模式) in source system(源数据库是否打开supplemental log)--这里的库级的附加日志区别于表级的附加日志(见trandata的说明)--supplemental log意思是说除了relog以外的一些额外的redolog,也是放在redlog文件中,如要修改一个表,oracle记录更多的一些列的该表的信息记录到redolog中,这些信息对OGG是非常重要的.check supplemental log mode is enabled or not by following querySQL>select SUPPLEMENTAL_LOG_DATA_MIN from v$database;if not, enable itSQL>alter database add supplemental log dataSQL>alter system switch logfile5.3 Enable archive log mode(打开归档日志模式) in source system(在源端打开归档日志模式--必须要做)因为OGG的捕捉进程比oracle的进程级别低,从redo log中捕捉不到的日志,要到archive log中捕捉enable archive log mode[oracle@db_ogg]sqlplus /as sysdbaSQL>alter system set log_archive_dest='/u01/app/oracle/oradata/arch' --要考虑如何定期清理归档日志的内容,否则会占用磁盘SQL>shutdown immediateSQL>startup mountSQL>alter database archivelog --打开/alter database noarchivelog --关闭归档日志SQL>alter database openSQL>archive log list;SQL>select name from v$ARCHIVED_LOG WHERE FIRST_NAME =(SELECT MAX(FIRST_TIME) FROM v$ARCHIVED_LOG)5.4 Enable force logging(强制日志模式) in source system(因为当我们对oracle进行数据操作的时候,有时为了提高效率,会用no logging模式,不产生日志,这样操作更快但是带来的问题是,不再产生redo log日志,这样导致无法做recovery, gg也无法捕捉到日志.所以在gg备份的情况下,配置成强制需要生成redo log的模式(no logging失效)Check force logging mode is enabled or not by following querySQL>SELECT force logging FROM v$databaseif not, enable itSQL>alter database force logging--在源端设置哪些表被加入到TRANDATAEnable transaction data change capture for these two table in source systemGGSCI>DBLOGIN USERID ogg, PASSWORD ogg #dblogin 是OGG里面的一个命令GGSCI>ADD TRANDATA scott.EMP_OGG #ADD TRANDATA是将源端和目标端的两张对应表执行第一次同步(即初始化同步操作)GGSCI>ADD TRANDATA scott.DEPT_OGG #删除表补全日志如果该表没有主键或唯一索引,那么指定唯一标示的字段,否则会用所有的字段来标示,同时其还有字段列数限制GGSCI>ADD TRANDATA OWNER.table_name, nokey, cols(column,column,....)Verify that supplemental logging has been turned on for these tables (验证一下归档日志是否确实被打开)GGSCI>INFO TRANDATA scott.emp* #查看scott用户中以emp开头的表是否打开了trandata设置,是否会执行初始化同步Logging of supplemental redo log data is disabled[未打开](enabled[已打开])for table SCOTT.EMP1附加解释:这里的TRANDATA和5.2的alter database add supplemental log data的区别是只有在库级的附加日志打开的情况下,表级的附加日志才有效果。
goldengate学习系列2–相关配置说明
goldengate学习系列2–相关配置说明goldengate 学习系列2–相关配置说明本站文章除注明转载外,均为本站原创:转载自love wife & love life —Roger 提供oracle技术支持服务本文链接地址:goldengate 学习系列2–相关配置说明前面进行了goldengate的单向复制(支持ddl),但是很多内容对于新手来说,比较模糊。
这一篇重点描述,在进行goldengate安装时,我们需要进行什么准备工作?1. 创建user---你可以直接使用oracle用户---你可以单独创建用户来管理goldengate,例如:groupadd ggsuseradd -g oinstall -G dba ggs (必须加到oracle的组里面,因为需要调用$ORACLE_HOME/lib) passwd ggs2. 配置用户环境变量---配置SID、数据库字符集、LIB Pathexport ORACLE_SID=10gasmexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexportORACLE_HOME=/home/oracle/oracle/product/10.2.0 exportLD_LIBRARY_PATH=/home/ggs/ggs_home:$ORACLE_HOME/lib3. DDL配置支持---goldengate ddl支持保护那些操作+++++ For ogg 10.4:DDL support for sequences (CREATE, ALTER, DROP, RENAME) is compatible with, butnot required for, replicating sequence values. To replicate justsequence values,you do not need to install the GoldenGate DDL support environment. You can justuse the SEQUENCE parameter.我们可以看到是支持sequence的create,alter、drop以及rename等ddl操作。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
AIX 系统下GOLDENGATE 安装配置文档- 省直项目数据同步政府事业部(东北大区辽宁研发中心)周健摘要Oracle GoldenGate软件是一种基于log(日志)的结构化数据复制软件,它通过解析源数据库在线log或归档log获得数据的增、删、改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。
Oracle GoldenGate 软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒级的实时复制,其复制过程简图如下:背景省直养老保险项目需要开办网上申报系统实现单位网上办事,提高业务经办效率,提升社保中心的整体服务水平。
数据同步接口设计社保网上服务系统由两个数据库组成:社保系统生产库,网上申报中间库。
1、社保系统生产库:此库是社保系统生产数据库,存放着所有社保系统核心业务数据。
2、网上申报系统中间库:此库是网上申报业务实用的核心数据库,它存放着单位结算的查询信息、业务办理的审批信息、以及企业的申报信息。
社保网上查询使用的数据从中间库取得,通过数据增量同步完成社保生产库和中间库之间的数据交换。
数据同步的周期根据系统的时间运转状况决定,设计中暂定一天进行一次核对,时间定在晚间20:00点开始,涉及的同步数据用户包括社保生产库的养老用户(lnsi_yl)和医疗用户(lnsi_yb)。
数据同步目的网上申报系统需要提供接口能够让参保人员通过英特网进行查询参保和缴费信息以及能够申报自己的缴费基数等信息,这样就必然使外部人员可以访问数据库,从而产生数据库被攻击和篡改的风险。
我们通过数据同步就可以实现外网数据和内网数据分离,让外部人员只能访问中间库,不会影响到生产库的安全。
为了能够实现中间库和生产库的实时同步,我们就需要采用goldengate软件来帮助我们来解决。
根据用户的需求,我们需要配置养老和医疗两个生产库用户的同步脚本。
具体配置方案如下:1配置前期准备工作:创建goldengate用户并授权SQL> Create user goldengate identified by goldengate default tablesplce lnsztemporary temp profile default;SQL> GRANT CONNECT TO goldengate;SQL>GRANT ALTER ANY TABLE TO goldengate;SQL>GRANT ALTER SESSION TO goldengate;SQL>GRANT CREATE SESSION TO goldengate;SQL>GRANT FLASHBACK ANY TABLE TO goldengate;SQL>GRANT SELECT ANY DICTIONARY TO goldengate;SQL>GRANT SELECT ANY TABLE TO goldengate;SQL>GRANT RESOURCE TO goldengate;SQL>GRANT DBA TO goldengate;2同步配置任务添加2.1检查是否开启归档检查语句:select log_mode from v$database;--修改数据库为归档模式脚本:SQL>shutdown immediateSQL>startup mountSQL>alter database archivelog;2.2检查数据库属性#检查数据库属性脚本SELECT SUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI, FORCE_LOGGINGFROM V$DATABASE;#如果SUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI返回的结果为"NO",则进行如下操作ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (UNIQUE INDEX) COLUMNS;ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (FOREIGN KEY) COLUMNS;alter database force logging;2.3添加supplemental logadd trandata lnsi_yl.*;add trandata lnsi_yb.*;检查是否添加上supplemental logselect * from DBA_LOG_GROUP_COLUMNS where owner='USERNAME' AND table_name='TABLE_NAME';表字段超过32个字段且无主键的表需要特殊处理alter table gzsimis.dsdzmx_log add supplemental log group dsdzmx_log_20(fsrq,dzrq,tbsdm,sbbm,dwmc,tzny,ssrq,xzdm,zmdm,je,hdfs,jffs,jfzt,jflx,d zbz,bz,flag,ysje,err,bae203) ALWAYS;2.4建立goldengate工作目录将goldengate安装程序拷贝到服务器上去进行解压缩。
然后通过命令行进入安装目录后执行ggsic命令登录goldengate控制面板。
执行GGSCI>create subdirs检查目录的版本及权限查看版本uname –a查看ggs所属的用户权限ls –ls如果权限不是oracle权限,需要改变,可以执行chown -R oracle:oinstall ggs 把ggs的权限变过来建立goldengate 检查点GGSCI> dblogin userid goldengate, password goldengateGGSCI> add checkpointtable checkpointtable2.5编写源端抽取配置文件EXTRACT emp_extsetenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)setenv (ORACLE_SID=orcl)USERID lnsi_yl ,PASSWORD 111transmemory directory (/oracle/ggs/dirtmp,10G,2G),ram2G,transram 500Mwarnlongtrans 12h, checkintervals 10mEXTTRAIL /u01/oracle/ggs/dirdat/ettable lnsi_yl.*;table lnsi_yb.*;2.6编写源端投递配置文件extract emp_pumpsetenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)setenv (ORACLE_SID=orcl)userid lnsi_yl, password 111passthruDISCARDROLLOVER AT 05:30REPORTROLLOVER AT 05:30REPORTCOUNT EVERY 1 HOURS, RATErmthost 10.56.50.11, mgrport 7810rmttrail /ggs/dirrepdata/etDISCARDFILE /ggs/dirrpt/lnsz_dp.dsc, append, megabytes 1024table lnsi_yl.*,--TOKENS(committime=@GETENV("GGHEADER","COMMITTIMESTAMP"));table lnsi_yb.*;2.7添加源端抽取进程add ext emp_ext, tranlog, begin now,threads 22.8创建本地trailadd exttrail /u01/oracle/ggs/dirdat/et, ext emp_ext2.9启动抽取进程ggsci> start emp_ext2.10创建传输进程Add extract emp_pump, EXTTRAILSOURCE /u01/oracle/ggs/dirdat/et2.11创建远端trailadd rmttrail /ggs/dirrepdata/et,extract emp_pump,MEGABYTES 2002.12启动投递进程Start emp_pump2.13检查是否存在长事物(存在长事务必须停掉事务或是等待该事务执行完毕再取scn)select username, SID||','|| SERIAL# ses, T.STATUS , START_TIME, , USED_UBLK, USED_URECfrom v$transaction T, v$session S, v$rollstat RS, v$rollname RNwhere T.SES_ADDR = S.SADDR and T.XIDUSN = N and N = Norder by USED_UBLK;2.14取系统scn供初始化用Select to_char(dbms_flashback.get_system_change_number,'99999999999999999999') from dual;2.15进行初始化工作, 禁用目的库job,trigger和外键级联约束#disable triggers by ownerselect 'alter trigger '||owner||'.'||trigger_name||' disable;'from dba_triggerswhere status='ENABLED' and owner in ('LNWBDT','LNWBDT_SP');#disable jobsselect 'exec dbms_job.broken('||job||',true);'from dba_jobswhere broken='N' and schema_user in ('LNWBDT','LNWBDT_SP');select owner,job_name,STATEfrom dba_scheduler_jobswhere STATE<>'DISABLED' and owner in ('LNWBDT','LNWBDT_SP');#disable foreign key by ownerSELECT 'alter table '||owner||'.'||table_name||' disable constraint'||constraint_name||';'from dba_constraintswhere constraint_type='R' and status='ENABLED' and owner in('LNWBDT','LNWBDT_SP');2.16编写目的端复制配置文件replicat emp_repsetenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)setenv (ORACLE_SID=orcl)userid lnwbdt, password lnwbdt--SQLEXEC "ALTER SESSION SET COMMIT_WRITE = NOWAIT"--assumetargetdefsREPERROR DEFAULT,DISCARDdiscardfile /ggs/repjl.dsc,append,megabytes 1024DISCARDROLLOVER AT 05:30REPORTROLLOVER AT 05:30REPORTCOUNT EVERY 1 HOURS, RATEHANDLECOLLISIONSDYNAMICRESOLUTIONSOURCEDEFS /ggs/dirdef/lnsi_yl.defmap lnsi_yl.ab01_table, target lnwbdt.ab01, colmap ( usedefaults , xtbz=1 );2.17创建复制进程Add replicat emp_rep, exttrail /ggs/dirrepdata/et, CHECKPOINTTABLEgoldengate.checkpointtable,begin now总结至此,GOLDENGATE的配置全部结束。