ogg 实验 上传百度文库
ogg discardfile参数
ogg discardfile参数OGG（Oracle GoldenGate）是一个数据复制和集成软件，用于实现数据在不同数据库之间的实时或批量复制。
在OGG中，DISCARDFILE参数是一个关键配置，用于处理在数据复制过程中出现的错误数据。
DISCARDFILE参数定义了当数据复制过程中出现错误时，错误数据应该被写入哪个文件。
这个文件通常被称为“丢弃文件”或“错误文件”。
当OGG进程在复制数据时遇到错误（例如，目标表不存在、数据类型不匹配等），它可以选择停止复制并报告错误，或者继续复制但将错误数据写入DISCARDFILE指定的文件。
DISCARDFILE参数通常与REPERROR参数一起使用。
REPERROR参数定义了当复制过程中出现错误时OGG应该如何响应。
它有两个主要选项：ABEND：当遇到错误时，OGG进程会停止复制并报告错误。
这是默认配置。
DISCARD：当遇到错误时，OGG进程会继续复制，但将错误数据写入DISCARDFILE指定的文件。
当使用DISCARD选项时，DISCARDFILE参数就非常重要了。
你需要指定一个文件路径和文件名，OGG会将错误数据写入这个文件。
这样，你可以在稍后分析这些错误数据，了解复制过程中出现了哪些问题，并采取相应的措施来解决这些问题。
此外，你还可以使用其他与DISCARDFILE相关的参数来进一步控制错误数据的处理。
例如，DISCARDROLLOVER参数允许你定义当DISCARDFILE达到一定大小时自动创建新的丢弃文件。
这有助于避免单个丢弃文件变得过大，从而方便管理和分析错误数据。
总之，DISCARDFILE参数是OGG中处理错误数据的重要工具。
通过合理配置和使用这个参数，你可以有效地管理和分析复制过程中的错误数据，确保数据复制的准确性和可靠性。
ogg单机同步复制操作手册
一、概要信息1.1文档简介1.2机器环境1.2.1源机器信息1.2.2目标机器信息1.3软件环境1.4软件包信息1.5注意事项OGG对数据对象支持有一定的限制，可以通过脚本提前检查--关于数据迁移方式本文档推荐使用数据泵方式进行数据迁移，因此需要提前将目标数据库建好二、OGG搭建环境准备2.1源库操作2.1.1开启归档--归档目录为所有节点共享目录--节点SQL> alter system set log_archive_dest_1='location=/arch' scope=spfile sid='*';System altered.SQL> alter system set recyclebin=off scope=spfile;--For an Oracle 10g source, the system recycle bin must be disabled. For Oracle 11g and later, it can be enabled.System altered.SQL> shutdown immediateOGGSRC:/home/oracle$export ORACLE_SID=oggsrcOGGSRC:/home/oracle$sqlplus / as sysdbaSQL*Plus: Release 11.2.0.1.0 - Production on Mon Sep 19 16:29:11 2016Copyright (c) 1982, 2008, Oracle. All rights reserved.Connected to an idle instance.2.1.2开启附加日志功能和force_logging2.2目标库操作2.2.1开启归档（可不必打开）2.2.2开启参数ENABLE_GOLDENGATE_REPLICATION三、OGG搭建3.1 OGG软件安装--此处只在源库节点xxxx和目标库节点xxxx上操作，其它节点不操作！此处只以xxx为例！3.1.1创建OGG目录3.1.2配置OGG用户环境变量3.1.3安装OGG软件3.2源库OGG配置--配置OGG全部用oracle用户去操作！3.2.1创建OGG应用子目录3.2.2创建OGG用户3.2.3授权OGG用户3.2.4创建GLOBALS文件3.2.5创建Manager配置文件3.2.6创建primary Extract配置文件3.2.7创建data pump配置文件3.2.8为需要抽取数据的schema增加trandata3.2.9配置extract进程3.2.10配置data pump进程3.3目标库OGG配置--配置OGG全部用oracle用户去操作！3.3.1创建OGG应用子目录3.3.2创建OGG用户3.3.3授权OGG用户3.3.4创建GLOBALS配置文件3.3.5创建Manager配置文件3.3.6添加checkpointtable3.3.7创建replicat配置文件3.3.8配置replicat进程3.4测试启动OGG--配置OGG全部用oracle用户去操作！3.4.1目标库启动OGG3.4.2源库启动OGG四、迁移数据4.1数据泵方式4.1.1源库创建数据泵目录4.1.2源库获取数据库当前SCN4.1.3源库基于SCN号导出数据4.1.4目标库创建数据泵目录4.1.5目标库导入数据4.1.6目标库匹配导入导出数据行数五、目标库开启OGG同步5.1禁用目标库触发器5.2禁用目标库约束5.3开启同步5.4测试同步情况六、OGG同步测试6.1 测试环境账号信息注：log日志路径：/u01/ogg/ggserr.log6.2 测试场景6.2.1基本同步功能: 建表、增删改1)原始库建表：create table ahbiusr.throld (id int primary key,name varchar(15) not null); 2）插入数据：insert into ahbiusr.throld values (1,'A');insert into ahbiusr.throld values (2,'B');commit;3）原始库数据：select * from ahbiusr.throld;4）目标库数据查询：select * from ahbiusr.throld;5）原始库修改数据：update ahbiusr.throld set name = 'C';commit;6) 原始库数据查询：select * from ahbiusr.throld;7) 目标库数据查询：select * from ahbiusr.throld;8）原始库删除数据：truncate table ahbiusr.throld;9）原始库数据查询：select * from ahbiusr.throld;10）目标库数据查询：select * from ahbiusr.throld;6.2.2 原始库(one)与目标库(more)表结构不同测试1)原始数据库建表create table ahbiusr.one (ID INTEGER not null, NAME VARCHAR2(15) not null);2)目标数据库建表：create table ahbiusr.more (CID INTEGER not null, CNAME VARCHAR2(15) not null, COMMENTS VARCHAR2(20));3)停止规则组服务：a.在ogg目录下执行如下命令进入GGSCI：./ggscib.输入以下命令停止服务：stop rpmo4)编辑配置文件：c.在ogg目录下执行如下命令进入GGSCI：./ggscid.新增或者编辑规则组：edit params rpmo //rpmo是规则组名字e.添加如下内容：f.添加进程：add rep rpmo,exttrail /u01/ogg/dirdat/rt CHECKPOINTTABLE ogg.ckpttableg.启动服务：start replicat rpmo1)原始数据库插入数据：insert into ahbiusr.one values (1,'A');insert into ahbiusr.one values (2,'B');2)原始数据库查询：select * from ahbiusr.one;3)目标数据库查询：select * from ahbiusr.more;6.2.3 原始库(more)与目标库(one)表结构不同测试1)原始数据库建表create table ahbiusr.more1 (CID INTEGER not null, CNAME VARCHAR2(15) not null, COMMENTS VARCHAR2(20));2)目标数据库建表：create table ahbiusr.one1(ID INTEGER not null, NAME VARCHAR2(15) not null);3)停止规则组服务：h.在ogg目录下执行如下命令进入GGSCI：./ggscii.输入以下命令停止服务：stop rpmo4)编辑配置文件：j.在ogg目录下执行如下命令进入GGSCI：./ggscik.新增或者编辑规则组：edit params rpmo //rpmo是规则组名字m.启动服务：start replicat rpmo5)原始数据库插入数据：insert into ahbiusr.more1 values (1,'A', 'more');6)原始数据库查询：select * from ahbiusr.more1;7)目标数据库查询：select * from ahbiusr.one1;6.2.4 原始库固定字段固定逻辑同步测试1)如2.2章节操作，配置规则组文档并重启相应服务。
OGG复制软件参数配置规范
OGG复制软件参数配置规范附件2数据库复制软件参数配置规范1、GoldenGate MGR进程配置参数序号配置参数备注1 PORT 7839 必选参数2 USERID ggs, PASSWORDAACAAAAAAAAAAGAIF,ENCRYPTKEY default必选参数，配置建议：要求使⽤密⽂参数,添加需要的配置参数3 DYNAMICPORTLIST7840-7914必选参数，配置建议：⼀个传输进程(datapump)⼀般需要预留5个端⼝，其他监控端⼝另⾏考虑；4 AUTORESTART EXTRACT*,RETRIES 5,WAITMINUTES3可选参数，配置建议：在系统运⾏稳定时，打开该参数；5 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints,minkeepdays 3必选参数--配置建议：根据队列空间⼤⼩适当进⾏调整，建议>=3天6 PURGEDDLHISTORYMINKEEPDAYS 7,MAXKEEPDAYS 10可选参数，开启DDL 配置时需要的参数7 PURGEMARKERHISTORYMINKEEPDAYS 7,MAXKEEPDAYS 10可选参数，开启DML 配置时需要的参数8 LAGREPORTHOURS 1 必选参数，配置建议：统⼀设定为1个⼩时9 LAGINFOMINUTES 30 必选参数，配置建议：统⼀设定为30分钟10 LAGCRITICALMINUTES 45 必选参数，配置建议：统⼀设定为45分钟；2、GoldenGate Extract进程配置参数序号配置参数备注1 EXTRACT extxx必选参数2 setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)必选参数，配置建议：需要根据数据库的字符集设置进⾏配置；3 USERID ggs, PASSWORDAACAAAAAAAAAAGAIF,ENCRYPTKEY default必选参数，配置建议：要求使⽤密⽂参数,添加需要的配置参数4 GETTRUNCATES 可选参数，配置建议：在没有配置DDL时，该参数需要打开;如果配置DDL，FULL DDL SUPPORT模式，可以不必配置。
【OGG】OGG简单配置双向复制(三)
【OGG】OGG简单配置双向复制(三)1.1 B LOG文档结构图1.2 前言部分1.2.1 导读各位技术爱好者，看完本文后，你可以掌握如下的技能，也可以学到一些其它你所不知道的知识，~O(∩_∩)O~：①OGG的双向实时复制功能注意：本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示，比如下边的例子中，thread 1的最大归档日志号为33，thread 2的最大归档日志号为43实现OGG1和OGG2的双向复制功能。
1.3.2 配置OGG1，添加checkpoint表注意：本文OGG1和OGG2互为source和target，因而直接采用OGG1和OGG2来标识两台数据库服务器[oracle@orcltest gg11]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBOLinux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08:32:14Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (orcltest) 1> view params ./GLOBALSGGSCHEMA ggusrGGSCI (orcltest) 2> edit params ./GLOBALSGGSCHEMA ggusrcheckpointtable ggusr.rep_demo_ckpt~~~~。
~~~~~"./GLOBALS" 2L, 51C writtenGGSCI (orcltest) 3> view params ./GLOBALSGGSCHEMA ggusrcheckpointtable ggusr.rep_demo_ckptGGSCI (orcltest) 4>GGSCI (orcltest) 4> dblogin userid ggusr@ogg1,password lhrSuccessfully logged into database.GGSCI (orcltest) 5> add checkpointtable ggusr.rep_demo_ckptSuccessfully created checkpoint table ggusr.rep_demo_ckpt.GGSCI (orcltest) 6> add checkpointtable ggusr.rep_demo_ckptERROR: OCI Error ORA-00955: name is already used by an existing object (status = 955). Creating checkpoint table ggusr.rep_demo_ckpt, SQL <CREATE TABLE ggusr.rep_demo_ckpt ( group_name VARCHAR2(8) NOT NULL, group_key NUMBER(19) NOT NULL, seqno NUMBER(10), rba NUMBER(19) NOT NULL, audit_ts VARCHAR2(29), create_ts DATE NOT NULL, last_update_ts DATE NOT NULL, current_dir VARCHAR2(255) NOT NULL, log_csn VARCHAR2(129), log_xid VARCHAR2(129), log_cmplt_csn VARCHAR2(129), log_cmplt_xids VARCHAR2(2000), version NUMBER(3), PRIMARY KEY (group_name, group_key))>.GGSCI (orcltest) 7>1.3.3 配置OGG2,运行相关的脚本，支持DDL的复制[oracle@rhel6_lhr gg11]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBOLinux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08:32:14Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (rhel6_lhr) 1> view params ./GLOBALScheckpointtable ggusr.rep_demo_ckptGGSCI (rhel6_lhr) 2> edit params ./GLOBALSGGSCI (rhel6_lhr) 3> view params ./GLOBALSGGSCHEMA ggusrcheckpointtable ggusr.rep_demo_ckptGGSCI (rhel6_lhr) 4>[oracle@orcltest ~]$ cd $OGG_HOME[oracle@orcltest gg11]$ sqlplus sys/lhr@ogg2 as sysdbaSQL*Plus: Release 11.2.0.3.0 Production on Wed Jun 10 17:10:45 2015Copyright (c) 1982, 2011, Oracle. All rights reserved.Connected to:Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options SQL> select name,SUPPLEMENTAL_LOG_DATA_MIN, FORCE_LOGGING from v$database; NAME SUPPLEME FOR--------- -------- ---OGG2 NO NOSQL> alter database add supplemental log data ;Database altered.SQL> archive log list;Database log mode Archive ModeAutomatic archival EnabledArchive destination USE_DB_RECOVERY_FILE_DESTOldest online log sequence 7Next log sequence to archive 9Current log sequence 9SQL>SQL> grant execute on utl_file to ggusr;Grant succeeded.SQL> @marker_setup.sqlMarker setup scriptYou will be prompted for the name of a schema for the Oracle GoldenGate database objects.NOTE: The schema must be created prior to running this script.NOTE: Stop all DDL replication before starting this installation.Enter Oracle GoldenGate schema name:ggusrMarker setup table script complete, running verification script...Please enter the name of a schema for the GoldenGate database objects:Setting schema name to GGUSRMARKER TABLE-------------------------------OKMARKER SEQUENCE-------------------------------OKScript complete.SQL> @ddl_setup.sqlOracle GoldenGate DDL Replication setup scriptVerifying that current user has privileges to install DDL Replication...You will be prompted for the name of a schema for the Oracle GoldenGate database objects.NOTE: For an Oracle 10g source, the system recycle bin must be disabled. For Oracle 11g and later, it can be enabled. NOTE: The schema must be created prior to running this script.NOTE: Stop all DDL replication before starting this installation.Enter Oracle GoldenGate schema name:ggusrWorking, please wait ...Spooling to file ddl_setup_spool.txtChecking for sessions that are holding locks on Oracle Golden Gate metadata tables ...Check complete.Using GGUSR as a Oracle GoldenGate schema name.Working, please wait ...DDL replication setup script complete, running verification script...Please enter the name of a schema for the GoldenGate database objects:Setting schema name to GGUSRCLEAR_TRACE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsCREATE_TRACE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsTRACE_PUT_LINE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsINITIAL_SETUP STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDLVERSIONSPECIFIC PACKAGE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDLREPLICATION PACKAGE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDLREPLICATION PACKAGE BODY STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDL IGNORE TABLE-----------------------------------OKDDL IGNORE LOG TABLE-----------------------------------OKDDLAUX PACKAGE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDLAUX PACKAGE BODY STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsSYS.DDLCTXINFO PACKAGE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsSYS.DDLCTXINFO PACKAGE BODY STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDL HISTORY TABLE-----------------------------------OKDDL HISTORY TABLE(1)-----------------------------------OKDDL DUMP TABLES-----------------------------------OKDDL DUMP COLUMNS-----------------------------------OKDDL DUMP LOG GROUPS-----------------------------------OKDDL DUMP PARTITIONS-----------------------------------OKDDL DUMP PRIMARY KEYS-----------------------------------OKDDL SEQUENCE-----------------------------------OKGGS_TEMP_COLS-----------------------------------OKGGS_TEMP_UK-----------------------------------OKDDL TRIGGER CODE STATUS:Line/pos Error-------------------- ----------------------------------------------------------------- No errors No errorsDDL TRIGGER INSTALL STATUS-----------------------------------OKDDL TRIGGER RUNNING STATUS----------------------------------------------------------------------ENABLEDSTAYMETADATA IN TRIGGER----------------------------------------------------------------------OFFDDL TRIGGER SQL TRACING----------------------------------------------------------------------DDL TRIGGER TRACE LEVEL----------------------------------------------------------------------LOCATION OF DDL TRACE FILE------------------------------------------------------------------------------------------------------------------------/u01/app/oracle/diag/rdbms/ogg2/ogg2/trace/ggs_ddl_trace.logAnalyzing installation status...STATUS OF DDL REPLICATION------------------------------------------------------------------------------------------------------------------------SUCCESSFUL installation of DDL Replication software componentsScript complete.SQL> @role_setup.sqlGGS Role setup scriptThis script will drop and recreate the role GGS_GGSUSER_ROLETo use a different role name, quit this script and then edit the params.sql script to change the gg_role parameter to the preferred name. (Do not run the script.) You will be prompted for the name of a schema for the GoldenGate database objects.NOTE: The schema must be created prior to running this script.NOTE: Stop all DDL replication before starting this installation.Enter GoldenGate schema name:ggusrWrote file role_setup_set.txtPL/SQL procedure successfully completed.Role setup script completeGrant this role to each user assigned to the Extract, GGSCI, and Manager processes, by using the following SQL command:GRANT GGS_GGSUSER_ROLE TO <loggedUser>where <loggedUser> is the user assigned to the GoldenGate processes.SQL>SQL> GRANT GGS_GGSUSER_ROLE TO ggusr;Grant succeeded.SQL> @ddl_enable.sqlTrigger altered.SQL> @?/rdbms/admin/dbmspool.sqlPackage created.Grant succeeded.SQL> @ddl_pin.sql ggusrPL/SQL procedure successfully completed.PL/SQL procedure successfully completed.PL/SQL procedure successfully completed.SQL> exitDisconnected from Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit ProductionWith the Partitioning, OLAP, Data Mining and Real Application Testing options[oracle@orcltest gg11]$1.3.4 OGG2上配置extract和pump进程[oracle@rhel6_lhr gg11]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBOLinux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08:32:14Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (rhel6_lhr) 1> dblogin userid ggusr@ogg2,password lhrSuccessfully logged into database.GGSCI (rhel6_lhr) 2> add trandata hr.*Logging of supplemental redo data enabled for table HR.COUNTRIES.Logging of supplemental redo data enabled for table HR.DEPARTMENTS.Logging of supplemental redo data enabled for table HR.EMPLOYEES.Logging of supplemental redo data enabled for table HR.JOBS.Logging of supplemental redo data enabled for table HR.JOB_HISTORY.Logging of supplemental redo data enabled for table HR.LOCATIONS.Logging of supplemental redo data enabled for table HR.REGIONS.Logging of supplemental redo data enabled for table HR.T1.Logging of supplemental redo data enabled for table HR.T2.2015-06-10 03:11:40 WARNING OGG-00869 No unique key is defined for table 'T3'. All viable columns will be used to represent the key, but may not guarantee uniqueness. KEYCOLS may be used to define the key. Logging of supplemental redo data enabled for table HR.T3.GGSCI (rhel6_lhr) 3> edit params eora_hr2GGSCI (rhel6_lhr) 4> view params eora_hr2extract eora_hr2setenv (ORACLE_SID=ogg2)setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)ddl include alluserid ggusr,password lhrtranlogoptions excludeuser ggusr//避免出现死循环复制，db1上的extract进程也需要进行此项设置exttrail ./dirdat/abtable hr.*;GGSCI (rhel6_lhr) 4> add extract eora_hr2,tranlog,begin nowEXTRACT added.GGSCI (rhel6_lhr) 5> add exttrail ./dirdat/ab,extract eora_hr2,megabytes 100 EXTTRAIL added.GGSCI (rhel6_lhr) 6> start extract eora_hr2Sending START request to MANAGER ...EXTRACT EORA_HR2 startingGGSCI (rhel6_lhr) 7> edit params pora_hr2GGSCI (rhel6_lhr) 8> view params pora_hr2extract pora_hr2setenv (ORACLE_SID=ogg2)setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)passthrurmthost 192.168.59.129,mgrport 7809rmttrail ./dirdat/pbtable hr.*;GGSCI (rhel6_lhr) 9> add extract pora_hr2,exttrailsource ./dirdat/ab EXTRACT added.GGSCI (rhel6_lhr) 10> add rmttrail ./dirdat/pb extract pora_hr2,megabytes 100 RMTTRAIL added.GGSCI (rhel6_lhr) 11> start extract pora_hr2Sending START request to MANAGER ...EXTRACT PORA_HR2 startingGGSCI (rhel6_lhr) 12> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EORA_HR2 00:00:00 00:04:16EXTRACT RUNNING PORA_HR2 00:00:00 00:00:00REPLICAT RUNNING RORA_HR 00:00:00 00:00:01GGSCI (rhel6_lhr) 13>OGG1上设置抽取进程参数，添加tranlogoptions excludeuser ggusr：GGSCI (orcltest) 15> view params EORA_HRextract eora_hrsetenv (ORACLE_SID=ogg1)setenv (ORACLE_HOME=/u02/app/oracle/product/11.2.0/dbhome_1)setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)ddl include alltranlogoptions excludeuser ggusruserid ggusr,password lhrexttrail ./dirdat/hrtable hr.*;GGSCI (orcltest) 16>1.3.5 OGG1上配置replicat进程[oracle@orcltest gg11]$ ggsciOracle GoldenGate Command Interpreter for OracleVersion 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230_FBOLinux, x64, 64bit (optimized), Oracle 11g on Apr 23 2012 08:32:14Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.GGSCI (orcltest) 1> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGEXTRACT RUNNING EORA_HR 00:00:00 00:00:10EXTRACT RUNNING PORA_HR 00:00:00 00:00:05GGSCI (orcltest) 2> view params rora_hr2ERROR: PARAMS file RORA_HR2 does not exist.GGSCI (orcltest) 3> edit params rora_hr2replicat rora_hr2setenv (ORACLE_SID=ogg1)setenv (ORACLE_HOME=/u02/app/oracle/product/11.2.0/dbhome_1)setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)ddl include allddlerror default ignore retryop maxretries 3 retrydelay 5userid ggusr,password lhrhandlecollisionsassumetargetdefsdiscardfile ./dirrpt/rora_hr2.dsc,purgemap hr.* ,target hr.*;~~~~。
ogg数据同步方案-概述说明以及解释
ogg数据同步方案-概述说明以及解释1.引言1.1 概述在当今信息化时代，数据同步方案变得愈发重要。
而OGG（Oracle GoldenGate）作为一种高效率、可靠性和安全性的数据同步方案，受到了广泛的关注和应用。
本文旨在探讨和比较不同的OGG 数据同步方案，帮助读者了解如何选择适合自己业务需求的方案并实施。
通过深入探讨OGG 数据同步的介绍、方案比较和实施步骤，本文将为读者提供一份详尽的参考，帮助他们更好地应用OGG 实现数据同步。
1.2 文章结构文章结构:本文将分为三个主要部分，每个部分涵盖了不同的内容。
首先是引言部分，概述了文章的主要内容和结构，明确了文章的目的。
接着是正文部分，主要介绍了OGG数据同步的基本概念、不同的数据同步方案比较以及实施步骤。
最后是结论部分，对文章所述内容进行总结，展望未来的发展方向，并提出结论。
整篇文章将以逻辑清晰、层次分明的方式进行展开，希望读者能够对OGG数据同步有一个全面而深入的了解。
1.3 目的本文的目的是介绍ogg数据同步方案，探讨不同的数据同步方案的优劣势，以及如何在实际的应用中实施ogg数据同步。
通过详细的介绍和比较，读者可以更好地了解ogg数据同步的原理和实现方法，帮助他们在实际项目中选择合适的数据同步方案，并指导他们如何进行具体的步骤实施。
同时，也可以帮助读者对数据同步领域有更深入的理解，从而提高数据同步的效率和准确性。
2.正文2.1 OGG数据同步介绍Oracle GoldenGate（OGG）是一款高性能、实时数据同步和复制软件，被广泛应用于数据库之间、数据库与数据仓库之间的数据复制和同步任务。
OGG可以实现跨平台、异构数据库之间的数据同步，并保持数据一致性和完整性。
OGG通过捕获源数据库的变更日志，并以事务为单位，将这些变更应用到目标数据库，从而实现数据同步。
其核心思想是“捕获”-“转换”-“传送”，即捕获源数据库的变更，通过转换将其应用到目标数据库中。
oracleogg配置文档
oracleogg配置文档说明：源端：操作系统：oracle_linux_5.6_32数据库：oracle_10.2.0.1_32goldengate：for_10g_x86目标端：操作系统：oracle_linux_5.6_32数据库：oracle_10.2.0.1_32goldengate：for_10g_x86注意：本实验是模拟在同平台同版本上面安装和配置OGG，并实现简单的DML复制，至于复杂的其他方面希望大家能自己多多实验。
作者：姓名：oracle_zsx。
QQ：1468815296。
配置步骤：1、检查源端和目标端正确的IP解析：源端：[root@gg1 ~]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6192.168.1.71 gg1目标端：[root@gg2 ~]# cat /etc/hosts# Do not remove the following line, or various programs# that require network functionality will fail.127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6192.168.1.72 gg22、设置LD_LIBRARY_PATH，为了安装OGG所用的动态链接库。
如果没有配置这个路径的话，在安装OGG的过程中会报找不到动态链接库的错误，用户可以自己尝试一下。
OGG复制软件参数配置规范
OGG复制软件参数配置规范OGG（Oracle GoldenGate）是一款用于实时数据复制和数据集成的软件，可以在数据库之间进行高效、可靠的数据传输。
在使用OGG进行数据复制时，需要进行参数配置以实现最佳的性能和可靠性。
以下是OGG复制软件参数配置规范的一些建议。
1.网络传输配置：-检查网络带宽：确保网络带宽足够，能够支持数据传输的需求。
-设置心跳检测间隔：根据网络的稳定程度，设置合理的心跳检测间隔时间，以确保及时检测并解决网络故障。
2.提高性能配置：-设置并行化：根据系统的处理能力和数据库的负载情况，适当配置并行化参数以提高性能。
-调整批处理大小：设置合适的批处理大小以减少数据库连接的开销，并提高数据复制的效率。
-启用压缩：对于网络带宽较小的环境，可以启用压缩功能以减少数据传输量，提高效率。
3.数据丢失保护配置：-启用事务保护：设置事务保护模式以确保数据完整性和一致性，避免数据丢失。
-配置ACK报告：启用ACK报告以确认数据已成功传输到目标数据库，并及时检测和解决数据传输中的问题。
4.监控和报警配置：-配置日志监控：设置OGG的日志监控功能以及时捕捉和分析潜在的问题。
-设置错误报警：根据系统的需求，配置合适的错误报警机制以及时处理异常情况。
5.资源利用和负载平衡配置：-设置资源利用优先级：根据系统的资源分配情况，调整OGG的资源利用优先级，避免与其他系统共享资源时的性能问题。
-配置负载平衡：对于数据复制环境中存在多个目标数据库的情况，配置负载平衡以平衡数据的复制压力，同时确保各个目标数据库的数据一致性。
6.日志和存储配置：-设置日志文件大小和轮转周期：根据系统的需求，配置合适的日志文件大小和轮转周期，以便于日志管理和分析。
-配置存储位置：合理配置OGG的日志存储位置以及时追踪日志和问题，并确保存储空间的充足。
以上是OGG复制软件参数配置规范的一些建议，通过合理的参数配置，可以提高OGG的性能，保证数据的可靠性和一致性，并提升系统的整体效率。
ogg的搭建流程与原理
ogg的搭建流程与原理英文回答：Setting up Ogg involves a few key steps. First, youneed to download the Ogg codec and install it on your computer. This codec allows you to encode and decode audio files in the Ogg format. Next, you'll want to choose amedia player that supports Ogg files, such as VLC or Winamp. Once you have everything set up, you can start using Ogg to play, stream, or convert audio files.The Ogg format is based on open standards, which meansit's free to use and modify. This makes it a popular choice for those who want to avoid proprietary formats like MP3. Ogg files can contain audio data compressed with various codecs, such as Vorbis for audio and Theora for video. This flexibility allows Ogg to be used for a wide range of multimedia applications.One of the key advantages of Ogg is its support formetadata, which allows you to add information about the audio file, such as artist name, album title, and track number. This can be useful for organizing your musiclibrary and creating playlists. Additionally, Ogg supports streaming, which means you can listen to audio files online without downloading them first.Overall, setting up Ogg is relatively straightforward and offers a range of benefits for audio enthusiasts and content creators alike.中文回答：搭建Ogg的流程并不复杂。
oggs二进制
oggs二进制
我猜你想了解的是OGG（oggvobis或者oggvorbis）音频的二进制相关内容，OGG是一种音频压缩格式。
OGG音频在发生损坏时一般是由于页结构不完整而导致，而由于OGG容器格式的协定，故只有OGG音频的首页的结构中有存放包头，而其他页结构存放的是音频帧数据，因此页结构不完整通常是由于缺少了OGG首页结构中的三个包头中的任何一个或多个。
当前市面上还没有能够对结构不完整的OGG音频进行解析播放或者修复的播放器。
你可以尝试获取参考OGG音频，对参考OGG音频进行解析，并根据解析结果构建解码器，然后根据解码器创建temp.wav文件，获取待修复的目标OGG音频，并通过内存映射的方法提取目标OGG音频的二进制数据，得到指向二进制数据首地址的指针。
大数据量下OGG快速同步方式实践NEW
一n-」 大数据量下数据库快速全量同步方式研究（一）存在的问题数据库迁移、系统升级、数据库恢复的首要步骤是数据库的全量同步，但随着电信业务的不断进展，NGBOSS 核心业务系统数据库愈发庞大，数据库全量同步的时刻慢慢增加。
数据库全量同步有两种方式，一是通过RMAN 备份恢复来实现数据全量同步。
该方式是将源数据库的全备通过RMAN 恢复的方式同步到目标库。
该方式麻施包括全量备份源库■全量恢复目标库两徑茲■的数据库全量备份就需耗时10小时以上。
再加上目标端的数据全量恢复和数据追平工作，累计耗时应在40小时以上。
消耗时刻较长。
同时RMAN 恢复需要 源库和目标库的操作系统和数据库版本相同，操作范围较窄。
二是通过exp/imp 或expdp/impdp 源库导出、目标库导入来实现。
该方式通过先从源端数据库导出DMP 文件，再将此文件导入目标端，操作 简单、易实现。
该方式无需考虑操作系统平台和数据库版本，以下图是利用 该方式进行全量同步的流程：|_划分批次生产库导出数据（DATAONLY ）Hs l s ^s s s f f l ・s^s s s s m ,s s .^s^-I s s u e s •S E S S S M k H M SH -T Y M E K •SS R B S t e i e s ■M 誥W ^M W O E 離器隔«@f l n l /\R I <)u o 爲5S p a e v 岸eu l <n n <h s !s l 9s ・l as w n .f f i MS B QSRS •養巖隔I -lI・WS S S S M S M ST3■■'n9-sf f l l •i w s i^。
蛊s s孤養蚤富H K養僵MH -TY KK ■a ss s s sw .o eH S £i・si s s s i s s s m w s •龍并行导出模块并行导出模块要紧实现源端并行导出数据，要紧通过oracle导出工具expdp实行4进程、4并发批量导出。
OGG关于表级附加日志测试
1、环境介绍OS版本：Microsoft Windows Server 2003Standard EditionORACLE版本：BANNER----------------------------------------------------------------Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - ProdPL/SQL Release 10.2.0.1.0 - ProductionCORE 10.2.0.1.0 ProductionTNS for 32-bit Windows: Version 10.2.0.1.0 - ProductionNLSRTL Version 10.2.0.1.0 – ProductionOGG版本：Oracle GoldenGate Command Interpreter for OracleVersion 10.4.0.19 Build 002Windows (optimized), Oracle 10 on Sep 18 2009 15:54:55 OGG模式：ARCHIVEDLOGONLY2、源端数据库部署OGG环境3、源端模拟操作3.1、建表：--单主键create table ACTION_TYPE_1(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);-- Create/Recreate primary, unique and foreign key constraintsalter table ACTION_TYPE_1add constraint PK_ACTION_TYPE_1 primary key (ACTION_TYPE_ID);--复合主键create table ACTION_TYPE_2(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);-- Create/Recreate primary, unique and foreign key constraintsalter table ACTION_TYPE_2add constraint PK_ACTION_TYPE_2 primary key (ACTION_TYPE_ID, ACTION_TYPE_CODE);--单逻辑主键ACTION_TYPE_IDcreate table ACTION_TYPE_3(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);--复合逻辑主键ACTION_TYPE_ID, ACTION_TYPE_CODEcreate table ACTION_TYPE_4(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);3.2、插入：insert into ACTION_TYPE_1(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME) values(1, '1', '测试表1');commit;insert into ACTION_TYPE_2(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME) values(1, '1', '测试表2');commit;insert into ACTION_TYPE_3(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME) values(1, '1', '测试表3');commit;insert into ACTION_TYPE_4(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME) values(1, '1', '测试表4');commit;3.3、查询：select * from ACTION_TYPE_1;select * from ACTION_TYPE_2;select * from ACTION_TYPE_3;select * from ACTION_TYPE_4;3.4、更新1：--带主键更新update ACTION_TYPE_1 set ACTION_TYPE_NAME='test1' where ACTION_TYPE_ID=1;commit;update ACTION_TYPE_2 set ACTION_TYPE_NAME='test2' where ACTION_TYPE_ID=1 and ACTION_TYPE_CODE='1';commit;update ACTION_TYPE_3 set ACTION_TYPE_NAME='test3' where ACTION_TYPE_ID=1;commit;update ACTION_TYPE_4 set ACTION_TYPE_NAME='test4' where ACTION_TYPE_ID=1 and ACTION_TYPE_CODE='1';commit;3.5、更新2：----不带主键更新update ACTION_TYPE_1 set ACTION_TYPE_NAME='test11' where ACTION_TYPE_CODE='1';commit;update ACTION_TYPE_2 set ACTION_TYPE_NAME='test22';commit;update ACTION_TYPE_3 set ACTION_TYPE_NAME='test33' where ACTION_TYPE_CODE='1';commit;update ACTION_TYPE_4 set ACTION_TYPE_NAME='test44';commit;3.6、删除1：--带主键删除操作delete ACTION_TYPE_1 where ACTION_TYPE_ID=1;commit;delete ACTION_TYPE_2 where ACTION_TYPE_ID=1 and ACTION_TYPE_CODE='1';commit;delete ACTION_TYPE_3 where ACTION_TYPE_ID=1;commit;delete ACTION_TYPE_4 where ACTION_TYPE_ID=1 and ACTION_TYPE_CODE='1';commit;3.7、删除2：--不带主键删除操作delete ACTION_TYPE_1 ;commit;delete ACTION_TYPE_2 ;commit;delete ACTION_TYPE_3 ;commit;delete ACTION_TYPE_4 ;commit;4、目标端模拟操作建表：--单主键create table ACTION_TYPE_1(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);-- Create/Recreate primary, unique and foreign key constraintsalter table ACTION_TYPE_1add constraint PK_ACTION_TYPE_1 primary key (ACTION_TYPE_ID);--复合主键create table ACTION_TYPE_2(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);-- Create/Recreate primary, unique and foreign key constraintsalter table ACTION_TYPE_2add constraint PK_ACTION_TYPE_2 primary key (ACTION_TYPE_ID, ACTION_TYPE_CODE);--单逻辑主键ACTION_TYPE_IDcreate table ACTION_TYPE_3(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);--复合逻辑主键ACTION_TYPE_ID, ACTION_TYPE_CODEcreate table ACTION_TYPE_4(ACTION_TYPE_ID NUMBER(9) not null,ACTION_TYPE_CODE CHAR(1) not null,ACTION_TYPE_NAME VARCHAR2(50) not null);5、OGG配置抓取进程：add ext exttest, tranlog, begin now,threads 1add exttrail e:\gg_temp_file\cr, ext exttest, megabytes 10edit param exttestextract exttestsetenv ( NLS_LANG = AMERICAN_AMERICA.UTF8)userid oggsrc@SOURCE_DB, PASSWORD oggsrcTRANLOGOPTIONS ARCHIVEDLOGONLY, LOGSOURCE WINDOWSTRANLOGOPTIONS ALTARCHIVELOGDEST primary E:\archiveTRANLOGOPTIONS ALTARCHIVEDLOGFORMAT %t_%s_%r.dbfTHREADOPTIONS MAXCOMMITPROPAGATIONDELAY 90000 IOLATENCY 180000 GETTRUNCATESWARNLONGTRANS 2h, CHECKINTERVAL 3mTRANLOGOPTIONS CONVERTUCS2CLOBSFETCHOPTIONS NOUSESNAPSHOTgrouptransops 20000exttrail e:\gg_temp_file\crdiscardfile .\dirrpt\cr.dsc,append, megabytes 50dynamicresolution--TABLE oggsrc.ACTION_TYPE_1 , COLS(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME);--TABLE oggsrc.ACTION_TYPE_2 , COLS(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME);--TABLE oggsrc.ACTION_TYPE_3 , COLS(ACTION_TYPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME) , KEYCOLS (ACTION_TYPE_ID) ;--TABLE oggsrc.ACTION_TYPE_4 , COLS(ACTION_TYLPE_ID,ACTION_TYPE_CODE,ACTION_TYPE_NAME), KEYCOLS (ACTION_TYPE_ID,ACTION_TYPE_CODE) ;TABLE oggsrc.ACTION_TYPE_1 ;TABLE oggsrc.ACTION_TYPE_2 ;TABLE oggsrc.ACTION_TYPE_3 , KEYCOLS (ACTION_TYPE_ID) ;TABLE oggsrc.ACTION_TYPE_4 , KEYCOLS (ACTION_TYPE_ID,ACTION_TYPE_CODE) ;alter ext exttest, etrolloveralter ext exttest, extseqno 92 extrba 0, thread 1start exttest复制进程：add replicat reptest, EXTTRAIL e:\gg_temp_file\cr nodbcheckpointedit param reptestreplicat reptest--setenv ( NLS_LANG = AMERICAN_AMERICA.ZHS16GBK )setenv ( NLS_LANG = AMERICAN_AMERICA.UTF8 )--userid gg@hnodsdbo, password gg1188userid oggtgt@test, password oggtgtsqlexec "Alter session set constraints=deferred"REPORT AT 01:59reportrollover at 02:00discardrollover on friday--handlecollisionsreperror default,abend--reperror default, discarddiscardfile .\dirrpt\cr.dsc,append, megabytes 100numfiles 3000--sourcedefs ./dirdef/source.defassumetargetdefsallownoopupdatesdynamicresolutiongrouptransops 1000batchsql BATCHTRANSOPS 2500--限制字段新增参数APPLYNOOPUPDATESALLOWNOOPUPDATESMAP oggsrc.ACTION_TYPE_1 , TARGET oggtgt.ACTION_TYPE_1 ;MAP oggsrc.ACTION_TYPE_2 , TARGET oggtgt.ACTION_TYPE_2 ;MAP oggsrc.ACTION_TYPE_3 , TARGET oggtgt.ACTION_TYPE_3 , KEYCOLS (ACTION_TYPE_ID);MAP oggsrc.ACTION_TYPE_4 , TARGET oggtgt.ACTION_TYPE_4 , KEYCOLS (ACTION_TYPE_ID,ACTION_TYPE_CODE);alter rep reptest, EXTSEQNO 1, EXTRBA 06、OGG同步过程说明6.1、目标端表创建后无记录：6.2、源端插入记录，目标端同步后记录与源端一致（由于数据库设置的字符集不支撑中文，因此乱码）6.3、源端带主键更新，目标端同步的记录与源端一致SQL> select * from ACTION_TYPE_4;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - -----------------------1 1 test4SQL> select * from ACTION_TYPE_3;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - -----------------------1 1 test3SQL> select * from ACTION_TYPE_2;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - -----------------------1 1 test2SQL> select * from ACTION_TYPE_1;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - -----------------------1 1 test1SQL> select * from ACTION_TYPE_1;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - -----------------------1 1 test116.4、源端不带主键更新，目标端同步的记录与源端一致SQL> select * from ACTION_TYPE_1;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - ------------------------------------1 1 test11SQL> select * from ACTION_TYPE_3;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - ------------------------------------1 1 test33SQL> select * from ACTION_TYPE_4;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - ------------------------------------1 1 test44SQL> select * from ACTION_TYPE_2;ACTION_TYPE_ID A ACTION_TYPE_NAME-------------- - ------------------------------------1 1 test226.5、源端带主键DELETESQL> select * from ACTION_TYPE_1;no rows selectedSQL> select * from ACTION_TYPE_2;no rows selectedSQL> select * from ACTION_TYPE_3;no rows selectedSQL> select * from ACTION_TYPE_4;no rows selected6.6、源端不带主键DELETE先重新插入记录，SQL> select * from ACTION_TYPE_1;no rows selectedSQL> select * from ACTION_TYPE_2;no rows selectedSQL> select * from ACTION_TYPE_3;no rows selectedSQL> select * from ACTION_TYPE_4;no rows selected7、测试结论。
ogg同步异构表的步骤
Ogg异构表的同步:第一步：使用defgen建立源端表定义文件(源端)1、编辑defgen文件(文件目录在./ dirprm下)--edit params defgen 编辑命令---defgen 为文件名DEFSFILE /u01/app/ogg/11.0/dirdef/ru.def --ru为自定义的文件名称userid ogguser,password ogguser –-登录数据库的用户名和密码TABLE test.CK_RUKMX; --需要同步到目标端的表TABLE test.CK_UCBQ;TABLE test.CK_FANXD;TABLE test.CK_ZHENGCTK;TABLE test.CK_PANDCY;TABLE test.CK_JIUFD;2、执行defgen命令在ogg中的目录下运行以下命令--与运行./ggsci为同一目录./defgen paramfile ./dirprm/defgen.prm --在dirdef目录下生成ru.def 3、把源端生成的def文件ftp传输到目标端dirdef 目录下第二步：在源端新建抽取和传输二个进程，步骤与之前非异构相同1、在源端新建ogg抽取进程EXTRACT EORA_2SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)USERID ogguser, PASSWORD ogguserEXTTRAIL ./dirdat/a2TABLE test.CK_RUKMX;TABLE test.CK_UCBQ;TABLE test.CK_FANXD;TABLE test.CK_ZHENGCTK;TABLE test.CK_PANDCY;TABLE test.CK_JIUFD;2、在源端新建ogg传输进程EXTRACT PORA_2SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) PASSTHRURMTHOST mrhathdt02, MGRPORT 7809RMTTRAIL /u01/app/ogg/11.0/dirdat/r2TABLE test.CK_RUKMX;第三步：在目标端新建入库进程，步骤与之前非异构相同，参数有所改变REPLICAT RORA_2SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)USERID ogguser, PASSWORD ogguserHANDLECOLLISIONS--这个是异构的关键参数，ru.def是之前源端ftp传输过来的文件；SOURCEDEFS /u01/app/ogg/11.0/dirdef/ru.defDISCARDFILE /u01/app/ogg/11.0/dirrpt/RINIa2.dsc, PURGEALLOWNOOPUPDA TES--由于异构之间的同步，所以列标不同，因此必需写明双方字段之的映射MAP test.CK_RUKMX, TARGET test001.CK_LIUSZ, COLMAP(CAOZM = @IF((RUKLX = "1"),"A01",@COLSTAT(NULL)),LINGJBH = LINGJBH,GONGYSDM = GONGYSDM,YAOHLLX = @COLSTAT(NULL),XIEHZT = @COLSTAT(NULL),LINGJSL = LINGJSL,DANW = Danw,BL = BLH,RUKSJ = RUKSJ,JIUFSJ = @COLSTAT(NULL), CHENGYSDM = CHENGYSDM,CANGKBH = CANGKBH,ZICKBH = ZICKBH,PICH = PICH,DINGDH = DINGDH,USERCENTER = USERCENTER,UTH = UTH,ELH = ELH,CHEJ = CHANX,CAIWRQ = EDIT_TIME,UAH = @COLSTAT(NULL),ZHANGH = @COLSTAT(NULL), KEHBH = @COLSTAT(NULL),MUDD = @COLSTA T(NULL),UCH = @COLSTA T(NULL),XINCKBM = @COLSTAT(NULL),XINZCKBM = @COLSTA T(NULL),YIKID = @COLSTAT(NULL),USH = @COLSTAT(NULL),XINUSH = @COLSTAT(NULL),KUWBH = @COLSTAT(NULL),XINKWBM = @COLSTA T(NULL),CREATOR = "interface",CREATE_TIME = @COLSTA T(NULL),EDITOR = @COLSTA T(NULL),EDIT_TIME = @COLSTAT(NULL));MAP test.CK_USBQ, TARGET test001.CK_LIUSZ, COLMAP(CAOZM = "A01S" ,LINGJBH = LINGJBH,GONGYSDM = GONGYSDM,YAOHLLX = @COLSTAT(NULL),XIEHZT = @COLSTAT(NULL),LINGJSL = LINGJSL,DANW = Danw,BL = BLH,RUKSJ = RUKRQ,JIUFSJ = @COLSTAT(NULL), CHENGYSDM = CHENGYSDM,CANGKBH = CANGKBH,ZICKBH = ZICKBH,PICH = PICH,DINGDH = @COLSTAT(NULL) ,USERCENTER = USERCENTER,UTH = UTH,ELH = ELH,CHEJ = CHANX,CAIWRQ = EDIT_TIME,UAH = @COLSTAT(NULL),ZHANGH = @COLSTAT(NULL), KEHBH = @COLSTAT(NULL),MUDD = @COLSTA T(NULL),UCH = @COLSTA T(NULL),XINCKBM = @COLSTAT(NULL),XINZCKBM = @COLSTA T(NULL),YIKID = @COLSTAT(NULL),USH = @COLSTAT(NULL),XINUSH = @COLSTAT(NULL),KUWBH = @COLSTAT(NULL),XINKWBM = @COLSTA T(NULL),CREATOR = "interface",CREATE_TIME = @COLSTA T(NULL),EDITOR = @COLSTA T(NULL),EDIT_TIME = @COLSTAT(NULL));注意的几点：1.由于异构同步，数据的同步将是难点；2.对于数据更新，删除最好进行避免;请在目标端执行以下DDL: (请注意修改表空间)-- Create tablecreate table CK_LIUSZ(CAOZM VARCHAR2(5),LINGJBH VARCHAR2(10),GONGYSDM VARCHAR2(10),YAOHLLX CHAR(2),XIEHZT VARCHAR2(10),LINGJSL NUMBER(13,3),DANW VARCHAR2(2),BL VARCHAR2(17),RUKSJ DATE,JIUFSJ DATE,CHENGYSDM VARCHAR2(10),CANGKBH VARCHAR2(3),ZICKBH VARCHAR2(3),PICH VARCHAR2(12),DINGDH VARCHAR2(12),USERCENTER VARCHAR2(3),UTH VARCHAR2(10),ELH VARCHAR2(10),CHEJ VARCHAR2(3),CAIWRQ DATE,UAH VARCHAR2(12),ZHANGH VARCHAR2(11),KEHBH VARCHAR2(10),MUDD VARCHAR2(13),UCH VARCHAR2(12),XINCKBM VARCHAR2(3),XINZCKBM VARCHAR2(3),YIKID VARCHAR2(12),USH VARCHAR2(10),XINUSH VARCHAR2(10),KUWBH VARCHAR2(6),XINKWBM VARCHAR2(6),CREATOR VARCHAR2(32),CREATE_TIME DATE,EDITOR VARCHAR2(32),EDIT_TIME DATE)tablespace TBS_GGUSERpctfree10initrans1maxtrans255storage(initial64next1minextents1maxextents unlimited);-- Add comments to the columns comment on column CK_LIUSZ.CAOZMis'操作码';comment on column CK_LIUSZ.LINGJBH is'零件编号';comment on column CK_LIUSZ.GONGYSDM is'供应商代码';comment on column CK_LIUSZ.YAOHLLX is'供货模式';comment on column CK_LIUSZ.XIEHZT is'卸货点';comment on column CK_LIUSZ.LINGJSL is'零件数量';comment on column CK_LIUSZ.DANW is'单位';comment on column CK_LIUSZ.BL is'BL号';comment on column CK_LIUSZ.RUKSJ is'入库日期';is'纠纷时间';comment on column CK_LIUSZ.CHENGYSDM is'承运商代码';comment on column CK_LIUSZ.CANGKBHis'仓库代码';comment on column CK_LIUSZ.ZICKBHis'子仓库代码';comment on column CK_LIUSZ.PICHis'批次号';comment on column CK_LIUSZ.DINGDHis'订单号';comment on column CK_ERCENTER is'用户中心';comment on column CK_LIUSZ.UTHis'UT号';comment on column CK_LIUSZ.ELHis'EL号';comment on column CK_LIUSZ.CHEJis'车间';comment on column CK_LIUSZ.CAIWRQis'财务日日期';comment on column CK_LIUSZ.UAHis'UA号';comment on column CK_LIUSZ.ZHANGHis'成本中心账户';comment on column CK_LIUSZ.KEHBHis'客户码';comment on column CK_LIUSZ.MUDDis'消耗点';comment on column CK_LIUSZ.UCHis'UC号';comment on column CK_LIUSZ.XINCKBMis'新仓库代码';comment on column CK_LIUSZ.XINZCKBMis'新子仓库代码';comment on column CK_LIUSZ.YIKIDis'移库单号';comment on column CK_H is'原US号';comment on column CK_LIUSZ.XINUSH is'现US号';comment on column CK_LIUSZ.KUWBH is'原库位编号';is'现库位编号';comment on column CK_LIUSZ.CREATORis'创建人';comment on column CK_LIUSZ.CREATE_TIMEis'创建时间';comment on column CK_LIUSZ.EDITORis'修改人';comment on column CK_LIUSZ.EDIT_TIMEis'修改时间';-- Grant/Revoke object privilegesgrant select,insert,update,delete,references,alter,index on CK_LIUSZ to OGGUSER;。
培训-OGG工具
二、长事务处理 1.如果Extract正在运行，可以使用SEND EXTRACT < group name>, SKIPTRANS <1759.31.182988> THREAD <n>命令跳过该事务。 2.如果Extract未启动，可以使用INFO EXTRACT <group name> , SHOWCH检查出recovery checkpoint和current checkpoint，再通过命令alter EXTRACT < group name>, ioextseqno xxxx, ioextrba xxx强制修改recovery checkpiont。
后找到该进程对应的运行报告dirrpt/<name>.rpt，查看报告找到出错的原因，
目前出现异常中断的原因主要是CRM对源表做了DDL操作，ODS侧需要做相 信的操作保证源端表与目标表结构一致。最后重新启动复制进程。
日常维护（六）
一、监控ARCH LOG源端获取、目的端删除程序是否正常运行： 登陆134.96.77.89主机 ps –ef|grep file_mv_etl.pl ps –ef|grep file_mv_etl2.pl 查看以上两个进程是否存在。 ps –ef|grep file_mv_crm.pl ps –ef|grep file_mv_crm2.pl 查看以上两个进程运行时间是否过长。
安装主机IP：134.96.77.89
GoldenGate软件安装位置：/ ggs
GoldenGate跟踪文件位置：/dbexport/ggdata
EXTRACT：日志抓取进程。
REPLICATE:数据同步进程。
目录
1 2 3
oggen话单文件备份优化--测试参考说明
测试服务器信息：10.1.136.159，user:import文件备份主程序：名称：file-clean-oggen-main.sh路径：/opt/import/bin配置文件：名称：file-clean-oggen-bl1.conf路径：/opt/import/bl1/conf测试说明：１.首先请阅读《BBOSS-2011203-账务管理改造-详细设计-v1.1》文档，了解相应需求及本次功能实现的细节。
２.以import用户登录进入10.1.136.159服务器下“/opt/import/bl1/conf”目录，按着《BBOSS-2011203-账务管理改造-详细设计-v1.1》中说明的方式修改配置文件“file-clean-oggen-bl1.conf”。
３.在“file-clean-oggen-bl1.conf”文件中配置的各个源目录下，创建用于测试的日期子目录，例如创建“20120303”, “20120313”, “20120307”…在上述子目录下存放若干被测试话单文件。
４.进入“/opt/import/bin”目录，手工调用“file-clean-oggen-main.sh”脚本：sh ./file-clean-oggen-main.sh >> oggen-out.log５.程序运行结束后，打开“oggen-out.log”文件查看运行输出信息。
６.按着配置文件“file-clean-oggen-bl1.conf”中各个源目录及目标目录逐个进行文件转储备份的验证。
７.登录“10.1.136.159user:apm/password:apm sid:tst5”数据库，查看“Extra_Audit_Action”表中数据，验证程序执行结果。
OGG工作原理
OGG工作原理原创Oracle作者：wwjfeng时间：2018-05-17 21:27:37 36134 0一.GoldenGate介绍OGG 是一种基于日志的结构化数据复制软件OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟二.工作原理三.相关组件1.Manager负责OGG 整体的监控和管理(1).Trail文件的生成和删除(2).定期监控进程，负责进程的启动/停止2.Extract(Capture)(1).从redo 或 archive log获得DB变更信息，取得主键或唯一键的变更前后的值(2).以一定间隔读取REDO日志，获取变更信息参数EOFDELAY or EOFDELAYCSECS 设置。
默认1s，最小10ms(3).当满足下列条件时，输出到本地或远程Trail文件- Extract的缓冲区写满- 设置参数FLUSHSECS or FLUSHCSECS来指定间隔。
默认1s，最小10ms3.Extract(Pump)将本地的Trail队列发送至目标端Collector发送间隔，满足以下任一条件:(1).缓存写满时Pump的RMHOST参数(TCPBUFSIZE选项)，可指定缓存尺寸，默认30000bytes(2).参数指定FLUSHSECS or FLUSHCSECS. 默认1s，最小10ms4.Collector从Extract pump向Collector发送，输出至Trail文件5.Replicat从Trail文件生成SQL语句在目标DB执行。
四.初始数据同步1.利用数据库功能RMAN,expdp/impdp2.利用OGG功能设置初始化属性的捕获和复制进程。
建议小数据库使用。
五.限制1.未支持的数据类型ANYDATA,BFILE,TIMEZONE_ABBR,URITYPE,ANYDATASET,BI NARY_INTEGER,TIMEZONE_REGION,UROWID,ANYTYPE,MLSLAB EL,PLS_INTEGER2.DML未支持的对象压缩表，外部表，REF，别名，不输出日志的DML3.未支持的DDL对系统表/系统视图的DDL使用Recycle Bin4.不支持的对象名以下字符和中文不可用于对象名：& * ？： ; , . 空格5.字符集目标DB的字符集必须是源DB字符集的超集6.其他(1).sequence 双向复制时不能使用sequence，单向使用sequence的cache时，源和目标不同步(2)目标DB需要删除Trigger。
ogg格式解析
ogg格式解析Ogg是一种音频压缩格式，类似于MP3等的音乐格式。
Ogg是完全免费、开放和没有专利限制的。
OggVorbis文件的扩展名是".ogg"。
Ogg Vorbis支持类似于MP3的ID3信息，Vorbis格式中包括有一个灵活而又完整的注释栏，可用于填写各种相关信息。
由于Vorbis使用了与MP3相比完全不一样的数学原理，所以在压缩音乐时受到的挑战也不一样。
在聆听测试中，同样位速率编码的Vorbis和MP3文件具有同等的声音质量。
Ogg Vorbis的音质和MP3不相上下，但无法和FLAC比。
如果两个文件都是以同样的位速率和CBR（常量位速率，指文件从头到尾都是一种位速率）方式来编码的话，那他们的大小肯定相同。
当前Vorbis是以VBR（可变位速率）方式编码的，这使得Ogg的文件能够更小，因为VBR方式能够处理能大幅度进行压缩的音频数据（比如无声的时段）而节省空间。
Ogg Vorbis格式支持流式播放，音频流是Vorbis的一个重要组成部分.vorbis格式从设计的一开始就是立足于能够容易地进行流式处理。
并且，Vorbis的设计者正与Icecast流媒体软件的创造者一齐使Icecast兼容Vorbis。
Ogg Vorbis避免了像MP3文件的ID3标记那样烦琐的操作（有很多针对MP3的ID3修改软件标记早已不繁琐），Vorbis具有一个设计良好、灵活的注释，避免了像MP3文件的ID3标记那样烦琐的操作；Vorbis还具有位速率缩放：能够不用重新编码便可调节文件的位速率。
Vorbis文件能够被分成小块并以样本粒度进行修改；Vorbis支持多通道；Vorbis文件能够以逻辑方式相连接等。
以上就是关于Ogg格式的基本解析，如果需要更多信息，可以到信息技术类论坛查找。
OGG_GoldenGate数据传递文件Trial（案例）
OGG_GoldenGate数据传递⽂件Trial（案例）2014-03-05 Created By BaoXinjian ⼀、摘要Trail⽂件是GoldenGate为了更有效的把数据库事务信息从源端传递到⽬标端1. Trail⽂件处理过程Step1. Extract进程抽取万数据以后，GoldenGate会把抽取的事务信息转换为GoldenGate特有的专有格式⽂件TrailStep2. 然后Pump进程将Trail⽂件传输到⽬标端所以⽬标端和源端都会存在Trail⽂件2. Trail⽂件的分类源端存放Trail⽂件，为本地Trail⽂件⽬标端存放Trail⽂件，为远程Trail⽂件3. Trail⽂件存在的意义防⽌单点故障，将事物信息持久化，并使⽤checkpoint机制记录其读写位置如果发⽣故障，数据可以根据Checkpoint记录的位置重新传输Tail⽂件并不是必须的，Extract进程可以通过TCP/IP协议，直接将⽇志信息传输⾄⽬标端，但是不推荐，⼀旦发⽣系统故障或⽹络故障，可能会造成数据的丢失4. Logdump查看⼯具Logdump可以查看GoldenGate的trail⽂件⼆、Tail⽂件查看如何查看Process使⽤的Tail⽂件GGSCI () 6> info REP1REPLICAT REP1 Last Started 2015-01-28 05:31 Status RUNNINGCheckpoint Lag 00:00:00 (updated 00:00:01 ago)Log Read Checkpoint File /opt/oracle/ggate/dirdat/lt0000012015-01-28 05:31:45.209626 RBA 1105三、Logdump分析1. Logdump作⽤Logdump是⼀个GoldenGate⾃带的trail⽂件分析⼯具，⽽且能加深对GoldenGate⼯作原理的理解，⾮常值得花时间来研究它2. Logdump常⽤命令(1). Usertoken ⽤来显⽰trail⽂件的⼀些标记信息。
ogg同步表结构
ogg同步表结构
OGG同步表结构是指Oracle GoldenGate (OGG) 在数据同步过程中，源表和目标表的结构需要保持一致。
这包括以下几个方面：
1. 列顺序和列数据类型：源表和目标表的列顺序和列数据类型必须相同。
如果源表和目标表的列顺序或数据类型不一致，可能会导致数据同步出现问题。
2. 主键和索引：源表和目标表的主键和索引必须相同。
如果缺少相应的主键或索引，可能会导致数据同步出现问题。
3. 分区和分片：如果源表和目标表在不同的数据库或数据库实例上，需要确保它们的分区和分片策略相同。
否则，可能会导致数据同步出现问题。
4. 其他约束条件：如触发器、外键等，源表和目标表也需要保持一致。
为了确保OGG同步表结构的正确性，可以在同步之前进行详细的比较和验证。
例如，使用OGG提供的一些工具和技术，可以比较源表和目标表的元数据，检查它们的一致性，并在必要时进行调整。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.解压goldengate软件到路径/u01/app/oracle/ogg2.编辑~oracle/.bash_profile 文件，添加GGATE=/u01/app/oracle/oggPATH=/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin: /usr/sbin:/usr/bin:/root/bin:/u01/app/oracle/11g/bin:$ORACLE_BASE/ogg3.源端GGSCI (ogg) 3> view param mgrport 7809目标端GGSCI (emnetwork) 1> view param mgrport 7809dynamicportlist 7800-8000autostart er *autorestart extract *, waitminutes 2, resetminutes 5lagreporthours 1laginfominutes 3lagcriticalminutes 54.配置源数据抽取进程（Extract）GGSCI (ogg) 4> view param ext1extract ext1dynamicresolutionsetenv (ORACLE_SID=testem)setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8)TRANLOGOPTIONS altarchivelogdest /home/oracle/archivelog ---（支持从归档日志抽取）exttrail /u01/app/oracle/ogg/dirdat/etuserid ogg,password oggtable ogg.*;#添加抽取进程GGSCI (ogg) 5> add extract ext1 ,tranlog,begin nowEXTRACT added.#添加本地Trail文件GGSCI (ogg) 6> add exttrail /u01/app/oracle/ogg/dirdat/et,extract ext1EXTRACT added.GGSCI (ogg) 1> start mgrGGSCI (ogg) 2> start ext1GGSCI (ogg) 4> info allProgram Status Group Lag at Chkpt Time Since ChkptMANAGER RUNNINGEXTRACT RUNNING EXT1 40:54:26 00:00:03配置源数据Pump进程GGSCI (ogg) 5> view param pump1extract pump1dynamicresolutionpassthrurmthost 192.168.1.7,mgrport 7809,compressrmttrail /u01/app/oracle/ogg/dirdat/pttable ogg.*;#添加进程Trail文件GGSCI (ogg) 7> add rmttrail /u01/app/oracle/ogg/dirdat/pt,extract pump1 RMTTRAIL added.GGSCI (ogg) 6> start pump1Sending START request to MANAGER ...EXTRACT PUMP1 startingGGSCI (ogg) 7> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGEXTRACT RUNNING EXT1 00:00:00 00:00:04 EXTRACT RUNNING PUMP1 00:00:00 64:57:40#配置全局参数（配置完成后退出）GGSCI (emnetwork) 15> edit params ./GLOBALSCHECKPOINTTABLE ogg.checkpointGGSCI (emnetwork) 16> exit配置Target端MGR进程GGSCI (emnetwork) 2> view param mgrport 7809dynamicportlist 7800-8000autostart er *autorestart extract *, waitminutes 2, resetminutes 5lagreporthours 1laginfominutes 3lagcriticalminutes 5GGSCI (emnetwork) 3> start mgrManager started.GGSCI (emnetwork) 4> dblogin userid ogg,password oggSuccessfully logged into database.GGSCI (emnetwork) 12> add checkpointtable ogg.checkpointSuccessfully created checkpoint table ogg.checkpoint.GGSCI (emnetwork) 6> view param rep1replicat rep1setenv (ORACLE_SID=testem)setenv (NLS_LANG=AMERICAN_AMERICA.AL32UTF8) assumetargetdefsreperror default,discarddiscardfile /u01/app/oracle/ogg/dirrpt/rep1.dsc,append,megabytes 50 dynamicresolutionuserid ogg,password oggmap ogg.*, target ogg.*;GGSCI (emnetwork) 17> add replicat rep1,exttrail /u01/app/oracle/ogg/dirdat/pt, CHECKPOINTTABLE ogg.checkpoint--此路径需要跟source端的pump进程路径一致GGSCI (emnetwork) 7> start rep1REPLICAT REP1 is already running.GGSCI (emnetwork) 8> info allProgram Status Group Lag at Chkpt Time Since Chkpt MANAGER RUNNINGREPLICAT RUNNING REP1 00:00:00 00:00:01 GGSCI (ogg) 6> info ext1,showchEXTRACT EXT1 Last Started 2015-09-06 09:41 Status RUNNING Checkpoint Lag 00:00:00 (updated 00:00:06 ago)Log Read Checkpoint Oracle Redo Logs2015-09-06 09:41:47 Seqno 43, RBA 151040SCN 0.1404994 (1404994)Current Checkpoint Detail:Read Checkpoint #1Oracle Redo LogStartup Checkpoint (starting position in the data source):Thread #: 1Sequence #: 39RBA: 34254352Timestamp: 2015-09-06 09:37:21.000000SCN: 0.1404724 (1404724)Redo File: /u01/app/oracle/oradata/testem/redo03.logRecovery Checkpoint (position of oldest unprocessed transaction in the data source):Thread #: 1Sequence #: 43RBA: 149008Timestamp: 2015-09-06 09:41:47.000000SCN: 0.1404993 (1404993)Redo File: /u01/app/oracle/oradata/testem/redo01.logCurrent Checkpoint (position of last record read in the data source):Thread #: 1Sequence #: 43RBA: 151040Timestamp: 2015-09-06 09:41:47.000000SCN: 0.1404994 (1404994)Redo File: /u01/app/oracle/oradata/testem/redo01.logWrite Checkpoint #1GGS Log TrailCurrent Checkpoint (current write position):Sequence #: 10RBA: 1453Timestamp: 2015-09-06 09:42:09.560280Extract Trail: /u01/app/oracle/ogg/dirdat/etCSN state information:CRC: 68-3C-FD-BDLatest CSN: 1404929Latest TXN: 8.23.1040Latest CSN of finished TXNs: 1404929Completed TXNs: 8.23.1040Header:Version = 2Record Source = AType = 10# Input Checkpoints = 1# Output Checkpoints = 1File Information:Block Size = 2048Max Blocks = 100Record Length = 2048Current Offset = 0Configuration:Data Source = 3Transaction Integrity = 1Task Type = 0Status:Start Time = 2015-09-06 09:41:47Last Update Time = 2015-09-06 09:42:09Stop Status = ALast Result = 400GGSCI (emnetwork) 5> info rep1,showchREPLICAT REP1 Last Started 2015-09-06 09:41 Status RUNNING Checkpoint Lag 00:00:00 (updated 00:00:08 ago)Log Read Checkpoint File /u01/app/oracle/ogg/dirdat/pt0000012015-09-06 09:39:54.436955 RBA 2114Current Checkpoint Detail:Read Checkpoint #1GGS Log TrailStartup Checkpoint (starting position in the data source):Sequence #: 0RBA: 1432Timestamp: 2015-09-03 13:47:00.849790Extract Trail: /u01/app/oracle/ogg/dirdat/ptCurrent Checkpoint (position of last record read in the data source):Sequence #: 1RBA: 2114Timestamp: 2015-09-06 09:39:54.436955Extract Trail: /u01/app/oracle/ogg/dirdat/ptCSN state information:CRC: D2-C6-5C-91Latest CSN: 1404929Latest TXN: 8.23.1040Latest CSN of finished TXNs: 1404929 Completed TXNs: 8.23.1040Header:Version = 2Record Source = AType = 1# Input Checkpoints = 1# Output Checkpoints = 0File Information:Block Size = 2048Max Blocks = 100Record Length = 2048Current Offset = 0Configuration:Data Source = 0Transaction Integrity = -1Task Type = 0Database Checkpoint:Checkpoint table = ogg.checkpointKey = 2896407210 (0xaca3aaaa) Create Time = 2015-09-03 12:51:40 Status:Start Time = 2015-09-06 09:41:07Last Update Time = 2015-09-06 09:41:44 Stop Status = ALast Result = 400。