GoldenGate使用报告

GoldenGate使用测试报告使用测试报告使用测试报告使用测试报告 ITPUB 菜鸟 zhoujiongfield 1、、、、GoldenGate 简介简介简介简介 GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库实时同步（real-time data synchronize）、双活（active-active high availability）。GoldenGate软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制，其复制过程简图如下：
同步测试的准备工作中，有一部分是共通的，如下： （1） 在源端和目标端建立相同结构的两个表，建立主键。保证复制的对象在一开始是一致的。 （2） 保证没有相关对象的触发器或设置失效。 （3） 数据库需要开启必须的日志模式。 （4） 源端和目标端都需要安装相应版本的GoldenGate软件，并分配一个有DBA权限的数据库用户给GoldenGate用以连接数据库。 4.1 oracle之间同步之间同步之间同步之间同步 4.1.1 oracle数据库设置 首先安装好ORACLE，并设置好ORACLE_SID，ORACLE_HOME等环境变量（单实例环境不是必需）。Oracle数据库需要开启归档日志，并开启最小附加日志模式。 SQL> select supplemental_log_data_min from v$database;--查看是否开启了最小附加日志模式 SQL>alter database add supplemental log data; --开启最小附加日志模式 实际生产应用中，最好同时打开ORACLE的强制日志模式，以防止源数据库因直接路径加载忽略redo生成而导致这部分数据无法同步： SQL>select force_logging from v$database; SQL> Alter database force logging; 光开启最小附加日志模式还不够，还需要在GoldenGate中使用add trandata命令强制重做日志记录主键值，以保证在目标端能成功复制： GGSCI>dblogin userid ddw,password ddw--GoldenGate中登录OARCLE数据库 GGSCI>add trandata ddw.<tablename>--表名可以使用通配符
GoldenGate可以提供可靠的数据复制，主要体现在下面三点： 保证事务一致性保证事务一致性保证事务一致性保证事务一致性 GoldenGate在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为实时查询和事务处理创造了条件。 检查点机制保障数据无丢失检查点机制保障数据无丢失检查点机制保障数据无丢失检查点机制保障数据无丢失 GoldenGate的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程，其检查点记录当前已经抽取日志的位置和写队列文件的位置；对于投递进程，其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate进程故障重启后数据无丢失。 可靠的数据传输机制可靠的数据传输机制可靠的数据传输机制可靠的数据传输机制 GoldenGate用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。 Oracle 公司的GoldenGate产品，可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉、转换和投递。GoldenGate可以支持几乎所有常用操作系统如和数据库平台，如下表所示： 操作系统 数据库
4.1.2 dml同步 4.1.2.1 一对一的实时同步配置 复制流程如图： 打开mgr主进程，添加提取进程（extract）: GGSCI>add extract extl,tranlog,begin now--新增抽取进程extl，基于日志方式，立即生效 需要注意的是，GoldenGate中的进程名最长只能8个字符。 GGSCI>edit param extl --生成并编辑同名配置文件 /*** extract extl --抽取进程名 userid ddw,password ddw --连接本机DB的帐号密码 rmthost 192.168.0.44, mgrport 7801 --目标数据库服务器地址和GG服务端口号 rmttrail d:\tools\GG\gg10g\dirdat\rl--远程队列的位置（下一步建的东西） dynamicresolution --优化参数，动态分析表结构 gettruncates --抓取truncate数据 table ddw.aatest; --需要抽取的表，可以使用通配符 ***/ 然后给这个提取进程配置远端队列位置，即图中的RMTTRAIL： GGSCI>add rmttrail d:\tools\GG\gg10g\dirdat\rl extract extl 需要注意的是，这里的rl是指以后生成的trail文件都会以rl开头，如rl000001，这个文件头名称最长只能2个字符=。= 开启这个提取进程： GGSCI> start extl GGSCI> info all --查看所有进程状态 此时extl进程running则表示已成功运行，这时开始会在前面指定的目标端队列位置生成trail文件。如果进程出错，可以使用view report extl 查看错误信息。 接下来配置目标段， 在目标端GoldenGate命令行中配置复制进程：
GG_HOME>表示从操作系统命令行（cmd）进入GoldenGate安装路径下执行命令。 GGSCI>表示在GoldenGate命令环境中执行命令。 SQL>表示在数据库下执行SQL语句 /*** ***/ 表示配置文件内容，/***不包含在内。 <>表示自定义参数，如自定义表名<tablename> 3、、、、安装安装安装安装GoldenGate 在官方网站下载相应版本的GoldenGate安装包（OS、32位/64位、database version），解压安装文件，然后拷贝至适当的文件夹下面（文件路径不要包含中文、空格）。 Windows操作系统需要首先下载安装MicrosoftVisual C ++ 2005 SP1发行包。 进入操作系统命令行（cmd），进入安装路径下，执行： GG_HOME>ggsci --进入GoldenGate命令窗口模式 GGSCI> CREATE SUBDIRS--建立子目录 GGSCI>edit param mgr --配置GoldenGate主进程参数 由于第一次执行该命令，会提示创建mgr参数文件，点“是”并在文本中输入如下参数： /*** PORT 7801--GoldenGate主进程端口号 DYNAMICPORTLIST 7802-7820--GoldenGate为进程间通讯动态分配的端口段 PURGEOLDEXTRACTS d:\tools\GG\gg10g\dirdat\*--删除过期的trail文件 ***/ 保存，生成的参数文件保存在GG_HOME\ dirprm下 此时可以启动GoldenGate主控制进程： GGSCI>start mgr GGSCI>info all --查看进程状态 如果进程MANAGER状态显示为RUNNING则表示主进程已在运行。 也可以将GoldenGate主进程作为系统服务进行管理，如下配置： GGSCI>edit param ./globals --配置全局参数，注意前面的 ./ 表明与其他参数文件位置不同 输入： /*** MGRSERVNAME <name>--GoldenGate主进程端口号，<name>为自定义的系统服务名 ***/ GG_HOME> install addservice addevents --完成后可以直接进服务进行管理 GG_HOME>install deleteevents deleteservice--对应删除服务操作 4、、、、GoldenGate同步测试同步测试同步测试同步测试
如上图所示，GoldenGate的数据复制过程如下： 利用捕捉进程(Capture Process)在源系统端读取Online Redo Log或Archive Log，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为GoldenGate自定义的中间格式存放在队列文件（trail）中。再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点（checkpoint），记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制； 目标系统接受数据变化并缓存到GoldenGate队列当中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据； GoldenGate投递进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。 由此可见，GoldenGate是一种基于软件的数据复制方式，它从数据库的日志解析数据的变化（数据量只有日志的四分之一左右）。GoldenGate将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达9:1的压缩率enGate可以通过交易重组、分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的 GoldenGate提供了灵活的应用方案，基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构，如图所示：
MS NT, 2000, XP, Linux, Sun Solaris, HP-UX, IBM AIX, HP NonStop, TRU64, IBM z/OS，OS/390 Oracle, DB2, MS SQL Server, MySQL, Enscribe, SQL/MP, SQL/MX, Sybase, Teradata, 其他ODBC 兼容数据库 2、、、、测试目的测试目的测试目的测试目的和测试环境和测试环境和测试环境和测试环境 2.1 测试目的测试目的测试目的测试目的 由于公司没有使用过GoldenGate软件，在今后的项目中有实时性较高、多种异构数据源、同步数据量大以及数据源分布地域较广的复杂情况，需要使用新的同步软件和机制以应对。为了配合产品选型和方案制定，故本次对GoldenGate产品的测试主要目的有如下： （1） 测试使用GoldenGate的实时同步功能，并对同步性能进行初步估测。 （2） 测试GoldenGate对几种常见数据源的支持。 （3） 测试使用GoldenGate进行实时同步时的数据转换功能。 （4） 记录配置使用过程和使用中遇到问题，方便今后查阅。并希望能做为一份GoldenGate的基础配置资料，方便其他朋友学习。 本次测试主要为试用评估，配置和参考文档均为ORACLE提供的使用配置文档，测试的GoldenGate版本主要为10.4，mysql测试部分使用GoldenGate 11.1版本（新版本才推出支持的GG安装包），两个版本并没有很大差别。 2.2 测试测试测试测试使用使用使用使用环境环境环境环境 （1） 测试PC机基本参数：Intel (R) Pentium (R) 双核 3.00GHZ,3.00GHZ 2G内存。 （2） 32位Windows XP SP3，以下所有的安装配置都是基于win32系统。 （3） Oracle 10.2.0.1，DB2 9.7，Sybase 12.5，MySQL 5.1.52。 由于人力以及测试条件所限，而且测试范围较小，步骤也不甚规范，测试仅限于在同一PC机上进行，所以无法提供精确的性能测试数据，只能算是一次初步估测。本人也是初次接触使用GoldenGate，错误之处在所难免。 2.3 约定约定约定约定 为统一表示命令和便于查看，作如下约定：