OGG_GoldenGate数据传递文件Trial（案例）

OGG_GoldenGate数据传递⽂件Trial（案例）
2014-03-05 Created By BaoXinjian ⼀、摘要
Trail⽂件是GoldenGate为了更有效的把数据库事务信息从源端传递到⽬标端
1. Trail⽂件处理过程
Step1. Extract进程抽取万数据以后，GoldenGate会把抽取的事务信息转换为GoldenGate特有的专有格式⽂件Trail
Step2. 然后Pump进程将Trail⽂件传输到⽬标端
所以⽬标端和源端都会存在Trail⽂件
2. Trail⽂件的分类
源端存放Trail⽂件，为本地Trail⽂件
⽬标端存放Trail⽂件，为远程Trail⽂件
3. Trail⽂件存在的意义
防⽌单点故障，将事物信息持久化，并使⽤checkpoint机制记录其读写位置
如果发⽣故障，数据可以根据Checkpoint记录的位置重新传输
Tail⽂件并不是必须的，Extract进程可以通过TCP/IP协议，直接将⽇志信息传输⾄⽬标端，但是不推荐，⼀旦发⽣系统故障或⽹络故障，可能会造成数据的丢失
4. Logdump查看⼯具
Logdump可以查看GoldenGate的trail⽂件
⼆、Tail⽂件查看
如何查看Process使⽤的Tail⽂件
GGSCI () 6> info REP1
REPLICAT REP1 Last Started 2015-01-28 05:31 Status RUNNING
Checkpoint Lag 00:00:00 (updated 00:00:01 ago)
Log Read Checkpoint File /opt/oracle/ggate/dirdat/lt000001
2015-01-28 05:31:45.209626 RBA 1105
三、Logdump分析
1. Logdump作⽤
Logdump是⼀个GoldenGate⾃带的trail⽂件分析⼯具，⽽且能加深对GoldenGate⼯作原理的理解，⾮常值得花时间来研究它
2. Logdump常⽤命令
(1). Usertoken ⽤来显⽰trail⽂件的⼀些标记信息。

(2). Ggstoken 显⽰GoldenGate的⼀些标记信息。

(3). Headertoken 显⽰头部的标记信息。

(4). ghdr on ⽤来打开记录的头部信息。

(5). pos first|last| for| rev 其中pos for|rev ⽐较重要，⽤于指定在trail⽂件中读的⽅向（向上|向下）。

(6). count detail 会显⽰当前trail⽂件总的记录数量。

3. 通过Logdump⼯具分析Tail⽂件的结构
(1). ⼀个trail⽂件结构
a. ⽂件头部信息
b. 记录的头部信息
c. 记录的详细信息
(2). 其他要点
a. GoldenGate是以事物为单位处理记录的，所以trail⽂件记录的事件为commit的时间
b. Trail⽂件中的处在同⼀事物的record，由I/O time和Audit RBA值唯⼀确定
c. TransInd记录当前的record处在当前事物的哪个部分
四、Logdump的分析案例
案例：查看当前Process正在处理的进程
Step1. 查看logdump程序位置，并调⽤
[ggate@odellprod ggate]$ pwd
/opt/oracle/ggate
[ggate@odellprod ggate]$ ls logdump
logdump
[ggate@odellprod ggate]$ ./logdump
Step2. 查看process正在处理的trail⽂件和rba
GGSCI () 6> info REP1
REPLICAT REP1 Last Started 2015-01-28 05:31 Status RUNNING
Checkpoint Lag 00:00:00 (updated 00:00:01 ago)
Log Read Checkpoint File /opt/oracle/ggate/dirdat/lt000001
2015-01-28 05:31:45.209626 RBA 88381352
Step3. 打开该trail⽂件，并分析该⽂件
Logdump 342 >open /opt/oracle/ggate/dirdat/lt000001
Current LogTrail is /opt/oracle/ggate/dirdat/lt000001
Logdump 343 >ghdr on
Logdump 344 >detail on
Logdump 345 >detail data
Logdump 346 >usertoken on
Logdump 347 >pos 1105
Reading forward from RBA 88381352
Logdump 348 >n
___________________________________________________________________
Hdr-Ind : E (x45) Partition : . (x04)
UndoFlag : . (x00) BeforeAfter: A (x41)
RecLength : 944 (x03b0) IO Time : 2015/01/29 05:47:21.045.532
IOType : 5 (x05) OrigNode : 255 (xff)
TransInd : . (x00) FormatType : R (x52)
SyskeyLen : 0 (x00) Incomplete : . (x00)
AuditRBA : 194407 AuditPos : 89422352
Continued : N (x00) RecCount : 1 (x01)
2015/01/29 05:47:21.045.532 Insert Len 944 RBA 88381352 -->操作类型Insert Name: GAVINPROD -->来源数据库
After Image: Partition 4 G b
0000 000d 0000 0009 3335 3636 3730 3532 3900 0100 | ........356670529...
04ff ff00 0000 0200 04ff ff00 0000 0300 04ff ff00 | ....................
0000 0400 04ff ff00 0000 0500 04ff ff00 0000 0600 | ....................
04ff ff00 0000 0700 04ff ff00 0000 0800 0700 0000 | ....................
0337 3535 0009 0004 ffff 0000 000a 0004 ffff 0000 | .755................
000b 0004 ffff 0000 000c 0004 ffff 0000 000d 0004 | ....................
ffff 0000 000e 0004 ffff 0000 000f 0004 ffff 0000 | ....................
Column 0 (x0000), Len 13 (x000d)
0000 0009 3335 3636 3730 3532 39 | ....356670529 -->数据值
Column 1 (x0001), Len 4 (x0004)
ffff 0000 | ....
Column 2 (x0002), Len 4 (x0004)
ffff 0000 | ....
Column 3 (x0003), Len 4 (x0004)
ffff 0000 | ....
Column 4 (x0004), Len 4 (x0004)
ffff 0000 | ....
Column 5 (x0005), Len 4 (x0004)
ffff 0000 | ....
Column 6 (x0006), Len 4 (x0004)
ffff 0000 | ....
Column 7 (x0007), Len 4 (x0004)
ffff 0000 | ....
Column 8 (x0008), Len 7 (x0007)
Thanks and Regards。