使用Goldengate 實(shí)現(xiàn)Oracle for Oracle 單向數(shù)據(jù)同步

實(shí)驗(yàn)環(huán)境

數(shù)據(jù)源端：  host1 ip 192.168.199.163  

數(shù)據(jù)目標(biāo)端： host2 ip 192.168.199.104

兩臺(tái)機(jī)器都安裝 http://lqding.blog.51cto.com/9123978/1694971 文中描述安裝配置好了Goldengate 。

要實(shí)現(xiàn)數(shù)據(jù)的同步，Oracle源端必須滿足如下設(shè)置

1. Oracle需要運(yùn)行在歸檔模式下
   

SQL> startup mount 
ORACLE instance started.

Total System Global Area  835104768 bytes
Fixed Size		    2217952 bytes
Variable Size		  574621728 bytes
Database Buffers	  255852544 bytes
Redo Buffers		    2412544 bytes
Database mounted.
SQL> alter database archivelog;

Database altered.

SQL> alter database open;

Database altered.

2. 開啟日志附加屬性

SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

Database altered.

SQL> ALTER SYSTEM SWITCH LOGFILE;

System altered.

ogg安裝目錄下提供了一些demo的sql

[oracle@localhost ogg]$ ls demo_ora_*
demo_ora_create.sql  demo_ora_insert.sql  demo_ora_lob_create.sql  demo_ora_misc.sql  demo_ora_pk_befores_create.sql  demo_ora_pk_befores_insert.sql  demo_ora_pk_befores_updates.sql

我們使用demo_ora_create.sql在源和目的端都創(chuàng)建兩張表，在源端使用demo_ora_insert.sql插入數(shù)據(jù)。

host1

SQL> alter user scott identified by tiger account unlock;

User altered.

SQL> grant resource to scott;  #ggsci 登錄數(shù)據(jù)庫時(shí)需要該權(quán)限
Grant succeeded.

SQL> grant select any dictionary to scott; # add trandata時(shí)需要該權(quán)限

Grant succeeded.
SQL> conn scott/tiger
Connected.
SQL> @demo_ora_create.sql
SQL> @demo_ora_insert.sql

host2

SQL> alter user scott identified by tiger account unlock;

User altered.
SQL> grant resource to scott;  #ggsci 登錄數(shù)據(jù)庫時(shí)需要該權(quán)限
Grant succeeded.

SQL> grant select any dictionary to scott; # add trandata時(shí)需要該權(quán)限
SQL> conn scott/tiger
Connected.
SQL> @demo_ora_create.sql

為需要同步的表，添加附加日志

GGSCI (localhost.localdomain) 1> dblogin userid scott, password tiger
Successfully logged into database.

GGSCI (localhost.localdomain) 2> add trandata scott.tcustmer

Logging of supplemental redo data enabled for table SCOTT.TCUSTMER.

GGSCI (localhost.localdomain) 3> add trandata scott.tcustord

Logging of supplemental redo data enabled for table SCOTT.TCUSTORD.

一、初始化加載數(shù)據(jù)

在源端配置一個(gè)初始化Extract，用來同步表中現(xiàn)有數(shù)據(jù)

GGSCI (localhost.localdomain) 7> ADD EXTRACT EINILOAD, SOURCEISTABLE
EXTRACT added.

ADD EXTRACT命令用來添加一個(gè)EXTRACT, EINILOAD為Extract的group name 。SOURCEISTABLE表示數(shù)據(jù)源為表。

查看Extract的信息

GGSCI (localhost.localdomain) 9> INFO EXTRACT *, TASKS

EXTRACT    EINILOAD  Initialized   2015-09-11 15:25   Status STOPPED
Checkpoint Lag       Not Available
Log Read Checkpoint  Not Available
                     First Record         Record 0
Task                 SOURCEISTABLE

配置初始化加載的捕獲參數(shù)

GGSCI (localhost.localdomain) 10> edit params EINILOAD


--
-- GoldenGate Initial Data Capture
-- for TCUSTMER and TCUSTORD
--
EXTRACT EINILOAD
USERID system, PASSWORD "oracle"
RMTHOST 192.168.199.104, MGRPORT 7809
RMTTASK REPLICAT, GROUP RINILOAD
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;

在目標(biāo)端，配置一個(gè)REPLICAT

GGSCI (localhost.localdomain) 2> ADD REPLICAT RINILOAD, SPECIALRUN
REPLICAT added.

查看REPLICAT信息

GGSCI (localhost.localdomain) 4> info replicat *, tasks

REPLICAT   RINILOAD  Initialized   2015-08-22 14:18   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:02:50 ago)
Log Read Checkpoint  Not Available
Task                 SPECIALRUN

配置Replicat參數(shù)

GGSCI (localhost.localdomain) 5> edit params riniload


--
-- GoldenGate Initial Load Delivery
--
REPLICAT RINILOAD
ASSUMETARGETDEFS
USERID system, PASSWORD "oracle"
DISCARDFILE ./dirrpt/RINILOAD.dsc, PURGE
MAP scott.*, TARGET scott.*;

啟動(dòng)Extract

GGSCI (localhost.localdomain) 11> start extract einiload

Sending START request to MANAGER ...
EXTRACT EINILOAD starting

查看日志

GGSCI (localhost.localdomain) 21> view report einiload

如果有報(bào)錯(cuò)，查找原因并解決

Processing table SCOTT.TCUSTMER

Processing table SCOTT.TCUSTORD

***********************************************************************
*                   ** Run Time Statistics **                         *
***********************************************************************


Report at 2015-09-11 16:23:40 (activity since 2015-09-11 16:23:33)

Output to RINILOAD:

From Table SCOTT.TCUSTMER:
       #                   inserts:         2
       #                   updates:         0
       #                   deletes:         0
       #                  discards:         0
From Table SCOTT.TCUSTORD:
       #                   inserts:         2
       #                   updates:         0
       #                   deletes:         0
       #                  discards:         0


REDO Log Statistics
  Bytes parsed                    0
  Bytes output                  574

日志顯示，已成功同步數(shù)據(jù)。

到目的庫上驗(yàn)證

SQL> select count(*) from tcustmer;

  COUNT(*)
----------
	 2

SQL> select count(*) from tcustord;

  COUNT(*)
----------
	 2

二、配置數(shù)據(jù)實(shí)時(shí)同步

源端，配置一個(gè)實(shí)時(shí)Extract 

GGSCI (localhost.localdomain) 22> ADD EXTRACT EORAKK, TRANLOG, BEGIN NOW, THREADS 1
EXTRACT added.

編輯Extract的參數(shù)文件

GGSCI (localhost.localdomain) 23> EDIT PARAMS EORAKK


--
-- Change Capture parameter file to capture
-- TCUSTMER and TCUSTORD Changes
--
EXTRACT EORAKK
USERID system, PASSWORD oracle
RMTHOST 192.168.199.104, MGRPORT 7809
RMTTRAIL ./dirdat/KK
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;

為Extract添加遠(yuǎn)端tail file，也就是說這個(gè)tail file是在目的端生成的。

GGSCI (localhost.localdomain) 24> ADD RMTTRAIL ./dirdat/KK, EXTRACT EORAKK, MEGABYTES 5
RMTTRAIL added.

驗(yàn)證結(jié)果

GGSCI (localhost.localdomain) 28> INFO RMTTRAIL *

       Extract Trail: ./dirdat/KK
             Extract: EORAKK
               Seqno: 0
                 RBA: 0
           File Size: 5M

啟動(dòng)Extract 進(jìn)程

GGSCI (localhost.localdomain) 29> start extract eorakk

Sending START request to MANAGER ...
EXTRACT EORAKK starting

驗(yàn)證結(jié)果

GGSCI (localhost.localdomain) 30> INFO EXTRACT EORAKK, DETAIL

EXTRACT    EORAKK    Last Started 2015-09-11 17:07   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:01 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2015-09-11 17:07:47  Thread 1, Seqno 25, RBA 36139008
                     SCN 0.1174781 (1174781)

  Target Extract Trails:

  Remote Trail Name                                Seqno        RBA     Max MB

  ./dirdat/KK                                          0       1050          5

  Extract Source                          Begin             End             

  /u01/app/oracle/oradata/orcl/redo01.log  2015-09-11 16:58  2015-09-11 17:07
  Not Available                           * Initialized *   2015-09-11 16:58


Current directory    /u01/app/ogg

Report file          /u01/app/ogg/dirrpt/EORAKK.rpt
Parameter file       /u01/app/ogg/dirprm/eorakk.prm
Checkpoint file      /u01/app/ogg/dirchk/EORAKK.cpe
Process file         /u01/app/ogg/dirpcs/EORAKK.pce
Stdout file          /u01/app/ogg/dirout/EORAKK.out
Error log            /u01/app/ogg/ggserr.log

GGSCI (localhost.localdomain) 31> VIEW REPORT EORAKK

GGSCI (localhost.localdomain) 32> INFO ALL

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     RUNNING     EORAKK      00:00:00      00:00:06

目標(biāo)端，配置REPLICAT

安裝checkpoint表

配置checkpoint表的名稱

GGSCI (localhost.localdomain) 33> EDIT PARAMS ./GLOBALS


HECKPOINTTABLE system.ggschkpt

生成checkpoint表 

GGSCI (localhost.localdomain) 1> DBLOGIN USERID system, PASSWORD oracle
Successfully logged into database.

GGSCI (localhost.localdomain) 2> ADD CHECKPOINTTABLE

No checkpoint table specified, using GLOBALS specification (system.ggschkpt)...

Successfully created checkpoint table system.ggschkpt.

GGSCI (localhost.localdomain) 3>

添加Replicat

GGSCI (localhost.localdomain) 3> ADD REPLICAT RORAKK, EXTTRAIL ./dirdat/KK
REPLICAT added.

創(chuàng)建Replicat的參數(shù)文件

GGSCI (localhost.localdomain) 4> EDIT PARAMS RORAKK


--
-- Change Delivery parameter file to apply
-- TCUSTMER and TCUSTORD Changes
--
REPLICAT RORAKK
USERID system, PASSWORD oracle
HANDLECOLLISIONS
ASSUMETARGETDEFS
DISCARDFILE ./dirrpt/RORAKK.DSC, PURGE
MAP scott.tcustmer, TARGET scott.tcustmer;
MAP scott.tcustord, TARGET scott.tcustord;

啟動(dòng)Replicat

GGSCI (localhost.localdomain) 5> start replicat rorakk

Sending START request to MANAGER ...
REPLICAT RORAKK starting

驗(yàn)證結(jié)果

GGSCI (localhost.localdomain) 6> info replicat rorakk

REPLICAT   RORAKK    Last Started 2015-08-22 15:49   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:08 ago)
Log Read Checkpoint  File ./dirdat/KK000000
                     First Record  RBA 1050

驗(yàn)證數(shù)據(jù)同步

在源數(shù)據(jù)庫，執(zhí)行如下腳本，對(duì)兩個(gè)表進(jìn)行insert、update、delete操作

[oracle@localhost ogg]$ sqlplus scott/tiger

SQL*Plus: Release 11.2.0.1.0 Production on Fri Sep 11 17:58:17 2015

Copyright (c) 1982, 2009, Oracle.  All rights reserved.


Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL> @/u01/app/ogg/demo_ora_misc.sql

查看源表中的數(shù)據(jù)

SQL> select count(*) from tcustmer;

  COUNT(*)
----------
	 5

SQL> select count(*) from tcustord;

  COUNT(*)
----------
	 3

查看目的表的數(shù)據(jù)

SQL> select count(*) from tcustmer;

  COUNT(*)
----------
	 5

SQL> select count(*) from tcustord;

  COUNT(*)
----------
	 3

數(shù)據(jù)已同步

三、為同步添加data pump

如果沒有data pump，Extract將Trail file寫到遠(yuǎn)程機(jī)器上。如果為Extract配置了Data Pump。那么Extract將Trail file寫到本地。然后Trail 文件由Data Pump傳輸?shù)竭h(yuǎn)端。

1. 先修改Extract的配置

GGSCI (localhost.localdomain) 1> info all

Program     Status      Group       Lag at Chkpt  Time Since Chkpt

MANAGER     RUNNING                                           
EXTRACT     RUNNING     EORAKK      00:00:00      00:00:09    


GGSCI (localhost.localdomain) 2> stop extract eorakk

Sending STOP request to EXTRACT EORAKK ...
Request processed.


GGSCI (localhost.localdomain) 3> edit params eorakk


--
-- Change Capture parameter file to capture
-- TCUSTMER and TCUSTORD Changes
--
EXTRACT EORAKK
USERID system, PASSWORD oracle
RMTHOST 192.168.199.104, MGRPORT 7809
EXTTRAIL ./dirdat/KK
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;

將參數(shù)文件中的RMTTRAIL ./dirdat/kk 改為 EXTTRAIL ./dirdat/KK

2. 刪除Extract的遠(yuǎn)程Trail

GGSCI (localhost.localdomain) 7> DELETE RMTTRAIL ./dirdat/KK
Deleting extract trail ./dirdat/KK for extract EORAKK

3. 增加一個(gè)本地Trail 

GGSCI (localhost.localdomain) 10> ADD EXTTRAIL ./dirdat/KK, EXTRACT eorakk
EXTTRAIL added.

4. 新增Data pump 

GGSCI (localhost.localdomain) 12> ADD EXTRACT EPMPKK, EXTTRAILSOURCE ./dirdat/KK
EXTRACT added.

Data pump本質(zhì)上也是一個(gè)Extract，只是類型不同而已

為data pump配置參數(shù)文件

GGSCI (localhost.localdomain) 14> edit params epmpkk


--
-- Data Pump parameter file
--
EXTRACT EPMPKK
PASSTHRU
RMTHOST 192.168.199.104, MGRPORT 7809
RMTTRAIL ./dirdat/KK
TABLE SCOTT.TCUSTMER;
TABLE SCOTT.TCUSTORD;

為Data Pump添加遠(yuǎn)端Trail

GGSCI (localhost.localdomain) 15> add rmttrail ./dirdat/KK, EXTRACT EPMPKK
RMTTRAIL added.

啟動(dòng)Extract、Data Pump

GGSCI (localhost.localdomain) 16> start extract eorakk

Sending START request to MANAGER ...
EXTRACT EORAKK starting


GGSCI (localhost.localdomain) 17> start extract epmpkk

Sending START request to MANAGER ...
EXTRACT EPMPKK starting

驗(yàn)證數(shù)據(jù)同步

在源端，刪除兩個(gè)表的內(nèi)容

SQL> delete from tcustmer;

5 rows deleted.

SQL> delete from tcustord;

3 rows deleted.

SQL> commit;

Commit complete.

查看目的端表內(nèi)容

SQL> select * from tcustmer;

no rows selected

SQL> select * from tcustord;

no rows selected