oraclegoldengate安装以及单向复制配置doc
Oracle golden gate 安装以及单向复制配置
--------------------不支持ddl操作一、 GoldenGate简介
Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle Golden Gate 可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。
二、技术结构
和传统的逻辑复制一样，Oracle GoldenGate https://www.wendangku.net/doc/251141520.html,实现原理是通过抽取源端的redo log或者archive log，然后通过TCP/IP投递到目标端，最后解析还原放放电影应用到目标端，使目标端实现同源端数同步。以下是OracleGoldenGate的技术架构
Manager进程
Manager进程是GoldenGate的控制进程，运行在源端和目标端上。它主要作用有以下几个方面：启动、监控、重启Goldengate的其他进程，报告错误及事件，分配数据存储空间，发布阀值报告等。
Extract进程
Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。
Pump进程
pump进程运行在数据库源端。其作用是如果源端使用了本地的trail文件，那么pump 进程就会把trail以数据块的形式通过TCP/IP协议发送到目标端，这通常也是推荐的方式。pump进程本质是extract进程的一种特殊形式，如果不使用trails文件，那么就是extract进程在抽取完数据以后，直接投递到目标端。
4.Trail文件
为了更有效、更安全的把数据库事务信息从源端投递到目标端。GoldenGate引进trail文件的概念。前面提到extract抽取完数据以后Goldengate会将抽取的事务信息转化为一种GoldenGate专有格式的文件。然后pump负责把源端的trail文件投递到目标端，所以源、目标两端都会存在这种文件。trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用checkpoint机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint记录的位置来重传。
5.Replicat进程
Replicat进程，通常我们也把它叫做应用进程。运行在目标端，是数据传递的最后一站，负责读取目标端trail文件中的内容，并将其解析为DML或DDL语句，然后应用到目标数据库中。
6.GGSCI
GGSCI是GoldenGate Software Command Interface 的缩写，它提供了十分丰富的命令来对Goldengate进行各种操作，如创建、修改、监控GoldenGate进程等等
三、应用的拓展结构、支持平台和数据库
四、在linux上安装GoldenGate 以及初始化数据(用来做数据迁移)
操作系统：redhat as 5.1
源端ip: 192.168.1.200 node1
目标端ip：192.168.1.201 node2
1、软件安装(源端和目标端相同的操作)
到官网https://https://www.wendangku.net/doc/251141520.html,/注册账号下载最新的软件。
安装平台：redhat linux x86 32bit
goldengate：ogg112101_fbo_ggs_Linux_x86_ora10g_32bit.zip
oracle版本：10.2.0.1
（建议使用oracle用户安装goldengate）
解压软件
$unzip ogg112101_fbo_ggs_Linux_x86_ora10g_32bit.zip
$mkdir /home/ogg
$mv fbo_ggs_Linux_x86_ora10g_32bit.tar /home/ogg/
$tar zxf fbo_ggs_Linux_x86_ora10g_32bit.tar
设置环境变量(在原有的数据库环境变量添加)
$vim .bash_profile
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export GGATE=/home/ogg
$source .bash_profile
2、初始化源端数据库
1) 开启归档模式
GoldenGate是基于oracle日志变化的捕获，所以为了完整的捕获到oracle数据库的变化，有必要将归档模式开启。
SQL> alter system set log_archive_dest_1='location=/home/oracle/arch' scope=both;
SQL> shutdown immediate
SQL> startup mount
SQL> alter database archivelog
SQL> alter database open
SQL> archive log list
2) 开启附加日志
我们知道，在oracle中我们可以通过rowid来定位某条记录，但是目标端的数据库和源端数据库的数据库可能完全不一样，所以无法通过rowid来确定源端数据库的逻辑变化，这时附件日志supplemental log便登上了表演的舞台。数据库在开启附加日志功能后，对于源端的修改操作，oracle会同时追加能够唯一标示记录的列到redo log。这样目标端数据库就可以知道源端发生了哪些具体的变化。
SQL> alter database add supplemental log data;
SQL> alter system switch logfile;
SQL> select supplemental_log_data_min from v$database;
3) 开启强制日志模式
SQL>alter database force logging;
4) 为goldengate创建用户并授权
SQL> create tablespace tbs_gguser datafile
'/home/oracle/oradata/ora10/gguser.dbf' size 1000M autoextend on; SQL> create user ogg identified by ogg default tablespace tbs_gguser temporary tablespace TEMP quota unlimited on tbs_gguser;
SQL> grant connect,resource to ogg;
SQL> grant create session,alter session to ogg;
SQL> grant select any dictionary,select any table to ogg;
SQL> grant alter any table to ogg;
SQL> grant flashback any table to ogg;
SQL> grant execute on dbms_flashback to ogg;
3.初始化目标端数据库
为goldengate创建用户并授权
SQL> c reate tablespace tbs_gguser datafile
'/home/oracle/oradata/ora10/gguser.dbf ' size 1000M autoextend on;
SQL> create user ogg identified by ogg default tablespace tbs_gguser temporary tablespace TEMP quota unlimited on tbs_gguser;
SQL> grant connect,resource to ogg;
SQL> grant create session,alter session to ogg;
SQL> grant select any dictionary,select any table to ogg;
SQL> grant alter any table to ogg;
SQL> grant flashback any table to ogg;
SQL> grant execute on dbms_flashback to ogg;
SQL> grant insert any table to ogg;
SQL> grant delete any table to ogg;
SQL> grant update any table to ogg;
4、初始化数据
1）在源端添加要初始化数据的用户和表(在oracle用户下执行) cd /home/ogg
./ggsci
ggsci> create subdirs //源端和目标端都执行,创建一些目录
ggsci> DBLOGIN USERID ogg,PASSWORD ogg
ggsci> ADD TRANDATA scott.*
ggsci> INFO TRANDATA scott.*
2) 在源端和目标端配置MGR
ggsci> EDIT PARAMS MGR
PORT 7809
PURGEOLDEXTRACTS ./dirdat,USECHECKPOINTS
ggsci> START MGR
ggsci> INFO MGR
3) 在源端配置extract 进程
ggsci> ADD EXTRACT EINI_1,SOURCEISTABLE //直接从表读取信息
ggsci> EDIT PARAMS EINI_1
EXTRACT EINI_1
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
USERID ogg, PASSWORD ogg
RMTHOST 192.168.1.201,MGRPORT 7809
RMTTASK REPLICAT, GROUP RINI_1
TABLE scott.*;
4) 在目标端配置replicat 进程
ggsci> ADD REPLICAT RINI_1,SPECIALRUN //只执行一次
ggsci> EDIT PARAMS RINI_1
REPLICAT RINI_1
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
ASSUMETARGETDEFS
USERID ogg, PASSWORD ogg
DISCARDFILE ./dirrpt/RINIaa.dsc,PURGE
MAP scott.*,TARGET scott.*;
5) 启动源端的extract进程
在启动源端的extract进程之前,先把目标端的数据表信息清除掉
ggsci> START EXTRACT EINI_1
6) 测试数据是否同步过来
在源端和目标端看下相关表的记录是否一致
可以发现数据已经复制到目标端了
五、同步数据库数据
1、在源端配置extrac进程
ggsci> EDIT PARAMS EORA_1
EXTRACT EORA_1
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
USERID ogg,PASSWORD ogg
EXTTRAIL ./dirdat/aa
TABLE scott.*;
ggsci> ADD EXTRACT EORA_1,TRANLOG,BEGIN NOW
ggsci> ADD EXTTRAIL ./dirdat/aa,EXTRACT EORA_1,MEGABYTES 5
ggsci> START EXTRACT EORA_1
ggsci> INFO EXTRACT EORA_1
2、在源端配置pump进程
ggsci> EDIT PARAMS PORA_1
EXTRACT PORA_1
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
PASSTHRU
RMTHOST 192.168.1.11,MGRPORT 7809
RMTTRAIL ./dirdat/pa
TABLE scott.*;
ggsci> ADD EXTRACT PORA_1,EXTTRAILSOURCE ./dirdat/aa
ggsci> ADD RMTTRAIL ./dirdat/pa,EXTRACT PORA_1, MEGABYTES 5 ggsci> START EXTRACT PORA_1
ggsci> INFO EXTRACT PORA_1
3、在目标端配置replicat进程
ggsci> EDIT PARAMS ./GLOBALS
CHECKPOINTTABLE ogg.ggschkpt
ggsci> exit
ggsci> DBLOGIN USERID ogg,PASSWORD ogg
ggsci> ADD CHECKPOINTTABLE
ggsci> ADD REPLICAT RORA_1,EXTTRAIL ./dirdat/pa
ggsci> EDIT PARAMS RORA_1
REPLICAT RORA_1
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
USERID ogg,PASSWORD ogg
HANDLECOLLISIONS
ASSUMETARGETDEFS
DISCARDFILE ./dirrpt/RORA_aa.DSC,PURGE
MAP scott.*,TARGET scott.*;
ggsci> START REPLICAT RORA_1
4、测试数据是否可以正常同步
在源端insert、update、delete数据,看目标端是否和源端一致，一致表示复制
正常.
在源端插入一条数据并且提交
在目标端看下插入的数据是否同步过来了
从上面的情况可以看出来同步正常的
由于此文档配置不支持ddl操作,在此我也做了下ddl的同步的测试,方法就是在源端和目标端都创建一个同名的表,然后在源端插入数据看目标端是否同步
从以上的图片可以看到数据可以正常的同步的
至于goldengate支持ddl操作的配置,网上有很多文章,大家可以参考下,就是多执行几个oracle自带的sql脚本,extract和replicate配置文件需要添加一些参数.