Extract 进程会捕获所有已配置的需要同步的对象变化，但只会将已提交的事务发送到远程的 trail 文件用于同步。当事务提交时，所有和该事务相关的日志记录被以事务为单元顺序的记录到 trail 文件中。Extract 进程利用其内在的 checkpoint 机制，周期性的记录其读写的位置，这种机制是为了保证 Extract 进程终止或操作系统当机，重新启动 Extract 后，GoldenGate 可以恢复到之前的状态，从上一个断点继续往下运行。通过上面的两个机制，就可以保证数据的完整性了。 多个 Extract 进程可以同时对不同对象进行操作。例如，可以在一个 Extract 进程抽取并向目标端发生事务数据的同时，利用另一个Extract 进程抽取的数据做报表。或者，两个 Extract 进程可以利用两个 trail 文件，同时抽取并并行传输给两个 replicat 进程以减少数据同步的延时。 抽取进程和传输进程可以配置在一个进程完成这两个功能，但是当网络传输有问题时，这样抽取也就不能继续运行了，所以推荐分开配置为两个进程。 # 进程介绍 ### 抽取进程 抽取进程负责从源端数据表或者日志中捕获数据。Extract 的作用可以按照表来时间来划分： 1. 初始时间装载阶段：在初始数据装载阶段，Extract 进程直接从源端的数据表中抽取数据。 2. 同步变化捕获阶段：初始数据同步完成以后，Extract 进程负责捕获源端数据的变化(DML 和 DDL) 在进行初始化转载，或者批量同步数据时， GoldenGate 会生成 Extract 文件来存储数据而不是 trail 文件。默认情况下， 只会生成一个 Extract 文件，但如果出于操作系统对单个文件大小限制或者其他因素的考虑，也可以通过配置生成多个 Extract 文件。 Extract 文件不记录检查点。 Extract 进程的状态包括： - Stopped(正常停止) - Starting(正在启动) - Running(正在运行) - Abended(Abnomal End的缩写，标示异常结束)。 ### 传输进程 传输进程运行在数据库源端，其作用是将源端产生的本地 trail 文件，把 trail 以数据块的形式通过 TCP/IP 协议发送到目标端的 Remote Trail 文件中，这通常也是推荐的方式。 使用传输进程的好处是： 1. 如果目标端或者网络失败，源端的抽取进程不会意外终止 2. 需要在不同的阶段实现数据的过滤或者转换 3. 多个源数据库复制到数据中心 4. 数据需要复制到多个目标数据库 抽取进程可以在线或者批量配置，他可以进行数据过滤，映射和转换，同时他还可以配置为“直通模式”，这样数据被传输到目标端时就可以直接生成所需的格式，无需另外操作。 直通模式提高了 data pump 的效率，因为生成后的对象不需要继续进行检索。 在大多数情况下，oracle 都建议采用 data pump。 > **注意：**无论是否使用 pump 进程，在目标端都会生成 trail 文件 # 常用参数 ### 参数 ##### 进程名称 Extract group 名称 ``` EXTRACT extdl ``` ##### 环境变量 SETENV：配置系统环境变量 ``` setenv(NLS_LANG = AMERICAN_AMERICA.AL32UTF8) setenv(ORACLE_SID = oggsource) ``` ##### 用户名/密码 指定 OGG 连接数据库的用户名和密码，创建专为 goldengate 的数据库用户 goldengate；连接的是源端的数据库。 ``` userid goldengate, password goldengate ``` ##### Trial 文件信息 - 抽取进程 - EXTTRAIL：指定写入到本地的 /u01/ogg/dirdat 目录，文件以 dl 开头。 - 传输进程 - RMTHOST：指定目标系统及其 GoldengateManager 进程的端口号，还用于定义是否使用压缩进行传输，compress 为压缩传输； - RMTTRAIL：trail 文件存放位置在目标端主机上的 /u01/ogg/dirdat 目录，文件以 dl 开头。 ``` exttrail /u01/ogg/dirdat/dl rmthost oggtarget, mgrport 7809 rmttrail /u01/ogg/dirdat/dl ``` ##### 捕获的内容 ###### 默认 所有 DML 操作都捕获 - 只捕获 commit 操作 - Insert 操作：完整后镜像 - Update 操作：附加日志列和修改列、不捕获 update 前镜像值 - Delete 操作：附加日志列 ###### 参数 - DYNAMICRESOLUTION | NODYNAMICRESOLUTION：是否动态解析表名，默认为 DYNAMICRESOLUTION - 需要复制或排除的表（ tables、 tableexclude） - TABLEEXCLUDE：可以使用*为通配符，定义需复制的表，后面需以；结尾 - TABLEEXCLUDE：可以使用*为通配符，定义需要排除的表 - 哪些操作要抽取 - GETDELETES | IGNOREDELETES：是否复制 DELETE 操作，缺省复制 - GETINSERTS | IGNOREINSERTS：是否复制 INSERT 操作，缺省复制 - GETTRUNCATES | IGNORETRUNCATES：是否复制 TRUNCATE 操作，缺省不复制 - GETUPDATEAFTERS | IGNOREUPDATEAFTERS：是否在队列中写入后影像，缺省复制 - GETUPDATEBEFORES | IGNOREUPDATEBEFORES：是否在队列中写入前影像，缺省不复制 - GETUPDATES | IGNOREUPDATES：是否复制 UPDATE 操作，缺省复制 - MAP source_table, TARGET target_table 使用 Replicat 参数文件中的 MAP 参数将数据从源对象映射到适当的目标对象。MAP 选项指定在将数据应用到目标对象之前必须执行的处理工作，如过滤、转换和错误处理。要与源对象同步的每个目标对象必须通过 MAP 参数与该源对象相关联。可以通过通配符指定多个源-目标关系。 ##### 优化 - cachemgr 参数的控制：64bit 默认最大可以用到 64g，所以要控制好，否则内存占用过大 ``` cachemgr cachesize 2048M, cachedirectory ./dirtmp 4GB, cachedirectory ./dirtmp2 4GB ``` - cachesize：占用 2048M 内存 - cachedirectory：缓存路径及大小 - BR：默认4小时。 场景：长事务还未结束，日志文件被删除；无需还原日志文件，收到commit后，直接从BR目录下的文件写入trial 文件。 ``` BR BRINTERVAL 20M, BRDIR BR ``` - BRINTERVAL：20M表示检查间隔是20分钟 ### 示例 ##### 抽取进程 ``` GGSCI (node1) 6> edit param extdl EXTRACT extdl setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK) setenv (ORACLE_SID = oggsource) USERID goldengate, PASSWORD goldengate EXTTRAIL /u01/ogg/dirdat/dl dynamicresolution --GETUPDATEBEFORES --NOCOMPRESSDELETES table myschema.maytable1; table myschema.maytable2; --table myschema.*; --TABLE hq.acct, COLS (col1, col3); //只复制该表的col1和col3列 --TABLE hq.acct, COLSEXCEPT (col4); //复制该表除col4外的所有列 ``` ##### 传输进程 ``` GGSCI (node1) 8> edit params dpedl extract dpedl SETENV (NLS_LANG=AMERICAN_AMERICA.AL32UTF8) USERID goldengate, PASSWORD goldengate PASSTHRU --REPORT AT 01:59 --reportrollover at 02:00 RMTHOST 192.168.66.112, MGRPORT 7809,compress RMTTRAIL /u01/ogg/dirdat/dl dynamicresolution table myschema.mytable1; table myschema.mytable2; TABLE hq.acct; //注意此时不用再过滤cols了。 ```