Oracle适配迁移高斯数据库简介在国产数据库系统切换的大背景下,使用关系型的Oracle数据库的系统可选择替换为华为的高斯数据库。高斯数据库属于分布式、多模型数据库,基于PostgreSQL开源数据库且遵循了SQL相关标准开发的数据库,具备高性能、高可靠性、高扩展性。相比而言,两者数据库在数据存储、内核结构、数据类型、系统函数功能等方面及部分SQL语法均存在一定的差异性。这些差异存在客观造成数据库对象创建、存储过程编译、SQL解析执行等环节一定差异,无法完全兼容。
Oracle迁移高斯数据库流程及工具1.迁移工具UGO:异构数据库结构迁移。是数据对象迁移工具,该功能主要有,移前数据库对象兼容性评估、迁移过程中SQL语法转换配置、以及数据库对象迁移同步、迁移后数据库对象验证。该工具可将源数据库的DDL、DML、DCL和业务程序中封装的数据库SQL一键自动转换为GasussDB的SQL语法,提高转化率、最大化降低数据库迁移成本。该工具主要通过预迁移评估、结构迁移两大核心功能,实现主流商用数据库到GaussDB的自动化搬迁。DRS:数据实时迁移服务。在UGO完成数据库对象迁移后,可使用该工具实现存量、增量数据迁移。2.迁移工具使用Oracle的数据库系统可采取三部分进行迁移:结构迁移、数据迁移、应用迁移。如下图1所示。
结构迁移:使用UGO评估数据库并获取转换后的异构数据库表结构。数据迁移:通过华为云管理页面使用数据复制服务DRS进行全量数据迁移并进行完整性校验。应用迁移:定位DAO层业务代码,使用异构数据库结构迁移平台UGO进行语法转换,根据转换结果调整语法。Oracle迁移高斯库双向同步方案Oracle库迁移高斯库大概有三种方式:一次性全量切换,确保gauss同步至oracle;oracle与gauss双向同步;应用测双写改造。这里简介一下DRS双向同步方案。数据迁移方案在保证源库与目标库数据一致、安全性的前提下,可以考虑采用“全量铺底、增量同步、双向同步、阶段迁移”迁移策略,实现Oracle到高斯数据库的稳步切换。迁移方案图如下图所示:
全量铺底:在初次Oracle同步至高斯库数据,可以基于全量在线迁移方式,将当前Oracle库数据全量同步至高斯库。在线迁移过程中,服务可能会产生短暂中断或者不中断,对使用方无感知,可以满足系统实时性要求;增量同步:增量同步可使用源库与目标库在操作某一方的数据后保持同步;双向同步:增量同步即可支持Oracle到gauss,也可支持gauss到oracle的同步;阶段迁移:若系统级别高,表量上千,可以考虑上图中分批次的迁移方式,以解耦后的每个微服务进行迁移。先迁移影响小的微服务,待稳定运行之后,再迁移其余微服务。数据一致性校验数据全量同步后,需要进行数据一致性校验,该环节可以使用DRS提供的“一致性比对”功能操作,一方面可以对源库与目标库选中的表的表层级字段做校验,另一方面可以对源库与目标库的表内容进行对比。总之,全量迁移+增量同步、反向增量同步等操作均需要数据一致性校验。Oracle迁移高斯数据库经验总结Oracle数据库涉及表、索引、序列、视图、存储过程、触发器等结构迁移。迁移过程中由于个别结构不能兼容GaussDB数据库,需要在迁移前做进一步处理。此外,数据同步遇到的特殊问题进行了解决。结构迁移问题处理1.触发器问题Oracle数据库下使用的触发器不能兼容GaussDB库,因此迁移前需要进行改造,不能一次性完全迁移。a.触发器中long类型可修改为bigint、number或numeric;所有的表结构名和字段名均需大写。b.高斯库下不支持updating函数,因此,Oracle触发器用到updating函数的需要进行统一改造。2.序列问题a.序列通常用法是替代Oracle没有自增主键而用。但Gauss的序列cache是session端的,因此会导致sequence不连续。比如cache是100,连接池中A连接拿到1-100,连接池B拿到101-200,但连接池A的没用完,连接池B用完了sequence。等连接池A再次使用sequence的时候,会先将没用完的继续使用,但是sequence已经是200了,结果反而出现了<100的sequence出现。建议sequence改为1。b.oracle序列最大支持9999999999999999999;而高斯最大序列值为9223372036854775807例如:CREATE SEQUENCE[TABLE_NAME]MINVALUE 1 MAXVALUE 9223372036854775807 INCREMENT BY 1 START WITH 275974021 CACHE 1 NO CYCLE3.存储过程Oracle下的存储过程在高斯环境已完全不适用,需要将逻辑上卷到应用层面。4.无主键表结构迁移时,针对无主键表的迁移,建议增加主键之后再迁移。如果直接迁移,可能在数据同步层面存在一定的风险,需要进行一致性验证。5.内置函数Oracle有的内置函数在高斯库不存在,通过DRS同步之后,会默认给高斯库schema为“dsc_ora_ext”下创建一个同功能函数。如:oracle下有内置函数sys_guid();同步之后会变为dsc_fn_sys_guid()。数据同步问题处理1.BigDecimal格式问题问题描述:Oracle下表结构中的数值类型字段默认显示当前精度,而Gauss库下默认展示表结构数值类型字段的原始精度(涉及到精度自动以0补全)。
可以到我的个人号:atstudy-js,可以免费领取一份10G软件测试工程师面试宝典文档资料。同时我邀请你进入我们的软件测试学习交流平台,大家可以一起探讨交流软件测试,共同学习软件测试技术、面试等软件测试方方面面,了解测试行业的最新趋势,助你快速进阶Python自动化测试/测试开发,稳住当前职位同时走向高薪之路。解决方法:系统级层面通过更改配置来校正Set behavior_compat_options=“hide_tailing_zero”2.Encoding‘UTF-8’无法转换问题描述:Oracle库中有的表存在空串情况,Oracle中可以通过char(0)或字节的方式写入字符\u0000,但Gauss系列无法写入字符\u0000,导致oracle2Gauss出现异常。解决方法:DRS运维端增加如下配置:全量:sync.datamove.replicator.standardizeStringType=true增量:sync.increment.replicator.standardizeStringType=true3.Java heap space问题问题描述:一次性全量同步的数据涉及到数据量大的情况,DRS同步过程中,报错service DATAMOVE failed,cause by:javaheap space;解决方法:运维管理端增加如下配置:sync.tungstenEnv.OPS_FULL_INCRE_MAX=10240sync.datamove.replicator.fetchSize=100常用sql语句

编辑推荐:
相关推荐
-
雷神推出 MIX PRO II 迷你主机:基于 Ultra 200H,玻璃上盖 + ARGB 灯效
2 月 9 日消息,雷神 (THUNDEROBOT) 现已宣布推出基于英
-
制造商 Musnap 推出彩色墨水屏电纸书 Ocean C:支持手写笔、第三方安卓应用
2 月 10 日消息,制造商 Musnap 现已在海外推出一款 Oce
热文推荐
- 测试开发新技能:Oracle到高斯数据库的无缝迁移
测试开发新技能:Oracle到高斯数据库的无缝迁移
26-03-03 - 因Oracle 23ai,甲骨文中国罕见的开了个会
因Oracle 23ai,甲骨文中国罕见的开了个会
26-03-03 - 数据库管理-第190期 备份堪比生死(20240515)
数据库管理-第190期 备份堪比生死(20240515)
26-03-03 - 数据库管理-第180期 23ai: Cloud/Container Plus AI(20240503)
- Oracle 23ai新特性—DBMS_DICTIONARY_CHECK
Oracle 23ai新特性—DBMS_DICTIONARY_CHECK
26-03-03 - oracle怎么处理json格式
oracle怎么处理json格式
26-03-03 - Oracle 23ai新特性—DB_DEVELOPER_ROLE
Oracle 23ai新特性—DB_DEVELOPER_ROLE
26-03-03 - 记一次ADG备库异常分析
记一次ADG备库异常分析
26-03-03 - DBA老鸟,没用过这些数据库迁移工具,正常吗?
DBA老鸟,没用过这些数据库迁移工具,正常吗?
26-03-03 - 杭州悦数参与国家重点研发计划“高性能可信跨境贸易支付监管关键技术研究”项目
