# Oracle一键迁移MySQL工具oracle_mig_mysql使用 ## 1.简介 功能特性 - 支持Linux,Windows,MacOS，Oracle 11.2.0.4及以上，MySQL 5.7,8.0及以上测试通过 - 支持在线迁移Oracle到MySQL的表、视图、索引、触发器、外键、自增列、以及部分触发器，不支持存储过程以及函数的迁移 - 自动分析源库Oracle字段的长度并适配到MySQL合适的长度，避免MySQL字段长度太长问题 “Row size too large 65535” - 自动处理Oracle触发器+序列形式的自增列适配到MySQL原生自增列 - 转储Oracle的函数、存储过程到平面文件以便修改人工翻译适配到MySQL - 后台多进程数据迁移，数据迁移更快 - 支持迁移部分表结构以及数据功能 - 支持迁移Oracle与MySQL共同存在的列数据，即目标数据库的列字段是源数据库列字段的超集 - 记录迁移日志，转储表、视图等DDL对象创建失败的sql语句 - 支持Oracle与MySQL表数量快速比对功能 环境要求 - 运行此工具的PC需要能连通源端Oracle以及目标MySQL数据库 - 依赖oracle客户端环境(release已集成instant client) ## 2.下载 工具[下载](https://github.com/iverycd/oracle_to_mysql/) ## 3.平台测试 硬件平台： | CPU | 内存 | 硬盘 | 数据库信息 | | :---------------: | :----------------: | :-----------------: | :-----------------: | | Intel i7-12700 2.10 GHz(12核20线程)| 芝奇皇家戟 DDR4 3600 32G | 西数SN850 | Oracle 19c,MySQL 5.7.24 SN850磁盘iops性能: | 随机读 | 108816.88 | |--------|-----------| | 随机写 | 94763.05 | | 顺序读 | 111201.16 | | 顺序写 | 22127.80 | | 块大小 | 8K |  源端表结构 ```sql CREATE TABLE TEST ( ID NUMBER, NAME VARCHAR2(100), SEX VARCHAR2(100) ) ``` 在以上测试平台迁移Oracle一张2000万的表，迁移耗时`68秒`  **** `v1.9.21.1版本及以下`为单线程迁移数据，迁移Oracle一张2000万的表耗时`709秒`  ## 4.运行概览 `全库迁移`  `比对数据`  `记录迁移失败的DDL`  `转储索引、视图、存储过程、函数DDL`  `多进程并行迁移表数据`  ## 5.开箱使用 下载[release](https://github.com/iverycd/oracle_to_mysql)  解压之后即可运行此工具 1、解压，例如将`oracle_mig_mysql.zip`上传到/opt目录 2、在root用户下解压 ```bash [root@localhost root]# cd /opt [root@localhost root]# unzip oracle_mig_mysql.zip ``` ### 全库迁移示例 #### Linux环境 1、进入迁移工具目录 ```bash [root@localhost opt]# cd /opt/oracle_to_mysql ``` 2、运行环境变量脚本 ```bash [root@localhost ]# sh env_ora.sh && source run_env ```  :warning:注意：此步骤仅Linux环境需要，Windows以及MacOS无需执行 3、编辑配置文件 config.ini文件，修改源数据库以及目标数据库信息 ```bash [root@localhost ]# vi config.ini [oracle] host = 192.168.212.23 port = 1521 user = admin passwd = admin123 service_name = orcl split_page_size = 10000 # 每个表分页查询的结果集总数 split_process = 16 # 并行执行分页查询的线程数 [mysql] host = 192.168.209.24 port = 3306 user = root passwd = Gep database = temptest dbchar = utf8mb4 row_batch_size = 10000 # 每次插入到目标表的行数 ``` 4、执行全库迁移 `须知：如果是通过堡垒机或者是vpn连接的非图形化界面，强烈建议使用后台方式运行此工具，避免数据迁移中断` ```bash 后台执行命令(需要命令后面带-q)： 示例:[root@localhost ]# nohup ./oracle_mig_mysql -q & 前台执行命令：（不推荐，如果源库数据量很大，建议使用后台迁移，避免putty等终端工具超时自动断开） 示例:[root@localhost ]# ./oracle_mig_mysql ``` 4、查看数据迁移运行过程 如果是在后台运行`nohup ./oracle_mig_mysql -q &`，可通过如下命令查看实时迁移过程 ```bash [root@localhost ]# tail -100f nohup.out ``` 迁移已经完成  5、迁移完成后查看迁移任务日志 [root@localhost ]# cd /opt/oracle_to_mysql/mig_log/ 此文件夹下面以时间戳名命的子文件夹内有如下日志需要关注： `ddl_failed_table.log` --> 创建失败的表、视图、索引、触发器等对象的DDL创建语句，此部分需要修改语法适配并重新在MySQL创建即可 `insert_failed_table.log ` --> 表数据插入失败的对象名称，此部分需要重新对个别表重新迁移数据 `ddl_function_procedure.sql` --> Oracle导出的存储过程以及函数的定义，此部分需要修改语法适配并重新在MySQL创建即可 #### MacOS环境 终端内执行即可：   #### Windows环境 Windows环境与Linux环境类似，下载压缩包之后解压到任意目录 1、编辑配置文件 config.ini文件，修改源数据库以及目标数据库信息 ```bash [oracle] host = 192.168.212.23 port = 1521 user = admin passwd = admin123 service_name = orcl split_page_size = 10000 # 每个表分页查询的结果集总数 split_process = 16 # 并行执行分页查询的线程数 [mysql] host = 192.168.209.24 port = 3306 user = root passwd = Gep database = temptest dbchar = utf8mb4 row_batch_size = 10000 # 每次插入到目标表的行数 ``` 2、cmd进入迁移工具目录 ```bash 在cmd命令行窗口内执行 进入工具所在目录 C:\Users\Administrator>g: G:\>cd G:\oracle_mig_mysql ``` 3、执行全库迁移 ```bash G:\oracle_mig_mysql>oracle_mig_mysql.exe ``` 4、迁移完成后查看迁移任务日志 迁移工具目录下面会生成以时间戳名命的日志需要关注： `ddl_failed_table.log` --> 创建失败的表、视图、索引、触发器等对象的DDL创建语句，此部分需要修改语法适配并重新在MySQL创建即可 `insert_failed_table.log ` --> 表数据插入失败的对象名称，此部分需要重新对个别表重新迁移数据 `ddl_function_procedure.sql` --> Oracle导出的存储过程以及函数的定义，此部分需要修改语法适配并重新在MySQL创建即可 ## 6.比对Oracle以及MySQL表数据量 oracle_compare_mysql.py，可以在数据迁移完成后快速比对Oracle以及MySQL的表数据量，检查是否有数据缺失。 ```bash 以下执行后开始比对数据量 Linux： [root@localhost ]# ./oracle_compare_mysql Windows： G:\oracle_mig_mysql>oracle_compare_mysql.exe ```  比对完之后，可以通过连接对应的MySQL数据库，查询比对结果 例如： 连接对应MySQL库之后查询 `select * from DATA_COMPARE;`  ## 7.迁移部分表以及数据 ### 仅迁移数据（不创建表结构以及表索引） 以下以Linux环境示例，windows环境操作方式类似 :warning:`备注：使用-d命令前，需要确保mysql数据库已经创建了该表的表结构` :warning:`需了解，使用-d命令，会先truncate（清空）目标表的数据再迁移数据` 1、编辑`custom_table.txt`文件输入要迁移数据的表名称 示例如下： ```bash [root@localhost ]# vi custom_table.txt Z_AD_I_SN Z_D_SN Z_F_SN Z_R_SN ``` 2、开始迁移部分表数据 ```bash Linux下执行命令: [root@localhost ]# ./oracle_mig_mysql -d Windows下执行命令: G:\oracle_mig_mysql>oracle_mig_mysql.exe -d ``` ```bash Source Database information: +----------+-------------+-----------------------------------------------------------+ | database | schema_info | connect_info | +----------+-------------+-----------------------------------------------------------+ | Oracle | admin | ((HOST=192.168.212.23)(PORT=1521))((SERVICE_NAME=orcl))) | +----------+-------------+-----------------------------------------------------------+ +---------------------------------------+ | migrate mode | +---------------------------------------+ | Migration Mode:migrate partion tables | +---------------------------------------+ table for migration: +-----------------------+ | TABLE_NAME | +-----------------------+ | Z_AD_I_SN | | Z_D_SN | | Z_F_SN | | Z_R_SN | +-----------------------+ Target Database Information: +----------+-----------------+----------+-----------+----------+ | database | ip_addr | port_num | user_name | db_name | +----------+-----------------+----------+-----------+----------+ | MySQL | 192.168.209.2 | 3306 | root | temptest | +----------+-----------------+----------+-----------+----------+ 2021-12-23 18:17:00 READY FOR MIGRATING DATABASE ?：(PLEASE INPUT "Y" OR "N" TO CONTINUE) y --------> 这里输入Y确认是否迁移 GO START MIGRATING ROW DATA! 2021-12-23 18:17:03.715882 [Z_AD_I_SN] 插入完成 源表行数：100 目标行数：100 THREAD 1 2021-12-23 18:17:04.077622 [Z_D_SN] 插入完成 源表行数：100 目标行数：100 THREAD 1 2021-12-23 18:17:04.361066 [Z_F_SN] 插入完成 源表行数：100 目标行数：100 THREAD 1 2021-12-23 18:17:04.639245 [Z_R_SN] 插入完成 源表行数：100 目标行数：100 THREAD 1 2021-12-23 18:17:04.900548 ``` ## 8.完整命令列表 通过编辑`custom_table.txt` 文件以及配合命令参数可自定义哪些表需要迁移 命令示例： - 仅迁移自定义表的表结构以及数据包括索引等约束 ```python ./oracle_mig_mysql -c ``` - 仅迁移自定义表的表数据，不包括表结构以及索引等约束 ```python ./oracle_mig_mysql -d ``` - 仅迁移自定义表的元数据，即表结构（表定义、视图、索引、触发器自增列等约束），不迁移数据 ```python ./oracle_mig_mysql -m ``` - 静默模式,输入-q之后无需在命令行界面键入“y”进行迁移前确认，默认为一键全库迁移 ```python ./oracle_mig_mysql -q ```