Ape-DTS：开源 DTS 工具，助力自建 MySQL、PostgreSQL 迁移上云

记录源端的 URL：

url=mysql://root:123456@127.0.0.1:3307?ssl-mode=disabled

目标库

我们在 ACK 上使用  KubeBlocks 搭建了 MySQL 集群，更多集群运维操作可参考  KubeBlocks MySQL Examples。

1. 创建集群。

   # 创建 MySQL 集群kbcli cluster create mycluster --cluster-definition mysql -n demo

2. 暴露服务。这里我们通过 LoadBalancer 暴露服务地址。

   # 将集群暴露至公网kbcli cluster expose mycluster --type internet --enable=true -ndemo

查看到公网地址为:  47.xx.xx.xx，记录为你的  目标地址。

url=mysql://ape_test:Ape123456789@<目标地址>:3306?ssl-mode=disabled

mysql -h127.0.0.1 -uroot -p123456 -P3307
CREATE DATABASE test_db;
CREATE TABLE test_db.tb_1(id int, value int, primary key(id));
CREATE TABLE test_db.tb_2(id int, value text, primary key(id));
INSERT INTO test_db.tb_1 VALUES(1,1),(2,2),(3,3),(4,4);
INSERT INTO test_db.tb_2 VALUES(5,'a'),(6,'b'),(7,'c'),(8,'d');

cat <<EOL > /tmp/ape_dts/task_config.ini
[extractor]
extract_type=struct
db_type=mysql
url=mysql://root:123456@127.0.0.1:3307?ssl-mode=disabled
[sinker]
sink_type=struct
db_type=mysql
url=mysql://ape_test:Ape123456789@<目标地址>:3306?ssl-mode=disabled
[filter]
do_dbs=test_db
[parallelizer]
parallel_type=serial
[pipeline]
buffer_size=100
checkpoint_interval_secs=1
EOL

启动任务

docker run --rm --network host \
-v "/tmp/ape_dts/task_config.ini:/task_config.ini" \"$APE_DTS_IMAGE" /task_config.ini

检查目标库

1. 登录目标库。

   mysql -h<目标地址> -uape_test -pApe123456789

2. 查看数据。

   mysql> SHOW CREATE TABLE test_db.tb_1;
   mysql> SHOW CREATE TABLE test_db.tb_2;

3. 同步全量数据

创建任务配置

核心配置：

cat <<EOL > /tmp/ape_dts/task_config.ini
[extractor]
db_type=mysql
extract_type=check_log
url=mysql://root:123456@127.0.0.1:3307?ssl-mode=disabled
check_log_dir=./check_data_task_log
[sinker]
db_type=mysql
sink_type=write
url=mysql://ape_test:Ape123456789@<目标地址>:3306?ssl-mode=disabled
[filter]
do_events=*
[parallelizer]
parallel_type=rdb_check
parallel_size=8
[pipeline]
buffer_size=16000
checkpoint_interval_secs=1
EOL

启动任务

docker run --rm --network host \
-v "/tmp/ape_dts/task_config.ini:/task_config.ini" \
-v "/tmp/ape_dts/check_data_task_log/check/:/check_data_task_log/" \"$APE_DTS_IMAGE" /task_config.ini

查看订正后的结果

1. 登录目标库。

   mysql -h<目标地址> -uape_test -pApe123456789

2. 查看数据。

   mysql> SELECT * FROM test_db.tb_1;
   +----+---------+
   | id | value   |
   +----+---------+
   |  2 | 2000000 |
   |  3 |       3 |
   |  4 |       4 |
   +----+---------+
   mysql> SELECT * FROM test_db.tb_2;
   +----+-------+
   | id | value |
   +----+-------+
   |  5 | a     |
   |  6 | b     |
   |  7 | c     |
   |  8 | d     |
   |  9 | f     |
   +----+-------+

   可以看到目标端被删除和更新的数据，都已经被订正了。

7. 数据复查

cat <<EOL > /tmp/ape_dts/task_config.ini[extractor]db_type=mysqlextract_type=check_logurl=mysql://root:123456@127.0.0.1:3307?ssl-mode=disabledcheck_log_dir=./check_data_task_log[sinker]db_type=mysqlsink_type=checkurl=mysql://ape_test:Ape123456789@<目标地址>:3306?ssl-mode=disabled[filter]do_events=*[parallelizer]parallel_type=rdb_checkparallel_size=8[pipeline]buffer_size=16000checkpoint_interval_secs=1EOL

启动任务

docker run --rm --network host \
-v "/tmp/ape_dts/task_config.ini:/task_config.ini" \
-v "/tmp/ape_dts/check_data_task_log/check/:/check_data_task_log/" \
-v "/tmp/ape_dts/review_data_task_log/:/logs/" \"$APE_DTS_IMAGE" /task_config.ini

查看复查结果

1. 查看数据缺失。

   cat /tmp/ape_dts/review_data_task_log/check/miss.log

   可以看到输入日志显示 {“id”:“4”} 缺失。

   {"log_type":"Miss","schema":"test_db","tb":"tb_1","id_col_values":{"id":"4"},"diff_col_values":{}}

2. 查看数据差异。