MySQL归档数据同步到其他库,常见于业务历史数据分离、冷热数据分离或跨系统共享场景。实现方式需根据数据量、同步频率和一致性要求选择合适方案。以下是几种实用的跨库归档数据同步方法。
1. 使用 INSERT ... SELECT 跨库插入
适用于同实例下不同数据库间的归档操作。可直接将源表数据插入目标库对应表中。
示例:INSERT INTO archive_db.user_log_archive SELECT * FROM production_db.user_log WHERE create_time < '2024-01-01';
说明:执行后建议对源表删除已归档数据,避免重复。可通过事务控制保证一致性。
2. 基于 mysqldump 导出导入
适合一次性大批量归档,尤其是跨服务器迁移。
导出指定条件数据:mysqldump -u user -p production_db user_log --where="create_time < '2024-01-01'" > user_log_archive.sql导入到目标库:
mysql -u user -p archive_db < user_log_archive.sql
优点:简单可靠,支持压缩传输;缺点:非实时,大文件导入耗时。
3. 利用 MySQL 复制(Replication)机制
通过主从复制将特定表或库同步到另一实例,再由从库写入归档表。
配置主从复制,过滤只同步需要归档的表 在从库上设置事件(Event)定期将数据转入归档表并清理原表适用场景:需要持续归档且容忍一定延迟的系统。
4. 编写脚本定时同步(Python/Shell)
灵活控制归档逻辑,适合异构环境或复杂判断条件。
使用 Python + PyMySQL 连接两个数据库 查询源库符合条件的数据 批量写入目标归档库 确认成功后标记或删除源数据建议:加入错误重试、日志记录和断点续传机制,确保稳定性。
5. 使用 ETL 工具(如 DataX、Kettle)
专业工具支持可视化配置和任务调度,适合企业级数据归档。
DataX 支持 MySQLReader 和 MySQLWriter,可配置字段映射和筛选条件 结合 cron 定时执行归档任务 支持增量同步(基于时间戳或自增ID)优势:可监控、易维护,适合复杂数据处理流程。
基本上就这些常用方法。选择哪种取决于你的架构、数据规模和实时性需求。小数据量可用脚本+定时任务,大数据量建议用 dump 或 ETL 工具,高实时性可考虑复制方案。关键是要做好数据校验和备份,避免归档过程丢失数据。
