温故知新 | mydumper & dumpling 知识点汇总

常用备份命令

# 连接信息
host=192.168.195.128
pass=password
# 全实例备份
mydumper -u root -p $pass -h $host -o /data/backup/full_instance
# 全实例备份，压缩备份，并排除mysql,sys系统库
mydumper -u root -p $pass -h $host -c --regex '^(?!(mysql\.|test\.|sys\.))' -o /data/backup/full_instance_compress
# 备份指定库
mydumper -u root -p $pass -h $host -B sbtest -o /data/backup/db_sbtest
# 备份指定表
mydumper -u root -p $pass -h $host -B sbtest -T t1,t2 -o /data/backup/db_sbtest_t1_t2
# 只备份表结构
mydumper -u root -p $pass -h $host -B sbtest -d -o /data/backup/db_sbtest_ddl
# 只备份表数据
mydumper -u root -p $pass -h $host -B sbtest -m -o /data/backup/db_sbtest_data

备份文件命名

常见命名规则：

1. metadata： 记录备份的开始、结束时间。
2. database-schema-create.sql: 建库语句。
3. database.table.sql: 该表的插入数据语句（若该表为空，则不存在此文件）。
4. database.table-metadata： 记录该表的行数。
5. database.table-schema.sql： 该表的创建语句。

mydumper 支持 TiDB

官方版本的 mydumper 对 TiDB 的支持。 或者说，PingCAP 团队以将 mydumper 对 TiDB 的兼容性代码向上游提交 PR 并完成合并。

https://github.com/mydumper/mydumper/pull/155/ 

另外，从网络图中我们可以看出，从16年10月开始，PingCAP创建了新的分支版本，并开始兼容性开发。 从 pingcap/mydumper 的代码提交记录和PR来看，定制版 mydumper 虽然依旧支持 TiDB v5，但是由于从 TiDB v4 开始已经正式发布了 dumpling 工具，并被其取代。同时，我们也可以清晰的从官方文档里看到这样的一条 警告  ：

PingCAP 之前维护的 Mydumper 工具 fork 自 mydumper project，针对 TiDB 的特性进行了优化。Mydumper 目前已经不再开发新功能，其绝大部分功能已经被 Dumpling 取代。Dumpling 工具使用 Go 语言编写，支持更多针对 TiDB 特性的优化。强烈建议切换到 Dumpling。

Dumpling 简介

Dumpling 一个支持热、温备的逻辑备份工具，是 mydumper 的全新升级版，基本用法类似于 mydumper，但也有所区别，可使用tiup进行管理。 Dumpling 从19年12月开始着手开发，使用Go语言编写，整合了 mydumper 的原有功能，并做了一些改进。

代码

注： Dumpling merged into TiDB ( #379  )

Dumpling 的改进

相比 Mydumper，Dumpling 做了如下改进：

1. 支持导出多种数据形式，包括 SQL/CSV。 通过选项  --filetype string 进行控制，可以选择sql或csv。 关于CSV格式还有4个相关参数： --csv-delimiter, csv文件中的定界符 (default “"”)。 --csv-null-value, csv中的null值 (default “\N”)。 --csv-separator, csv文件中的分隔符 (default “,”)。

2. 支持全新的  table-filter，筛选数据更加方便。 整合了列表方式和正则方式，通过选项  -f, --filter strings 进行控制，默认值为： [*.*,!/^(mysql|sys|INFORMATION_SCHEMA|PERFORMANCE_SCHEMA|METRICS_SCHEMA|INSPECTION_SCHEMA)$/.*] 语法可参考:  README 

3. 支持导出到 Amazon S3 云盘。 增加了一系列 S3 相关选项，具体有：

--s3.aclstring
--s3.endpointstring
--s3.providerstring
--s3.regionstring
--s3.ssestring
--s3.sse-kms-key-idstring
--s3.storage-classstring

create user dumpling;
grant select on *.* to dumpling;
grant reload, lock tables, replication client on *.* to dumpling;