在MySQL中批量插入数据,可以显著提升插入效率,避免逐条插入带来的性能开销。最常用的方式是使用 INSERT INTO ... VALUES 语句配合多行值列表。
使用多行VALUES插入
在一条INSERT语句中插入多条记录,语法如下:
INSERT INTO table_name (column1, column2, column3) VALUES (value1a, value2a, value3a), (value1b, value2b, value3b), (value1c, value2c, value3c);
例如,向用户表批量插入数据:
INSERT INTO users (name, age, email)
VALUES
('张三', 25, 'zhangsan@example.com'),
('李四', 30, 'lisi@example.com'),
('王五', 28, 'wangwu@example.com');
这种方式比循环执行单条INSERT快很多,因为减少了网络往返和事务开销。
从文件导入数据(LOAD DATA INFILE)
如果数据量非常大,推荐使用 LOAD DATA INFILE 命令,速度更快。
LOAD DATA INFILE '/path/to/data.csv' INTO TABLE users FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (name, age, email);
注意:需要确保MySQL服务器有权限读取该文件,且secure_file_priv配置允许该路径。
使用程序批量生成SQL(如Python)
在应用层拼接多行VALUES语句也是一种常见做法。例如用Python构造:
values = [
("Alice", 24, "alice@example.com"),
("Bob", 27, "bob@example.com"),
("Charlie", 31, "charlie@example.com")
]
sql = "INSERT INTO users (name, age, email) VALUES "
sql += ", ".join([f"('{name}', {age}, '{email}')" for name, age, email in values])
cursor.execute(sql)
注意防止SQL注入,生产环境建议使用参数化批量插入(如executemany)。
优化建议
为了进一步提升性能,可以考虑以下几点:
将多条插入放在一个事务中,减少提交开销 关闭自动提交(autocommit=0),手动COMMIT 控制每条INSERT的行数,通常100~1000行较合适,避免SQL过长 确保目标表有合适的索引,但大量插入时可考虑先删除非主键索引,插完再重建 基本上就这些方法,根据数据量和使用场景选择最合适的方式。