Mysqlwwwhj7878com百万量级数据高效导入Redis

将输入数据源换成mysql

实际案例--从Mysql导入百万级数据到Redis

首先造数据

DELIMITER $$
USE `cb_mon`$$

DROP PROCEDURE IF EXISTS `test_insert`$$
CREATE DEFINER=`root`@`%` PROCEDURE `test_insert`()
BEGIN

        DECLARE i INT DEFAULT 
1;
        WHILE i<= 
1000000
            
DO
            INSERT INTO 
t_book
(id,number,NAME,descrition)
            
VALUES 
(i, CONCAT(
"00000",i) , 
CONCAT
(
'book',i)
            , 
CONCAT
(
'book_description',i));
            SET i=i+
1;
        END WHILE ;
        COMMIT;
    END$$

DELIMITER ;

调用存储过程

CALL test_insert();

查看表数据：

按协议构造查询语句

按照上述redis协议，我们使用如下sql来构造协议数据：

SELECT
  
CONCAT
(
    
"*4\r\n",
    
"$",
    LENGTH(redis_cmd),
    "\r\n",
    redis_cmd,
    "\r\n",
    "$",
    
LENGTH
(redis_key),
    "\r\n",
    redis_key,
    "\r\n",
    "$",
    
LENGTH
(hkey),
    "\r\n",
    hkey,
    "\r\n",
    "$",
    
LENGTH
(hval),
    "\r\n",
    hval,
    "\r"
  )

FROM
  
(SELECT
    
"HSET" AS redis_cmd,
    id AS redis_key,
    NAME AS hkey,
    descrition AS hval
  FROM
    cb_mon.t_book
  ) AS t limit 1000000

并将内容保存至redis.sql 文件中。

编写脚本使用pipe模式导入redis

编写shell脚本。由于我在主机上是通过docker安装的redis和mysql，以下脚本供参考：

#!/bin/bash
starttime=`date +
'%Y-%m-%d %H:%M:%S'`

docker exec -i 
899fe01d4dbc mysql --
default-character-set=utf8
--skip-column-names --raw < ./redis.sql
| docker exec -i 
4c90ef506acd redis-cli --pipe

endtime=`date +
'%Y-%m-%d %H:%M:%S'`
start_seconds=$(date --date=
"$starttime" +%s);
end_seconds=$(date --date=
"$endtime" +%s);

echo 
"脚本执行耗时："$((end_seconds-start_seconds))
"s"

执行截图 ：

可以看到百万级的数据导入redis，只花费了7秒，效率非常高。

注意事项

如果mysql表特别大，可以考虑分批导入，或者将表拆分，否则在导入过程中可能会发生：

lost connection to mysql server during query

由于max_allowed_packed和超时时间限制，查询数据的过程中，可能会造成连接断开，所以在数据表的数据量特别大的时候，需要分页或者将表拆分导入。

总结

本篇文章主要探讨了，Mysql百万级数据量级下，如何高效的迁移到Redis中去，逐步实现目标的过程中，总结了如下几点：

1、redis单线程执行命令，避免了线程切换所消耗的时间，但是在超大数据量级下，其发送、响应接收的时延不可忽视。

2、网络nc命令的应用场景，及在数据导入时存在的缺点。

3、redis RESP协议的理解和应用。

4、百万量级Mysql数据的Redis快速导入案例。