MySql中数据表增加字段很慢问题及解决

2024-04-11 12:07:34 来源/作者: 这里教程网 /
MySql数据表增加字段很慢MySql大表加字段问题场景方案如下总结

MySql数据表增加字段很慢

由于数据库表中有大量数据,导致给表添加字段就会很慢。

所以,对于数据量很大的表,需要添加所有或者修改字段的做法是如下:

1.先创建一张一样的表

create table new_tb like tb_old;

2.修改创建表的字段

alter table new_tb add COLUMN new_column varchar(32) DEFAULT null;

3.原始数据插入到新的数据表中

insert into new_tb (字段) select 字段 from tb_old;

这里需要注意下,你的insert字段和你查询出来的字段一致,对应顺序也是需要一致的,如果你只是修改字段的属性,或者添加了索引之类的,字段数量没用变话,那么直接这样写

insert into new_tb select * from tb_old;

4.删除原来的数据表,并且重新命名新的数据表:

drop table tb_old; alter table new_tb rename to tb_old;

MySql大表加字段问题

场景

现在 有个数据量大概40亿的数据,存在10个库,总计80张表上面,每个表大概5000万的数据量,

这个表通过一个MQ接口不断地接收数据,每天大概新增或更新数据量是几十万。

现在,需要在在这个表上加个新字段X,而且都有初始值,都存储在对方系统的数据库里。而他们这个新的字段一直就有。只是我方系统一直以来没有接这个字段。

注意:加字段期间不能影响原有的查这张表的业务的使用。

问:如何新增。

首先,肯定不能在表上面直接加字段,数据量太大,直接加字段,sql一夜都跑不完。而且会影响查询业务的使用

方案如下

第一步,我们同样的数据库的位置,在老表的_old下方创建新表_new ,字段结构完全一样,只是多了新字段X。第二步,让对方系统把老的40亿数据推到hive上面,做准备,时间节点记为1月1日零时,大概三天推上去;第三步,在此之前,建立一个新接口,一个临时表new_temporary从1月1日零时,就开始接数据到临时表;第四部,启动拉数据任务流,每天半夜从hive拉数据,拉倒新表new,拉的时候记得max_binlog_cache_size 改大,不然一次入库会撑爆,大概10天左右拉完,截止时间1月15日零时。(这个时间节点要用)第五步,拉数据完毕后,启动一个定时任务,把从临时表new_temporary接收的数据,更新到新表_new。更新条件是,只对数据库更新时间是 1月15日零时之前的数据做更新第六步,同时切换接口开关,关闭接临时表的接口,打开接新表接入数据的接口。同时入老表old的接口也不能关,预防漏发数据随时切回来。第七步,修改系统中所有查询老表old查询方法,改成查询新表,用redis加上开关。上线功能。第八步,打开开关,使用新表,若有漏发数据(少量),这提醒对方系统补发数据,逐步补全数据,第九步,等系统运行平稳以后,关掉接老表old数据的接口,删除临时表new_temporary,删除老表_old

感悟:

本来加一个字段不算太大的事,可是因为数据量大,又要保证可用性,所以还是需要一套方案来做这个事情。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。