【已解决】千万级记录表load data .. replace into 速度很慢

action08

学习，感觉这个性能应该可以提示的

selfthing

可以考虑换SSD硬盘

damogyz

表索引的情况是什么？  试试 先ALTER TABLE ... DISABLE KEYS 然后 loading the file into the table ，再 ALTER TABLE ... ENABLE KEYS 。
另外 服务器当时负载、I/O、内存 等其他状态如何？

chinafenghao

才3000万行不见得多呀。
mysql> select count(*) from
+-----------+
| count(*)  |
+-----------+
| 191310032 |

yejr

1. load到临时表中；
2. 根据唯一条件，删除重复记录；
3. insert into 主表 select * from 临时表；
应该会有惊喜

icer_repls

我有一个疑问，谁来解释一下：
就比如LZ说的3kw的数据一次load进去。这就是一个单独的事务，如果这个事务的redo log超过了设定的redo log文件大小，那么会出现怎么个情况？
因为根据我的理解，超过了redo log文件的大小，但又不能覆盖（因为这个这些日志都是同一个事务的）那会不会造成这个load data infile就卡死在这了？或者干脆报错失败？

chinafenghao

回复 10# netlinuxbsd

将原表数据导出成text，  3000W行看每行的数据量，一般10分钟以内就能搞定，然后把表干掉重建，不要索引，然后load老数据和新数据到表里。大概300W行使用1分钟时间。你那点数据也就10多分钟搞定。
然后再花个几分钟创建索引，20分钟应该能够搞定。具体看你硬件了。

netlinuxbsd

回复 15# yejr


    这个方法可行

hunter_search

这个问题就在replace上，看看能不能换一个方法