【已解决】千万级记录表load data .. replace into 速度很慢

netlinuxbsd

当表记录数少时，速度还可以，但当记录数达到3千万条时，速度很慢
mysql> show table status;
+------------+--------+---------+------------+----------+
| Name       | Engine | Version | Row_format | Rows     |
+------------+--------+---------+------------+----------+
| person     | MyISAM |      10 | Dynamic    | 33780743 |
+------------+--------+---------+------------+----------+

mysql> load data infile 'xxx'
    ->  replace into table person;
Query OK, 8325316 rows affected (1 day 20 hours 7 min 23.22 sec)
Records: 7718735  Deleted: 606581  Skipped: 0  Warnings: 0

有快的方法吗？

rucypli

肯定是replace捣的鬼的吧   

REPLACE的运行与INSERT很相像。只有一点除外，如果表中的一个旧记录与一个用于PRIMARY KEY或一个UNIQUE索引的新记录具有相同的值，则在新记录被插入之前，旧记录被删除。

你清空表以后在导入吧

netlinuxbsd

回复 2# rucypli



    不能清空原表，必须追加

cenalulu

可以考虑先load data infile 到一个temp表。
然后replace into xx select * from temp 。
由于temp表上没有索引，load的效率要高很多

netlinuxbsd

回复 4# cenalulu


    曾经试过replace into
这样子load data 当然很快，但replace into同样很费时间。

cenalulu

load data 的时候考虑以 unique的顺序进行load。
顺序IO可能会快些

netlinuxbsd

回复 6# cenalulu


    load data 语句中没有unique参数
您的意思是文本按UNIQUE字段列排？
还是load data 到一空表，按UNIQUE字段列ORDER.....

rucypli

这个没办法见少速度的，因为不仅仅是插入数据  还可能在更新数据

cenalulu

回复 7# netlinuxbsd


    文本按照unique列进行排序

netlinuxbsd

在大数据量（近1亿条记录）状态下迁移数据库（比如MS-SQL----->MySQL），MS-SQL来自不同的地方，肯定存在重复数据，各位有好的操作办法