100w条数据导入mysql，用python写太慢了，大家有什么优化的方法？c++?

178007036

回复 1# cxytz01


这是在黑python么，导入100w条就要按小时算。。。{:2_177:}


   

tklist

mysql自带的导入最快，要生成固定格式。
批量插入会快点，不要一个一个插入。
瓶颈不在python。多个并发批量插入。

yulihua49

tklist 发表于 2014-03-14 21:54
mysql自带的导入最快，要生成固定格式。
批量插入会快点，不要一个一个插入。
瓶颈不在python。多个并发批 ...

前边说了，瓶颈就在pyson，再怎么弄，也是这速度。
MYSQL的批量不好用，不绑定变量，还要产生无限长的语句，光产生这语句就是不小的开销。
用C也不见得快，关键是C提供了一些方法，你不使用这些方法也是没用。