大数据导入-source和mysql哪个快

Coolriver

原帖由 yueliangdao0608 于 2009-6-5 16:02 发表
别误导LZ了。
除了语句写称多个VALUES插入，
唯一有用的是两个参数：

net_buffer_length和max_allowed_packet。其他的都是白搭。

月亮多交流一下：

bulk_insert_buffer_size 作用：当写MySQL的MyISAM引擎写入数据时，当这个空间写满后才一次性写入文件，当这个值在64M或是32M左右时(可以更大），可以减少磁盘的很多IO。
请参考：http://dev.mysql.com/doc/refman/ ... _insert_buffer_size

另外：对于日值大小，日值有无和Innodb Redo方面的控制对于IO的节省都是明显的，Checkpoint触发方面在导入时都是可以调整的。

一般导入都是通过本地完成。所以网络Buffer项不建义调整。而且对于net_buffer_length更不建义调整。该参数意义可以参考手册。

javasuncom

我最近也遇到跟楼主同样的疑惑，我这个数据文件更大，sql文件达到1G，ssh登录到服务器上，1个小时还没结束。

Coolriver

原帖由 javasuncom 于 2009-8-21 11:11 发表
我最近也遇到跟楼主同样的疑惑，我这个数据文件更大，sql文件达到1G，ssh登录到服务器上，1个小时还没结束。

贴机器配置，my.cnf

zyrf2001

我们会经常导入一些大数据，都是innodb的引擎，调整innodb的内存参数后，在普通笔记本上，500M的数据通常10分钟导完。

ruochen

原帖由 yueliangdao0608 于 2009-6-5 16:02 发表
别误导LZ了。
除了语句写称多个VALUES插入，
唯一有用的是两个参数：

net_buffer_length和max_allowed_packet。其他的都是白搭。

记录下