免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 数据库技术 › MySQL › 大数据导入-source和mysql哪个快
12下一页
最近访问板块 发新帖
查看: 12797 | 回复: 14
打印 上一主题 下一主题

大数据导入-source和mysql哪个快 [复制链接]

24xinhui

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2009-06-05 10:42 |只看该作者 |倒序浏览
需要导入的sql文件大概500M以上，使用 source 和 mysql 命令导入文件，哪个更好更快？

我用 mysql 命令导入500M以上文件，起码在半个小时以上

有什么更好的方法吗？
cenalulu

论坛徽章:
9
每日论坛发贴之星 日期:2016-01-04 06:20:00数据库技术版块每日发帖之星 日期:2016-01-04 06:20:00每日论坛发贴之星 日期:2016-01-04 06:20:00数据库技术版块每日发帖之星 日期:2016-01-04 06:20:00IT运维版块每日发帖之星 日期:2016-01-04 06:20:00IT运维版块每日发帖之星 日期:2016-01-04 06:20:00综合交流区版块每日发帖之星 日期:2016-01-04 06:20:00综合交流区版块每日发帖之星 日期:2016-01-04 06:20:00数据库技术版块每周发帖之星 日期:2016-03-07 16:30:25
2楼 [报告]
发表于 2009-06-05 10:48 |只看该作者
mysql导入与source的本质是一样的。
主要的优化在于你源sql的优化
例如多个values写入同一个sql。
使用一个事务进行插入。
插入式不更新index等等
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
24xinhui

论坛徽章:
0
3楼 [报告]
发表于 2009-06-05 11:08 |只看该作者
由于文件太大，数据导入实在不行，数据库都搞挂了
现在的解决办法是

直接拷数据文件, table_name.MYD, table_name.MYI, table_name.frm

美国到中国的传输速度才10多k，晕啊，250M的文件起码要3，4小时
唉
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ruochen

论坛徽章:
8
综合交流区版块每周发帖之星 日期:2015-12-02 15:03:53数据库技术版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每日发帖之星 日期:2015-09-14 06:20:00金牛座 日期:2014-10-10 11:23:34CU十二周年纪念徽章 日期:2013-10-24 15:41:34酉鸡 日期:2013-10-19 10:17:1315-16赛季CBA联赛之北京 日期:2017-03-06 15:12:44
4楼 [报告]
发表于 2009-06-05 14:09 |只看该作者
原帖由 24xinhui 于 2009-6-5 11:08 发表
由于文件太大，数据导入实在不行，数据库都搞挂了
现在的解决办法是

直接拷数据文件, table_name.MYD, table_name.MYI, table_name.frm

美国到中国的传输速度才10多k，晕啊，250M的文件起码要3，4小时
唉



你们申请国际专线算了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Coolriver

论坛徽章:
0
5楼 [报告]
发表于 2009-06-05 14:18 |只看该作者
确时需要有专线，不然真的很慢的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Coolriver

论坛徽章:
0
6楼 [报告]
发表于 2009-06-05 14:20 |只看该作者
500M的数据，导入估计需要5分钟左右吧。
不过，需要改一下my.cnf 的配置。
如果是Innodb加大日值和Buffer，

对MyISAM：
加大bulk_insert_buffer_size

共同需要做的：
禁掉bin-log
增大max_allow_package

全部导完了，再修改回来。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yueliangdao0608

论坛徽章:
0
7楼 [报告]
发表于 2009-06-05 16:02 |只看该作者
别误导LZ了。
除了语句写称多个VALUES插入，
唯一有用的是两个参数：

net_buffer_length和max_allowed_packet。其他的都是白搭。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xiaoyu9805119

论坛徽章:
0
8楼 [报告]
发表于 2009-06-05 16:26 |只看该作者
原帖由 yueliangdao0608 于 2009-6-5 16:02 发表
别误导LZ了。
除了语句写称多个VALUES插入，
唯一有用的是两个参数：

net_buffer_length和max_allowed_packet。其他的都是白搭。

max_allowed_packet这个确实重要，试过一次竟然报错。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
聪明笨小孩

论坛徽章:
0
9楼 [报告]
发表于 2009-06-05 16:51 |只看该作者
没有发现 很大区别
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cenalulu

论坛徽章:
9
每日论坛发贴之星 日期:2016-01-04 06:20:00数据库技术版块每日发帖之星 日期:2016-01-04 06:20:00每日论坛发贴之星 日期:2016-01-04 06:20:00数据库技术版块每日发帖之星 日期:2016-01-04 06:20:00IT运维版块每日发帖之星 日期:2016-01-04 06:20:00IT运维版块每日发帖之星 日期:2016-01-04 06:20:00综合交流区版块每日发帖之星 日期:2016-01-04 06:20:00综合交流区版块每日发帖之星 日期:2016-01-04 06:20:00数据库技术版块每周发帖之星 日期:2016-03-07 16:30:25
10楼 [报告]
发表于 2009-06-05 17:35 |只看该作者
LZ的主要矛盾在网络传输速度上~~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP