免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3637 | 回复: 10
打印 上一主题 下一主题

插1亿记录怎么快? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-06-25 11:15 |只看该作者 |倒序浏览
我的做法是connect 上去 然后

insert xxx () values();

问题是好像不是很快。  

因为有怎么才能快些?  要插入 不是复制 这类技术, 因为是第一次简表 插数据

论坛徽章:
0
2 [报告]
发表于 2008-06-25 11:49 |只看该作者
insert xxx () values(),(),...,();
It's better.

论坛徽章:
0
3 [报告]
发表于 2008-06-25 15:35 |只看该作者
写个存储过程批处理写数据也行,但是性能跟直接插入差不多,没什么太好的办法

论坛徽章:
0
4 [报告]
发表于 2008-06-25 15:49 |只看该作者
写个C程序预先把数据处理成csv形式的纯文本,然后load data

论坛徽章:
0
5 [报告]
发表于 2008-06-26 09:38 |只看该作者
原帖由 raid_fifa 于 2008-6-25 15:49 发表
写个C程序预先把数据处理成csv形式的纯文本,然后load data




This is the fastest way.

论坛徽章:
0
6 [报告]
发表于 2008-06-26 10:42 |只看该作者
在5.1.x版本上面
要用csv
得在编译的时候用 --with-plugins=csv
这个选项
之后:select engine, support from information_schema.engines order by 1;
就可以知道有没有CSV了

论坛徽章:
1
白银圣斗士
日期:2015-11-23 08:33:04
7 [报告]
发表于 2008-07-15 22:54 |只看该作者
问题是这些数据你写进去后怎么用?

一个表一亿MYSQL顶得住吗?

论坛徽章:
0
8 [报告]
发表于 2008-07-16 12:03 |只看该作者
Increase your bulk_insert_buffer_size.

论坛徽章:
0
9 [报告]
发表于 2008-07-16 12:35 |只看该作者
弄清数据文件格式,然后直接生成应该是最快的吧。

论坛徽章:
1
白银圣斗士
日期:2015-11-23 08:33:04
10 [报告]
发表于 2008-07-16 12:43 |只看该作者
原帖由 showsa 于 2008-7-16 12:35 发表
弄清数据文件格式,然后直接生成应该是最快的吧。


直接生成文件?

最快的还是从文件取。并不从DB取。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP