论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2009-03-17 09:47 |只看该作者 |倒序浏览

现在有一批超大数据，一个文件有 119272429 行，总共有4个文件，都差不多这么多行。

现在要把所有的数据合并到一起并用数据库做一些类似排序，抽出特定行的工作，不知道mysql能不能胜任？

因为数据量很大，现在还没敢导入数据库，想先听听各位大虾意见

文库|博客

枫影谁用了

富足长乐

论坛徽章:: 1

2楼 [报告]

发表于 2009-03-17 09:50 |只看该作者

这个要看你的机器性能如何。

如果只是抽出特定行/排序/合并没必要搞到DB里去处理啦。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wanggd1983

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2009-03-17 09:56 |只看该作者

原帖由 枫影谁用了 于 2009-3-17 09:50 发表
这个要看你的机器性能如何。

如果只是抽出特定行/排序/合并没必要搞到DB里去处理啦。

机器应该没问题吧？十几个节点。主要是要测试一个数据处理的pipeline，自己不是学计算机的，写的排序算法难看的要死~~
mysql自己可以调用多个进程么？
刚接触数据库就要处理这么数据集的东西，超汗~~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

枫影谁用了

富足长乐

论坛徽章:: 1

4楼 [报告]

发表于 2009-03-17 09:59 |只看该作者

回复 #3 wanggd1983 的帖子

十几个节点？啥意思？
cluster?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wanggd1983

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2009-03-17 10:11 |只看该作者

原帖由 枫影谁用了 于 2009-3-17 09:59 发表
十几个节点？啥意思？
cluster?

恩。在超算上

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

枫影谁用了

富足长乐

论坛徽章:: 1

6楼 [报告]

发表于 2009-03-17 10:20 |只看该作者

回复 #5 wanggd1983 的帖子

既然机器够强，那就导入去试试嘛。几亿条数据分多几个表没问题的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wanggd1983

白手起家

论坛徽章:: 0

7楼 [报告]

发表于 2009-03-17 10:22 |只看该作者

原帖由 枫影谁用了 于 2009-3-17 10:20 发表
既然机器够强，那就导入去试试嘛。几亿条数据分多几个表没问题的。

好，我实验一下：）

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

andrefun

家境小康

论坛徽章:: 0

8楼 [报告]

发表于 2009-03-17 10:23 |只看该作者

只是临时排序或者抽取，就用shell好了。sort + grep~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 数据库技术 › MySQL › 【求助】超大表的导入和管理

【求助】超大表的导入和管理 [复制链接]

回复 #3 wanggd1983 的帖子

回复 #5 wanggd1983 的帖子

浏览过的版块