免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Ruby › ruby如何去处理 20G的大文件？

12 / 2 页下一页

最近访问板块

发新帖

查看: 9811 | 回复: 15

上一主题

下一主题

ruby如何去处理 20G的大文件？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2011-04-16 01:02 |只看该作者 |倒序浏览

现在要分析一个日志文件，大小约20G.机器内存只有8G，无法全部读到内存中。
现在一行一行读取，但是速度很慢。

试过多线程等方式，反而更慢。

求解。。。

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2011-04-17 08:34 |只看该作者

时间是必须的，你不能指望20g很快就完成，你得想想为啥要等到20g？欠考虑就是要付出代价的。
想办法把文件分割成若干个小文件吧，然后处理。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2011-04-21 23:22 |只看该作者

是什么分析需求，需要把全部日志放到内存里？

简单的需求一般可以line by line。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2011-04-25 11:24 |只看该作者

日志按照天分割，一天差不多20G.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2011-04-26 15:17 |只看该作者

分割小一点吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2011-06-01 17:00 |只看该作者

按照小时分割日志吧，或者按照分钟。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Sevk Sevk 当前离线禁止发言好友博客消息论坛徽章: 3	7楼 [报告] 发表于 2011-09-08 09:21 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
Sevk Sevk 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2011-09-08 11:36 |只看该作者

欢迎新人加入。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

9楼 [报告]

发表于 2011-11-21 17:13 |只看该作者

谢分享

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

10楼 [报告]

发表于 2011-11-22 18:07 |只看该作者

用hadoop

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Ruby › ruby如何去处理 20G的大文件？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP