yelanxin 发表于 2011-04-16 01:02

ruby如何去处理 20G的大文件？

现在要分析一个日志文件，大小约20G.机器内存只有8G，无法全部读到内存中。
现在一行一行读取，但是速度很慢。

试过多线程等方式，反而更慢。

求解。。。

2gua 发表于 2011-04-17 08:34

时间是必须的，你不能指望20g很快就完成，你得想想为啥要等到20g？欠考虑就是要付出代价的。
想办法把文件分割成若干个小文件吧，然后处理。

lax 发表于 2011-04-21 23:22

是什么分析需求，需要把全部日志放到内存里？

简单的需求一般可以line by line。

yelanxin 发表于 2011-04-25 11:24

日志按照天分割，一天差不多20G.

2gua 发表于 2011-04-26 15:17

分割小一点吧。

zeeler 发表于 2011-06-01 17:00

按照小时分割日志吧，或者按照分钟。。。

Sevk 发表于 2011-09-08 09:21

2gua 发表于 2011-09-08 11:36

欢迎新人加入。

gr33n 发表于 2011-11-21 17:13

谢分享

zuerrong 发表于 2011-11-22 18:07

用hadoop
页: [1] 2
查看完整版本: ruby如何去处理 20G的大文件？