免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › 如何处理超大文件呢？

最近访问板块

发新帖

查看: 2275 | 回复: 9

上一主题

下一主题

如何处理超大文件呢？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2006-04-05 15:01 |只看该作者 |倒序浏览

需要处理一个超大的文件（5千多万行），但是用句柄打开半截就内存不够，退出了。
perl里面有没有办法，类似shell里面的“while read”的，按行来读的方式？

文库|博客

Basin 该用户已被删除	2楼 [报告] 发表于 2006-04-05 17:42 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
Basin 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2006-04-06 11:30 |只看该作者

楼主不会是一次性读入到数组吧？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2006-04-06 11:49 |只看该作者

晕，习惯了foreach，忘了还有这个办法，试一下先。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2006-04-06 12:02 |只看该作者

原帖由 chenzq1604 于 2006-4-6 11:30 发表
楼主不会是一次性读入到数组吧？

我用foreach(<FH>)搞的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2006-04-06 12:19 |只看该作者

原帖由 philonis 于 2006-4-6 12:02 发表

我用foreach(<FH>)搞的

死机是一种必然

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2006-04-06 12:37 |只看该作者

我处理过这样的大文件只能用逐行的方式要不服务器都会game over

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Basin 该用户已被删除	8楼 [报告] 发表于 2006-04-07 08:50 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
Basin 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

9楼 [报告]

发表于 2006-04-07 10:58 |只看该作者

原帖由 Basin 于 2006-4-7 08:50 发表

嘿嘿，我原来用foreach()处理WEB日志文件,双志强,10G内存的机子都挂过..................

汗，我的是双志强4G内存，看来挂掉是应该的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

10楼 [报告]

发表于 2006-04-07 13:52 |只看该作者

呵呵~~那在式式小型机吧!呵呵~~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › 如何处理超大文件呢？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP