免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 8572 | 回复: 10
打印 上一主题 下一主题

perl读取大文件能否直接定位第a-b行而不读取整个文件 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-02-28 19:13 |只看该作者 |倒序浏览
perl对文本处理一般都是整个文件读进变量后进行,现在有个情况:
要处理一些大尺寸的文件,比如动辄上G的文件,取出第a行到第b行之间的内容,
但是如果整个读进去,那太慢了,请教下各位,有没有办法直接定位到某一行,或者某一字节,而不是读取全部文件呢?

[ 本帖最后由 白水2009 于 2009-2-28 19:14 编辑 ]

论坛徽章:
1
未羊
日期:2014-09-08 22:47:27
2 [报告]
发表于 2009-02-28 19:33 |只看该作者
  1. open FH,"<","yourfile.txt";
  2. while (<FH>){
  3.     next if $.<$aa;
  4.     last if  $.>$bb;
  5.     #在这里处理你的文本
  6. }
  7. close FH;
复制代码

我记得还有一个更简便的方法,但是具体忘记了。上面的凑合着还可以用用。

[ 本帖最后由 wxlfh 于 2009-2-28 19:36 编辑 ]

论坛徽章:
95
程序设计版块每日发帖之星
日期:2015-09-05 06:20:00程序设计版块每日发帖之星
日期:2015-09-17 06:20:00程序设计版块每日发帖之星
日期:2015-09-18 06:20:002015亚冠之阿尔艾因
日期:2015-09-18 10:35:08月度论坛发贴之星
日期:2015-09-30 22:25:002015亚冠之阿尔沙巴布
日期:2015-10-03 08:57:39程序设计版块每日发帖之星
日期:2015-10-05 06:20:00每日论坛发贴之星
日期:2015-10-05 06:20:002015年亚冠纪念徽章
日期:2015-10-06 10:06:482015亚冠之塔什干棉农
日期:2015-10-19 19:43:35程序设计版块每日发帖之星
日期:2015-10-21 06:20:00每日论坛发贴之星
日期:2015-09-14 06:20:00
3 [报告]
发表于 2009-02-28 19:52 |只看该作者
原帖由 白水2009 于 2009-2-28 19:13 发表
perl对文本处理一般都是整个文件读进变量后进行,

谁告诉你的?都是建议不要这么做,除非文件很小。

论坛徽章:
0
4 [报告]
发表于 2009-02-28 21:27 |只看该作者

  1. kernel@fairland:~$ perl -ne 'print if 2..9' /etc/conf.d/net.example
  2. # QUICK-START
  3. #
  4. # The quickest start is if you want to use DHCP.
  5. # In that case, everything should work out of the box, no configuration
  6. # necessary, though the startup script will warn you that you haven't
  7. # specified anything.

  8. # WARNING :- some examples have a mixture of IPv4 (ie 192.168.0.1) and IPv6
复制代码

use range operator in scalar context.
默认跟$.进行比较

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
5 [报告]
发表于 2009-02-28 22:38 |只看该作者
原帖由 MMMIX 于 2009-2-28 19:52 发表

谁告诉你的?都是建议不要这么做,除非文件很小。

是啊!我也很奇怪!
很好奇到底是哪一本破书,居然收看率这么高!

论坛徽章:
0
6 [报告]
发表于 2009-03-01 10:18 |只看该作者
除非$/=undef吧,不然都是1行行读的

论坛徽章:
1
未羊
日期:2014-09-08 22:47:27
7 [报告]
发表于 2009-03-01 10:47 |只看该作者
除非文件很小,可以一次性读入来处理,比如几兆,最多几十兆,上百兆的一般都是按行处理的。

论坛徽章:
0
8 [报告]
发表于 2009-03-01 11:06 |只看该作者
小骆驼上说,400M的文件,如果一次性读入内存的话,可能要占用1G内存,甚至更多

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
9 [报告]
发表于 2009-03-02 10:05 |只看该作者
试试Tie::File?

论坛徽章:
95
程序设计版块每日发帖之星
日期:2015-09-05 06:20:00程序设计版块每日发帖之星
日期:2015-09-17 06:20:00程序设计版块每日发帖之星
日期:2015-09-18 06:20:002015亚冠之阿尔艾因
日期:2015-09-18 10:35:08月度论坛发贴之星
日期:2015-09-30 22:25:002015亚冠之阿尔沙巴布
日期:2015-10-03 08:57:39程序设计版块每日发帖之星
日期:2015-10-05 06:20:00每日论坛发贴之星
日期:2015-10-05 06:20:002015年亚冠纪念徽章
日期:2015-10-06 10:06:482015亚冠之塔什干棉农
日期:2015-10-19 19:43:35程序设计版块每日发帖之星
日期:2015-10-21 06:20:00每日论坛发贴之星
日期:2015-09-14 06:20:00
10 [报告]
发表于 2009-03-02 10:15 |只看该作者
原帖由 FinalBSD 于 2009-3-2 10:05 发表
试试Tie::File?

That's it!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP