免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: 鸿钧
打印 上一主题 下一主题

perl对大文件的处理效率问题 [复制链接]

论坛徽章:
46
15-16赛季CBA联赛之四川
日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯
日期:2015-04-11 17:31:45天蝎座
日期:2015-03-25 16:56:49双鱼座
日期:2015-03-25 16:56:30摩羯座
日期:2015-03-25 16:56:09巳蛇
日期:2015-03-25 16:55:30卯兔
日期:2015-03-25 16:54:29子鼠
日期:2015-03-25 16:53:59申猴
日期:2015-03-25 16:53:29寅虎
日期:2015-03-25 16:52:29羊年新春福章
日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼
日期:2015-07-13 10:44:56
11 [报告]
发表于 2010-12-22 17:57 |只看该作者
本帖最后由 zhlong8 于 2010-12-22 18:05 编辑

8分多很慢吗?全IO有什么可比性

处理方式也不同正则vs字符串搜索、缓冲区vs行处理,perl 正则匹配这速度挺高了我觉得。用同样的算法写个字符串搜索C扩展估计有一拼

论坛徽章:
0
12 [报告]
发表于 2010-12-30 17:47 |只看该作者
回复 1# 鸿钧
本人log文件130W行,CPU为Intel(R) Pentium(R) 4 CPU 3.00GHz,完成时间

real    1m48.825s
user    0m31.089s
sys     0m4.641s


$count=0;
close MYFILE;
#!/usr/bin/perl

#open MYFILE,"/root/p.log"||die $!;

$count=0;

while (<>){
        $count++ if (m,MSIE,g);
}

print $count;

论坛徽章:
0
13 [报告]
发表于 2011-05-17 07:37 |只看该作者
回复 12# zarcao


    if (m,MSIE,g); 这个看不懂,能解说下么?

论坛徽章:
0
14 [报告]
发表于 2011-05-17 09:23 |只看该作者
Perl正则的确很强大,非常方便,但在处理大量文本的时候,速度还是显得有些慢,不知道是不是因为它的正则引擎过于复杂造成的。

论坛徽章:
0
15 [报告]
发表于 2011-05-17 09:24 |只看该作者
就是

if ($_ =~ m/MSIE/g)
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP