免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1649 | 回复: 4
打印 上一主题 下一主题

關於一個perl命令行的效率問題 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-12-31 23:47 |只看该作者 |倒序浏览
最近學習perl 有以下一個需求 將lastb命令列出來的數據統計一下ip和ip對應的訪問次數

得到一個類似以下的顯示結果
61.152.90.151                36459
60.217.235.5                 28285
211.151.185.54               28243

我用time測試了 awk的執行效果 70M大小的數據處理四秒多一點
time lastb | awk '{a[$3]++}END{for(k in a){printf("%-20s%8d\n",k,a[k]) | "sort -nrk 2"}}' > server_hacker_list.txt

我試著用perl來測試
time lastb | perl -anle '$bb{$F[2]}++;END{foreach $index (sort { $bb{$b}<=>$bb{$a} } keys %bb) {printf("%-20s\t%8d\n", $index,$bb{$index})}}'>server_hack_list.perl.log

生成的這兩個文件大小不一樣,有一些差別,我head看了一下結果,基本前面的統計兩個命令結果一樣,可能所面有一些統計差異。最重要的是perl這個執行效率有點差,花了五秒多。
看看如何寫perl的命令可以提高一些效率?聽說perl本來是想用來替代awk的,有沒更優的實現方法?

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
2 [报告]
发表于 2012-01-01 01:37 |只看该作者
回复 1# yumengcool


    不要用-a, 在commend line 里用substr 或 正则 取出$3,再建立hash

论坛徽章:
46
15-16赛季CBA联赛之四川
日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯
日期:2015-04-11 17:31:45天蝎座
日期:2015-03-25 16:56:49双鱼座
日期:2015-03-25 16:56:30摩羯座
日期:2015-03-25 16:56:09巳蛇
日期:2015-03-25 16:55:30卯兔
日期:2015-03-25 16:54:29子鼠
日期:2015-03-25 16:53:59申猴
日期:2015-03-25 16:53:29寅虎
日期:2015-03-25 16:52:29羊年新春福章
日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼
日期:2015-07-13 10:44:56
3 [报告]
发表于 2012-01-01 11:37 |只看该作者
我投降了,慢就慢点吧

论坛徽章:
0
4 [报告]
发表于 2012-01-01 12:17 |只看该作者
回复 2# yinyuemi

多謝指點,我試試先


   

论坛徽章:
0
5 [报告]
发表于 2012-01-01 12:21 |只看该作者
回复 3# zhlong8


這臺機器只有70M的數據量,差一秒無所謂,但是我處理的有些文件太大,上G的,所以想找一個快一點且簡單的方式,如主題所述,一行命令行完成功能,但不要太慢。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP