免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 有木有更快的处理办法了！！！
12
最近访问板块 发新帖
楼主: xxhacker
打印 上一主题 下一主题

有木有更快的处理办法了！！！ [复制链接]

iamlimeng

论坛徽章:
0
11楼 [报告]
发表于 2011-07-08 20:21 |只看该作者
7楼的方法效率最高。

我模拟生成了1G数据，分别测试了以上代码，结果如下：

17 wallclock secs (12.88 usr +  1.44 sys = 14.31 CPU)        7楼
27 wallclock secs (22.03 usr +  1.58 sys = 23.61 CPU)        5楼
23 wallclock secs (19.33 usr +  1.38 sys = 20.70 CPU)        2楼
21 wallclock secs (17.69 usr +  1.67 sys = 19.36 CPU)        1楼

测试了几次，结果一致！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
RE_HASH

论坛徽章:
6
15-16赛季CBA联赛之新疆 日期:2016-03-22 22:34:5915-16赛季CBA联赛之山东 日期:2016-04-11 09:08:41程序设计版块每日发帖之星 日期:2016-06-28 06:20:00程序设计版块每日发帖之星 日期:2016-07-19 06:20:00每日论坛发贴之星 日期:2016-07-19 06:20:0015-16赛季CBA联赛之青岛 日期:2016-07-20 22:44:17
12楼 [报告]
发表于 2011-07-08 20:47 |只看该作者
如果time zcat file.gz 是20秒左右的话，楼上的办法应该都差不多。去CPAN找几个Gzip的Moldule试试。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yinyuemi

论坛徽章:
2
射手座 日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海 日期:2016-03-03 10:27:14
13楼 [报告]
发表于 2011-07-09 05:01 |只看该作者
回复 7# jason680


    的确这个更快，只是这样会多统计一行。
   lz尝试下， grep ACCEPT file 更快
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
14楼 [报告]
发表于 2011-07-10 14:28 |只看该作者
回复  jason680


    的确这个更快，只是这样会多统计一行。
   lz尝试下， grep ACCEPT file 更快
yinyuemi 发表于 2011-07-09 05:01



>>    多统计一行
这不是问题....(我也知道会多加一次....)
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yinyuemi

论坛徽章:
2
射手座 日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海 日期:2016-03-03 10:27:14
15楼 [报告]
发表于 2011-07-10 14:36 |只看该作者
回复 14# jason680


    呵呵，知道 jason680兄明白，我的毛病，爱“找茬”，见谅
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
PKkingSon

论坛徽章:
0
16楼 [报告]
发表于 2011-07-13 17:38 |只看该作者
磁盘不行吧，或者内存紧张，按行算一下，是多少行。还有字节是多少M
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP