免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › perl 大文件分析

12 3 / 3 页下一页

最近访问板块

发新帖

查看: 5907 | 回复: 20

上一主题

下一主题

perl 大文件分析 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-11-01 17:32 |只看该作者 |倒序浏览

本帖最后由 kofpet 于 2012-11-01 17:34 编辑

第一次遇一个日志文件600G 现在要将文件里面的url抓出来，进行一个排序，将前点击量最多的前1000名URL的存入一个文件，请大家指点一下这个要怎样写？

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2012-11-01 17:38 |只看该作者

用split试试，然后分文件读

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2012-11-01 17:44 |只看该作者

一个文件？600G？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-11-01 18:06 |只看该作者

是的，就一个文件，有论谈的人建议用方法把：这个大文件分为若干小文件，然后选出若干小文件里面的前1000个，然后再继续这样处理，直到最后的1000个

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-11-01 18:59 |只看该作者

如果URL不会跨行的话，逐行处理如何？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-11-01 19:52 |只看该作者

kofpet 发表于 2012-11-01 18:06
是的，就一个文件，有论谈的人建议用方法把：这个大文件分为若干小文件，然后选出若干小文件里面的前1000个 ...

这个方法应该不错的，想想怎么实现。600G用while单行读也要读很久很久吧...

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2012-11-01 21:26 |只看该作者

本帖最后由 kk861123 于 2012-11-01 21:28 编辑

kofpet 发表于 2012-11-01 18:06
是的，就一个文件，有论谈的人建议用方法把：这个大文件分为若干小文件，然后选出若干小文件里面的前1000个 ...

又想了一下，感觉这种方法有失准确性，还是应该将每个小文件抓取的结果并在一起然后再分析出前1000个才是最准确的。
LZ可否传上来小部分文件便于我们分析一下。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2012-11-02 00:21 |只看该作者

回复 7# kk861123

显然是要将N*1000个结果放在一起再排序。分成若干个文件的好处我想就是可以一次将单个文件的内容全部读入吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 42

19周年集字徽章-周
日期:2019-10-14 14:35:31

平安夜徽章
日期:2015-12-26 00:06:30

数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00

2015亚冠之首尔
日期:2015-11-04 22:25:43

IT运维版块每日发帖之星
日期:2015-08-17 06:20:00

寅虎
日期:2014-06-04 16:25:27

狮子座
日期:2014-05-12 11:00:00

辰龙
日期:2013-12-20 17:07:19

射手座
日期:2013-10-24 21:01:23

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

IT运维版块每日发帖之星
日期:2016-01-27 06:20:00

15-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01

9楼 [报告]

发表于 2012-11-02 11:09 |只看该作者

日志里面都是url么？
还是有很多其他内容，可以先过滤一下?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

IT运维版块每日发帖之星
日期:2015-09-01 06:20:00

10楼 [报告]

发表于 2012-11-02 17:07 |只看该作者

C友，可以把部分内容发出来，寻找规律。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 3 / 3 页下一页

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › perl 大文件分析

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP