论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-09-26 11:49 |只看该作者 |倒序浏览

有3 亿条apache记录，日志格式如下

216.35.116.91 www.xxx.com - [19/Aug/2000:14:47:37 -0400] "GET /index.php HTTP/1.0" 200 654

要求同时对日志中的主机和访问的内容统计访问次数并排序，如何用最快的效率进行排序
当时没有想到方法，只能说用awk 统计然后排序了，不知道各位有什么好的方法

文库|博客

Shell_HAT

版主

论坛徽章:: 33

2楼 [报告]

发表于 2010-09-26 12:05 |只看该作者

3亿条数据，文件大小应给接近10GB了吧，要不要考虑内存呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

juven0822

家境小康

论坛徽章:: 0

3楼 [报告]

发表于 2010-09-26 12:26 |只看该作者

等高手解答

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jiean

丰衣足食

论坛徽章:: 0

4楼 [报告]

发表于 2010-09-26 12:30 |只看该作者

是啊，当场面试官就和我说了要考虑内存，当时也没有什么好方法，后来想一想可以先把第一步的数据统计出来之后再进行第二步统计，可是效率就慢了，等高人解答

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

expert1

荣誉版主

论坛徽章:: 16

5楼 [报告]

发表于 2010-09-26 12:31 |只看该作者

http://bbs.chinaunix.net/thread-1791591-1-1.html

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Shell_HAT

版主

论坛徽章:: 33

6楼 [报告]

发表于 2010-09-26 12:33 |只看该作者

回复 5# expert1

链接贴错了吧？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

expert1

荣誉版主

论坛徽章:: 16

7楼 [报告]

发表于 2010-09-26 12:36 |只看该作者

呵呵，本想发个表情符的，这个题好像没什么好办法，只能awk统计排序了，不过文件太大了，内存不知够用不。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jiean

丰衣足食

论坛徽章:: 0

8楼 [报告]

发表于 2010-09-26 14:33 |只看该作者

有没有方法将文件分段查看，先统计一半，然后再统计后一半，最后再进行总的统计

也就是说有没有命令可以只查看文件的前一半

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

昭襄王

腰缠万贯

论坛徽章:: 1

9楼 [报告]

发表于 2010-09-26 14:39 |只看该作者

用split吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

blueskysee blueskysee 当前离线禁止发言招聘 : 质量管理好友博客消息论坛徽章: 0	10楼 [报告] 发表于 2010-09-26 14:41 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › Shell › 一道面试题

一道面试题 [复制链接]

浏览过的版块