免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3810 | 回复: 7

[文本处理] 将apache日志,记录按照IP访问量 从高到低重新排序 [复制链接]

论坛徽章:
0
发表于 2014-04-08 23:16 |显示全部楼层
最近有这么个需求:将apache日志中记录 按照IP访问量 从高到低重新排序

我的思路是:先把IP按照访问量从高到低排序,写到临时文件中;然后再循环从该读取IP,根据该IP再从apache日志中读记录,追加。

  1. #!/bin/bash

  2. #生成访问最多的IP列表
  3. cat access_log | awk '{print $1}'| sort | uniq -c | sort -nr | awk '{print $2}' > /tmp/ip.list

  4. #按列表顺序读取log记录
  5. while read ip
  6. do
  7.    grep $ip access_log >> result.txt
  8. done < /tmp/ip.list
复制代码



其实主要是看看,访问量最高的几个IP都干了些啥?



大家有没有更好的办法啊????

论坛徽章:
0
发表于 2014-04-08 23:27 |显示全部楼层
本帖最后由 sharkww 于 2014-04-08 23:34 编辑

回复 1# dualgaun

cat access_log | awk '{print $1}'| sort|
按照第一列排序的话,用一个命令sort -k 1应该会快点吧
   

论坛徽章:
0
发表于 2014-04-08 23:54 |显示全部楼层
或者直接awk '{print $1}' access_log | sort | uniq -c | sort -nr | awk '{print $2}'

回复 2# sharkww


   

论坛徽章:
0
发表于 2014-04-09 09:37 |显示全部楼层
这是一道面试题,大家有么有什么更好、更简洁的算法呢?

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2014-04-09 10:50 |显示全部楼层
本帖最后由 jason680 于 2014-04-09 10:51 编辑

回复 1# dualgaun
# awk '{a[$1]=a[$1]$0"\n";c[$1]++}END{for(n in c){t=c[n];b[t]=b[t]a[n]"\n";delete a[n]}t=asorti(b,a);for(n=t;n>=1;n--)printf b[a[n]]}' access_log

   

论坛徽章:
3
水瓶座
日期:2014-02-20 12:02:14天蝎座
日期:2014-03-19 14:04:46水瓶座
日期:2014-07-26 20:01:02
发表于 2014-04-09 13:54 |显示全部楼层
本帖最后由 haokoo 于 2014-04-09 13:55 编辑

awk '{a[$1]++} END{for( i in a) print i " " a}' access.log  | sort -nrk 2

有些信息我理解错了。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
发表于 2014-04-09 23:52 |显示全部楼层
  1. perl -ane '$h1{$F[0]}++;$h2{$F[0]}.=$_;END{map{print $h2{$_}}sort{$h1{$b}<=>$h1{$a}}keys %h1}'
复制代码

论坛徽章:
33
荣誉会员
日期:2011-11-23 16:44:17天秤座
日期:2014-08-26 16:18:20天秤座
日期:2014-08-29 10:12:18丑牛
日期:2014-08-29 16:06:45丑牛
日期:2014-09-03 10:28:58射手座
日期:2014-09-03 16:01:17寅虎
日期:2014-09-11 14:24:21天蝎座
日期:2014-09-17 08:33:55IT运维版块每日发帖之星
日期:2016-04-17 06:23:27操作系统版块每日发帖之星
日期:2016-04-18 06:20:00IT运维版块每日发帖之星
日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59
发表于 2014-04-10 08:41 |显示全部楼层
单就这个问题本身来说, 如果要达到最终的结果, 第一步的sort 是要对整个文件sort的. 当然, 最好加上 -k1,1 . 然后, 把这个sort过的文件存下来.

这样, 后面在 查找的时候, 效率会高很多. 输出 URL 也会快很多.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP