免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 统计日志中一个时间段内IP出现次数
12下一页
最近访问板块 发新帖
查看: 9681 | 回复: 11
打印 上一主题 下一主题

[文本处理] 统计日志中一个时间段内IP出现次数 [复制链接]

huarte

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-04-08 14:20 |只看该作者 |倒序浏览
  1. 116.10.64.137 - - [07/Apr/2013:00:32:30 +0800] "GET /hwssp/ HTTP/1.1" 304 -
  2. 171.106.49.84 - - [07/Apr/2013:00:32:30 +0800] "GET /hwssp/ HTTP/1.0" 200 89
  3. 180.142.204.5 - - [07/Apr/2013:00:32:30 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  4. 222.217.75.242 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  5. 113.14.64.254 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  6. 180.143.217.219 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  7. 113.13.45.147 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  8. 113.14.64.215 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 304 -
  9. 113.14.64.254 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  10. 180.143.217.219 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  11. 180.142.206.56 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  12. 113.13.45.147 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  13. 116.8.97.181 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  14. 113.14.64.215 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 304 -
  15. 180.143.217.219 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
  16. 113.14.64.254 - - [07/Apr/2013:00:32:31 +0800] "GET /hwssp/ HTTP/1.1" 200 89
复制代码
如上，有此类型日志，需要统计第一列IP的出现次数，并输出出现次数大于1000的IP,输出格式如下：

IP 地址     欻出现次数（按由大到小排列）
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2013-04-08 14:37 |只看该作者
本帖最后由 关阴月飞 于 2013-04-08 14:37 编辑
  1. awk '{a[$1]++}END{for(i in a)if(a[i] >1000)print i,a[i]}'  urfile |sort -nrk2
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
3楼 [报告]
发表于 2013-04-08 14:41 |只看该作者
  1. awk '{a[$1]++}END{for(i in a)if(a[i]>1000)print i,a[i]}' file | sort -k2nr
复制代码
排序还是要借助sort命令~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
todayhero

论坛徽章:
0
4楼 [报告]
发表于 2013-04-08 14:50 |只看该作者
@huarte
  1. [root@Wed ~]# awk '{a[$1]++}END{for(i in a){if(a[i]>2)print a[i],i}}' urfile | sort -k1nr
  2. 3 113.14.64.254
  3. 3 180.143.217.219
  4. [root@Wed ~]# awk '{a[$1]++}END{for(i in a){if(a[i]>1000)print a[i],i}}' urfile | sort -k1nr
  5. [root@Wed ~]#
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
huarte

论坛徽章:
0
5楼 [报告]
发表于 2013-04-08 16:39 |只看该作者
回复 4# todayhero


    好用，多谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
V_客

论坛徽章:
0
6楼 [报告]
发表于 2013-04-08 16:52 |只看该作者
本帖最后由 V_客 于 2013-04-08 16:53 编辑
  1. awk '{a[$1]+=1}END{l=asort(a,b);for(i=l;i>0;i--)for(k in a)print (a[k]==i && a[k]==3)?k"\t"i:"\b"}'
  2. awk自带的排序 不过效率还不好就不知道了
复制代码
ps 那个3是我测试的 你改下
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
求上进

论坛徽章:
0
7楼 [报告]
发表于 2013-04-10 14:38 |只看该作者
todayhero 发表于 2013-04-08 14:50
@huarte
  1. awk '{a[$1]++}END{for(i in a){if(a[i]>2)print a[i],i}}' t12 | sort -k1nr
复制代码
我的理解：
  $1 表示打印第一列
  $1=116.10.64.137,a[$1]=0,自加后为1；
  $1=171.106.49.84,a[$1]=0,自加后为1；
  $1=116.10.64.137,a[$1]=1,自加后为2；
  $1=116.10.64.137,a[$1]=2,自加后为3；
  依次类推 ....
  当{a[$1]++}执行完成，即读取最后一行，再执行END后面的命令。
  {a[$1]++}因为省略了前面的模式，所以对每一行都执行。
  另，for(i in a)中的i指定从数组a中获取的下标，如116.10.64.137等。

涉及的知识点为awk的数组知识。
因为知识点不够，整整一天都在思考这行命令，也不知道理解的是否全面，但希望对于像我一样的新手有所帮助。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
todayhero

论坛徽章:
0
8楼 [报告]
发表于 2013-04-10 14:42 |只看该作者
@求上进

$1 做为下标，只要遇到相同$1就递增加1，处理完后，通过ＥＮＤ来读取数组里的内容
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
9楼 [报告]
发表于 2013-04-11 21:32 |只看该作者
回复 7# 求上进


    您的理解是对的,论坛有精华帖对awk数组的总结。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
coderjoy

论坛徽章:
0
10楼 [报告]
发表于 2016-02-01 15:45 |只看该作者
请问统计apache日志 访问网页文件的不包含js css 和图片，包含#baidu 的并且次数在5次以上的命令怎么写？ awk '{a[$1]++}END{for(i in a)if(a[i] >1000)print i,a[i]}'  urfile |sort -nrk2   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP