免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 急求：用shell计算日志中蜘蛛某一天内总的爬行时间
最近访问板块 发新帖
查看: 2223 | 回复: 9
打印 上一主题 下一主题

急求：用shell计算日志中蜘蛛某一天内总的爬行时间 [复制链接]

linzhiyue

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2011-04-07 15:33 |只看该作者 |倒序浏览
各位大侠们好，我想用shell计算日志中蜘蛛某一天内总的爬行时间，嘿嘿。日志格式是这样的
  1. 2011-04-06        00:30:57        220.181.108.80
  2. 2011-04-06        23:59:37        220.181.108.158
  3. 2011-04-06        00:00:14        123.125.71.113
  4. 2011-04-06        00:00:18        123.125.71.113
  5. 2011-04-06        00:00:20        123.125.71.111
  6. 2011-04-06        00:00:20        123.125.71.114
  7. 2011-04-06        00:00:20        123.125.71.97
  8. 2011-04-06        00:00:23        123.125.71.99
  9. 2011-04-06        00:00:32        123.125.71.113
  10. 2011-04-06        00:02:12        123.125.71.97
  11. 2011-04-06        00:02:12        123.125.71.103
  12. 2011-04-06        00:02:12        220.181.108.84
  13. 2011-04-06        00:02:13        220.181.108.80
  14. 2011-04-06        00:02:14        123.125.71.103
  15. 2011-04-06        00:02:14        220.181.108.78
  16. 2011-04-06        00:02:14        220.181.108.86
  17. 2011-04-06        00:02:14        123.125.71.96
  18. 2011-04-06        00:02:17        123.125.71.110
  19. 2011-04-06        00:02:17        220.181.108.81
  20. 2011-04-06        00:02:17        123.125.71.114
  21. 2011-04-06        00:02:17        220.181.108.95
  22. 2011-04-06        00:02:18        123.125.71.107
  23. 2011-04-06        00:02:18        123.125.71.99
  24. 2011-04-06        00:02:18        220.181.108.81
  25. 2011-04-06        00:02:19        220.181.108.78
  26. 2011-04-06        00:02:21        123.125.71.97
  27. 2011-04-06        00:02:21        123.125.71.99
  28. 2011-04-06        00:02:21        220.181.108.91
  29. 2011-04-06        00:02:21        220.181.108.91
  30. 2011-04-06        00:02:23        123.125.71.99
  31. 2011-04-06        00:02:23        123.125.71.97
  32. 2011-04-06        00:02:23        220.181.108.91
  33. 2011-04-06        00:02:25        220.181.108.95
  34. 2011-04-06        00:02:26        220.181.108.78
  35. 2011-04-06        00:02:26        123.125.71.102
  36. 2011-04-06        00:02:26        123.125.71.98
  37. 2011-04-06        00:02:27        220.181.108.91
复制代码
bip.rar (98.55 KB, 下载次数: 15)

先谢谢各位大侠了，
linzhiyue

论坛徽章:
0
2楼 [报告]
发表于 2011-04-07 16:52 |只看该作者
在线等结果，帖子不要沉了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lkk2003rty

论坛徽章:
0
3楼 [报告]
发表于 2011-04-07 17:57 |只看该作者
神马叫总的爬行时间？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
licong_jay

论坛徽章:
0
4楼 [报告]
发表于 2011-04-07 18:09 |只看该作者
描述不清楚的问题，等多长时间也不会有人回答，因为没人回答的了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
南极雨

论坛徽章:
0
5楼 [报告]
发表于 2011-04-07 18:11 |只看该作者
你这个要算得话会会不会溢出了?
倒一个....
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
6楼 [报告]
发表于 2011-04-07 18:16 |只看该作者
需求不明确
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cjaizss

论坛徽章:
3
2015年迎新春徽章 日期:2015-03-04 09:56:11数据库技术版块每日发帖之星 日期:2016-08-03 06:20:00数据库技术版块每日发帖之星 日期:2016-08-04 06:20:00
7楼 [报告]
发表于 2011-04-07 19:24 |只看该作者
还没说清楚怎么计算呢。。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
shellyxz

论坛徽章:
0
8楼 [报告]
发表于 2011-04-07 19:27 |只看该作者
大体上可以用awk实现，但是没看清你需求。 爬行时间怎么计算？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
rdcwayx

论坛徽章:
15
2015年辞旧岁徽章 日期:2015-03-03 16:54:15双鱼座 日期:2015-01-15 17:29:44午马 日期:2015-01-06 17:06:51子鼠 日期:2014-11-24 10:11:13寅虎 日期:2014-08-18 07:10:55酉鸡 日期:2014-04-02 12:24:51双子座 日期:2014-04-02 12:19:44天秤座 日期:2014-03-17 11:43:36亥猪 日期:2014-03-13 08:13:51未羊 日期:2014-03-11 12:42:03白羊座 日期:2013-11-20 10:15:18CU大牛徽章 日期:2013-04-17 11:48:45
9楼 [报告]
发表于 2011-04-07 20:47 |只看该作者
做了两个awk的function, 你自己调用

t2s() 是用来将时间转成秒 （00:02:21 ---> 141)。 s2t()正好相反，将秒转回时间。
  1. function t2s (t) {split(t,b,":");s=b[1]*60*60+b[2]*60+b[3];return s}
  2. function s2t (b) {h=int(b/60/60);m=int((b-h*60*60)/60);s=b-h*60*60-m*60;return sprintf("%02d:%02d:%02d", h,m,s)}
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
linzhiyue

论坛徽章:
0
10楼 [报告]
发表于 2011-04-18 15:02 |只看该作者
回复 9# rdcwayx


    谢谢大侠。是我表述不清楚。我再学习下相关的命令。有问题再找你。再次致谢。我们帮你什么吗？比如给你加分，什么的
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP