免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 怎么计算每个ip的抓去总时间
12下一页
最近访问板块 发新帖
查看: 6315 | 回复: 11
打印 上一主题 下一主题

[文本处理] 怎么计算每个ip的抓去总时间 [复制链接]

gxl133133

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-08-26 16:48 |只看该作者 |倒序浏览
本帖最后由 gxl133133 于 2013-08-26 18:36 编辑

例如有个文件a    两列的
2013-01-03 23:54:38           1.1.1.1
2013-01-03 23:54:45           1.1.1.1
2013-01-03 23:54:47           1.1.1.1   
2013-01-03 23:54:58           1.1.1.1
2013-01-03 23:55:58           2.2.2.2
2013-01-03 23:56:58           2.2.2.2
2013-01-03 23:57:58           2.2.2.2
抓去时间离开时间（最后一次）减去 来的时间（第一次）

怎么计算出每个ip 的抓取时间
1.1.1.1   时间
2.2.2.2   时间
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2013-08-26 17:26 |只看该作者
假设每行记录的时间是递增的：
  1. awk '{gsub("-|:"," ");n=mktime($1FS$2FS$3FS$4FS$5FS$6);if(!a[$NF]++)b[$NF]=n;else a[$NF]=n}END{for(i in a)print i,a[i]-b[i]|"sort"}' file
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gxl133133

论坛徽章:
0
3楼 [报告]
发表于 2013-08-26 18:40 |只看该作者
回复 2# 关阴月飞


有时不是递增的 我举例说的时候就简单了点   其实有时候会
2013-01-03 23:54:38           1.1.1.1
2013-01-03 23:54:45           1.1.1.1
2013-01-03 23:54:47           1.1.1.1
2013-01-03 23:54:58           1.1.1.1
2013-01-03 23:55:58           2.2.2.2
2013-01-03 23:56:58           2.2.2.2
2013-01-03 23:57:58           2.2.2.2
2013-01-03 23:55:58           2.2.2.2
2013-01-03 23:56:58           3.3.3.3
2013-01-03 23:57:58           3.3.3.3   

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
4楼 [报告]
发表于 2013-08-26 19:40 |只看该作者
本帖最后由 reyleon 于 2013-08-26 20:01 编辑

回复 3# gxl133133

那就先排下序呗
  1. sort urfile |awk '{gsub(/:|-/,OFS);s=$NF;NF--;a[s,++b[s]]=mktime($0)}END{for(i in b)print i,a[i,b[i]]-a[i,1]}'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gxl133133

论坛徽章:
0
5楼 [报告]
发表于 2013-08-26 20:06 |只看该作者
本帖最后由 gxl133133 于 2013-08-26 20:07 编辑

回复 4# reyleon

还有种情况是 蜘蛛走了 又过来了

2013-01-03 22:54:38           1.1.1.1
2013-01-03 22:54:45           1.1.1.1
2013-01-03 22:54:47           1.1.1.1
2013-01-03 22:54:58           1.1.1.1
2013-01-03 23:55:58           2.2.2.2
2013-01-03 23:56:58           2.2.2.2
2013-01-03 23:57:58           2.2.2.2
2013-01-03 23:55:58           2.2.2.2
2013-01-03 23:54:45           1.1.1.1
2013-01-03 23:54:47           1.1.1.1
2013-01-03 23:54:58           1.1.1.1
2013-01-03 23:56:58           3.3.3.3
2013-01-03 24:57:58           3.3.3.3


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
6楼 [报告]
发表于 2013-08-26 20:20 |只看该作者
哥不回答了 ，下面的接招吧 ，需求不明朗还老是半路杀出一个需求，招架不住
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
liion631818

论坛徽章:
10
天蝎座 日期:2013-09-22 22:32:23程序设计版块每日发帖之星 日期:2016-08-07 06:20:00lufei 日期:2016-06-17 17:38:40程序设计版块每日发帖之星 日期:2016-06-12 06:20:002016科比退役纪念章 日期:2016-05-31 15:47:20CU十四周年纪念徽章 日期:2016-05-27 12:24:562015年亚洲杯之阿曼 日期:2015-05-03 21:01:352015年辞旧岁徽章 日期:2015-03-03 16:54:15天蝎座 日期:2013-10-20 21:05:24程序设计版块每日发帖之星 日期:2016-08-11 06:20:00
7楼 [报告]
发表于 2013-08-26 21:53 |只看该作者
这样排序
sort -k3,2 -k1
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
8楼 [报告]
发表于 2013-08-26 22:16 |只看该作者
回复 5# gxl133133


    话说，这种情况的话，你想达到什么结果？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
guogang225

论坛徽章:
1
天蝎座 日期:2013-08-22 15:14:44
9楼 [报告]
发表于 2013-08-26 23:49 |只看该作者
回复 5# gxl133133

    需求不明确，不知道猜中没？
  1. awk '{gsub(/[-|:| ]/," ");time=mktime($1FS$2FS$3FS$4FS$5FS$6);if(ip!=$7){if(ip!="") print ip,(ip_end-ip_start)" seconds";ip=$7;ip_start=time;ip_end=time} else{if(time<ip_start) ip_start=time; else if(time>ip_end) ip_end=time}}END{print ip,(ip_end-ip_start)" seconds";}' urfile
复制代码
  1. 1.1.1.1 20 seconds
  2. 2.2.2.2 120 seconds
  3. 1.1.1.1 13 seconds
  4. 3.3.3.3 3660 seconds
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
guogang225

论坛徽章:
1
天蝎座 日期:2013-08-22 15:14:44
10楼 [报告]
发表于 2013-08-26 23:51 |只看该作者
回复 5# gxl133133

    需求不明确，不知道猜中没？
  1. awk '{gsub(/[-|:| ]/," ");time=mktime($1FS$2FS$3FS$4FS$5FS$6);if(ip!=$7){if(ip!="") print ip,(ip_end-ip_start)" seconds";ip=$7;ip_start=time;ip_end=time} else{if(time<ip_start) ip_start=time; else if(time>ip_end) ip_end=time}}END{print ip,(ip_end-ip_start)" seconds";}' urfile
复制代码
  1. 1.1.1.1 20 seconds
  2. 2.2.2.2 120 seconds
  3. 1.1.1.1 13 seconds
  4. 3.3.3.3 3660 seconds
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP