免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3656 | 回复: 19

[文本处理] 某一字段标示的两条数据求时间差值 [复制链接]

论坛徽章:
0
发表于 2013-07-03 16:04 |显示全部楼层
有数据如下:
  1. 192.168.0.1 [2013-07-02 15:08:11] bj {"k1":"s1","k2":"begin"}
  2. 192.168.0.1 [2013-07-02 15:09:11] bj {"k1":"s1","k2":"end"}
  3. 192.168.0.1 [2013-07-02 15:11:11] bj {"k1":"s2","k2":"begin"}
  4. 192.168.0.1 [2013-07-02 15:13:11] bj {"k1":"s2","k2":"end"}
  5. 192.168.0.1 [2013-07-02 15:14:11] bj {"k1":"s3","k2":"begin"}
复制代码
现在想变为
  1. 192.168.0.1 [2013-07-02 15:08:11] bj {"k1":"s1","k2":"begin","k3":"60"}
  2. 192.168.0.1 [2013-07-02 15:11:11] bj {"k1":"s2","k2":"begin","k3":"120"}
  3. 192.168.0.1 [2013-07-02 15:14:11] bj {"k1":"s3","k2":"begin"}
复制代码
即k1是一样的两条记录,计算时间差值,写入k3,并合并为一条。k1没有一样的,就单独列出来
求大神

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
发表于 2013-07-03 16:41 |显示全部楼层
回复 1# messud4312
  1. awk -F'[],[]' '{cmd="date -d \""$2"\" \"+%s\"";cmd|getline time;a[$3] = a[$3]? time-a[$3] : time;b[$3]++;c[$3]=$1"["$2"]"$3}END{for(i in a){if(b[i]==2){print c[i]",\"k2\":\"begin\",\"k3\":\""a[i]"\"}"}else{print c[i]",\"k2\":\"begin\"}"}}}'
复制代码

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
发表于 2013-07-03 16:48 |显示全部楼层
  1. awk -F: -vq='"' '/begin/{a=$2;getline;if($0~/end/){b=(gensub(/[^:]*:([^:]*):.*/,"\\1","1")-a)*60;sub("}",","q"k3"q":"q b q"}");print}else print}' file
  2. 192.168.0.1 [2013-07-02 15:09:11] bj {"k1":"s1","k2":"end","k3":"60"}
  3. 192.168.0.1 [2013-07-02 15:13:11] bj {"k1":"s2","k2":"end","k3":"120"}
  4. 192.168.0.1 [2013-07-02 15:14:11] bj {"k1":"s3","k2":"begin"}
复制代码

论坛徽章:
0
发表于 2013-07-03 16:57 |显示全部楼层
谢谢两位大神,我先看下

论坛徽章:
0
发表于 2013-07-03 17:22 |显示全部楼层
回复 3# WilliBhamlll
  1. awk -F: -vq='"' '/begin/{a=$2;getline;if($0~/end/){b=($2-a)*60;sub("}",","q"k3"q":"q b q"}");print}else print}'
复制代码
这样也行,不过请教下
sub("}",","q"k3"q":"q b q"}");
这里"q q"是什么意思


   

论坛徽章:
0
发表于 2013-07-03 17:23 |显示全部楼层
回复 2# yinyuemi
你这里考虑了整个时间转化成秒,适应性比较强


   

论坛徽章:
13
丑牛
日期:2013-08-16 15:08:22技术图书徽章
日期:2013-11-26 10:13:40双鱼座
日期:2013-11-08 15:03:26戌狗
日期:2013-11-08 13:52:30技术图书徽章
日期:2013-11-05 14:06:30戌狗
日期:2013-10-31 11:45:42CU十二周年纪念徽章
日期:2013-10-24 15:41:34天秤座
日期:2013-10-11 14:55:08子鼠
日期:2013-09-26 19:36:35水瓶座
日期:2013-09-26 17:44:56午马
日期:2013-08-26 10:24:23丑牛
日期:2013-08-19 14:43:22
发表于 2013-07-03 17:26 |显示全部楼层
  1. awk -F '[]"[]' '{if(a[$4 $6 $8] && $(NF-1) == "end"){gsub(/-|:/," ",a[$4 $6 $8]);gsub(/-|:/," ",$2);t=mktime($2)-mktime(a[$4 $6 $8]);sub(/}/,",\"k3\":\""t"\"}",b[$4 $6 $8]);print b[$4 $6 $8]};a[$4 $6 $8]=$2;b[$4 $6 $8]=$0;c[$4 $6 $8]=$(NF-1)}END{for(i in c)if(c[i] == "begin")print b[i]}'
复制代码

论坛徽章:
0
发表于 2013-07-03 17:27 |显示全部楼层
本帖最后由 messud4312 于 2013-07-03 17:33 编辑

ths   代号:军刀

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
发表于 2013-07-03 17:33 |显示全部楼层
回复 5# messud4312


    是啊,我写复杂了。

q是定义的变量,将双引号赋值给变量q
-vq='"'

sub("}",","q"k3"q":"q b q"}"),意思是将}替换成","q"k3"q":"q b q"}"

论坛徽章:
13
丑牛
日期:2013-08-16 15:08:22技术图书徽章
日期:2013-11-26 10:13:40双鱼座
日期:2013-11-08 15:03:26戌狗
日期:2013-11-08 13:52:30技术图书徽章
日期:2013-11-05 14:06:30戌狗
日期:2013-10-31 11:45:42CU十二周年纪念徽章
日期:2013-10-24 15:41:34天秤座
日期:2013-10-11 14:55:08子鼠
日期:2013-09-26 19:36:35水瓶座
日期:2013-09-26 17:44:56午马
日期:2013-08-26 10:24:23丑牛
日期:2013-08-19 14:43:22
发表于 2013-07-03 17:35 |显示全部楼层
回复 8# messud4312
  1. [root@ ~]$ cat test
  2. 192.168.0.1 [2013-07-02 15:08:11] bj {"k1":"s1","k2":"begin"}
  3. 192.168.0.1 [2013-07-02 15:11:11] bj {"k1":"s2","k2":"begin"}
  4. 192.168.0.1 [2013-07-02 15:09:11] bj {"k1":"s1","k2":"end"}
  5. 192.168.0.1 [2013-07-02 15:14:11] bj {"k1":"s3","k2":"begin"}
  6. 192.168.0.1 [2013-07-02 15:13:11] bj {"k1":"s2","k2":"end"}
  7. [root@ ~]$ awk -F '[]"[]' '{if(a[$4 $6 $8] && $(NF-1) == "end"){gsub(/-|:/," ",a[$4 $6 $8]);gsub(/-|:/," ",$2);t=mktime($2)-mktime(a[$4 $6 $8]);sub(/}/,",\"k3\":\""t"\"}",b[$4 $6 $8]);print b[$4 $6 $8]};a[$4 $6 $8]=$2;b[$4 $6 $8]=$0;c[$4 $6 $8]=$(NF-1)}END{for(i in c)if(c[i] == "begin")print b[i]}' test
  8. 192.168.0.1 [2013-07-02 15:08:11] bj {"k1":"s1","k2":"begin","k3":"60"}
  9. 192.168.0.1 [2013-07-02 15:11:11] bj {"k1":"s2","k2":"begin","k3":"120"}
  10. 192.168.0.1 [2013-07-02 15:14:11] bj {"k1":"s3","k2":"begin"}
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP