工作中遇到个文本处理求助，awk

Auroracxy

回复 13# chengchow


    顺着你的思路我改动了一下，看似能满足我自己的条件了
awk 'BEGIN{FS=OFS="|"}{a[$2$3$4]=$1;c[$2$3$4]=$5;if(b[$2$3$4]==""){print $0};if(a[$2$3$4]>=b[$2$3$4]+60000 && b[$2$3$4]!=""){x=$1;y=$5;$5=10;$1=b[$2$3$4]+10000;print $0;$1=x;$5=y;print $0};if(c[$2$3$4]!=d[$2$3$4] && a[$2$3$4]<b[$2$3$4]+60000 && d[$2$3$4]!=""){print $0};b[$2$3$4]=a[$2$3$4];d[$2$3$4]=c[$2$3$4]}'  file



yestreenstars兄写的我还没看懂。。

blackold

回复 17# Auroracxy

1. awk -F \| '{if($2"|"$3"|"$4!=pid) print;else{if($1-pt>=60000){print pt+10000"|"pid"|"10;ps=10;}if($5!=ps)print;}pt=$1;ps=$5;pid=$2"|"$3"|"$4}' urfile

复制代码

yestreenstars

1. awk 'BEGIN{FS=OFS="|"}{y1=$2 FS $3 FS $4;if(!a[y1]++)print}NR>1{if(y1==y2){if($1-x<60000){if($5!=z)print}else{print x+10000,y1,10;print}}}{x=$1;y2=y1;z=$5}'

复制代码

回复 17# Auroracxy


   

Herowinter

回复 10# yestreenstars

大神怎么突然少了好多积分？
您可是本版最接近富可敌国的大户啊。
   

yestreenstars

回复 23# Herowinter

今天拍了个东西，啊，西湖的水，我的泪~
   

q1208c

我看了三遍, 还是没有理解楼主到底要干嘛.

如果是只记录设备的状态变化, 并且是在1分钟以外的变化. 这个可以理解, 也容易处理. 只要简单的把相同行过滤掉就行了.

但如果超过1分钟, 就要插入一条log, 这个我实在无法理解. 以我的工作经验来说, log, 只能用于过滤, 不能后期修改. 否则, 结果就没人信了.

顺便说一下, 楼上各位都是大牛, 我看了半天, 我只能写个perl程序来处理这个问题, 而且, 还无法保证不会OOM.

blackold

回复 17# Auroracxy


    把样本修改为:

     1  1409108810000|2090000199|869323003901382|adapt.a|0
     2  1409108870000|2090000199|869323003901382|adapt.a|0
     3  1409108880000|2090000199|869323003901382|adapt.a|1
     4  1409108890000|2090000199|869323003901382|adapt.a|1
     5  1409108900000|2090000199|869323003901382|adapt.a|1
     6  1409108910000|2090000199|869323003901382|adapt.a|0
     7  1409108810000|2090000199|860989025893705|adapt.b|0
     8  1409108820000|2090000199|860989025893705|adapt.b|1
     9  1409108830000|2090000199|860989025893705|adapt.b|0
    10  1409108940000|2090000199|860989025893705|adapt.b|1
    11  1409109100000|2090000199|860989025893705|adapt.b|0
    12  1409108960000|2090000199|860989025893705|adapt.b|0
    13  1409108970000|2090000199|860989025893705|adapt.b|9
    14  1409108820000|2090000199|868145019649338|adapt.c|9
    15  1409108830000|2090000199|868145019649338|adapt.c|9
    16  1409108940000|2090000199|868145019649338|adapt.c|0
    17  1409108940000|2090000199|868145019649338|adapt.d|0

也就是修改了第9行的status和第11行的时间戳:

9c9
< 1409108830000|2090000199|860989025893705|adapt.b|1
---
> 1409108830000|2090000199|860989025893705|adapt.b|0
11c11
< 1409108950000|2090000199|860989025893705|adapt.b|0
---
> 1409109100000|2090000199|860989025893705|adapt.b|0

有两种特殊情况:
>60秒的上边界同时也是状态变化的行
连续出现 > 60 秒的行。

这样第9行和第10行要输出两遍?

Auroracxy

回复 26# blackold


    感谢回复， 昨天我也发现到这个问题，我把需求改了，应该可以避免这种情况

Auroracxy

回复 25# q1208c


    这个其实是状态在一分钟没日志就说明掉线了，要插一条状态，领导的需求折磨人啊   

blackold

回复 27# Auroracxy


    我是在你改需求之后才发的贴。

   你的新需求也没涉及这种特殊情况吧。

   对于新的样本，输出什么? 注意8-11行

    1  1409108810000|2090000199|869323003901382|adapt.a|0
     2  1409108820000|2090000199|869323003901382|adapt.a|10
     3  1409108870000|2090000199|869323003901382|adapt.a|0
     4  1409108880000|2090000199|869323003901382|adapt.a|1
     5  1409108910000|2090000199|869323003901382|adapt.a|0
     6  1409108810000|2090000199|860989025893705|adapt.b|0
     7  1409108820000|2090000199|860989025893705|adapt.b|1
     8  1409108830000|2090000199|860989025893705|adapt.b|0
     9  1409108840000|2090000199|860989025893705|adapt.b|10
    10  1409108940000|2090000199|860989025893705|adapt.b|1
    11  1409108950000|2090000199|860989025893705|adapt.b|10
    12  1409109100000|2090000199|860989025893705|adapt.b|0
    13  1409108970000|2090000199|860989025893705|adapt.b|9
    14  1409108820000|2090000199|868145019649338|adapt.c|9
    15  1409108840000|2090000199|868145019649338|adapt.c|10
    16  1409108940000|2090000199|868145019649338|adapt.c|0