一个awk过滤文本的脚本

sunlizhourong

cat 1.txt
10 2841312          0
10 2843969          0
10 3546080          0
10 3052191          0
10 3052191         85
10 3052230          0
10 3052230          3
10 3052210          0
11 2843969          0
11 3546080          0
11 3052191          0
11 3052191         85
11 3052230          0
11 3052230          3
11 3052210          0

第一列，第二列有重复的数据找出来，然后把找出来的数据第三列等于0的过滤掉
最终输出：
10 2841312          0
10 2843969          0
10 3546080          0
10 3052191         85
10 3052230          3
10 3052210          0
11 2843969          0
11 3546080          0
11 3052191         85
11 3052230          3
11 3052210          0



我的脚本是：
awk 'a[$1,$2,$3=0]++ {print NR}' 1.txt >2.txt  可以找出重复的数据的行
5
7
12
14


for num in `cat 2.txt`
do
      sed -i "$num"d 2.txt
done

因为是-i操作 num不会跟随改变，请教达人有正解么？

sunlizhourong

awk 'a[$1,$2,$3=0]++ {print $0}'  找出该删除的数据
10 3052191 0
10 3052230 0
11 3052191 0
11 3052230 0

sunlizhourong

额 是不是可以这样  把找出的符合规则的要删除的数据>2.txt，然后比对1.txt和2.txt  找出不重复的的数据就是想要的结果了？

sunlizhourong

求高手帮忙解惑 谢谢

where27

回复 1# sunlizhourong


    如果第一列和第二列有重复，并且第三列都等于0呢，这样的情况怎么处理，是留一个呢，还是都删除
10 2841312          0
10 2841312          0

jason680

cat 1.txt
10 2841312          0
10 2843969          0
10 3546080          0
10 3052191           ...
sunlizhourong 发表于 2011-08-10 09:32

# awk '{n=$1" "$2;if(a[n]==""c++;a[n]+=$3;b[c]=n}END{for(n=0;n++<cprint b[n]"\t"a[b[n]]}' 1.txt
10 2841312        0
10 2843969        0
10 3546080        0
10 3052191        85
10 3052230        3
10 3052210        0
11 2843969        0
11 3546080        0
11 3052191        85
11 3052230        3
11 3052210        0

sunlizhourong

回复 5# where27


    理想是留一个，但是这种情况出现的概率是0，因为之前我已经处理过了，不会同时出现相同值都是0的

sunlizhourong

回复 6# jason680


    真的谢谢  可以了

sunlizhourong

回复 7# sunlizhourong


    但是不太明白具体脚本内容的处理步骤

where27

回复 1# sunlizhourong

1. awk '$3==0{a[$1$2]=$0;next}{b[$1$2];print}END{for(i in a)if(!(i in b))print a[i]}' file

复制代码