Chinaunix

标题: 如何将前两列重复的行只取第一行？ [打印本页]

作者: christmas1102 时间: 2018-05-08 16:02
标题: 如何将前两列重复的行只取第一行？
本帖最后由 christmas1102 于 2018-05-08 16:03 编辑

如数据一包含3列：序列1，序列2，分值。其中第二行和第三行及第五行和第四行的前两列相同。问题：如何将前两列重复的行只取第一行？
tscaffold1020 tscaffold4392 684
tscaffold1020 tscaffold6137 673
tscaffold1020 tscaffold6137 500
scaffold815433 tscaffold775 302
scaffold815433 tscaffold775 300
scaffold815433 tscaffold4316 298

如果 $1 $2 相同而$3 的数据不同，想把数据放到 $4 再有就继续放到 $5 $6 ... 请问awk如何实现？

作者: 龙牙地主天 时间: 2018-05-08 16:10

awk '{a[$1,$2]=a[$1,$2]?a[$1,$2]" "$3:$0}END{for(i in a) print a[i]}' file

复制代码

作者: wh7211 时间: 2018-05-08 16:41
本帖最后由 wh7211 于 2018-05-08 17:16 编辑

回复 1# christmas1102

awk '!a[$1" "$2]++{if(b&&c&&d){print b" "c" "d};b=$1;c=$2;d=$3;next}{d=d" "$3}END{print b" "c" "d}' file

复制代码

<<<awk4.0+

awk '{a[$1" "$2]=a[$1" "$2]?NR"|"a[$1" "$2]" "$3:NR"|"$3}END{PROCINFO["sorted_in"]="@val_num_asc";for(i in a){gsub(".*\\|","",a[i]);print i,a[i]}}' file

复制代码

作者: chengchow 时间: 2018-05-08 17:01
本帖最后由 chengchow 于 2018-05-08 17:05 编辑

[root@init02 tmp]# awk '{a[$1" "$2]=a[$1" "$2]" "$3}END{for(i in a){print i,a[i]}}' aa.log
scaffold815433 tscaffold4316 298
scaffold815433 tscaffold775 302 300
tscaffold1020 tscaffold6137 673 500
tscaffold1020 tscaffold4392 684

复制代码

作者: christmas1102 时间: 2018-05-08 20:02
回复 3# wh7211

请问 b&&c&&d 是什么意思？有什么作用啊？

作者: wh7211 时间: 2018-05-09 09:49
回复 5# christmas1102

b为真且c为真且d为真，作用就是处理第1行的时候不会打印出1个空行

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)