AWK 求教去重复内容

shintoky

如何去除第二列slash左半部分和第三列的重复匹配内容，只显示第三列的，比如

从
"AAA","27","G0NT71Z0NS/BBBBBB","G0NT71Z0NS","CCC",

到

"AAA","27","BBBBBB","G0NT71Z0NS","CCC",

多谢

wh7211

回复 1# shintoky

1. echo '"AAA","27","G0NT71Z0NS/BBBBBB","G0NT71Z0NS","CCC",'|awk 'BEGIN{FS=OFS=","}{match($3,"\042([^/]+)/",a);match($4,"([^\042]+)",b);if(a[1]==b[1]){sub(a[1]"/","",$3)}}1'
   
2. "AAA","27","BBBBBB","G0NT71Z0NS","CCC",

复制代码

christmas1102

1. echo '"AAA","27","G0NT71Z0NS/BBBBBB","G0NT71Z0NS","CCC",'|awk '{while(match($0,/"((\w+)\/?(\w+)?)".?/,a)){d=b==c?a[3]?a[3]:a[1]:a[1];printf "\042"d"\042,";b=a[1];c=a[2];sub(substr($0,RSTART,RLENGTH),"")}print ""}'
   
2. 执行结果：
   
3. "AAA","27","BBBBBB","G0NT71Z0NS","CCC",

复制代码

1. echo '"AAA","AAA/ss","27","G0NT71Z0NS/BBBBBB","G0NT71Z0NS","27/CCC"' |\
   
2. awk '{while(match($0,/"((\w+)\/?(\w+)?)".?/,a)){d=b==c?a[3]?a[3]:a[1]:a[1];printf "\042"d"\042,";b=a[1];c=a[2];sub(substr($0,RSTART,RLENGTH),"")}print ""}'
   
3. 执行结果：
   
4. "AAA","ss","27","BBBBBB","G0NT71Z0NS","CCC",
   

复制代码

shintoky

回复 2# syscooker
Hi Syscooker,
不好意思，前几天一直在忙，回复晚了。你的方法非常好，我稍作修改即可生效，多谢多谢🙏！


BR

shintoky

回复 4# wh7211

谢谢你的回复， 其实我的脚步会需要先锁定那列需要修改的row 比如 sn，但是当我要match sn前面一列时就是无法使用 $(sn-1) 不知道为什么。

[root@razorvm Audi_check]# cat 1.csv|head -20 | awk 'BEGIN{FS=",";OFS=","};{for(i=1;i<=NF;i++)if($i ~ /\"Serial Number\"/)sn=i;match($(sn-1),"\042([^/]+)/",a);match($sn,"([^\042]+)",b);if(a[1]==b[1]){sub(a[1]"/","",$3)}}1'

shintoky

回复 4# wh7211 谢谢你的回复，其实我脚步会需要先匹配那一列SN再修改 SN前一列的重复项，但是不知道为什么就是无法match $(sn-1)

[root@razorvm Audi_check]# cat 1.csv|head -20 | awk '{for(i=1;i<=NF;i++)if($i ~ /\"Serial Number\"/)sn=i;match($(sn-1),"\042([^/]+)/",a);match($sn,"([^\042]+)",b);if(a[1]==b[1]){sub(a[1]"/","",$3)}}1'

shintoky

回复 4# wh7211 谢谢你的回复，其实我脚步会需要先匹配那一列SN再修改 SN前一列de

[root@razorvm Audi_check]# cat 1.csv|head -20 | awk '{for(i=1;i<=NF;i++)if($i ~ /\"Serial Number\"/)sn=i;match($(sn-1),"\042([^/]+)/",a);match($sn,"([^\042]+)",b);if(a[1]==b[1]){sub(a[1]"/","",$3)}}1'

christmas1102

回复 6# shintoky

你确定这条代码和你的标题需求相符？match取得是固定列的固定值，然后替换固定列的固定值，你所谓的去重，就是这样的方式来实现的？ 那是我理解错，原来去重是靠肉眼先找，然后再去替换

shintoky

回复 10# christmas1102
Hi christmas1102
那我先锁定 固定列再 去除重复 不就行了么 不存在肉眼判断呀

christmas1102

回复 11# shintoky

我不是很懂您的意思~  单从2楼的代码：

1. echo '"AAA","27","G0NT71Z0NS/BBBBBB","G0NT71Z0NS","CCC",' | awk '{match($(NF-2),"\"([^\"]*)\"",a);gsub(a[1]"/","",$3)}1' FS="," OFS=","

复制代码

锁定固定列，match 固定列匹配，sub 固定列替换，前提是肉眼先匹配重复项，请问您这个先锁定固定列，不就是用肉眼先筛选重复项么？要么我理解有问题，请您指出，您所谓的“锁定”是如何锁定？
我诚心求教，您说从二楼代码修改后，就可以用，二楼代码怎么改的，然后就能不用肉眼去重？能不能不吝赐教，把代码发了看看，大家学习下，您可千万不要说 match $1，sub $1 这不是肉眼去重。