[已解决]求助，如何删除特定位置出现重复字符的行

_伊飞_

大家好。
现有如下所示的文件，其中第三列是一些特定的字符串（最多3位，位置在第14-16个字符，如果是三个字母的话，和后面第四列之间就没有空格），第六列是一列数字（最多3位，位置在第24-26个字符，和前面第五列之间有空格），现在要做如下处理：
对于第六列数字相同的行，如果第三列中的字符串重复出现，则保留第一次出现的行，重复出现的行都删掉。比如在这个文本中，应删掉倒数两行和倒数第四行，其它的全部保留。
谢谢大虾帮忙！
xxxx     xx  A   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  B   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  C   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  D   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  AB  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  BC  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  CD  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  EFG xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  LMN xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  A  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  B  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  C  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  D  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  A  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  B  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  C  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  D  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  AB xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  CD xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  AB xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  x

关阴月飞

1. awk '{a=length($3)>3?substr($3,1,3)$5:$3$6}!b[a]++'  urfile

复制代码

lifayi2008

是否所有列都是按tab对齐的？

_伊飞_

回复 2# 关阴月飞

谢谢，但是不能执行，提示这个呢
b[a]++: Event not found.
   

Buring__

1. cat urfile
   
2.    xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
3. xxxx     xx  B   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
4. xxxx     xx  C   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
5. xxxx     xx  D   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
6. xxxx     xx  AB  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
7. xxxx     xx  BC  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
8. xxxx     xx  CD  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
9. xxxx     xx  EFG xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
   
10. xxxx     xx  LMN xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
11. xxxx     xx  A  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
12. xxxx     xx  B  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
13. xxxx     xx  C  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
14. xxxx     xx  D  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
15. xxxx     xx  A  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
16. xxxx     xx  B  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
17. xxxx     xx  C  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
18. xxxx     xx  D  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
19. xxxx     xx  AB xxxx x  10      xxxxxx  xxxxxx  xxxxxx  1
    
20. xxxx     xx  CD xxxx x  10      xxxxxx  xxxxxx  xxxxxx  2
    
21. xxxx     xx  AB xxxx x  10      xxxxxx  xxxxxx  xxxxxx  3
    
22. xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  4
    
23. xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  5
    
24. xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  6
    
25. $ awk '{a=substr($0,14,3);b=substr($0,25,2)};!c[b,a]++' urfile
    
26.    xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
27. xxxx     xx  B   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
28. xxxx     xx  C   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
29. xxxx     xx  D   xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
30. xxxx     xx  AB  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
31. xxxx     xx  BC  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
32. xxxx     xx  CD  xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
33. xxxx     xx  EFG xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
34. xxxx     xx  LMN xxx x   8      xxxxxx  xxxxxx  xxxxxx  x
    
35. xxxx     xx  A  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
36. xxxx     xx  B  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
37. xxxx     xx  C  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
38. xxxx     xx  D  xxxx x   9      xxxxxx  xxxxxx  xxxxxx  x
    
39. xxxx     xx  A  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
40. xxxx     xx  B  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
41. xxxx     xx  C  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
42. xxxx     xx  D  xxxx x  10      xxxxxx  xxxxxx  xxxxxx  x
    
43. xxxx     xx  AB xxxx x  10      xxxxxx  xxxxxx  xxxxxx  1
    
44. xxxx     xx  CD xxxx x  10      xxxxxx  xxxxxx  xxxxxx  2
    
45. xxxx     xx  ABCxxxx x  10      xxxxxx  xxxxxx  xxxxxx  4

复制代码

_伊飞_

回复 3# lifayi2008

不是tab，都是用空格，每列占的字符数是固定的，不够的就用空格补齐，是对齐的。
   

blackold

1. awk '!a[substr($0,24,3),substr($0,14,3)]++' urfile

复制代码

q1208c

回复 7# blackold

这个应该是比例合适的, 因为楼主的文件其实不是严格分列的.
   

blackold

回复 1# _伊飞_


    其实就是去除"第3列""第6列"重复的行。

_伊飞_

回复 7# blackold


谢谢你，但是也是提示跟前面类似的问题
a[substr: Event not found.