去重但需要保留重复的前3行

mswsg

第一列重复多次，需要保留重复的前三行，如果重复不足三次，则全部保留格式如下

1. UN225387        lcl|TGACv1_scaffold_435381_5DL       
   
2. UN225387        lcl|TGACv1_scaffold_308699_4AS       
   
3. UN225387        lcl|TGACv1_scaffold_158570_2DL       
   
4. UN225387        lcl|TGACv1_scaffold_093601_2AL

复制代码

结果

1. UN225387        lcl|TGACv1_scaffold_435381_5DL       
   
2. UN225387        lcl|TGACv1_scaffold_308699_4AS       
   
3. UN225387        lcl|TGACv1_scaffold_158570_2DL

复制代码

Herowinter

1. awk 'a[$1]++<3' urfile

复制代码

mswsg

我自己试着用python写了一个，貌似可以实现

1. with open('1.2.txt', 'r') as f:
   
2.     a = []
   
3.     for line in f:
   
4.         lin =line.strip().split()
   
5.         if a.count(lin[0])< 3:
   
6.             print line
   
7.             a.append(lin[0])

复制代码

sunzhiguolu

1. perl -00 -pe 's/((?:(\S+)\N+\n){1,3})(\2\N+\n)*/$1/g' f

复制代码

UN225387        lcl|TGACv1_scaffold_435381_5DL
UN225387        lcl|TGACv1_scaffold_308699_4AS
UN225387        lcl|TGACv1_scaffold_158570_2DL

moperyblue

1. sed -r ':a;1,2{N;ba};:b;N;/(\S+\s+)\S+\s*(\n\1\S+\s*){3}/{s/\n[^\n]*$//;tb};P;D'

复制代码

重楼君

print line.strip("\n")吧，不然每行多出了换行符号。回复 3# mswsg


   

mswsg

是的，实际上已修改。这样也可以

1. print line,

复制代码

回复 6# 重楼君


   

mswsg

实际上已经修改了

1. print line,

复制代码

回复 6# 重楼君