匹配每行的第二列，只输出第一次匹配行

yyt030

回复 4# volwang


    量大有啥区别？这个解决很完美啊！

volwang

文本有20万行。
akw只处理一部分文本就退出。awk没有处理全部文本。

回复 11# yyt030


   

Herowinter

回复 12# volwang

1楼的数据和你的真实数据差距很大?
否则25W行好像可以处理啊。。。
   

volwang

稍微有点差距。20w行，8列。
awk处理一部分。
20w行中第二列中有不少重复的。需要输出第一个，后续相同的不输出。

回复 13# Herowinter


   

volwang

你好。过节好。
awk我试过了，少量行可以处理，行20万就不行了。
如果我把这个文件命为log，用for循环遍历每一行第二列。
第一次出现的写到log2中，后续循环中，判断log2中是否含有相同字符，无则输出到log2。
不知道这样可行？
最后得到log2，则为输出。

回复 13# Herowinter


   

volwang

原输入文件为log；输出文件为log2。

rm -rf log2
touch log2
for i in `cat log |awk '{print $2 }' `
do
aa=`cat log2 | grep $i `
if  [ ! -z "$aa" ] ; then
echo "have"
else
cat log |grep $i |head -1 >> log2
fi
done

这样可否

回复 13# Herowinter


   

KoomIer

用python建立一个数组，然后try一下就好了
没有就输出，有就忽略


回复 1# volwang


   

jason680

回复 14# volwang

Try this way if your awk can't work properly

$ perl -lane '{print if(!$h{$F[1]}++)}' FILE
qq sss.1  ww dd  rr  ee  tt yyy  
qq sss.2  ww dd  rr  ee  tt yyy
qq sss.3  ww dd  rr  ey  tt yyy
qq sss.x1  ww dr  ur  te  wt yyy

zongyaotang

先把第二列重复的字符串找出来
然后对每个这样的字符串找出其行号
如果能找出所有非第一次出现的行号
删去这些行即可