shell如何提取文件第1列相同值的所有行

seehearfeel

示例如下：
Input文件：
0    1
0    2
1    3
2    4
2    5
3    6
3    7
4    8
5    9
5    10

需要首先判断文件第1列是否有相同的值，
然后输出第1列所有相同值的行。

期望的output文件：
0    1
0    2
2    4
2    5
3    6
3    7
5    9
5    10

试着写了一个脚本，可以实现但是比较繁琐，
写了一个简单的，但不能完全符合要求。

所以求教于大家，先谢了。

Herowinter

回复 1# seehearfeel

目测是:

1. awk '{a[$1]++;b[$0]} END{for(i in b){split(i,c," ");if(a[c[1]]>1)print i}}' Input

复制代码

cao627

1. awk '++a[$1]==1{b[$1]=$0}a[$1]==2{print b[$1]}a[$1]-1' input.txt

复制代码

jason680

回复 1# seehearfeel

$ awk '{if(N""==$1){s=s"\n"$0;c++}else{if(c>1)print s;c=1;s=$0}N=$1}END{if(c>1)print s}' FILE
0    1
0    2
2    4
2    5
3    6
3    7
5    9
5    10

   

yestreenstars

1. awk '{a[$1]=a[$1]?a[$1]"\n"$0:$0;b[$1]++}END{for(i in a)if(b[i]>1)print a[i]}'

复制代码

李满满

学生党:飘过~简单python试试~

1. 
   
2. #!/usr/bin/env python
   
3. #-*- coding:gbk -*-
   
4. "just for fun for -13"
   
5. 
   
6. import sys
   
7. import operator
   
8. import linecache
   
9. list={}
   
10. for x in linecache.getlines(sys.argv[1]):
    
11.         list[x.split()[0],x.split()[1].strip('\n')]=x.split()[0]
    
12. for k,v in sorted(list.items(),key=operator.itemgetter(0,1)):
    
13.         if v in filter(lambda x:list.values().count(x)==2,list.values()):
    
14.                 print '\t'.join(k)
    

复制代码

测试:
$ ./yhsafe.py yhsafe.txt
0       1
0       2
2       4
2       5
3       6
3       7
5       10
5       9

ly5066113

回复 1# seehearfeel


try:

1. uniq -D -w 1 Input > output

复制代码

LikeLx

回复 6# 李满满
你这头像也太吓人了，都不敢浏览你的帖子

   

关阴月飞

回复 1# seehearfeel

1. awk 'FNR==NR{a[$1]++;next}a[$1]>1'  file file

复制代码