怎样提取重复记录？

nocomment

1. 
   
2. awk '{print $0 >> $1}' data
   

复制代码

admirer

原帖由 "nocomment" 发表：
awk '{print $0 >> $1}' data

MM比我还懒
思路不错，但需要作善后处理。把单行的文件再cat到一起。

nocomment

嘻嘻，没仔细看楼主的需求。。。

俺的代码肯定效率比较低
因为文件I/O操作比较多
汗~~

下面这个代码可以找出文本中所有第一列相同的那些记录
并将其存放在same_<N>文件中
（考虑到有可能有多组第一列相同的记录）
若没有相同记录，则存放在no_same文件中

1. 
   
2. #!/bin/sh
   
3. awk '{print $0 >> $1; print $1}' $1 > file_list
   
4. sort -u file_list > file_list.new
   
5. mv file_list.new file_list
   
6. 
   
7. N=1
   
8. for FILENAME in `cat file_list`
   
9. do
   
10.         LINE=`cat $FILENAME | wc -l`
    
11.         if [ $LINE -eq 1 ]; then
    
12.                 cat $FILENAME >> not_same
    
13.                 rm -f $FILENAME
    
14.         else
    
15.                 mv $FILENAME same_$N
    
16.                 N=`expr $N + 1`
    
17.         fi
    
18. done
    

复制代码

網中人

我也來想一段，不知能用否？

1. $file=yourfile
   
2. list=`cut -d ' ' -f1 $file | sort -u`
   
3. for i in $list; do
   
4.     grep "^$i " $file >> $file.$i
   
5. done

复制代码

老同志lawson

#!/usr/local/bin/bash
cat>a.txt<<eof
31  abcde
12  bcdeffeg
23 aaaaaaaaaaaaaaa
23 33333333333333
222 dddddd
12  ddddddddddd
eof
more a.txt|awk '{print $1}'>a.$$
cat a.$$
while read line
do
grep "$line" a.txt>"$line".$$
done<a.$$
rm a.*