怎样提取重复记录？

wxytty

有一个文本文件，内容如下：

123 4 6
234 5 8
345 9 9
123 3 2
123 4 9

请问通过什么办法，可以迅速的把第一个字段中重复的记录提出来？即得到以下两个文件：

文件一：
123 4 6
123 3 2
123 4 9

文件二：
234 5 8
345 9 9

环境:sco 505+ksh

c1l2d3

grep '^123' filename >filename1
-------
123 4 6
123 3 2
123 4 9

grep -v '^123' filename >filename2
---------
234 5 8
345 9 9

wxytty

兄弟，这里的123只是一个例子，而文件第一个字段中可以重复的内容是未知的。比如：

123 3 5
234 8 9
234 8 3
123 0 9
34 2 9
34 90 3

而且文件的记录多达1万多行。

c1l2d3

1. #!/bin/ksh
   
2. 
   
3. for i in $(for i in $(cat m|cut -f1 -d"|");do echo $i;done|sort|uniq -d)
   
4. do
   
5.         cat m|grep $i
   
6. done>m1
   
7. for i in $(for i in $(cat m|cut -f1 -d"|");do echo $i;done|sort|uniq -u)
   
8. do
   
9.         cat m|grep $i
   
10. done>m2
    
11. echo "file m1:\n$(cat m1)\nfile m2:\n$(cat m2)"
    
12. 运行结果:
    
13. file m1:
    
14. 11111|aaaa
    
15. 11111|kkkk
    
16. 11111|weff
    
17. 22222|abcd
    
18. 22222|sdfef
    
19. 33333|asdff
    
20. 33333|sadfsdf
    
21. 77777|wsfefe
    
22. 77777|sdfewf
    
23. file m2:
    
24. 44444|asdfe
    
25. 55555|wefff
    
26. 66666|asfew
    
27. 88888|wsfefd
    
28. 99999|sdfedf
    

复制代码

一个叫bjgril的高手女孩写的，你试试

admirer

1. # cat datafile|sed '/^123/w 123'|sed '/^123/d' >others
   
2. # cat 123
   
3. 123 4 6
   
4. 123 3 2
   
5. 123 4 9
   
6. # cat others
   
7. 234 5 8
   
8. 345 9 9

复制代码

wxytty

[quote]原帖由 "admirer"][/quote 发表：



老板，这里的123只是一个例子，如果文件如下应该如何办到？

123 3 5
234 8 9
234 8 3
123 0 9
34 2 9
34 90 3
。。。。。。。

第一个字段中重复的还有可能是87,23,5555,222，甚至更多未知的。我要把所有重复的都找出来。

bjgirl

原帖由 "c1l2d3" 发表：

一个叫bjgril的高手女孩写的，你试试

我说看着咋这眼熟呢~~

c1l2d3

[quote]原帖由 "bjgirl"]我说看着咋这眼熟呢~~ [/quote 发表：

wxytty

[quote]原帖由 "bjgirl"]我说看着咋这眼熟呢~~ [/quote 发表：


ok，我明天试一下，如果可行，就给你分果果。

admirer

原帖由 "wxytty" 发表：



老板，这里的123只是一个例子，如果文件如下应该如何办到？

123 3 5
234 8 9
234 8 3
123 0 9
34 2 9
34 90 3
。。。。。。。

第一个字段中重复的还有可能是87,23,5555,222，甚至更多未知的?.........

^_^：你的样本不具代表性，那就怪不得老朽了（我本来就是个懒人嘛. . . ）。
好在这里比我勤快的人很多，^_^，这是你我共同的幸运吧！