请问一个文本中，如何根据制定字段进行剔重

tomorrow2010

如题，我要根据$1,$3进行剔除重复行，
p|001|aaa|zhangsan
n|002|bbb|lisi
n|010|bbb|wangwu
s|104|ddd|mazi
e|105|eee|poli
b|210|ccc|wangwu
s|204|ddd|mazi
x|205|eee|poli

最终结果，要求认为第2行和第3行重复，第4行和第7行是重复的。请教各位？，另外，剔除重复后，输出的是第几个结果，如何控制输出记录？

haooooaaa

1. awk -F '|' '!a[$1$3]++' a

复制代码

tc1989tc

能说清嘛
找到重复的你想干嘛
你要的最终输出是什么样子  

tomorrow2010

回复 3# tc1989tc


不好意思，最终要求输出的结果就是重复的行只输出一个。
可以输出两个文件吗？
1 重复行只输出一行，不重复的都输出
2 输出所有重复的行

baby_神

这个怎么理解呀!a[$1$3]++
回复 2# haooooaaa


   

haooooaaa

回复 5# baby_神


    精华贴里都有的，

songyc_2015

回复 4# tomorrow2010

1. 1.awk -F\| '!a[$1,$3]++' file
   
2. 2.#不包括重复的第一行
   
3.    awk -F\| '++a[$1,$3]>1' file
   
4.    #包括重复的第一行
   
5.    awk -F\| '{a[$1,$3]++;b[$1,$3]=length(b[$1,$3])?b[$1,$3]"\n"$0:$0}END{for(s in a)if(a[s]>1)print b[s]}' file

复制代码

tc1989tc

1. awk -F '|' '($1$3 in a){d[$1$3]++}{a[$1$3]=a[$1$3]"\n"$0}END{for (i in d)print a[i]}' file1      

复制代码

yjh777

1. #!/bin/sh
   
2. # -*- tcl -*-
   
3. # The next line is executed by /bin/sh, but not tcl \
   
4. exec tclsh "$0" ${1+"$@"}
   
5. 
   
6. set f [lindex $::argv 0]
   
7. if {[catch {set fp [open $f]} err]} {puts "{Err} open fail"; exit 1}
   
8. 
   
9. array set grp {}
   
10. while {-1 != [gets $fp line]} {
    
11.         set list [split $line |]
    
12.         set key "[lindex $list 0] [lindex $list 2]"
    
13.         lappend grp($key) $line
    
14. }
    
15. foreach {key value} [array get grp] {
    
16.         puts [lindex $value 0]
    
17. }
    

复制代码

yjh777

new version, 如果指定了第二个参数，把重复的行写入指定文件

1. #!/bin/sh
   
2. # -*- tcl -*-
   
3. # The next line is executed by /bin/sh, but not tcl \
   
4. exec tclsh "$0" ${1+"$@"}
   
5. 
   
6. set f [lindex $::argv 0]
   
7. set fo [lindex $::argv 1]
   
8. if {[catch {set fp [open $f]} err]} {puts "{Err} open $f fail"; exit 1}
   
9. if {$fo != ""} {
   
10.         if {[catch {set fop [open $fo w]} err]} {puts "{Err} open $fo fail"; exit 1}
    
11. }
    
12. 
    
13. array set grp {}
    
14. while {-1 != [gets $fp line]} {
    
15.         set list [split $line |]
    
16.         set key "[lindex $list 0] [lindex $list 2]"
    
17.         lappend grp($key) $line
    
18. }
    
19. foreach {key value} [array get grp] {
    
20.         puts [lindex $value 0]
    
21.         if {[llength $value] > 1 && [info exist fop]} {
    
22.                 foreach e $value {puts $fop $e}
    
23.         }
    
24. }
    

复制代码

1. [yjh@dhcp-12-151 bkr-client-improved]$ ./kkk.tcl t.txt
   
2. e|105|eee|poli
   
3. n|002|bbb|lisi
   
4. x|205|eee|poli
   
5. b|210|ccc|wangwu
   
6. s|104|ddd|mazi
   
7. p|001|aaa|zhangsan
   
8. [yjh@dhcp-12-151 bkr-client-improved]$ ./kkk.tcl t.txt  t.dup.txt
   
9. e|105|eee|poli
   
10. n|002|bbb|lisi
    
11. x|205|eee|poli
    
12. b|210|ccc|wangwu
    
13. s|104|ddd|mazi
    
14. p|001|aaa|zhangsan
    
15. [yjh@dhcp-12-151 bkr-client-improved]$ cat t.dup.txt
    
16. n|002|bbb|lisi
    
17. n|010|bbb|wangwu
    
18. s|104|ddd|mazi
    
19. s|204|ddd|mazi

复制代码