一个去重的问题，请看我详细的描述

mr_caoke

1. cat file
   
2. aaa|bbb|10
   
3. aaa|bbb|8
   
4. aaa|ccc|7
   
5. aaa|bbb|9

复制代码

我想打印，

1. aaa|bbb|10
   
2. aaa|bbb|8
   
3. aaa|bbb|9

复制代码

也就是说，我要打印前2个域相同，第三个域的差值小于10的所有行

昭襄王

第三个域怎么个小于10？谁比谁小？
虽说不会，但理解起来很费解。

好看的附件

你这个不是去重。。
和这个有点类似
http://bbs.chinaunix.net/thread-1760589-1-1.html

昭襄王

100 95 91 89 80
这样的数列是不是一个都不打印？

ywlscpl

第三个域的差值小于10的所有行

我看至少30个汉字能把这句话解释得让人能明白

mr_caoke

回复 2# 昭襄王


    我表达的不明白

   我是想找每行中，前两个域相同，第三个域的数字相差小于10

    aaa|bbb|1
    aaa|bbb|2
    aaa|bbb|7

    1,2,7 之间相差在10以内

   aaa|bbb|15，如果是这个就不行了，因为已经比1,2 大于10了。 小于10是说，几个数中的任意两个相差都要小于10

ywlscpl

1. awk -F '|' '{a[$1","$2]=$1","$2 in a?a[$1","$2]"\n"$0:$0;b[$1","$2]++}END{for (i in a) if (b[i]!=1) {T=0;split(a[i],m,"\n");for (j in m) c[n[split(m[j],n,"|")]];for (k in c) for (l in c) if (k-l>9||k-l<-9) {T=1;break}if (!T) print a[i]}}' file

复制代码

黑色阳光_cu

1. #!/bin/env awk
   
2. 
   
3. BEGIN {
   
4.     FS = "|"
   
5. }
   
6. 
   
7. {
   
8.     word = $1$2
   
9.     ++count[word]
   
10.     matrix[word, $0]
    
11.     if (! (word in min)) min[word] = $3
    
12.     if (! (word in max)) max[word] = $3
    
13.     $3 < min[word] && (min[word] = $3)
    
14.     $3 > max[word] && (max[word] = $3)
    
15. }
    
16. 
    
17. END {
    
18.     for (word in count) {
    
19.         if (count[word] > 1) {
    
20.             for (k in matrix) {
    
21.                 split(k, idx, SUBSEP)
    
22.                 if (idx[1] == word && max[word] - min[word] < 10) print idx[2]
    
23.             }
    
24.         }
    
25.     }
    
26. }
    

复制代码

黑色阳光_cu

免费赠送一个tcl/tk版本

1. 
   
2. wm title . filter
   
3. button .btn -text "Open File..." -command filter
   
4. text .t
   
5. scrollbar .s
   
6. .s config -command { .t yview }
   
7. .t config -yscrollcommand { .s set }
   
8. 
   
9. pack .btn
   
10. pack .t -side left -expand 1 -fill both
    
11. pack .s -side left -expand 0 -fill y
    
12. 
    
13. proc filter {} {
    
14.         set filename [tk_getOpenFile -initialdir .]
    
15.         if {$filename == ""} {
    
16.                 return
    
17.         }
    
18. 
    
19.         if [catch {set fp [open $filename r]}] {
    
20.                 tk_messageBox -message "Could not open $filename!"
    
21.                 return
    
22.         }
    
23. 
    
24.         .t delete 1.0 end
    
25.         while {[gets $fp line] > -1} {
    
26.                 set fields [split $line |]
    
27.                 if {[llength $fields] < 3} {
    
28.                         .t delete 1.0 end
    
29.                         close $fp
    
30.                         return;
    
31.                 }
    
32. 
    
33.                 set f1 [lindex $fields 0]
    
34.                 set f2 [lindex $fields 1]
    
35.                 set f3 [lindex $fields 2]
    
36.                 set word $f1$f2
    
37.                 incr count($word)
    
38.                 set [set word]($line) 0
    
39. 
    
40.                 if {! [info exists min($word)]} { set min($word) $f3 }
    
41.                 if {! [info exists max($word)]} { set max($word) $f3 }
    
42.                 if {$f3 < $min($word)} { set mix($word) $f3 }
    
43.                 if {$f3 > $max($word)} { set max($word) $f3 }
    
44.         }
    
45. 
    
46.         close $fp
    
47.         foreach word [array names count] {
    
48.                 if {$count($word) > 1 && $max($word) - $min($word) < 10} {
    
49.                         foreach line [array names $word] {
    
50.                                 .t insert end "$line\n"
    
51.                         }
    
52.                 }
    
53.         }
    
54. }
    

复制代码

昭襄王

就是说每一个数都要和其他数做一下减法，如果不行，俩数一并作废。。。