Chinaunix

标题: 一个去重的问题，请看我详细的描述 [打印本页]
作者: mr_caoke    时间: 2010-08-03 17:45
标题: 一个去重的问题，请看我详细的描述
  1. cat file
  2. aaa|bbb|10
  3. aaa|bbb|8
  4. aaa|ccc|7
  5. aaa|bbb|9
复制代码
我想打印，
  1. aaa|bbb|10
  2. aaa|bbb|8
  3. aaa|bbb|9
复制代码
也就是说，我要打印前2个域相同，第三个域的差值小于10的所有行
作者: 昭襄王    时间: 2010-08-03 17:50
第三个域怎么个小于10？谁比谁小？
虽说不会，但理解起来很费解。
作者: 好看的附件    时间: 2010-08-03 17:52
你这个不是去重。。
和这个有点类似
http://bbs.chinaunix.net/thread-1760589-1-1.html
作者: 昭襄王    时间: 2010-08-03 17:52
100 95 91 89 80
这样的数列是不是一个都不打印？
作者: ywlscpl    时间: 2010-08-03 18:00
第三个域的差值小于10的所有行

我看至少30个汉字能把这句话解释得让人能明白
作者: mr_caoke    时间: 2010-08-05 17:20
回复 2# 昭襄王


    我表达的不明白

   我是想找每行中，前两个域相同，第三个域的数字相差小于10

    aaa|bbb|1
    aaa|bbb|2
    aaa|bbb|7

    1,2,7 之间相差在10以内

   aaa|bbb|15，如果是这个就不行了，因为已经比1,2 大于10了。 小于10是说，几个数中的任意两个相差都要小于10
作者: ywlscpl    时间: 2010-08-05 18:04
  1. awk -F '|' '{a[$1","$2]=$1","$2 in a?a[$1","$2]"\n"$0:$0;b[$1","$2]++}END{for (i in a) if (b[i]!=1) {T=0;split(a[i],m,"\n");for (j in m) c[n[split(m[j],n,"|")]];for (k in c) for (l in c) if (k-l>9||k-l<-9) {T=1;break}if (!T) print a[i]}}' file
复制代码
作者: 黑色阳光_cu    时间: 2010-08-05 23:26
  1. #!/bin/env awk

  3. BEGIN {
  4.     FS = "|"
  5. }

  7. {
  8.     word = $1$2
  9.     ++count[word]
  10.     matrix[word, $0]
  11.     if (! (word in min)) min[word] = $3
  12.     if (! (word in max)) max[word] = $3
  13.     $3 < min[word] && (min[word] = $3)
  14.     $3 > max[word] && (max[word] = $3)
  15. }

  17. END {
  18.     for (word in count) {
  19.         if (count[word] > 1) {
  20.             for (k in matrix) {
  21.                 split(k, idx, SUBSEP)
  22.                 if (idx[1] == word && max[word] - min[word] < 10) print idx[2]
  23.             }
  24.         }
  25.     }
  26. }
复制代码
作者: 黑色阳光_cu    时间: 2010-08-06 02:02
本帖最后由 黑色阳光_cu 于 2010-08-06 02:04 编辑

免费赠送一个tcl/tk版本

  2. wm title . filter
  3. button .btn -text "Open File..." -command filter
  4. text .t
  5. scrollbar .s
  6. .s config -command { .t yview }
  7. .t config -yscrollcommand { .s set }

  9. pack .btn
  10. pack .t -side left -expand 1 -fill both
  11. pack .s -side left -expand 0 -fill y

  13. proc filter {} {
  14.         set filename [tk_getOpenFile -initialdir .]
  15.         if {$filename == ""} {
  16.                 return
  17.         }

  19.         if [catch {set fp [open $filename r]}] {
  20.                 tk_messageBox -message "Could not open $filename!"
  21.                 return
  22.         }

  24.         .t delete 1.0 end
  25.         while {[gets $fp line] > -1} {
  26.                 set fields [split $line |]
  27.                 if {[llength $fields] < 3} {
  28.                         .t delete 1.0 end
  29.                         close $fp
  30.                         return;
  31.                 }

  33.                 set f1 [lindex $fields 0]
  34.                 set f2 [lindex $fields 1]
  35.                 set f3 [lindex $fields 2]
  36.                 set word $f1$f2
  37.                 incr count($word)
  38.                 set [set word]($line) 0

  40.                 if {! [info exists min($word)]} { set min($word) $f3 }
  41.                 if {! [info exists max($word)]} { set max($word) $f3 }
  42.                 if {$f3 < $min($word)} { set mix($word) $f3 }
  43.                 if {$f3 > $max($word)} { set max($word) $f3 }
  44.         }

  46.         close $fp
  47.         foreach word [array names count] {
  48.                 if {$count($word) > 1 && $max($word) - $min($word) < 10} {
  49.                         foreach line [array names $word] {
  50.                                 .t insert end "$line\n"
  51.                         }
  52.                 }
  53.         }
  54. }
复制代码

filter.JPG (12.36 KB, 下载次数: 75)

filter.JPG
作者: 昭襄王    时间: 2010-08-06 09:08
就是说每一个数都要和其他数做一下减法，如果不行，俩数一并作废。。。
作者: xborant    时间: 2010-08-06 10:52
  1. #!/usr/bin/awk -f

  3. BEGIN {
  4.         FS="|"
  5.         cmd = "sort -t'|' -k1,2 -k3n " ARGV[1]
  6.         while( cmd | getline )
  7.         {
  8.                 if(b==$1 $2){
  9.                         n++
  10.                         max=$3
  11.                 }
  12.                 else {
  13.                         if(n>1 && max - min < 10)
  14.                         {
  15.                                 a[b]=1
  16.                         }
  17.                         b=$1 $2
  18.                         n=1
  19.                         min=$3
  20.                 }
  21.         }
  22. }

  24. {
  25.         i=$1 $2
  26.         if(i in a) print
  27. }
复制代码




欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2