请教：如何去除重复字段

yuantong

换过来也一样

[root@fang-test bin]# sort -t,-k2r temp1 |awk -F,'! a[$1]++'
sort: multi-character tab `,-k2r'
Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options:          GNU long options:
        -f progfile             --file=progfile
        -F fs                   --field-separator=fs
        -v var=val              --assign=var=val
        -m[fr] val
        -W compat               --compat
        -W copyleft             --copyleft
        -W copyright            --copyright
        -W dump-variables[=file]        --dump-variables[=file]
        -W gen-po               --gen-po
        -W help                 --help
        -W lint[=fatal]         --lint[=fatal]
        -W lint-old             --lint-old
        -W non-decimal-data     --non-decimal-data
        -W profile[=file]       --profile[=file]
        -W posix                --posix
        -W re-interval          --re-interval
        -W source=program-text  --source=program-text
        -W traditional          --traditional
        -W usage                --usage
        -W version              --version

To report bugs, see node `Bugs' in `gawk.info', which is
section `Reporting Problems and Bugs' in the printed version.

gawk is a pattern scanning and processing language.
By default it reads standard input and writes standard output.

Examples:
        gawk '{ sum += $1 }; END { print sum }' file
        gawk -F: '{ print $1 }' /etc/passwd

waker

-t,-k2r
-t, -k2r

请仔细比较并建议读新手导航

frankytf

awk -F, '! a[$1]++'
楼上的只说了实现HASH以￥$1作为关键字但是这个语法看不明白能否请明白的讲一下

waker

!a[$1]{print $0}
a[$1]=a[$1]+1
分成这两句能看明白么？

frankytf

!a[$1]{print $0}
a[$1]=a[$1]+1
分成这两句能看明白么？
对不起我还是不明白 a是什么啊？$1是abdc@sina.com吗？那a[abdc@sina.com]又是什么东西，数组什么时候是真什么时候是FALSE啊？怎么控制print的？

waker

新手导航里有awk基础教程

frankytf

谢谢斑竹提醒我已经明白了，awk -F, '! a[$1]++' ，a[$1]不同于c语言中的a[1],a[2]什么的，$1同样作为下标初始值为0，!0=1打印了第一次出现的值，＋＋变为1,2,3,... ，!TRUE=0遇到后面的就不打印了，至于打印所有的（$1 $2）为AWK对于只匹配的做法缺省打印$0，不知道我的理解对否

waker

恭喜！你已经会抢答了

frankytf

看来我还是和好学的^_^

x3

Time: 2008-04-30-16.44.20.730554  Message Level:Severe
RETCODE:11111111111111111|sdfasdfasfasdf, SQL
          "External Comm error"

Time: 2008-04-30-16.49.42.910798  Message Level:Severe
RETCODE:11111111111111111|sdfasdfasfasdf, SQL
          "External Comm error"

Time: 2008-04-30-16.55.05.067819  Message Level:Severe
RETCODE:11111111111111111|sdfasdfasfasdf, SQL
          "External Comm error"

Time: 2008-04-30-17.00.27.142737  Message Level:Severe
RETCODE:11111111111111111|sdfasdfasfasdf, SQL
          "External Comm error"

Time: 2008-04-30-16.55.05.067819  Message Level:warn
MES:22222222222222222222222222|sdfasdfasfasdf, osmes
          "External Comm error"

Time: 2008-04-30-17.00.27.142737  Message Level:warn
MES:22222222222222222222222222|sdfasdfasfasdf, osmes
          "External Comm error"

要求 把RETCODE: 或是MES:有重复的给删除;;;;;;;;;;;Time: 的信息 可以使用任意一个字段的信息