如何用awk按组合关键字删除重复行

expert1

回复 20# bbyyzhang


    awk 'BEGIN{FS="?"} .......

打印￥1

bbyyzhang

回复 21# expert1


    这个不好使
我要提取的是apache日志，统计bb地址的来源地址，里面有两个问号的，格式如：

116.24.211.162 347044 13947 [18/May/2010:10:43:56 +0800] "GET http://××.com/××/bb.htm?t=1231231" 200 10508 "http://××.com/××/aa.htm?t=1274150547406" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)"
已经使用pattern提取到来源了，使用
awk '/..../ {print $10}' access_log |sort |uniq 消重后不彻底

expert1

回复  expert1


    这个不好使
我要提取的是apache日志，统计bb地址的来源地址，里面有两个问号的， ...
bbyyzhang 发表于 2010-05-19 15:35

    晕，你看看20F你给的例子嘛。

看看下边的名言：
###############################
我们只负责切割，至于原模型是什么样子我不管。

                            -----blackbold (China）
###############################

bbyyzhang

借宝地问一下
只对第一列做个消重，然后打印消重后第一列内容怎么做？
bbyyzhang 发表于 2010-05-19 15:09

to 11 F

awk '{print $1}' wokao |sort |uniq

awk '{a[$1]=$1}END{for (i in a)print ' wokao
expert1 发表于 2010-05-19 15:10

回复  expert1


    谢谢哥，|sort |uniq 这个好用，呵呵
bbyyzhang 发表于 2010-05-19 15:19

使用awk '/..../ {print $10}' access_log |sort |uniq消重后的结果不彻底
因为$10有些是有时间戳的，如： ...
bbyyzhang 发表于 2010-05-19 15:25

回复  bbyyzhang


    awk 'BEGIN{FS="?"} .......

打印￥1
expert1 发表于 2010-05-19 15:28

回复  expert1


    这个不好使
我要提取的是apache日志，统计bb地址的来源地址，里面有两个问号的， ...
bbyyzhang 发表于 2010-05-19 15:35

回复 23# expert1


    20F给的是切割后的结果，我想再切割
我现在的命令如下：
awk '/pattern1/&&$0!~/pattern2/&&$10!~/pattern3/&&$10!~/pattern4/&&$10!~/pattern5/ {print $10}' access_log |sort|uniq
所以加 'BEGIN{FS="?"} 就乱掉了

blackold

回复 25# 99超人


    呵呵，没有什么大问题。就是把如下的重复行也去掉了。
foo bar
foo bar

这要看LZ的要求了。

where27

1. awk '{a[$1]=$0;b[$1]=$2}END{for(i in a)if(b[i]!=0||!c[i]++)print a[i]}' file

复制代码

俺也献丑了


。。。这个有问题啊，无视了吧

bbyyzhang

print 里的fmt怎么用呢？？ |sort|uniq 可以对print里使用fmt后的输出结果做消重排序么？

expert1

回复 27# where27


    什么意思呢？我没太看明白啊？解释下哈

where27

回复 29# expert1


    我这个有点问题好像。。别用这个了