大日志文件算IP数

BangBull

www.xxx.com 158.21.16.3 - - [06/May/2010:23:59:59 +0800] "GET /www/a/images/tmp/pure/t_left.gif HTTP/1.1" 301 226 "http://kame.xx.com/index.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.4; .NET CLR 1.1.4322; InfoPath.2; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; MAXTHON 2.0)" 72% 427

上面是日志,文件2.8G , 统计IP数,不要重复的

awk '{ print $2 }' access.log | sort | uniq -c |wc -l

用了6分多钟才出来啊，求高效command

where27

回复 1# BangBull

1. awk '!a[$2]++{b++}END{print b}' access.log

复制代码

BangBull

快多了，1m多，就是看不懂      !a[$2]++{b++}

where27

回复 3# BangBull


    意思是只有当$2（也就是ip地址）第一次出现的时候给变量b加1，最后打出b的值，也就是不同ip地址的数量

BangBull

回复 4# where27

!a[$2]++   为啥不用加{} ,  加上了数值就不对了

where27

回复 5# BangBull


    任何a w k语句都由模式和动作组成。在一个a w k脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分，动作将时刻保持执行状态。
模式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段B E G I N和E N D。使用B E G I N语句设置计数和打印头。B E G I N语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文件开始执行。E N D语句用来在a w k完成文本浏览动作后打印输出文本总数和结尾状态标志。如果不特别指明模式， a w k总是匹配或打印行数。
实际动作在大括号{ }内指明。动作大多数用来打印，但是还有些更长的代码诸如i f和循环（l o o p i n g）语句及循环退出结构。如果不指明采取动作， a w k将打印出所有浏览出来的记录。

见http://bbs.chinaunix.net/thread-448687-1-1.html

BangBull

回复 6# where27

谢where27

howge

向老表看齐