请教各位高手

chengxiaowei

最近领导让我分析squid里面的数据，要达到的要求是 某些IP地址（192。168.11.65-192.168.11.111）最近一个月都上了哪些网站。 squid数据在/var/log/squid/access.log.*.gz  比如分析1号的，就分析access.log.01.gz,这个压缩文件大小有70多MB。 我写了一个小脚本，里面用了zgrep -f IP列表文件 /var/log/squid/access.log.01.gz > ~chu/tmp.log      命令，发现执行的速度非常慢，需要20多分钟，而且抓出来tmp.log大小达到了70多MB，我想知道，我怎么才能尽快的分析这个文件？   因为我发现在access.log.01.gz中有很多记录是这样的，记录了IP和上的网站，那些网站有很多重复的，我想输出的时候能否不要这些重复的网站，这些重复的网站只要出现一次就够了。  不知道能否实现？

公司还安装了sarg来分析squid.  我想知道如果我上面的要求满足不了，那么用sarg能否满足我的要求分析出我要的数据吗？ 谢谢！

welcome008

贴出你的文件/var/log/squid/access.log.01先

给出你想要的结果样式先

wstar

原帖由 welcome008 于 2008-9-24 21:34 发表
贴出你的文件/var/log/squid/access.log.01先

给出你想要的结果样式先

呵呵，就是这样。

7717060

cat access.log | grep 产找IP范围 | awk '{print $7}' | cut -c8- | sort -r | uniq -c | sort -n
第一张图是原始数据，第二张图是经过以上语句排序后数据，访问率最高的在最下边.希望能帮上忙

[ 本帖最后由 7717060 于 2008-9-24 22:00 编辑 ]

codecraft

你这领导太阴暗了。呵呵、。。。

springwind426

1. 
   
2. zcat 压缩的日志文件 | awk '/IP/{a[$网址所在的字段序号]=1}END{for(url in a)print url}
   

复制代码

只是不知道效能怎么样

Qiangxi

分析70M的数据用sed与awk吧

chengxiaowei

谢谢各位兄弟的回答，最后还是没有搞好，只能人工来弄了。