Chinaunix

标题: 请教各位高手 [打印本页]

作者: chengxiaowei 时间: 2008-09-24 20:50
标题: 请教各位高手
最近领导让我分析squid里面的数据，要达到的要求是某些IP地址（192。168.11.65-192.168.11.111）最近一个月都上了哪些网站。 squid数据在/var/log/squid/access.log.*.gz 比如分析1号的，就分析access.log.01.gz,这个压缩文件大小有70多MB。我写了一个小脚本，里面用了zgrep -f IP列表文件 /var/log/squid/access.log.01.gz > ~chu/tmp.log 命令，发现执行的速度非常慢，需要20多分钟，而且抓出来tmp.log大小达到了70多MB，我想知道，我怎么才能尽快的分析这个文件？因为我发现在access.log.01.gz中有很多记录是这样的，记录了IP和上的网站，那些网站有很多重复的，我想输出的时候能否不要这些重复的网站，这些重复的网站只要出现一次就够了。不知道能否实现？

公司还安装了sarg来分析squid. 我想知道如果我上面的要求满足不了，那么用sarg能否满足我的要求分析出我要的数据吗？谢谢！

作者: welcome008 时间: 2008-09-24 21:34
贴出你的文件/var/log/squid/access.log.01先

给出你想要的结果样式先

作者: wstar 时间: 2008-09-24 21:42

原帖由 welcome008 于 2008-9-24 21:34 发表
贴出你的文件/var/log/squid/access.log.01先

给出你想要的结果样式先

呵呵，就是这样。

作者: 7717060 时间: 2008-09-24 21:57

cat access.log | grep 产找IP范围 | awk '{print $7}' | cut -c8- | sort -r | uniq -c | sort -n
第一张图是原始数据，第二张图是经过以上语句排序后数据，访问率最高的在最下边.希望能帮上忙

[ 本帖最后由 7717060 于 2008-9-24 22:00 编辑 ]

未命名.jpg (46.82 KB, 下载次数: 63)

未命名.jpg (46.82 KB, 下载次数: 61)

作者: codecraft 时间: 2008-09-24 22:45
你这领导太阴暗了。呵呵、。。。

作者: springwind426 时间: 2008-09-26 09:13

zcat 压缩的日志文件 | awk '/IP/{a[$网址所在的字段序号]=1}END{for(url in a)print url}

复制代码

只是不知道效能怎么样

作者: Qiangxi 时间: 2008-09-28 09:15
分析70M的数据用sed与awk吧

作者: chengxiaowei 时间: 2008-10-10 10:02
谢谢各位兄弟的回答，最后还是没有搞好，只能人工来弄了。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)