【已解决】关于日志文件的分析

qmqpfi

日志格式如下：
127.0.0.1 - - [14/Feb/2012:00:02:32 +0800] "GET /port/user.php?cla=baidu&key=e5d38743014f88f953269399282c86f5 HTTP/1.1" 200 4 "-" "-" 35622
127.0.0.1 - - [14/Feb/2012:00:02:32 +0800] "GET /test.php HTTP/1.1" 200 4 "-" "-" 35622
127.0.0.1 - - [14/Feb/2012:00:02:32 +0800] "GET /port/user.php?cla=google&key=e5d38743014f88f953269399282c86f5 HTTP/1.1" 200 4 "-" "-" 35622
127.0.0.1 - - [14/Feb/2012:00:02:32 +0800] "GET /port/port.php?cla=google&key=e5d38743014f88f953269399282c86f5 HTTP/1.1" 200 4 "-" "-" 35622
127.0.0.1 - - [14/Feb/2012:00:02:32 +0800] "GET /test.php HTTP/1.1" 200 4 "-" "-" 35622

需求如下：
分析结果文件名从这里来……aaa.php?cla=bbb……
>>> aaa_bbb.log。

内容格式如下：
IP date response
127.0.0.1 14/Feb/2012:00:02:32 35622

只要user.php和port.php的访问日志。
默认情况下筛选user\port的所有日志。
另外，可以在执行脚本时指定user或port，以及某一天的日期进行筛选。


===========================

大概的需求像上面所描述的（可能说得不是很清楚，请见谅）。

只懂一些SHELL的基本应用，太复杂的还没有深入学习，希望各位朋友帮忙指点一下。

谢谢！


另外，我想问一下：
awk -F" " '{print $1 "-" $4 "-" $13}' log.log >> test.log
在这里，我该怎么再对$1等结果集再进行筛选处理？

谢谢！

rdcwayx

用 split ($1, a, " ").

1. awk '/GET/&&/[user|port].php\?cla=/{split($7,a,"[/|.|?|=|&]");print $1,$4,$NF > a[2]"."a[5]".log"}' infile

复制代码

vsyour

user\port
awk '/user/{print $0}' file
grep

rdcwayx

我的那个命令会自动将所有的 user.php 和 port.php 对应的cla名 输出到以他们命名的文件里。 一步到位。

如果文件格式，或者文件名不符合你的想法，自己调整一下即可。

qmqpfi

回复 2# rdcwayx


    谢谢版主！

我把日志格式写错了，漏了写一个/port/xxx.php目录，请再帮忙改一下你的答案。

另外，筛选出来的文件里面，日期部分左边多了一个 [ 符号。

谢谢

rdcwayx

这个就留给你当作业吧。　看懂我那个代码的话，改起来不难。也就俩个号码位置改改。

[ 符号，可以用 sub, gsub 替换掉

qmqpfi

回复 6# rdcwayx


    好的。谢谢！

qmqpfi

回复 6# rdcwayx


    不好意思，发现还有一个小问题，一直试不出来

……
path=/apache/access/log/
host=$1
case $type in
"user")
cat $file | grep $type | awk '/GET/&&/user.php\?uid=/{split($7,a,"[/|.|?|=|&]");print $1,substr($4,2),$NF > /a[3]"."a[8]".log"}'
;;
"port")
cat $file | grep $type | awk -F " " '{print $1,substr($4,2),$NF}' >> $path$type.log # 这里的$path起作用了
;;
esac
……

1、想把输出的文件指定到$path下，如：
/apache/access/log/user.baidu.log

2、把$host（192.168.1.1）的内容添加到输出文件的内容里面，就是在awk筛选出来的结果前加入$host的内容，如：
192.168.1.1 111.111.111.111 14/Feb/2012:00:02:32 35622

我直接把$path和$host放到awk里面，但是执行不了提示错误，实在没办法了。
请指点一下我该怎么改写，谢谢！


周末买了本<Shell脚本学习指南>，以后慢慢学习一下这个精悍而又强大的Shell