日志处理中的分隔符问题

lemoncoral

要处理一个nginx的日志，想要提取出ip和agent，一条记录如下

106.120.173.102 - - [27/Jul/2014:02:00:00 +0800] "GET /hengshui/famous-3060-105.html HTTP/1.1" 301 178 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

用cut或者awk的话，使用空格符作为分隔符，那么在最后的agent中，如果含有空格，那么就会被截断，不会得到完整的agent的表示，比如上面的"Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"，这个就会被空格截断为几个，不能完整得到，所以想问问，有没有办法指定2种分隔符，碰到哪种分隔符，就以哪种分隔符为主？

yestreenstars

是这个意思吗？

1. $ awk -vFPAT='"[^"]+"|[^ ]+' '{print $1,$NF}' i
   
2. 106.120.173.102 "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

复制代码

1. $ perl -pe 's/(\S+).*("[^"]+")/$1 $2/' i
   
2. 106.120.173.102 "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

复制代码

1. $ sed -r 's/(\S+).*("[^"]+")/\1 \2/' i
   
2. 106.120.173.102 "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

复制代码

lemoncoral

完全正解！又开眼界了，谢谢！回复 2# yestreenstars


   

lemoncoral

第一个看懂了，是FPAT的用法，第二个和第三个其实都是一个原理，利用了正则的贪婪特性，很巧妙地把最后一个双引号的域提取出来了，思路很妙！
回复 2# yestreenstars


   

jason680

回复 1# lemoncoral


1. awk using FS(Field Sepator) variable
$ awk -F'- -|"' -vq='"' '{print $1,q$(NF-1)q}' FILE
106.120.173.102  "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

2. awk using match function
$ awk 'match($0,/^([^ ]+) .*("[^"]+")$/,a){print a[1],a[2]}' FILE
106.120.173.102 "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

3. perl
$ perl -lane '{print "$1 $2" if m/^([^ ]+) .*("[^"]+")$/}' FILE
106.120.173.102 "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

lemoncoral

awk的另两种思路，更为普适，感谢！回复 5# jason680


   

lifayi2008

1. test@redmine:~/test2$ cat c.txt
   
2. 106.120.173.102 - - [27/Jul/2014:02:00:00 +0800] "GET /hengshui/famous-3060-105.html HTTP/1.1" 301 178 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
   
3. test@redmine:~/test2$ awk 'BEGIN{FS="-|(\" \")"}{printf "%s \"%s\n",$1,$NF}' c.txt
   
4. 106.120.173.102  "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

复制代码

dn833

1. awk -F \" '{split($1,a," ");print a[1]" \""$(--NF)"\""}'

复制代码