动态虚拟主机根据域名分隔日志脚本

信天翁

为大容量动态虚拟主机解决日志按域名分隔问题自己写了这个脚本

#!/bin/sh #动态虚拟主机按域名分割日志 20090717 logPath="/var/log/httpd" logPostfixName="_access_log" if [ "$1" != "" ] then     logPath=$1 fi if [ "$2" != "" ] then     logPostfixName=$2 fi while read line do     domain=$(echo $line|cut -d' ' -f1)     logFile="${logPath}/${domain}${logPostfixName}"     code=$(echo $line|cut -d' ' -f10)     #如果不是404错误 或者 目标日志已经存在    if [ "$code" != "404" -o -s "$logFile" ]      then          echo $line|cut -d' ' -f2- >>$logFile      fi done

脚本保存到 /etc/httpd/vlog.sh
修改apache配置
UseCanonicalName Off
<VirtualHost *>
    VirtualDocumentRoot /home//%0/public_html
    LogFormat "%V %h %l %u %t \"%r\" %s %b" vcommon
   CustomLog "|/etc/httpd/vlog.sh /var/log/httpd _access_log" vcommon
</VirtualHost>

在CentoOS 5 apache2.2 上测试通过，
用Bash些的脚本担心效率问题，各位如有更好的解决方法请留言，谢谢

[ 本帖最后由 信天翁 于 2009-7-18 22:43 编辑 ]

信天翁

研究了一下bash shell，对脚本做了一下优化，使用bash内置字符串函数替换外置命令，性能提高三倍

1. 
   
2. #!/bin/sh
   
3. 
   
4. #动态虚拟主机按域名分割日志
   
5. #20090726 by xiao
   
6. 
   
7. logPath=${1:-/var/log/httpd}
   
8. logPostfixName=${2:-_access_log}
   
9. 
   
10. while read line
    
11. do
    
12.     domain=${line%% *} #完整域名,部分域名用domain=${line%%.*}  
    
13.     logFile="${logPath}/${domain}${logPostfixName}"
    
14.     code=${line% *}
    
15.     code=${code##* }
    
16.     lline=${line#* }
    
17. 
    
18.     #如果不是404错误 或者 目标日志已经存在
    
19.     if [ "$code" != "404" ] || [ -s "$logFile" ]
    
20.     then
    
21.         echo $lline >> $logFile
    
22.     fi
    
23. done
    
24. 
    

复制代码

gucuiwen

实时处理的性能是很低的，对于高负载的服务器性能影响比较大，我们一般是先记录在一起，每天自动切割后，对已经切割保留好的日志再做分拣。

只用一条命令：

awk '{print $0>$1}' access_log

HonestQiao

不错。

不过apache自己有split-logfile，或者可以用cronolog

一刀砍死

是啊~ 为何不单独为每个虚拟主机配置自己的日志呢？

信天翁

原帖由 HonestQiao 于 2009-7-27 14:15 发表
不错。

不过apache自己有split-logfile，或者可以用cronolog

我用的CentOS 5.3 系统里没有split-logfile，
另外cronolog只能按当前日期处理日志，它不分析日志内容

刚下了apache 2.2 的源码包，make了一下找到了split-logfile，原来是个perl脚本,去掉注释后代码如下

1. 
   
2. #!/usr/bin/perl
   
3. %is_open = ();
   
4. 
   
5. while ($log_line = <STDIN>) {
   
6.     ($vhost) = split (/\s/, $log_line);
   
7.     $vhost = lc ($vhost) or "access";
   
8.     if ($vhost =~ m#[/\\]#) { $vhost = "access" }
   
9.     if (! $is_open{$vhost}) {
   
10.         open $vhost, ">>${vhost}.log"
    
11.             or die ("Can't open ${vhost}.log");
    
12.         $is_open{$vhost} = 1;
    
13.     }
    
14.     $log_line =~ s/^\S*\s+//;
    
15.     printf $vhost "%s", $log_line;
    
16. }
    
17. exit 0;
    

复制代码

基本和我的脚本类似，不知道我上面的bash脚本和这个perl脚本那个更快一些，于是做了一下测试
测试脚本test.sh

1. 
   
2. #!/bin/sh
   
3. s='xxx.yyy.ccc 192.168.200.21 - - [20/Jul/2009:13:55:50 +0800] "GET / HTTP/1.1" 200 51707'
   
4. ii=0
   
5. while [ "$ii" -lt 1000 ]
   
6. do
   
7.   echo $s|$1
   
8.   ((ii++))
   
9. done
   

复制代码

将三个脚本放到同一目录下

[root@test test]# time ./test.sh ./split-logfile

real    0m3.759s
user    0m1.489s
sys     0m2.293s

[root@test test]# time ./test.sh ./vlog.sh

real    0m2.515s
user    0m0.782s
sys     0m1.764s

竟然是bash脚本更快一些

信天翁

原帖由 gucuiwen 于 2009-7-27 12:11 发表
实时处理的性能是很低的，对于高负载的服务器性能影响比较大，我们一般是先记录在一起，每天自动切割后，对已经切割保留好的日志再做分拣。

只用一条命令：

awk '{print $0>$1}' access_log

这样日志会很大吧，高负载的服务器一天怕得产生十几个G的日志，担心集中处理的速度

信天翁

原帖由 一刀砍死 于 2009-7-27 16:04 发表
是啊~ 为何不单独为每个虚拟主机配置自己的日志呢？

有数百上千个虚拟主机，每个都写配置文件多累啊

myhstone_cu

我使用了 LogFormat "%V %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" vcombined 这样的格式，那脚本要怎么改一下呢？