日志太大问题求助！

forrestrun

apache的日志现在太大啦，每天的超出solaris的2G限制了，我想用cronolog做8小时一个记录的那种，conf应该如何写。
哪个高手告诉一下

forrestrun

看man的说明，似乎按照一个小时可以记录，但是合并处理是问题，谁碰到过这种问题。

HonestQiao

四、web服务器日志轮循

　　web服务器日志轮循比较好的方式有三种：第一种方法是利用Linux系统自身的日志文件轮循机制：logrotate；第二种方法是利用apache自带的日志轮循程序rotatelogs；第三种是使用在apache的FAQ中推荐发展已经比较成熟的一个日志轮循工具cronolog。

　　对于大型的WEB服务来说，其往往使用实用负载均衡技术提高web站点服务能力，这样后台有多个服务器提供WEB服务，这大大方便了服务的分布规划和扩展性，但多个服务器的分布就需要对日志进行合并统一进行统计分析。因此为了保证统计的精确性就需要严格按照每天的时段来自动生成日志文件。

4．1 logrotate实现日志轮循

　　首先我们讨论采用Linux系统自身的日志文件轮循机制：logrotate的方法。Logrotate是Linux系统自身带的一个日志轮循程序，是专门对各种系统日志（syslogd，mail）进行轮循的程序。该程序是由运行程序的服务crond来每天凌晨4:02运行的，可以在/etc/cron.daily目录下可以看到logrotate文件，其内容如下：

#!/bin/sh
/usr/sbin/logrotate /etc/logrotate.conf


　　可以看到每天清晨crond都会启动/etc/cron.daily目录下的logrotate脚本来进行日志轮循。

　　而在/etc/logrorate.conf中可以看到内容如下：

　　# see "man logrotate" for details
　　# rotate log files weekly
　　weekly
　　# keep 4 weeks worth of backlogs
　　rotate 4
　　# create new (empty) log files after rotating old ones
　　create
　　# uncomment this if you want your log files compressed
　　#compress
　　# RPM packages drop log rotation information into this directory
　　include /etc/logrotate.d
　　# no packages own wtmp -- we'll rotate them here
　　/var/log/wtmp {
　　monthly
　　create 0664 root utmp
　　rotate 1
　　}

　　# system-specific logs may be also be configured here.


　　从logrotate的配置文件中可以看到除了wtmp以外，需要滚动的日志的配置都保存在/etc/logroate.d目录下。因此我们只需要在该目录下创建一个名为apache的配置文件，来指示logrotate如何轮循web服务器的日志文件即可，下面是一个示例：

　　/www/log/secfocus {
　　rotate 2
　　daily
　　missingok
　　sharedscripts
　　postrotate
　　/usr/bin/killall -HUP httpd 2>; /dev/null || true
　　endscript
　　}
　　/www/log/tomorrowtel {
　　rotate 2
　　daily
　　missingok
　　sharedscripts
　　postrotate
　　/usr/bin/killall -HUP httpd 2>; /dev/null || true
　　endscript
　　}

　　这里“rotate 2”表示轮循时只包括两个备份文件，也就是只有：access_log、access_log.1、access_log.2三个日志备份文件。就这样就实现了对两个虚拟主机的日志文件的轮循。后面我们会讨论如何使用日志统计分析软件对日志文件进行处理。

　　这种方法的优点是不需要其他第三方工具就可以实现日志轮循，但是对于重负载的服务器和使用负载均衡技术的web服务器来说这种方法就不是很实用。因为它是对相应服务进程发出一个-HUP重启命令来实现日志的截断归档的，这样会影响服务的连续性。

4．2 使用apache自带的rotatelogs实现日志轮循

　　apache提供了将不把日志直接写入文件，而是通过管道发送给另外一个程序的能力，这样就大大的加强了对日志进行处理的能力，这个通过管道得到的程序可以是任何程序：如日志分析，压缩日志等。要实现将日志写到管道只需要将配置中日志文件部分的内容替换为“|程序名“即可，例如：

　　# compressed logs
　　CustomLog "|/usr/bin/gzip -c >;>; /var/log/access_log.gz" common


　　这样就可以实用apache自带的轮循工具：rotatelogs来对日志文件进行轮循。rotatelogs基本是用来按时间或按大小控制日志的。

　　CustomLog "|/www/bin/rotatelogs /www/logs/secfocus/access_log 86400" common


　　上面的示例中apache访问日志被发送给程序rotatelogs，rotatelogs将日志写入/www/logs/secfocus/access_log，并每隔86400秒（一天）对日志进行一次轮循。轮循以后的文件名为/www/logs/secfocus/access_log.nnnn，这里nnn是开始记录日志的时间。因此为了将日志按天对齐就需要在凌晨00:00启动服务，使得每天轮循得到的日志刚好是完整一天的日志，以提供给访问统计分析程序进行处理。如果是00:00开始生成新的日志，那么轮循得到的日志就是access_log.0000。

4．3 使用cronolog实现日志轮循

　　首先需要下载和安装cronolog，可以到http://www.cronolog.org下载最新版本的cronolog。下载完毕以后，解压安装即可，方法如下所示：

　　[root@mail root]# tar xvfz cronolog-1.6.2.tar.gz
　　[root@mail root]# cd cronolog-1.6.2
　　[root@mail cronolog-1.6.2]# ./configure
　　[root@mail cronolog-1.6.2]# make
　　[root@mail cronolog-1.6.2]# make check
　　[root@mail cronolog-1.6.2]# make install


　　这就完成了cronolog的配置和安装，默认情况下cronolog是安装在/usr/local/sbin下。

　　修改apache日志配置命令如下所示：

　　CustomLog "|/usr/local/sbin/cronolog /www/logs/secfocus/%w/access_log" combined


　　这里%w表示按照日期星期几在不同的目录下保存日志，这种方式会保存一周的日志。为了进行日志分析，需要每天将该日志文件拷贝（或移动，如果不希望保存一周的日志）到一个固定的位置以方便日志分析统计文件进行处理，实用crontab –e，如下添加定时任务：

　　5 0 * * * /bin/mv /www/logs/secfocus/`date -v-1d +\%
　　w`/access_log /www/logs/secfocus/access_log_yesterday


　　这样再使用日志统计分析程序的对文件access_log_yesterday进行处理。

　　对于使用负载均衡技术的大型站点，就存在多个服务器的访问日志的合并处理问题.对于这种情况，各个服务器定义或移动日志文件时就不能使用access_log_yesterday了，就应该带上服务器编号了，例如服务器IP地址等信息以区分。然后在各个服务器上运行网站镜像和备份服务rsyncd（参考文章” 用rsync实现网站镜像和备份”,ttp://www.linuxaid.com.cn/engineer/ideal/article/rsync.htm），然后将每个服务器每天的安装配置文件通过rsync下载到专门进行访问统计分析的服务器上进行合并。

　　合并多个服务器的日志文件，例如：log1 log2 log3并输出到log_all中的方法是：

　　sort -m -t " " -k 4 -o log_all log1 log2 log3

　　-m: 使用 merge优化算法，-k 4表示根据时间进行排序，-o表示将排序结果存放到指定的文件中。

forrestrun

我使用的是cronolog做的，每天一个日志，但是，就是这样日志文件还是太大，我又不希望更改日志格式，就必须考虑将日志8个小时记录一次，或者12小时一次。
cronolog的分离是根据date分离的，应该可以细分到小时的。但是我如何合并8小时一个文件，或者有没有更好解决的办法。
gzip方式肯定将日志压缩存放，但是对我也没有用的，一旦要解压缩处理分析日志，将有问题。

sinopower

恩，轮询玩了再emerge，如果多服务器emerge之前需要同步呀，然后使用webalizer或者awstats进行analyze了