免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2326 | 回复: 1
打印 上一主题 下一主题

Nginx实现大日志文件切割 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-12-21 00:08 |只看该作者 |倒序浏览

Nginx实现大日志文件切割








  
方式一:

nginx cronolog日志分割配置文档,根据下面方法,每分钟分割一次NGINX访问日志。

1.nginx日志配置
  1. access_log access_log /data/access_log_pipe main;
复制代码
2.先创建一个命名管道

mkfifo /www/log/access_log_pipe


3.配置cronolog:
  1. nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log &
复制代码
4.启动Nginx
  1. /usr/local/nginx/sbin/nginx
复制代码
注意:

cronolog必须在nginx启动前启动

没有安装cronolog的话,需要先安装
  1. wget http://cronolog.org/download/cronolog-1.6.2.tar.gz

  2. tar zxvf cronolog-1.6.2.tar.gz

  3. cd cronolog-1.6.2

  4. ./configure
  5.   make
  6. make install
复制代码
方式二:

定时任务中每小时添加定时任务,执行一下脚本,可以实现小时日志分割
  1. log_dir="/var/log/nginx"

  2. date_dir=`date +%Y/%m/%d/%H`

  3. /bin/mkdir -p ${log_dir}/${date_dir} > /dev/null 2>&1

  4. /bin/mv ${log_dir}/access.log   ${log_dir}/${date_dir}/access.log

  5. kill -USR1 `cat /opt/nginx/logs/nginx.pid`
复制代码
方式三:

使用logrotate做nginx日志轮询

logrotate看名字就知道是专门做日志轮询的,只把任务配置放在/etc/logrotate.d/下,任务就会自动完成,而且无需安装,系统自带,比较推荐使用.

vi /etc/logrotate.d/nginx
  1. 1. /usr/local/nginx/logs/www.willko.cn.log /usr/local/nginx/logs/nginx_error.log {
  2. 2. notifempty
  3. 3. daily
  4. 4. sharedscripts
  5. 5. postrotate
  6. 6. /bin/kill -USR1 `/bin/cat /usr/local/nginx/nginx.pid`
  7. 7. endscript
  8. 8.
  9. 9. }
复制代码
多个日志以空格分开,
notifempty 如果日志为空则不做轮询
daily 每天执行一次
postrotate 日志轮询后执行的脚本
这样,每天都会自动轮询,生成nginx.log.1-n  



后话:

用Jmeter对方法一进行了测试,新建线程组:线程数200,循环150,新建http请求,请求nginx上的图片,请求30000次,失败326次,后台形成5个文件,行数如下:

   2868 access_201112182030.log
    7777 access_201112182031.log
    7626 access_201112182032.log
    7873 access_201112182033.log
    3530 access_201112182034.log
   29674 total

并没有因为切分文件而丢失日志。

论坛徽章:
0
2 [报告]
发表于 2011-12-21 16:09 |只看该作者
一般使用logrotate方式更靠谱。你前面那个例子用了命名管道,那个是会阻塞的。如果哦cronolog出了什么问题,nginx也会一起死。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP