[日志] 用数据库装Apache的日志log的方法

HonestQiao

原帖由 boyhyc 于 2006-6-8 22:19 发表


乔大……
再不搭理我我就叫乔姨了

第一：你使用awstats来处理了日志么？
如果还没有处理的话，那肯定在WEB查看的时候，是没有数据的。

我们一般使用cron定时处理数据的。

cx6445

原帖由 HonestQiao 于 2006-6-8 21:54 发表



我这边的不同链接也超多的，而且还要做一些关键的业务分析

我不太相信perl的效率有这么高
你们算一次需要花多长时间？

crazymeny

浪潮NF160,1G内存,做3个G的日志,2个小时左右

crazymeny

Writing Apache's Logs to MySQL
http://www.onlamp.com/pub/a/apache/2005/02/10/database_logs.html

cx6445

原帖由 crazymeny 于 2006-6-9 10:10 发表
浪潮NF160,1G内存,做3个G的日志,2个小时左右

2个小时3个G如果是平均速度那是能行的。
请问访问高峰时数据库并发连接达到多少？

crazymeny

我的日志没放在数据库里,呵呵

HonestQiao

处理的时候，不要把所有的数据全部都处理，一些图片什么的，肯定可以过滤掉很多的。

而且，在文本处理上，perl绝对一流，不要小看啊。

cx6445

原帖由 HonestQiao 于 2006-6-9 12:06 发表
处理的时候，不要把所有的数据全部都处理，一些图片什么的，肯定可以过滤掉很多的。

而且，在文本处理上，perl绝对一流，不要小看啊。

原来是把图片给算进去了呀，我说呢，呵呵!
除去图片的log实际只有几百兆吧，那awstats还是没啥问题的。

HonestQiao

原帖由 cx6445 于 2006-6-9 15:40 发表


原来是把图片给算进去了呀，我说呢，呵呵!
除去图片的log实际只有几百兆吧，那awstats还是没啥问题的。

我拿服务器专门处理，一般每小时一次

bluegene

原帖由 cx6445 于 2006-6-9 10:23 发表


2个小时3个G如果是平均速度那是能行的。
请问访问高峰时数据库并发连接达到多少？

这么大的日志文件,一天的访问量有多少啊?是什么样的服务器?支持这么高的访问量,想见识一下这么强的服务器

[ 本帖最后由 bluegene 于 2006-6-9 21:14 编辑 ]