请教版主和大虾们:如何牺牲最小性能从大日志中抓取部分日志

荣磊

具体环境:
      OS: Linux 7.3 或AS 3     日志大小:>;= 1G
需求分析:
      由一后台进程7*24小时不间断往log里写日志,机器本身还要接受用户连接
所以服务器负载很大,举个例子,8:30发现服务器收到攻击,需要截取从8:00-现在的所以日志拷到其它机器分析,如果日志小很简单,问题是服务器本身负载就不小,日志再超过1G以后用grep等其它命令可能会使服务器down掉
问题:   
      用什么命令或方法可以从一个大日志文件中取得部分时间的日志,并且不会占用系统太多的IO和CPU资源,我们的日志少说也有800到1000万行.用普通方法肯定不行(日志中有关于时间的字段)

Please instruct me .

bingosek

你可以另外配置一台日志主机；
在写日志时将日志按条件分类；
编辑/etc/logrotate.conf,用size限制日志文件大小

荣磊

谢谢,可能我没太说清楚,我们要分析的是被攻击时的日志,平时的日志是不需要分析的,简单的说就是从一个大日志中把几点到几点的日志拷成另一个文件

archangle

能不能先切成小块,然后分别操作.或者用sed来操作呢

archangle

我现在的日志是统一存到日志服务器的机器的mysql数据库里面,可以非常方便的查找日志.

mocou

syslog本身能定义多久回滚啊
如果想用时间查找，可以用find+mtime

flw

先拷贝出来，再切割吧。

怕冷的猫

需要的时候运行logrotate -f file.conf就可以了吧。

file.conf是你的目的服务的logrotate配置文件。

荣磊

大家都发表一下意见,有什么好方法,你们提的见意都很好,我试试可行不
其实到不难,主要是用普通方法太占用资源了,所有想请教大家有没有变通一些的方法

怕冷的猫

只是用logrotate来轮换你有问题的服务的日志，这个会重新启动你的服务。