如何将文件中包含某关键字的行删除掉？syslog报警需求

djzhangxing

现在我的工作是这样，每天主要看syslog大于10M是什么原因导致的，但是有的时候可能机器硬件故障导致一些硬件报警，比如说关键字"disk_error"，需要永久忽略的怎么办呢？

1. 
   
2. 例：pc1、Pc2硬盘有故障，每天messages日志30M，其中大多关键字都是包含disk_error,所以每天就会报警出来，如何在日志服务器中messages文件中包含disk_error字段删除掉，
   
3. 日志目录：/log/pc1/messages和/log/pc2/messages，我该如何过滤呢？
   
4. 
   

复制代码

q1208c

为什么不修好或更换有问题的硬盘呢?

只是删除日志, 那不是掩耳盗铃 么?

houjun19830610

This question is not too tough to be solved.

Here are my answers.

cat /log/pc1/messages | grep -v "disk_error" >> /log/pc1/messages.new

This command can grasp all of log information except the lines containing keywords "disk_error".

Shell_HAT

回复 3# houjun19830610


简化：

1. grep -v "disk_error" /log/pc1/messages > /log/pc1/messages.new

复制代码

houjun19830610

回复 4# Shell_HAT


    哈哈，其实差不多。

jcdiy0601

1. grep -v "disk_error" /log/pc1/messages > /log/pc1/messages.new

复制代码

djzhangxing

各位好，是这样的，一台日志收集服务器上面会有全网的日志。我们这边判断是否大于10M 是用du -sk 大于 10240，比如说目录下
<code>
[root@cdn ~]#ls ./8.8.8.8/
messages maillog
[root@cdn ~]#du -sk ./8.8.8.8/
15624        .
</code>
像以上的情况就会报警，假如说messages中百分之80的字段都是包含disk_error的行，如何在du -sk的时候筛选出去，如果想刚刚大神所说grep -v 重定向另个文件，这刚总目录下du时候还是会大于10m的，
用sed //d 可以实现，但是我们领导说，日志的文件不能动，所以现在我比较麻烦！
<code>如何在du -sk执行的时候，过滤掉某个字段？</code>
<code>
#!/bin/bash
date=`date --date='1 day ago' +%Y-%m-%d`
ip=`awk '{print $1}' data.txt`
log=`awk '{print $2}' data.txt`
field=`awk '{print $3}' data.txt`

while read ip log field
do
sed  -i '/'$field'/d' /root/zx/$date/$ip/$log
done <  data.txt
</code>
我之前是这么写的，变量有点乱哈，其实最主要的sed  -i '/'$field'/d' /root/zx/$date/$ip/$log我用的是这条命令，最后判断是ok了，但是源文件被我修改了，不成立。

djzhangxing

这样漂亮点。
各位好，是这样的，一台日志收集服务器上面会有全网的日志。我们这边判断是否大于10M 是用du -sk 大于 10240，比如说目录下

1. 
   
2. [root@cdn ~]#ls ./8.8.8.8/
   
3. messages maillog
   
4. [root@cdn ~]#du -sk ./8.8.8.8/
   
5. 15624        .
   

复制代码

像以上的情况就会报警，假如说messages中百分之80的字段都是包含disk_error的行，如何在du -sk的时候筛选出去，如果想刚刚大神所说grep -v 重定向另个文件，这刚总目录下du时候还是会大于10m的，
用sed //d 可以实现，但是我们领导说，日志的文件不能动，所以现在我比较麻烦！

1. 如何在du -sk执行的时候，过滤掉某个字段？

复制代码

1. 
   
2. #!/bin/bash
   
3. date=`date --date='1 day ago' +%Y-%m-%d`
   
4. ip=`awk '{print $1}' data.txt`
   
5. log=`awk '{print $2}' data.txt`
   
6. field=`awk '{print $3}' data.txt`
   
7. 
   
8. while read ip log field
   
9. do
   
10. sed  -i '/'$field'/d' /root/zx/$date/$ip/$log
    
11. done <  data.txt
    

复制代码

我之前是这么写的，变量有点乱哈，其实最主要的sed  -i '/'$field'/d' /root/zx/$date/$ip/$log我用的是这条命令，最后判断是ok了，但是源文件被我修改了，不成立。

helloclei

回复 1# djzhangxing

1. sed ‘/disk_error/d’  message

复制代码

djzhangxing

嗯，我也是这么想的，但是不知道怎么和du -sk 结合起来，别如说messages中我想去掉disk_error字段的，
du -sk `sed /dnsmasq-dhcp/d messages`
du命令都是对文件的判断吧，怎么判断输出呢。
回复 10# helloclei