逐条取日志文件并通过logger发送

huarte

需求是这样的：服务器有周期性生成的一些日志文件，文件名filename,现在我需要用SHELL程序来读取日志文件的内容，并逐条发送；
日志格式：
product_id,vendor_code,event_dt,event_category,featureValue,raw_event
8814,"ICMP_PING_事件","07/01/16 17:54:27 CST","IdsIps","13","Jul 01 17:58:32 10.15.10.1 TIME:20160701181239"


日志读取指令：
cat filename|logger -p user.info  
之前采用这种方式，但发现发送是把整个日志文件以一个数据包的形式一次发出了，不满足要求；

如图：

正确情况应该是每行都要做一次logger操作，发送一次。问题是用什么工具，AWK或SED实现每次取一行，做一次判断（当第一列product_id为8814且第二列vendor_code为ICMP_PING_事件时发送本行日志消息），并做一次logger操作把哪行的日志发送出去，一直循环直到把最后一行发出去。

huarte

    想到个办法，先通过wc命令取文件总的行数，再通过FOR循环来逐条打印。但我的语法好像有问题（$1为外部带入的文件名）
funcation monitor{
    H=‘cat $1|wc -l’
    for((i=3;i<=H;i=i+1))
    do
        awk 'NR=="'$i'"{print $0}' $1|logger -p user.info
    done

}

hahachinahaha

学习学习~~

huarte

function file_monitor(){
    if [ ! -f "$1" ] ; then
        return 1
    fi
    H=`cat $1|wc -l`
    for((i=3;i<=H;i=i+1))
    do
        awk 'NR=="'$i'"{print $0}' $1|logger -p user.info
    done

}
结构本身没有问题，经测试可正常运行了，之前报错是因为赋值H变量时候，后面值部分的反引号写成引号导致的问题。不过还是谢谢你的热心。


回复 3# hahachinahaha


   

ll104567

while read line
do
     echo $line | 这写命令
done < file

huarte

这执行效率是不是要快点？回复 5# ll104567


   

ll104567

回复 6# huarte


    目测不会很快、你可以自己测试、生成个2000行的文件然后执行看一下时间

root@lp:~/pwb/tmp# cat 2000.txt |wc -l
2000
root@lp:~/pwb/tmp# cat a2.sh
#!/bin/bash

while read line
do
        echo $line|xargs > /dev/null

done < 2000.txt
root@lp:~/pwb/tmp# time bash a2.sh

real        0m5.315s
user        0m0.096s
sys        0m0.340s

疯子影子

awk '{if($1 == '8814' && match($2, /ICMP_PING_[^\s]+/)) print $0}' d.txt