求助：关于日志处理的shell脚本

731281755

有一个日志文件是这样的，
INFO  - 2015-12-29 14:36:16.932; [   core1] org.apache.solr.core.SolrCore; [core1] webapp=/solr path=/admin/ping params={action=status&_=1451370976913&wt=json} status=503 QTime=0

INFO  - 2015-12-29 14:36:20.974; [   core1] org.apache.solr.core.SolrCore; [core1] webapp=/solr path=/select params={indent=true&q=*:*&_=1451370980964&wt=json} hits=44 status=0 QTime=3

上面是日志文本的其中2行，现在需要写一个shell，比如说在2015-12-20号零点开始自动提取日期为2015-12-19的日志数据，并且只要path=/select这样的日志数据，然后对这些数据的QTime求平均值，最后可以自动把平均值发到某邮箱，大家有思路的话可以共同探讨下，给出某部分功能的实现代码也行，小弟感激不尽，愿大家一起探讨，共同学习！！

Shell_HAT

/var/tmp/test.sh

1. # 比如说在2015-12-20号零点开始自动提取日期为2015-12-19的日志数据
   
2. TARGET_DATE=$(date -d "last day" "+%Y-%m-%d")
   
3. # 并且只要path=/select这样的日志数据，然后对这些数据的QTime求平均值
   
4. AVG=$(grep "$TARGET_DATE .* path=/select" 1.log | awk '/QTime=/{gsub(/.*=/,"");sum+=$0}END{print sum/NR}')
   
5. # 最后可以自动把平均值发到某邮箱
   
6. echo $AVG | mailx -s "QTime平均值" 731281755@ChinaUnix.net

复制代码

# 零点开始自动提取

1. chmod u+x /var/tmp/test.sh
   
2. crontab -e

复制代码

0 0 * * * /var/tmp/test.sh > /var/tmp/test.log 2>&1

731281755

回复 2# Shell_HAT


    '/QTime=/{gsub(/.*=/,"")   这一小段看不懂，可以详细说明一下吗，谢谢

Shell_HAT

回复 3# 731281755


    对于包含字符串 QTime= 的行，把等号和等号左边的字符串全部删除。

731281755

回复 4# Shell_HAT


    我按照你的方法试了,有打印出正确的结果，可是结果并没有传值到AVG这个变量，不知道为啥？  

chengchow

死循环，crontab都可以实现
计划任务：
做计划任务，每天00：00执行脚本
脚本
a=`date "+%Y-%m-%d" --date="a days ago"`;awk -F "=" -vb=$a '/b/{c++;d=d+$NF}END{print d/c}' logfile

731281755

回复 6# chengchow


    顺便问下 日志中含有 q=*:*&_， 要如何提取*:* 出来，这部分固定是夹在q=和&之间的

chengchow

回复 7# 731281755


grep,awk,sed都能做

sed -r 's/^.*q=(.*)&_,.*$/\1/g' file

最好提供完成文本

Shell_HAT

回复 5# 731281755


    把你测试用的日志文件、shell脚本打包压缩传上来我试试

731281755

回复 8# chengchow


    grep怎么做呢？