根据时间点 提取目标段，求优化

kb2008

我自己写的
#!/bin/bash
start="2011 09 07 09 30 00"                                   ##################### 给定的起始时间
end="2011 09 07 10 00 59"                                    ##################### 给定结束时间

awk -F '[-: ]+' -v s="$start"  '{ if ( $1~/ERROR/ && mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))
>=mktime(s)) print NR
}' catalina.out  > tmp1
awk -F '[-: ]+' -v e="$end"  '{ if ( $1~/ERROR/ && mktime(e)>=mktime($2" "$3" "$4" "$5" "$6"
"substr($7,1,2)))  print NR }
' catalina.out  > tmp2
t1=`head -n 1  tmp1`
t2=`tail  -n 1  tmp2`
sed -n ''$t1','$t2'p' catalina.out                                   
rm -rm tmp1
rm -rm tmp2


我这个catalina.out有  5G ，使用上面的脚本 大概需要40分钟左右，我希望优化后能在 2分钟左右   ，谢谢




我自己又改了一下，也要花30分钟

1. #!/bin/bash
   
2. 
   
3. start="2011 09 07 09 30 00"
   
4. end="2011 09 07 10 00 59"
   
5. num_list=`cat catalina.out | wc -l `
   
6. 
   
7. awk -F '[-: ]+' -v s="$start"  '$1~/ERROR/ && mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))>=mktime(s){ print NR;exit  }
   
8. ' catalina.out  > tmp1
   
9. 
   
10. tac catalina.out |  awk -F '[-: ]+' -v e="$end"  '$1~/ERROR/ && mktime(e)>=mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))
    
11. {  print NR;exit }'   > tmp2
    
12. 
    
13. t1=`cat  tmp1`
    
14. t2=`cat  tmp2`
    
15. t3=`expr $num_list - $t2`
    
16. sed -n ''$t1','$t3'p' catalina.out
    
17. 
    
18. rm -rf  tmp1
    
19. rm -rf tmp2

复制代码

部分 目标文件

1. ERROR 2011-08-01 14:00:51.868 [Thread-20] - Send mail fault
   
2. org.apache.commons.mail.EmailException: Sending the email to the following server failed : mail.askul.com.cn:25
   
3.         at org.apache.commons.mail.Email.sendMimeMessage(Email.java:1138)
   
4.         at org.apache.commons.mail.Email.send(Email.java:1163)
   
5.         at com.easier.common.biz.email.EmailQueue.exec(EmailQueue.java:22)
   
6.         at com.easier.common.model.queues.AbstractQueue.execute(AbstractQueue.java:79)
   
7.         at com.easier.common.model.queues.AbstractQueue.run(AbstractQueue.java:102)
   
8.         at java.lang.Thread.run(Thread.java:595)
   
9. Caused by: javax.mail.SendFailedException: Invalid Addresses;
   
10.   nested exception is:
    
11.         com.sun.mail.smtp.SMTPAddressFailedException: 550 5.1.1 <jqli@askul.com.cn>: Recipient address rejected: User unkn
    
12. own
    
13. 
    
14.         at com.sun.mail.smtp.SMTPTransport.rcptTo(SMTPTransport.java:1196)
    
15.         at com.sun.mail.smtp.SMTPTransport.sendMessage(SMTPTransport.java:584)
    
16.         at javax.mail.Transport.send0(Transport.java:169)
    
17.         at javax.mail.Transport.send(Transport.java:98)
    
18.         at org.apache.commons.mail.Email.sendMimeMessage(Email.java:1128)
    
19.         ... 5 more
    
20. Caused by: com.sun.mail.smtp.SMTPAddressFailedException: 550 5.1.1 <jqli@askul.com.cn>: Recipient address rejected: User u
    
21. nknown
    
22. 
    
23.         at com.sun.mail.smtp.SMTPTransport.rcptTo(SMTPTransport.java:1047)
    
24.         ... 9 more
    
25. 
    
26. 
    
27. 
    
28. 
    
29. 
    
30. 
    
31. 
    
32. ERROR 2011-08-01 14:52:21.223 [Thread-20] - Send mail fault
    
33. org.apache.commons.mail.EmailException: Sending the email to the following server failed : mail.askul.com.cn:25
    
34.         at org.apache.commons.mail.Email.sendMimeMessage(Email.java:1138)
    
35.         at org.apache.commons.mail.Email.send(Email.java:1163)
    
36.         at com.easier.common.biz.email.EmailQueue.exec(EmailQueue.java:22)
    
37.         at com.easier.common.model.queues.AbstractQueue.execute(AbstractQueue.java:79)
    
38.         at com.easier.common.model.queues.AbstractQueue.run(AbstractQueue.java:102)
    
39.         at java.lang.Thread.run(Thread.java:595)
    
40. Caused by: javax.mail.SendFailedException: Invalid Addresses;

复制代码

damcool

可否看看你原始文件内容？提供几行作参考！

jason680

我自己写的
#!/bin/bash
start="2011 09 07 09 30 00"                                   ############ ...
kb2008 发表于 2011-09-14 10:51

>>我这个catalina.out有  5G ，使用上面的脚本 大概需要40分钟左右，我希望优化后能在 2分钟左右   ，谢谢

先测...有没有可能...
time awk -F '[-: ]+' -v s="$start"  '$1~/ERROR/{a=NF}' catalina.out
time awk -F '[-: ]+' '{a=NF}' catalina.out
如果都不能在2分钟内,完成....换个方法吧!!!

kb2008

回复 3# jason680


    换什么方法呢，能给个思路吗，谢谢
  我必须要用 时间点来取的

damcool

1. #!/bin/bash
   
2. start_time="2011-09-07 09:30:00.000"
   
3. end_time="2011-09-07 10:00:59.000"
   
4. log_file=catalina.out
   
5. grep -E "^ERROR" $log_file | awk -v start_time=$start_time -v end_time=$end_time '{curr_time=$2" "$3; if (curr_time>=start_time && curr_time<=end_time) print $0}'
   
6. 
   

复制代码

damcool

建议你先运行一下

1. grep -E "^ERROR" catalina.out

复制代码

如果这个都要超过2分钟，再怎么优化也是白搭！

kb2008

回复 6# damcool


   start="2011 09 07 09 30 00"; awk '$1~/ERROR/{ print $0} ' catalina.out |  awk -F '[-: ]+'      'mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))>=mktime("2011 09 07 "09" "00" "00)&&mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))<=mktime("2011 09 07 "10" "10" "00)'   

这个 在 2分钟左右的


另外，你的只能 打印 符合条件的 目标行，而不是 目标行之间的段，你的就和我上面的是一样的

jason680

回复  jason680


    换什么方法呢，能给个思路吗，谢谢
  我必须要用 时间点来取的
kb2008 发表于 2011-09-14 11:11

C language

damcool

回复  damcool


   start="2011 09 07 09 30 00"; awk '$1~/ERROR/{ print $0} ' catalina.out |  awk ...
kb2008 发表于 2011-09-14 11:24

    问一下
1、你的数据是不是都是错误数据？例如

ERROR 2011-09-12 10:10:10.000 [xxxx]
xxxx...
yyyy.....

ERROR 2011-09-12 10:11:10.000 [xxxx]
xxxx...
yyyy.....

2、每段数据开始是不是有统一规则？

jason680

回复  jason680


    换什么方法呢，能给个思路吗，谢谢
  我必须要用 时间点来取的
kb2008 发表于 2011-09-14 11:11

start="2011 09 07 09 30 00"
end="2011 09 07 10 00 59"   
1. 如果​​日期都一样....
只要计算时间...这样不须要mktime应该可以再快一点...

2. 就算要用mktime,也不要一直用(重复)
awk -F '[-: ]+' 'mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))>=mktime("2011 09 07 "09" "00 " "00)&&mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2))<=mktime("2011 09 07 "10" "10" "00)'

==改==============
BEGIN{s=mktime("2011 09 07 "09" "00" "00); e=mktime("2011 09 07 "10" "10" "00)}
{t=mktime($2" "$3" "$4" "$5" "$6" "substr($7,1,2)); if(t >=s && t <=e)...