有木有更快的处理办法了！！！

xxhacker

我的日志文件格式大体是这样的：
00:00:01 [cmd:ACCEPT,tid:UMCowKALITMBNRNOk+xwAA--.488S0,ip:204.74.212.204......
00:00:02 [cmd:MAIL,tid:UMCowKALITMBNRNOk+xwAA--.488S2,ip:204.74.212.204......
00:00:02 [cmd:RCPT,tid:UMCowKALITMBNRNOk+xwAA--.488S2,ip:204.74.212.204......
日志文件大小为2个G左右，压缩后为400多M，格式为xxx.gz

目的：想统计这个日志文件ACCEPT的会话数

命令实现： zcat xxx.gz|wc -l 大概是21秒左右
perl实现：大概是在19秒左右

1. #! /usr/bin/perl
   
2. use warnings;
   
3. use strict;
   
4. 
   
5. my $count;
   
6. my $file = 'xxx.gz';
   
7. open FH,"gzip -dc $file|" or die "Can't open $file:$!\n";
   
8. while (<FH>) {
   
9.     $count ++ if (/ACCEPT/);
   
10. }
    
11. print $count."\n";

复制代码

问题：有木有理快的处理办法了？

x9x9

1. while (<FH>) {
   
2. $count++ if (substr($_,14,1) eq 'A');
   
3. }

复制代码

iamlimeng

楼上的代码应该能提高一点速度

xxhacker

测试了一下2楼的代码，22秒左右

wxlfh

1. /^\d{2}:\d{2}:\d{2}\s+\[cmd:ACCEPT/

复制代码

用这个正则可能会快点。

xxhacker

回复 5# wxlfh

测了一下，20秒左右，难道已经是极限了？？？

jason680

$/="ACCEPT";
$count++ while(<FH>);

or use C language

xxhacker

回复 7# jason680

测试了一下，23秒，看来要获得更快的处理速度，只能把改写代码为C了，可惜我C不熟

Cu_fans

1. #include <stdio.h>
   
2. #include <stdlib.h>
   
3. #include <string.h>
   
4. 
   
5. int main ()
   
6. {
   
7.         FILE * pFile;
   
8.     char readbuff[1024]={0};
   
9.     long nCount=0;
   
10.         char *pStr;
    
11.         char pResult[7] = {0};
    
12.    
    
13.     pFile = fopen ("test.txt","rb");
    
14.     if (pFile==NULL)
    
15.     {
    
16.         fputs("File error",stderr);
    
17.         exit (1);
    
18.     }
    
19.     while(fgets(readbuff,1024,pFile) != NULL)
    
20.     {
    
21.                 pStr = strstr(readbuff,"ACCEPT");
    
22.                 if (pStr == NULL)
    
23.                         continue;
    
24.                 strncpy(pResult, pStr, 6);
    
25.                 if (strcmp(pResult,"ACCEPT") == 0)
    
26.                         ++nCount;
    
27.     }
    
28.        
    
29.         printf("the number of ACCEPT is:%ld\n", nCount);
    
30.     fclose (pFile);
    
31.     return 0;
    
32. }

复制代码

写了个简单C的

Cu_fans

如果日志每行只有一处会出现ACCEPT，那稍微改成

1. pStr = strstr(readbuff,"ACCEPT");
   
2. if (pStr == NULL)
   
3.         continue;
   
4. else
   
5.         ++nCount;

复制代码