搜索字符生成新文件问题

ly5066113

在测测这个：

1. awk 'BEGIN{for(i=100;i<=999;i++) a[i]=1}{for(i=1;i<=NF;i++)if($i in a)printf $i" ";print ""}' urfile

复制代码

haimming

原帖由 我是DBA 于 2009-1-6 09:26 发表
我的测试文件只是200多M跟11G还是有很大差别的。

Oooooo.你的ll没-h，我看成了2G多，以为差不多了，呵呵眼睛不好使了

我是DBA

1. 
   
2. [test@erpdataserver ~]$ time awk 'BEGIN{for(i=100;i<=999;i++) a[i]=1}{for(i=1;i<=NF;i++)if($i in a)printf $i" ";print ""}' urfile >urfile22
   
3. 
   
4. real    0m54.337s
   
5. user    0m53.837s
   
6. sys     0m0.490s
   

复制代码

目前为止，这个最快。

[ 本帖最后由 我是DBA 于 2009-1-6 09:59 编辑 ]

haimming

有没哪位高手有心情和时间，讲解一下这几个例子为什么有时间差？
为什么效率不一样？

ywlscpl

楼上的用“代码”嘛，不会变形，还能copy to clipboard

我是DBA

谢谢，学习了。

ynchnluiti

改成

1. time awk '{for(i=1;i<=NF;i++)if($i~/^[0-9][0-9][0-9]$/)printf $i" ";printf "\n"}' urfile >newfile.txt

复制代码

能快很多

ywlscpl

time awk '{for(i=1;i<=NF;i++)if($i~/^[0-9][0-9][0-9]$/)printf $i" ";printf "\n"}' urfile >newfile.txt

再测测这个

sunceenjoy

写了个c代码.
test.c:

#include <stdio.h> #include <string.h> #include <unistd.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <errno.h> /*1 for null*/ #define bufsize    4097    extern int errno; static char buf[bufsize]; static char *mystrtok(char*); /*返回第一个数字串*/ static char *mystrtok(char *str){     register int pos    =0;     char *ptr    = NULL;     while(str[pos]!='\0'){         if(str[pos]>='0'&&str[pos]<='9')    {             if(ptr==NULL)    ptr    = &str[pos];         }else{             str[pos]    = '\0';             if(ptr!=NULL)    break;         }         pos++;     }     return ptr; } int main(int argc,char *argv[]){         int fd;     register int len;     if(argv[1]){         fd    = open(argv[1],O_RDONLY);         if(fd<=0) {             fprintf(stderr,"can not open file:%s\n",argv[1]);             return -1;         }     }else{         fd    = fileno(stdin);     }     memset(buf,0,bufsize);     while((len=read(fd,buf,bufsize-1))>0){                           /*防止截断了数字串*/         if(len==(bufsize-1)){             register    int i=0;             while(buf[len-i-1]>='0'&&buf[len-i-1]<='9'){                 i++;             }             if(i>0&&i<len){                 buf[len-i]    = '\0';                 if(lseek(fd,-i,SEEK_CUR)==-1){                     printf("seek error,errno is :%d\n",errno);                     close(fd);                     return -1;                 }             }         }         char *ptr,*cursor=buf;         while((ptr=mystrtok(cursor))!=NULL){                          /*这里可以插入链表，进行排序，少的话，用快速排序法，多的话，用堆排序或并归排序*/             fprintf(stdout,"%s\n",ptr);             cursor    = strlen(ptr)+ptr+1;         }         memset(buf,0,bufsize);     }     close(fd);     return 0; }

使用方法
[root@test1 c]# gcc  test.c -o test
[root@test1 c]# ./test <in.txt >out.txt

不知道速度如何.

我是DBA

原帖由 ynchnluiti 于 2009-1-6 10:55 发表
改成
time awk '{for(i=1;i

1. [test@erpdataserver ~]$ time awk '{for(i=1;i<=NF;i++)if($i~/^[0-9][0-9][0-9]$/)printf $i" ";printf "\n"}' urfile >newfile.txt
   
2. 
   
3. real    1m59.423s
   
4. user    1m58.951s
   
5. sys     0m0.452s

复制代码