紧急!处理500M的文本文件,如何使运行速度更快？

yuermoon

我的处理办法是一次读入50M的内容给char *buf,总共读入10次。这个时间需要1分30秒。如果再加上查找buf中的匹配字符将会循环中套循环，时间更慢。perl实现所有的功能需要2分50秒。C可以比这更快吗？c有没有其它方法处理这么大的文件呢？

以下是原代码：

#include <stdio.h>;

main(int argc,char *argv[] )
{ int i=0;
  FILE *fp;
  char *buf[10];

  if((fp=fopen("d:\\perl\\test.txt","rb")==NULL)
  {
    printf("Cannot open file";
    exit(1);
  }

  for(i=0;i<10;i++)
  {
   buf=malloc(52428800);
   fseek(fp,0L+i*52428800,SEEK_SET);
    fread(buf,52428800,1,fp);

    free(buf);
  }

  fclose(fp);
}

aXe

你的机器太破了。扔了吧。c当然比perl快了。

你应当按照页面大小去读会更快，如4k，另外也用不着每次都申请内存，然后释放。

顺便问一下，你为什么没有选择开辟500M的Buffer呢？奇怪呀。

oustar

读写会涉及到系统相关的一些操作。

匹配字符串有更好的算法。可参考boost中的regex。

yuermoon

如果能一下读入500M就好了，内存才多大呀？实践证明不能读入500M，VC报错！
boost是什么东西呀？

syiae

我会使用内存映射

hynjust

can you explain why you need this?

syiae

方便啊，缓存分配之类的问题统统由系统完成，难道你认为自己写的代码性能比操作系统的代码性能还要高？当然，机器配置不能太弱了，我也经常操作几百M的话单文件，没有任何问题

JohnBull

用mmap