含泪求助帮我改改C程序,提高处理数据效率

guoruimin

typedef struct page_t;
struct page_t
{
    page_t *next;
    char data[4094];
};
每次分配4096大小的内存块，将数据读入，结成内存链表，并统计出有多少个邮箱地址。（要保证每个内存片中的邮箱地址都是完整的，想办法实现）
根据邮箱地址数分配指针数组，每个指针指向每个邮箱地址的开始。变\n为\0。
快速排序qsort指针数组，变无序为有序。剩下的就好办了。
统计输出自己需要的结果。
别忘了释放指针数组，及所有内存块。

主要是要避免频繁分配大量的小内存块，再结合快速排序算法。
应该很快了。

[ 本帖最后由 guoruimin 于 2008-12-19 16:01 编辑 ]

千年沉寂

楼主的程序复杂度是O(n^2),读入所有的字符串以后，先对字符串进行快速排序，复杂度O(nlogn)，然后判断输出就可以了。效率会明显提高。

gawk

awk,perl是首选

r2r4

传说中的重新发明轮子。。？

cx6445

用hash多方便，1GB的文件也就1分钟内搞定吧。用perl吧，好用得很，就算没学过翻翻书1个下午就搞出来了。

yoonix

看了你的代码，可不可以边读边处理。
这样效率不是很高？！
最好调整程序执行顺序。

robinmu

自己改进和扩充KMP算法！！

jerrymy

莫斯科不相信眼泪

yaoaiguo

可以先排序，c有自带的qsort函数。
排完了自然就知道是否重复了，写起来最简单。

yaoaiguo

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
int compare_str(const void* a, const void* b)
{
    return strcmp((char*)a, (char*)b);
}
int main(int argc, char** argv)
{
    int len = 32, total = 0, j = 0;
    char* pbase = new char[len * 10000];
    char* p = pbase;
    FILE* fp = fopen("test.txt", "r");
    while (fgets(p, len, fp))
    {   
        p[strlen(p) - 1] = 0;
        total++;
        p += len;
    }   
    fclose(fp);
    qsort(pbase, total, len, compare_str);
    char buf[256];
    strcpy(buf, pbase);
    p = pbase;
    for (total; total > 0; total--, p += len)
    {   
        if (strcmp(buf, p) == 0)
            j++;
        else
        {   
            printf("%d %s\n", j, buf);
            strcpy(buf, p);
            j = 1;
        }   
    }   
    return 0;
}