如何更加效率的将多行文本（字符串）拼接成一行？

xlwang_0903

如题。输入文件就是基因组文件，文件格式如下：
……
>1
TTATCCACAGAACTGTGCGTCCTTTGTTAACTTCTACTACGTATATATACAAGTAAACCTTTGAAACCAAAGACCTGCGG
TGCCGCACAGCGCCGCGAGTCGATTCAATCGGTTCCGGAGCGAAAAAGCTGTGGCACAATCGGTTTCCTTCGCGTTCGTT
CGGCCAGGCGCCGGACATGCTTCAATGGAACGGTCGGCACGATTTCGAATCAGAATCCTCGAGACTGCGCAGTCCGTTCA
CACACCAGGCCGACAATCCAGATCGGCAACCTGAACGACGTTCCGCCCTGTGGTGGAACAGGCGGACCCCATGTACCGCC
GTCGTCGAGCACAACAATCACATTCGGGGCGATACCCAGCCGGCGCGCATCCATTCCTGTCGCTTGACCCCGCGTCGCTG
GCGGTTGCTTCCAAAGGAGAAGTCACCACGATGAAGTCGGCGTTCTCATTCCTGCCCAACTGGCCGCTTACGCCGGATGC
……
文件中有多个这种格式的块，每个块的行数不同，每行的字符个数相同（除了每个块的最后一行）。

现在我需要将文件中每个块中除了以">"开头的行之外的多行文本（字符串）拼接成一行，如何做效率才更高？我自己写的一个函数处理270多万行的数据竟然了用了3万多秒，合8个多小时，这也太不正常了。。。

函数代码如下：

1. char *get_segment(int seq_lines, long record_offset){
   
2.     char *line_tmp = (char *)malloc(MAX_LINE_TMP*sizeof(char));
   
3.     int max_line_tmp = MAX_LINE_TMP;
   
4.     *segment = '\0';
   
5.     fseek(fp,record_offset,SEEK_SET);
   
6.     while(fgets(line_tmp, max_line_tmp, fp) != NULL){
   
7.         if(strchr(line_tmp,'>') != NULL){
   
8.             break;
   
9.         }
   
10.         else{
    
11.             line_tmp[strlen(line_tmp)-1] = '\0';//\r and \n at at the end of line
    
12.             strcat(segment,line_tmp);
    
13.         }
    
14.     }
    
15.     free(line_tmp);
    
16.     return segment;
    
17. }

复制代码

函数的两个参数是我对文件进行预处理得到的每个块的行数以及相对于文件开始位置的偏移量。
我学习C语言不久，新手一枚，还请大家指点！

hellioncu

主要可以优化以下两点：
segment中内容是否很长，那么每次strcat都要找到结尾会很花时间的，自己记录下尾部位置，改用memcpy。
>只出现在开始处，就不要用strchr判断了，直接判断首字符。

xlwang_0903

回复 2# hellioncu

segment的确会很长，相当的长。您说的记录位置指的是segment的长度吗？另外，有没有其他效率更高的算法或者是方法？


   

float001

这里面的效率主要涉及到fseek strcat 函数，是否可以先全部或部分读到内存在进行判断，这样效率应该会提高很多

xlwang_0903

float001 发表于 2013-06-26 09:14
这里面的效率主要涉及到fseek strcat 函数，是否可以先全部或部分读到内存在进行判断，这样效率应该会提高很 ...

您指的是文件的全部或部分读入内存吗？

float001

回复 5# xlwang_0903


    对啊 ，这样不是比一行一行的读取快很多

bruceteen

1. #include <stdio.h>
   
2. 
   
3. int main()
   
4. {
   
5.     FILE *fin = fopen( "a.txt", "rt" );
   
6.     FILE *fout = fopen( "b.txt", "wt" );
   
7.     // 遇到>时，前面加个回车，并把这行原样输出
   
8.     {
   
9.         int c;
   
10.         while( c=fgetc(fin), c!=EOF )
    
11.         {
    
12.             switch( c )
    
13.             {
    
14.             case '>':
    
15.                 fputc('\n',fout);
    
16.                 fputc(c,fout);
    
17.                 while( c=fgetc(fin), c!=EOF && c!='\n' ) fputc(c,fout);
    
18.                 fputc('\n',fout);
    
19.                 break;
    
20.             case '\n':
    
21.                 break;
    
22.             default:
    
23.                 fputc(c,fout);
    
24.             }
    
25.         }
    
26.     }
    
27.     fclose( fout );
    
28.     fclose( fin );
    
29. 
    
30.     return 0;
    
31. }

复制代码

xlwang_0903

bruceteen 发表于 2013-06-26 09:56

逐个字符读取的话会更快吗？

bruceteen

xlwang_0903 发表于 2013-06-26 10:07
逐个字符读取的话会更快吗？

有程序，有数据，你试一下不就知道了吗？

noword2k

1楼正解。
每次要扫描整个字符串，找末尾的\x00，随着这个字符串越来越大，这样不慢才怪了。