请教问题：大文件处理

想尼尼

问题：
C语言
需要处理N个大文件，size有可能很大，但是大小上限不能具体知道。
需要并行处理文件。
文件的内容有可能涉及到解码什么的，文件格式是多种格式嵌套。

我一开始用了2个方法：
<1>先声明一个超大数组，一次性读完文件。问题是太浪费内存，因为文件有可能是很小的。
<2>用malloc动态分配一个文件大小的space。问题是频繁的动态分配，会造成过多的内存碎片，不适合长时间的运行。
C++好像有内部内存管理的类string，但是C++不太拿出手。。。。
哪位大神帮忙想想办法。

还忘记说了一种：内存映射，
优点：
1、从内存映像文件中读写，避免了read、write多余的拷贝。
2、从内存映像文件中读写，避免了多余的系统调用和用户-内核模式的切换
3、可以多个进程共享内存映像文件。
4、seeking内存映像只需要指针操作，避免系统调用lseek。
缺点：
1、内存映像需要时整数倍页大小，如果文件较小，会浪费内存。
2、内存映像需要在放在进程地址空间，大的内存映像可能导致地址空间碎片，找不到足够大的空余连续区域供其它用。
3、内核需要维护更多的和内存映像相关的数据结构。
貌似和malloc的缺点有点类似

shan_ghost

……你甚至可以用每次只读一个字节的方式，处理一个1T大小的文件。

复习下基础知识吧。

想尼尼

频繁IO太慢吧

bruceteen

还能“声明一个超大数组，一次性读完文件”或“用malloc动态分配一个文件大小的space”，说明你这个文件极小。

对于你的问题，为什么要一次性读到内存中呢？完全可以用到哪里才去读哪里。
比如现在的电影文件，一般都是20G左右，在我一台2G内存的电脑上就可以完美播放，肯定不是一次性读进内存，因为没那么大的内存。

shan_ghost

想尼尼 发表于 2013-12-04 10:51
频繁IO太慢吧

脑筋太死……既然每次一个字节、处理1T的文件都可以，有人禁止你用每次处理1K甚至1M的数据的方式、处理1G的文件吗？

想尼尼

回复 4# bruceteen
我需要从头到尾都解析的，格式复杂，不太好截取部分
我还忘记说了“内存映射”， 不知道这个方法有什么缺点，我再查查


   

想尼尼

回复 6# 想尼尼
关键这个文件格式有点复杂，不好确定前面的是否是部分完整的可以解析的格式，求指点


   

hellioncu

内存映射是王道，如果是32位程序地址空间受限，可以映射文件的一部分

linux_c_py_php

一个定长4KB的buffer，一次读4KB。

一个string，读的buffer要append到string尾部，然后立即解析文件内容，解析完的的部分erase掉。

syre

N有多大？
文件一般有多大？
格式有多复杂？