多线程读取大文件该如何处理？

xinyu86725

我的server程序负责给客户机发送大文件数据，server每个线程处理一个客户端！因为文件尺寸比较大，所以不能用互斥锁，否则只有给一个客户机传送完，才能为另外一个客户服务，这期间另外的客户只有等待。为了避免多线程对文件偏移量的互相影响，我每个线程都维护一个long型变量用来保存当前偏移量，在每次读取文件的时候都fseek到这个位置。
     问题是，如果文件特别特别大，那势必会有一个临界点，ftell返回值已经无法保存在long变量里，那该怎么处理呢？？？

chenzhanyiczy

long ftell(FILE *stream);
ftell的返回值都是long，你想怎样

happy_fish100

long ftell(FILE *stream);
ftell的返回值都是long，你想怎样
chenzhanyiczy 发表于 2010-03-10 13:03

32位机器上，long和int一样，也是4个字节的整数。
在32位系统中，编译时加上参数：-D_FILE_OFFSET_BITS=64，ftell返回类型就是64位的整数。对应的类型可以使用int64_t，或者使用off_t。

chenzhanyiczy

32位机器上，long和int一样，也是4个字节的整数。
在32位系统中，编译时加上参数：-D_FILE_OFFSET_BIT ...
happy_fish100 发表于 2010-03-10 13:29

   

xinyu86725

我当然知道ftell的返回值的long！我的意思是如果这个文件很大，long不足以保存当前偏移量，该怎么办？难道这个ftell出错么？或者返回一个错误的值？

egmkang

IO多线程性能会降低很多的,磁盘寻到需要8.5ms左右
在磁盘上面多线程,这是禁忌

peidright

回复 6# egmkang
每块盘一个线程。

chenzhanyiczy

我当然知道ftell的返回值的long！我的意思是如果这个文件很大，long不足以保存当前偏移量，该怎么办？难道这 ...
xinyu86725 发表于 2010-03-10 14:00

那肯定出错了

可以使用fgetpos()、 fsetpos()函数

chenzhanyiczy

IO多线程性能会降低很多的,磁盘寻到需要8.5ms左右
在磁盘上面多线程,这是禁忌
egmkang 发表于 2010-03-10 14:02

未必吧
看线程怎么读，同时假如page cache足够大

xinyu86725

那这个page cache又是什么呢？是硬盘的固有属性么？还是别的什么？