mmap效率问题

ifosn

需要读取一个上G的大文件，原来使用的read函数，多个线程读，多个线程写。（每个写线程有自己的缓冲区）
现在想换成mmap，考虑使用的方法是首先mmap映射到内存，然后写线程使用memcpy复制到缓冲区，读线程再去读。
但是考虑到memcpy的效率很低，所以想问问有什么好的解决办法吗？一般mmap后是否调用memcpy?

hellioncu

mmap不能减少读写

cookis

当然要调用 memcpy ，

你可以使用异步I/O，大块读取，大块写入

JohnBull

这样做，程序的执行效率其实会下降。
mmap没有read快。

wohenry84

不是吧，如果read,write多了的话，mmap还是很明显的要快得多的。我上次用read write复制一个文件大概好像是800K多吧。一个字符一个字符地来，要40多秒。后来我用mmap结果2秒左右就好了。

JohnBull

不是吧，如果read,write多了的话，mmap还是很明显的要快得多的。我上次用read write复制一个文件大概好像是 ...
wohenry84 发表于 2010-07-25 12:59

难道用read/write就得“一个字符一个字符”地来？

Momoass

如果只是读一下或者写一下，那mmap和read/write没有多大的性能差别,但是如果频繁修改一个文件内容,那mmap的效率就高得多了

JohnBull

如果只是读一下或者写一下，那mmap和read/write没有多大的性能差别,但是如果频繁修改一个文件内容,那mmap的 ...
Momoass 发表于 2010-07-25 20:20

操作系统不是傻子，即便你用write人家也会使用page cache的。
用mmap读取文件会比使用read造成过多更多的异常，用mmap取代read/write的性能，就如同把read/write的缓冲区固定成了PAGESIZE一样。

Alligator27

如果文件读写完成后再同步到硬盘，mmap去掉了系统读写的双缓冲和多次硬件IO。