如何提高写文件速度

SeaKing911

需求:系统处理大量数据，对每个数据都要记录流动日志。

但是，如果就单纯的用fputs来记录日志的话，我就算用再多的线程也没办法提高处理速度，而且远远达不到设计要求。

换了一种变通的办法，就是先把日志写到一个日志队列里面，然后再写日志，结果发现效果也不好，经常丢日志。

再网上搜索了一下，说是可以使用内存映射写文件来解决这个问题。但是，我还是想不通，请各位高手指点一下。

记录的日志特点是单条日志数据小，但是记录频率高。

MMMIX

原帖由 SeaKing911 于 2007-4-25 17:48 发表
需求:系统处理大量数据，对每个数据都要记录流动日志。

但是，如果就单纯的用fputs来记录日志的话，我就算用再多的线程也没办法提高处理速度，而且远远达不到设计要求。

换了一种变通的办法，就是先把日志写 ...

fputs 本身就是带缓存的；如果 fputs 提供的缓存不能满足你的要求，那么可以考虑你提到的日志队列的方法。至于丢日志的问题，检查过实现方面的问题了么？

langue

写日志不应用缓冲 I/O，并且应该用同步 I/O，这样的 I/O 才相对可靠。否则丢日志的情况容易出现。
如果磁盘性能不高，那么应该考虑更换设备。

MMMIX

原帖由 langue 于 2007-4-25 18:35 发表
写日志不应用缓冲 I/O，并且应该用同步 I/O，这样的 I/O 才相对可靠。否则丢日志的情况容易出现。
如果磁盘性能不高，那么应该考虑更换设备。

这还要看是什么日志了。一些不重要的日志丢了就丢了，而让这些写日志的操作不影响正常操作才是最关键的。当然，在另外一些情况下，例如数据库的事务日志，对日志的可靠性要求就是另外一回事了。

caijimin

你查一下mmap，应该能提高一些速度，但估计也达不到你的要求。
有没有考虑内存文件系统，拿出一些内存作为文件系统，往那里写速度会快很多，前提是文件不会长的太大，把分区塞满。

langue

原帖由 MMMIX 于 2007-4-25 18:42 发表

这还要看是什么日志了。一些不重要的日志丢了就丢了，而让这些写日志的操作不影响正常操作才是最关键的。当然，在另外一些情况下，例如数据库的事务日志，对日志的可靠性要求就是另外一回事了。

然也。我想如果想提高日志的可靠性可能有必要采用同步 I/O，对可靠性要求不高的可以用异步 I/O。

.

SeaKing911

主要的日志就是一些交易日志，从哪个系统到哪个系统，这些都是要记录的重要日志。所以一条内部传输的数据要记录6遍左右。

思一克

将你的写LOG的主要部分贴出来,大家看到底为什么慢?

MMMIX

原帖由 思一克 于 2007-4-25 22:13 发表
将你的写LOG的主要部分贴出来,大家看到底为什么慢?

对头。曾经看过一个 log 实现，大段大段的日志，但写的时候是一个字符一个 write 系统调用，那叫一个慢。

flw2

只要不是一个一个write真不理解日志fputs都不够速度。
fputs函数USER态的时间可以忽略，日志太快了吧。

觉得你可以用全缓冲，丢失1秒中的内容应该不会问题吧（1秒钟很多字节）