Linux 多个文件的异步IO问题，高手请进。。。

fm971

要求是使用linux aio模型，实现同时写100个文件。  （数据库源从网络接收，这部分我已经用非阻塞模型，实现好了）。

已经调试通过 aio_write()，以及信号通知处理，或者线程回调。


现在碰到以下问题:
1，使用信号作为通知。 有部分文件会收不到信号，因为linux的信号并不会可靠排队。
2，使用线程回调。 也有部分文件总是写不出去，导致缓存队列太长。


请问高手如何处理多个文件的异步IO ？？？   
哪里有可供参考的开源项目？ 或者经过封装的aio驱动库可以用。谢谢。

[ 本帖最后由 fm971 于 2009-5-15 15:32 编辑 ]

fm971

高手指点一下就好了！

cookis

第二个问题，你应该考虑设置一下队列长度，队列超过限制就不要再接收了，本身网络io就比磁盘io快，

wwwsq

What Does Not Work?

    * AIO read and write on files opened without O_DIRECT (i.e. normal buffered filesystem AIO). On ext2, ext3, jfs, xfs and nfs, these do not return an explicit error, but quietly default to synchronous or rather non-AIO behaviour (i.e io_submit waits for I/O to complete in these cases). For most other filesystems, -EINVAL is reported.
    * AIO fsync (not supported for any filesystem)
    * AIO read and write on sockets (doesn't return an explicit error, but quietly defaults to synchronous or rather non-AIO behavior)
    * AIO read and write on pipes (reports -EINVAL)
    * Not all devices (including TTY) support AIO (typically return -EINVAL)


感觉AIO还不够成熟，能不用就不用吧。

fm971

原帖由 cookis 于 2009-5-15 16:08 发表
第二个问题，你应该考虑设置一下队列长度，队列超过限制就不要再接收了，本身网络io就比磁盘io快，

队列长度我已经有限制了。  但我是从网络上接收视频流，所以不能停止。

我现在总的流量是: 2Mbps * 25个通道 =50Mbps.   这个速度应该是没超磁盘的IO能力。

fm971

原帖由 wwwsq 于 2009-5-15 16:32 发表
What Does Not Work?

    * AIO read and write on files opened without O_DIRECT (i.e. normal buffered filesystem AIO). On ext2, ext3, jfs, xfs and nfs, these do not return an explicit error, but ...

多谢指点！   按这里说的是只有用 O_DIRECT标志，才能支持AIO的特性？ 否则是同步。 请问这个资料是在哪里找的？


要处理这么多文件的写入，不知道除了AIO还有什么好办法。 我的网络模块是单线程非阻塞，可以实现大并发量。如果写文件再用多线程，开销也比较大。
AIO的两种通知方式，感觉都不太好。  信号方式会中断其它系统调用；线程回调方式，又有创建线程的开销，在gdb里面显示每次通知都会创建线程。

cookis

en. 流量确实很小，
1。你看看你的iowait 大不？
2。如果你的总流量不是很高，没必要使用aio, 自己写一个写文件的线程同步地写，简单

fm971

原帖由 cookis 于 2009-5-15 17:10 发表
en. 流量确实很小，
1。你看看你的iowait 大不？
2。如果你的总流量不是很高，没必要使用aio, 自己写一个写文件的线程同步地写，简单

我本来是打算姘弃多线程的方式， 不知还有没别的办法........
据了解 web服务器lighttpd 是用的aio， 但不知道是怎么用的.....

bittertea

看看libevent的架构或许对你有帮助, 里面有对IO/信号/timer的封装, 当某种事件发生变化时, 会将事件从事件监视队列(定时器min-heap堆)移到活跃队列里, 按事件发生顺序依次调度执行事件发生回调函数.

wwwsq

原帖由 fm971 于 2009-5-15 17:00 发表


多谢指点！   按这里说的是只有用 O_DIRECT标志，才能支持AIO的特性？ 否则是同步。 请问这个资料是在哪里找的？


要处理这么多文件的写入，不知道除了AIO还有什么好办法。 我的网络模块是单线程非阻塞 ...

内存缓存，然后批量写入。
硬盘连续读写的速度是大大高于随机读写的。