[转]ASIO 与协程

yulihua49

windoze 发表于 2015-01-20 17:56
回复 8# yulihua49

嗯，所以说光做coroutine+Async I/O是不够的，你总归要想办法和foreign thread通信， ...

这个AIO file 与协程结合的方案行吗？节后开发服务器都关了，暂时没办法测试。
通过eventfd，结合libaio和epoll。那个do_event是SDBC框架封装好的，与epoll调度器的协程接口。

1. #include <stdio.h>
   
2. #include <libaio.h>
   
3. #include <sys/stat.h>
   
4. #include <fcntl.h>
   
5. #include <libaio.h>
   
6. #include <sys/eventfd.h>
   
7. 
   
8. #include <scsrv.h> //这个是SDBC特定的
   
9. 
   
10. static int AIO_oper(int fd,char *buff,size_t iosize,int flg)
    
11. {
    
12. io_context_t myctx;
    
13. int rc,num;
    
14. uint64_t finished_aio;
    
15. struct iocb iocb,*io=&iocb;
    
16. struct io_event event;
    
17. int     efd = eventfd(0, 0);
    
18.         if (efd == -1) {
    
19.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
20.         }
    
21. 
    
22.         io_set_eventfd(io,efd);
    
23.         io_queue_init(1, &myctx);
    
24.         if(flg) io_prep_pread(io, fd, buff, iosize, 0);
    
25.         else    io_prep_pwrite(io, fd, buff, iosize, 0);
    
26.         rc = io_submit(myctx, 1, &io);
    
27.         if(rc<0) {
    
28.                 close(efd);
    
29.                 io_destroy(myctx);
    
30.                 return flg?write(fd,buff,iosize):read(fd,buff,iosize);
    
31.         }
    
32.         rc = do_event(efd,0,0);//yield to epoll
    
33.        if(rc==0)  read(efd, &finished_aio, sizeof(finished_aio));
    
34.         close(efd);
    
35.         num = io_getevents(myctx, 1, 1, &event, NULL);
    
36.         if(num>0) {
    
37.                 if(event.res2==0) num=event.res;
    
38.                 else num=-1;
    
39.         }
    
40.         io_destroy(myctx);
    
41.         return num;
    
42. }
    
43. 
    
44. int AIO_read(int fd,char *buff,size_t iosize)
    
45. {
    
46.         return AIO_oper(fd,buff,iosize,0);
    
47. }
    
48. 
    
49. int AIO_write(int fd,char *buff,size_t iosize)
    
50. {
    
51.         return AIO_oper(fd,buff,iosize,1);
    
52. }
    

复制代码

调用AIO_read或AIO_wrote就像read或write一样。所不同的就是中间可能yield过。
之前和之后可能不是同一个线程。
在SDBC交易中间件框架里采用AIO——file，倒不是性能如何如何，而在于在等待IO期间，线程yield去为别的客户服务了。
改善用户体验。

windoze

回复 11# yulihua49

看起来还好啦，AIO+eventfd也是常见的做法，就是用flg标示read/write有点傻……

yulihua49

windoze 发表于 2015-02-27 16:20
回复 11# yulihua49

看起来还好啦，AIO+eventfd也是常见的做法，就是用flg标示read/write有点傻……

那是因为除了r/w之外其他操作完全相同。那个myctx用作形参是否应该加&?

windoze

回复 13# yulihua49

那个io_context_t是什么？记得linux AIO里的是aio_context_t？如果是aio_context_t，是不用加&，因为那个东西本来就是个指针。

yulihua49

windoze 发表于 2015-02-27 21:45
回复 13# yulihua49

那个io_context_t是什么？记得linux AIO里的是aio_context_t？如果是aio_context_t ...

linux有两个：
aio：#include <aio.h>
       cc ..... -lrt

libaio: #include <libaio.h>
        cc ......  -laio

我这是后一种，它能结合epoll。前一种没查到如何结合epoll。

xphh2008

回复 4# yulihua49


    思路有些问题。你的协程跨越线程，我不知道怎么做到的。从理论上说，协程应当只在一个线程内调度。

    也不是说一定要在一个线程内，但是跨线程的框架，就需要使用者自己去保证线程安全以及数据竞争，这是很麻烦的事。也有悖于利用协程的初衷。

    按我说，一个线程多个协程，在此基础上多线程。多线程间不要共同调度协程。

    另外sleep实现了吗？

yulihua49

xphh2008 发表于 2015-02-28 21:15
回复 4# yulihua49

这个，我跟windoze差不多，都是线程池-协程，实现方法上，二者有差别。
单线程协程，并不是真正的并行计算。
我们是在并行计算的基础上，涉足协程的，就是把原来的线程池服务器协程化了。
所以，我们造轮子，是因为这种轮子根本找不到，需要自己造。

我们的做法：
原来的epoll - 线程池服务器，异步阻塞的，异步任务调度框架，在应用插件里使用同步阻塞IO。这时如果应用插件循环IO（比如长时间传输大文件）就会占死线程。需要在其等待IO时yield线程，一旦IO完成，resume之。
现在的做法，是在epoll发现一个请求时，建立该客户的fiber（makecontext）。调用应用插件，应用插件进行“同步阻塞IO” ，比如AIO_read。而在AIO_read内部，与应用逻辑无关的，透明的进行异步IO，在yield之前，把eventfd注册到epoll，然后进行：
swapcontext(当前fiber的ucontext,线程的ucontext); 这样就把线程交还给框架，继续epoll_wait（可能有许多线程都在epoll_wait）。
当IO完成时，触发eventfd，导致激活了一线程，它发现是个fiber，就进行resume（setcontext（fiber的ucontext））。直到插件完成任务返回，框架销毁fiber，并使这个TCB（状态机）进入等待该客户端下次请求的状态。
TCB,fiber,epoll等等对插件都是透明的，插件并不知道这些东西的存在。只不过我不敢重载read/write，它们需要调用AIO_read来代替之。

不过你说的一个线程多个协程，协程不跨越线程；然后是多个线程，倒是一个不错的思路。我想不好如何组织到我的框架里。
----每个线程一个epoll_fd。把TCB分配到不同的epoll_fd，不太容易做到均衡。
就是resume必须是yield的那个线程，不知怎样能实现这个控制。
一大堆线程在epoll_wait，哪个线程能抓住那个事件是没法控制的。

sleep没有实现，大概要用到timerfd了吧。
原则上不建议应用插件使用sleep类的函数。

做法跟这个差不多，准备好timerfd后，epoll-yield，resume后进行getevents。

xphh2008

回复 17# yulihua49


    明白了，你的线程里就一个协程。

    sleep可以用epoll的超时时间实现。

    我的做法是一个fd固定在一个线程里，所以线程安全都不需要考虑了，对于使用者更友好。至于你说的均衡，我的建议是不需要多考虑。服务器在上万连接数下，各线程的负载其实是统计平均的。当连接数较少时，有可能不均衡，但连接数少，服务器也没什么压力，不均衡就不均衡吧！

yulihua49

xphh2008 发表于 2015-03-02 20:15
回复 17# yulihua49

我的协程不属于哪个线程，但是线程某时刻可以有0或1个协程。在不同时刻可以参与不同的协程。每个协程不同时刻由不同线程来执行。
每个TCB（应用context），不活动时没有协程，活动时可能有一个协程，也可能没有。
至于fd，很难说，对于一个TCB，框架里有fd（一个或多个），应用插件里用多少fd，他们是否介入AIO都不好说。
何时将哪个fd投入epoll也不一定。这些情况极其复杂。幸好，这个复杂度都由框架承担，应用插件是一点也不知道的。
如上，框架向应用插件提供AIO_read/AIO_write，插件调用这个函数时，那个fd就是它自己产生的。框架还产生了eventfd。。

windoze

回复 16# xphh2008

@yulihua49和我做的都不是通常意义上的coroutine，说它是M:N threading更准确