【lua5.2相关】 今天做了一番试验， 发现coroutine有此坑， 真神秘。

linux_c_py_php

环境是lua5.2, 主要是把5.1->5.2的api change list过了一遍, 主要想验证coroutine的工作过程, 然后发现了两个坑, 大侠看看我理解的对不对, 多谢.

1, 写C模块命名为"mod", 写C宿主调用"mod", 其中"mod"模块只包含一个函数, 用于测试coroutine.

1. [root@vps616 study]# cat src/mod.c
   
2. #include "lua.h"
   
3. #include "lualib.h"
   
4. #include "lauxlib.h"
   
5. 
   
6. static int run_twice(lua_State *L) {
   
7.     int ctx;
   
8. 
   
9.     if (lua_getctx(L, &ctx) == LUA_OK) {
   
10.         lua_pushstring(L, "hello");
    
11.         return lua_yieldk(L, 1, 2, run_twice);
    
12.     }
    
13.     lua_pushstring(L, " world");
    
14.     return 1;
    
15. }
    
16. 
    
17. static const luaL_Reg reg_api[] = {
    
18.     {"run_twice", run_twice},
    
19.     {NULL, NULL}
    
20. };
    
21. 
    
22. int luaopen_mod(lua_State *L) {
    
23.     lua_newtable(L);
    
24.     luaL_setfuncs(L, reg_api, 0);
    
25.     return 1;
    
26. }

复制代码

1. [root@vps616 study]# cat src/main.c
   
2. #include "lua.h"
   
3. #include "lualib.h"
   
4. #include "lauxlib.h"
   
5. 
   
6. int main(int argc, char* const argv[]) {
   
7.     lua_State *L = luaL_newstate();
   
8.     lua_State *LL = lua_newthread(L);
   
9.    
   
10.     lua_pushcfunction(L, luaopen_base);
    
11.     if (lua_pcall(L, 0, 0, 0) != LUA_OK) {
    
12.         return 1;
    
13.     }
    
14.     lua_pushcfunction(L, luaopen_package);
    
15.     if (lua_pcall(L, 0, 0, 0) != LUA_OK) {
    
16.         return 2;
    
17.     }
    
18.     lua_getglobal(L, "require");
    
19.     lua_pushstring(L, "mod");
    
20.     if (lua_pcall(L, 1, 1, 0) != LUA_OK) {
    
21.         return 3;
    
22.     }
    
23.     lua_getfield(L, -1, "run_twice");
    
24.     lua_pushstring(LL, "1234");
    
25.     printf("top=%d\n", lua_gettop(LL));
    
26.     lua_xmove(L, LL, 1);
    
27.     printf("top=%d\n", lua_gettop(LL));
    
28.     if (lua_resume(LL, NULL, 0) == LUA_YIELD) {
    
29.         printf("yield=%s\n", lua_tostring(LL, -1));
    
30.     }
    
31.     printf("top=%d\n", lua_gettop(LL));
    
32.     if (lua_resume(LL, NULL, 0) == LUA_OK) {
    
33.         printf("return=%s\n", lua_tostring(LL, -1));
    
34.     }
    
35.     printf("top=%d %s\n", lua_gettop(LL), lua_tostring(LL, 1));
    
36.     return 0;
    
37. }

复制代码

这个例子主要目的是观察run_twice在协程中执行的栈变化, 因为看lua.org/manual实在是描述的不太清晰.

1. [root@vps616 study]# bin/main
   
2. top=1
   
3. top=2
   
4. yield=hello
   
5. top=1
   
6. return= world
   
7. top=2 1234

复制代码

执行结果如下, 可见, yield=hello后top=1, 是yield的返回值, 而return= world之后top=2, 栈底是1234, 栈顶是 world.
我得到结论就是: 在协程未return消亡前, 协程的栈只会容纳resume与yield彼此交换的参数, 直到return才会重新将原本thread栈上的值暴露出来.
这一点和直接调用一个普通函数一样, 在函数内部(相当于thread未return)来看栈只容纳了参数, 其他参数与函数之前的内容暂时屏蔽掉了.


上面这个感悟是否和谐, 求指正.



再就是之前在5.1里被lua_yield坑过, 那个版本yield只能抛回给lua函数而不能抛回给c函数, 5.2有了k系列就不一样了, 但我看5.2手册里lua_yield的说明太朦胧:

int lua_yield (lua_State *L, int nresults);

This function is equivalent to lua_yieldk, but it has no continuation (see §4.7). Therefore, when the thread resumes, it returns to the function that called the function calling lua_yield.

我以为这句话的描述是lua_yield相当于lua_yieldk的function传入当前的function, 但实际上当再次resume的时候并没有重新调用发起lua_yield的那个函数, 而是当再次resume直接返回true, 栈也是空的, 我就是很郁闷了.

根据这个结论, 我认为lua_yield是在lua_pcallk/lua_callk的callee函数中调用的, 这样再次resume执行的是lua_pcallk/lua_callk指定的function。

这个结论是否和谐?

linux_c_py_php

@starwing83

starwing83

第一个是对的。lua_resume就是把yield当作return的lua_pcall（注意错误本身会导致coroutine被咔嚓）

第二个不对，看实现就可以了，头文件里面lua_yield实际上是在调用lua_yieldk(L, nrets, NULL, 0);这样。文档说的很清楚，no continuation，不是把当前函数当continuation。就是这样。

starwing83

文档其实不是不清，需要一些背景知识，比如对resume的本质的了解和对continuation这个概念本身的了解，以及对CPS的了解……

参看我这篇文章：http://sw.is-programmer.com/2013 ... -caveats.36905.html

evaspring

coroutine 机制感觉好不靠谱，有人敢在项目里面用吗

starwing83

回复 5# evaspring


    一直在用啊~~很好用啊，很可靠呀~~

pandaiam

博客风格又换了..

osmanthusgfy

starwing83 发表于 2013-01-15 18:21
回复 5# evaspring

我前段时间在oschina上看到有人写了篇博客说：
coroutine比线程好，切换代价小，并且不需要锁等一系列优点.
作者展示了用C++实现coroutine机制，并用来作为一个服务器的框架，
作者说他的这种框架要比epoll reactor线程池的模型要高明.

我没有仔细了解coroutine，但说它要好过线程，我不苟同。
因为如果真有作者说的那么好，OS设计人员或者用户层的库的作者们应该会跟进.

linux_c_py_php

拜读了, 前两个例子非常深刻, 一开始也不好理解, 好在最后都理解了.

第一个pcallk的例子, 第一次resume进入wrap, 调用c_callback, 从而通过pcallk直接yield到wrap(这里pcallk里如果发生了yield, 直接就goto走了, pcallk根本不会返回, 再次resume也是进入c_cont并返回), 第二次resume进入c_cont并从c_callback函数返回到wrap内的调用点, 最后由wrap自己return nil.

我原本以为再次resume后return是返回到coroutine, 没想到这里是返回到c_callback的调用点...

C里调coroutine真是绕脑子, 应该是我没用过pcallk的原因, 都是直接newthread然后就lua_resume了, 所以产生这种错误认知, 这个错误认知应该是因为直接lua_resume->yield和resume->pcallk->yield中间的pcallk没有关注过.

这个理解对吗? 自我感觉pcallk这里不太对劲, 求讲解. 就是说, pcallk调用的函数里yield是返回到resume, 而return是返回到哪里呢? 我试了一下, 不是返回到pcallk, 而是返回到c_callback, 这是梦吗...

第二个例子一开始没看懂, 硬是读了几遍描述, 才搞清楚coroutine只是作用在Login这个逻辑上, 即server::login是登陆接口, 但它是不阻塞的, 在设置了login的callback后, 立即yield, 相当于这个登陆coroutine线程的CPU让出了, 等外部继续epoll等事件循环并触发Login的callback后, 会调用coroutine.resume将cpu让给server::login, 完成登陆.

实际上这个过程没有并发行为, 执行是串行的, 但coroutine帮忙让代码看起来像是阻塞的, 并且利用thread的栈保持了登陆的状态, 也可以说是一个断点, 等待事件触发后推动断点.

starwing83 发表于 2013-01-15 15:23
文档其实不是不清，需要一些背景知识，比如对resume的本质的了解和对continuation这个概念本身的了解，以及 ...

linux_c_py_php

@starwing83

哥, 再指导指导吧, 我快找到感觉了.

linux_c_py_php 发表于 2013-01-15 23:41
拜读了, 前两个例子非常深刻, 一开始也不好理解, 好在最后都理解了.

第一个pcallk的例子, 第一次resume进 ...