Non-blocking下使用write发送socket数据

vesontio

我在网上看关于non-blocking的socket发送数据的文章，很多都自己另外实现一个writen函数：

1. 
   
2. int writen(int sock, unsigned char *buff, size_t len) {
   
3.   size_t total, offset;
   
4.   ssize_t ret;
   
5. 
   
6.   offset = 0;
   
7.   total = len;
   
8. 
   
9.   while (total > 0) {
   
10.     ret = write (fd, buff + offset, total)
    
11.       if (ret < 0) {
    
12.         if (errno == EAGAIN || errno == EWOULDBLOCK) {
    
13.           continue;
    
14.         }
    
15.         else {
    
16.           return -1;
    
17.         }
    
18.       }
    
19.     total -= ret;
    
20.     offset += ret;
    
21.   }
    
22.   return 0;
    
23. }
    

复制代码

上面这段代码没测试过，但是大概就是这个逻辑。

基本说白了就是反复发，直到把 buff 彻底发出去为止。那么问题是：这种做法，与 blocking 何异？反正也是抓着这个 fd 不放，使劲发。
采用 non-blocking 本来就是想提高系统的反应能力吧，这样不发完就不让走的形式，会不会和初衷背道而驰？

windoze

你不这么写不就完了？你就不能在那个循环中顺便再干点别的？

yulihua49

vesontio 发表于 2015-04-08 15:31
我在网上看关于non-blocking的socket发送数据的文章，很多都自己另外实现一个writen函数：上面这段代码没测 ...

1. 
   
2. int SendNet(int socket,char *buf,int n,int MTU)
   
3. {
   
4. int bcount,bw;
   
5. int sz,i=0;
   
6. int fflag;
   
7. size_t SendSize;
   
8. 
   
9.         if(socket<0) return SYSERR;
   
10.         fflag=fcntl(socket,F_GETFL,0);
    
11.         if(fflag != -1) fcntl(socket,F_SETFL,fflag|O_NONBLOCK); //异步操作
    
12.         bcount=0;
    
13.         bw=0;
    
14.         if(MTU>500) SendSize=MTU;
    
15.         else SendSize=n;
    
16.         while(bcount<n){
    
17.                 sz=MIN(n-bcount,SendSize);
    
18.                 if((bw=write(socket,buf,sz))>0){
    
19.                         bcount+=bw;
    
20.                         buf+=bw;
    
21.                 }
    
22.                 if(bw<0&&errno!=EAGAIN) {
    
23.                         ShowLog(1,"%s:err=%d,%s",__FUNCTION__,errno,strerror(errno));
    
24.                         break;
    
25.                 }
    
26.                 if(bw < sz && fflag != -1) { //切换任务
    
27. ShowLog(5,"%s:tid=%lX,socket=%d,yield bw=%d/%d",__FUNCTION__,pthread_self(),socket,bw,sz);
    
28.                     i=do_event(socket,1,0); //yield by EPOLLOUT
    
29.                     if(i<0) {//逃跑失败
    
30.                         fcntl(socket,F_SETFL,fflag);
    
31.                         fflag = -1;
    
32.                     }
    
33.                 }
    
34.         }
    
35.         if(fflag != -1)  fcntl(socket,F_SETFL,fflag);
    
36.         return bcount==0?-1:bcount;
    
37. }

复制代码

看27行，如果有可能，就yield to epoll，线程跑掉，当条件具备，就resume回来继续。
如果逃跑失败，就转成同步阻塞模式。
这个就是协程工作模式。AIO，NIO只有与协程结合才有意义。

yulihua49

yulihua49 发表于 2015-04-08 15:58
看27行，如果有可能，就yield to epoll，线程跑掉，当条件具备，就resume回来继续。
如果逃跑失败，就转成 ...

1. 
   
2. 5 FIRST:8  04/08 15:00'25 RecvNet:tid=7F50A46DB700,socket=21,yield bcount=0/68
   
3. 5 FIRST:8  04/08 15:00'25 thread_work:tid=7F50A46DB700,fiber yield from TCB_no=8
   
4. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A46DB700 create fiber for TCB_no=18
   
5. 2 midsc:15198 04/08 15:00'25 连接 127.0.0.1,TCB:17,timeout=360
   
6. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=10,tid=7F50A460F700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625043920
   
7. 3 FIRST:127.0.0.1:10 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=10,tid:7F50A460F700,USEC=3637551625044062
   
8. 5 FIRST:127.0.0.1:10 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=19
   
9. 5 FIRST:127.0.0.1:10 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=19
   
10. 5 FIRST:127.0.0.1:10 04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=23,yield bcount=0/68
    
11. 5 FIRST:127.0.0.1:10 04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=10
    
12. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=19
    
13. 2 midsc:15198 04/08 15:00'25 连接 127.0.0.1,TCB:19,timeout=360
    
14. 2 midsc:15198 04/08 15:00'25 连接 127.0.0.1,TCB:20,timeout=360
    
15. 2 midsc:15198 04/08 15:00'25 连接 127.0.0.1,TCB:18,timeout=360
    
16. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=15,tid=7F50A46DB700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625049720
    
17. 3 FIRST:127.0.0.1:15 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=15,tid:7F50A46DB700,USEC=3637551625049876
    
18. 5 FIRST:127.0.0.1:15 04/08 15:00'25 get_SC_weight:tid=7F50A46DB700,DNODE[1} weight[0]=18
    
19. 5 FIRST:127.0.0.1:15 04/08 15:00'25 get_SC_weight:tid=7F50A46DB700,DNODE[1} weight[1]=19
    
20. 2 midsc:15198 04/08 15:00'25 连接 127.0.0.1,TCB:21,timeout=360
    
21. 5 FIRST:7  04/08 15:00'25 do_work:call_back TCB_no=7,tid=7F50A460F700,USEC=3637551625050727
    
22. 3 FIRST:7  04/08 15:00'25 from_client:TCB:7,tid=7F50A460F700,Send to serv proto_num=0X000A,t_cont=-2147483646,SendPack ret=0,USEC=3637551625050774
    
23. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=13,tid=7F50A460F700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625050810
    
24. 3 FIRST:127.0.0.1:13 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=13,tid:7F50A460F700,USEC=3637551625050935
    
25. 5 FIRST:127.0.0.1:13 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=18
    
26. 5 FIRST:127.0.0.1:13 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=18
    
27. 5 FIRST:127.0.0.1:13 04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=25,yield bcount=0/68
    
28. 5 FIRST:127.0.0.1:13 04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=13
    
29. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=14
    
30. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=14,tid=7F50A460F700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625052286
    
31. 3 FIRST:127.0.0.1:14 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=14,tid:7F50A460F700,USEC=3637551625052427
    
32. 5 FIRST:127.0.0.1:14 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=17
    
33. 5 FIRST:127.0.0.1:14 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=18
    
34. 5 FIRST:127.0.0.1:14 04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=26,yield bcount=0/68
    
35. 5 FIRST:127.0.0.1:14 04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=14
    
36. 5 FIRST:11  04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=11
    
37. 4 FIRST:11  04/08 15:00'25 do_work: TCB_no=11,tid=7F50A460F700,PROTO_NUM=0 pkg_len=0,t_len=0,O_NODE=4187505156,USEC=3637551625053288
    
38. 3 FIRST:11  04/08 15:00'25 get_s_connect:get pool[0],TCB_no=11,tid:7F50A460F700,USEC=3637551625053304
    
39. 5 FIRST:11  04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=17
    
40. 5 FIRST:11  04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=17
    
41. 5 FIRST:127.0.0.1:15 04/08 15:00'25 RecvNet:tid=7F50A46DB700,socket=24,yield bcount=0/68
    
42. 5 FIRST:127.0.0.1:15 04/08 15:00'25 thread_work:tid=7F50A46DB700,fiber yield from TCB_no=15
    
43. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A46DB700 create fiber for TCB_no=22
    
44. 5 FIRST:11  04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=27,yield bcount=0/68
    
45. 5 FIRST:11  04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=11
    
46. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=16
    
47. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=16,tid=7F50A460F700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625054158
    
48. 3 FIRST:127.0.0.1:16 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=16,tid:7F50A460F700,USEC=3637551625054285
    
49. 5 FIRST:127.0.0.1:16 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=16
    
50. 5 FIRST:127.0.0.1:16 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=17
    
51. 5 FIRST:127.0.0.1:16 04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=28,yield bcount=0/68
    
52. 5 FIRST:127.0.0.1:16 04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=16
    
53. 5 midsc:15198 04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=9
    
54. 4 midsc:15198 04/08 15:00'25 do_work: TCB_no=9,tid=7F50A460F700,PROTO_NUM=0 pkg_len=77,t_len=77,O_NODE=16777343,USEC=3637551625055294
    
55. 3 FIRST:127.0.0.1:9 04/08 15:00'25 get_s_connect:get pool[0],TCB_no=9,tid:7F50A460F700,USEC=3637551625055422
    
56. 5 FIRST:127.0.0.1:9 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=16
    
57. 5 FIRST:127.0.0.1:9 04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=16
    
58. 5 FIRST:127.0.0.1:9 04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=29,yield bcount=0/68
    
59. 5 FIRST:127.0.0.1:9 04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=9
    
60. 5 FIRST:12  04/08 15:00'25 thread_work:7F50A460F700 create fiber for TCB_no=12
    
61. 4 FIRST:12  04/08 15:00'25 do_work: TCB_no=12,tid=7F50A460F700,PROTO_NUM=0 pkg_len=0,t_len=0,O_NODE=2557866597,USEC=3637551625056254
    
62. 3 FIRST:12  04/08 15:00'25 get_s_connect:get pool[0],TCB_no=12,tid:7F50A460F700,USEC=3637551625056270
    
63. 5 FIRST:12  04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[0]=15
    
64. 5 FIRST:12  04/08 15:00'25 get_SC_weight:tid=7F50A460F700,DNODE[1} weight[1]=16
    
65. 5 FIRST:12  04/08 15:00'25 RecvNet:tid=7F50A460F700,socket=30,yield bcount=0/68
    
66. 5 FIRST:12  04/08 15:00'25 thread_work:tid=7F50A460F700,fiber yield from TCB_no=12
    
67. 5 FIRST:8  04/08 15:00'25 thread_work:tid=7F50A460F700,resume to TCB_no=8
    
68. 
    

复制代码

第二行：tid=7F50A46DB700,fiber yield from TCB_no=8；线程DB700从TCB_no=8 逃出。
下一行它就为TCB_no=18服务了。
66行，TCB_no=8终于resume了，但是线程变为7F50A460F700了。

中间，一群线程抢一堆任务，好乱呀。

vesontio

回复 3# yulihua49


你好，这个 do_event 我猜就是所谓的“先去干别的事情吧”，那具体实现的时候是做什么操作呢？

yulihua49

vesontio 发表于 2015-04-08 16:16
回复 3# yulihua49

多线程协程的工作日志。搜一下AIO，ASIO，协程，纤程。。。。。
AIO,NIO如果不与协程结合就没有实际意义。

zhaohongjian000

6楼扯远了吧。

正常逻辑在遇到EAGAIN的时候向epoll注册可写事件，然后去处理其他任务。缓冲区中剩余的数据待可写事件触发后继续写。

windoze

回复 4# yulihua49

你一下给他灌这么多就不怕把他吓跑了？


楼主需要搞清楚一个基本概念，Nonblocking I/O的目的是确保操作流程不会有“意外”的阻塞，有了这个保证，你就可以在同一个流程中安排多组操作而不会有相互影响，这种做法就是“复用”。
所以，Nonblocking I/O天生就是要配合其它东西使用的，单独的一个NIO怎么做都没什么意义。

yulihua49

zhaohongjian000 发表于 2015-04-08 16:40
6楼扯远了吧。

正常逻辑在遇到EAGAIN的时候向epoll注册可写事件，然后去处理其他任务。缓冲区中剩余的数 ...

嗯。你那个是callback形式，IO完成后callback应用逻辑。continuations模型的两种形式：callback和coroutine。callback是由IO函数调用应用，coroutine是应用调用IO函数。
所以改成这样：
AIO，NIO脱离continuations，就没有什么实际意义，与上面哥们是一个意思。

windoze

回复 9# yulihua49

continuation，没有“e”，你拼错了