免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3687 | 回复: 12

[C++] libuv发送数据问题 [复制链接]

论坛徽章:
2
技术图书徽章
日期:2014-04-15 16:30:27金牛座
日期:2014-06-06 16:20:49
发表于 2015-08-27 10:53 |显示全部楼层
最近在了解libuv,有了一定的认识。但是,在发送数据的时候,碰上了点问题
背景:我发现,在libuv网络库代码中,没有使用任何同步工具(mutex,condition,等等);就是说,网络I/O不能用于多线程;
但是,我们在多线程环境下,我可以把数据安全的放到对应的I/O线程;但是,怎么触发I/O线程去获取这个数据并且发送出去?
我看代码,write_cb只有在uv_write的时候可以注册?

由于我刚刚了解,肯定有认识不足的地方(可能就是我自己看错了),希望大侠能指点一二

谢谢

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-27 13:38 |显示全部楼层
knull 发表于 2015-08-27 10:53
最近在了解libuv,有了一定的认识。但是,在发送数据的时候,碰上了点问题
背景:我发现,在libuv网络库代 ...

每个连接,同时只能属于一个线程,所以不要锁。

连接池的管理过程要用锁,当一个连接分配给一个线程后就不用锁了。

论坛徽章:
2
技术图书徽章
日期:2014-04-15 16:30:27金牛座
日期:2014-06-06 16:20:49
发表于 2015-08-27 14:33 |显示全部楼层
回复 2# yulihua49
首先,谢谢你的回复;
我的问题是:一般情况下,epoll是一个线程;send是另一个线程;就是说,一个链接,肯定会有属于两个线程的情况;
另外,你说的一个链接,属于一个线程,是不是太奢侈了

   

论坛徽章:
43
15-16赛季CBA联赛之四川
日期:2018-10-13 23:26:5015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:36程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
发表于 2015-08-27 14:46 |显示全部楼层
回复 1# knull

  1. $ grep -Rn pthread_mutex libuv
  2. libuv/configure.ac:46:AC_CHECK_LIB([pthread], [pthread_mutex_init])
  3. libuv/include/pthread-fixes.h:45:  pthread_mutex_t  mutex;
  4. libuv/include/uv-unix.h:134:typedef pthread_mutex_t uv_mutex_t;
  5. libuv/src/unix/fs.c:621:  static pthread_mutex_t lock = PTHREAD_MUTEX_INITIALIZER;
  6. libuv/src/unix/fs.c:622:  pthread_mutex_lock(&lock);
  7. libuv/src/unix/fs.c:679:  pthread_mutex_unlock(&lock);
  8. libuv/src/unix/fsevents.c:495:  static pthread_mutex_t global_init_mutex = PTHREAD_MUTEX_INITIALIZER;
  9. libuv/src/unix/fsevents.c:501:  pthread_mutex_lock(&global_init_mutex);
  10. libuv/src/unix/fsevents.c:567:  pthread_mutex_unlock(&global_init_mutex);
  11. libuv/src/unix/pthread-fixes.c:66:  pthread_mutex_init(&barrier->mutex, NULL);
  12. libuv/src/unix/pthread-fixes.c:73:  pthread_mutex_lock(&barrier->mutex);
  13. libuv/src/unix/pthread-fixes.c:79:    pthread_mutex_unlock(&barrier->mutex);
  14. libuv/src/unix/pthread-fixes.c:88:  pthread_mutex_unlock(&barrier->mutex);
  15. libuv/src/unix/pthread-fixes.c:95:  pthread_mutex_destroy(&barrier->mutex);
  16. libuv/src/unix/thread.c:91:  return -pthread_mutex_init(mutex, NULL);
  17. libuv/src/unix/thread.c:93:  pthread_mutexattr_t attr;
  18. libuv/src/unix/thread.c:96:  if (pthread_mutexattr_init(&attr))
  19. libuv/src/unix/thread.c:99:  if (pthread_mutexattr_settype(&attr, PTHREAD_MUTEX_ERRORCHECK))
  20. libuv/src/unix/thread.c:102:  err = pthread_mutex_init(mutex, &attr);
  21. libuv/src/unix/thread.c:104:  if (pthread_mutexattr_destroy(&attr))
  22. libuv/src/unix/thread.c:113:  if (pthread_mutex_destroy(mutex))
  23. libuv/src/unix/thread.c:119:  if (pthread_mutex_lock(mutex))
  24. libuv/src/unix/thread.c:130:  err = pthread_mutex_trylock(mutex);
  25. libuv/src/unix/thread.c:139:  if (pthread_mutex_unlock(mutex))
复制代码
谁说libuv没用mutex?

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-27 14:52 |显示全部楼层
本帖最后由 yulihua49 于 2015-08-27 15:01 编辑
knull 发表于 2015-08-27 14:33
回复 2# yulihua49
首先,谢谢你的回复;
我的问题是:一般情况下,epoll是一个线程;send是另一个线程; ...

1.epoll_wait可以是很多线程,但每个线程一次只可以得到一个连接。
2.如果epoll_wait一次获取多个事件,它将分发到其他线程,分出去后,它就不再拥有它。所以还是一个线程在处理。
3.线程也可以从连接池获取连接,在一定时间内,一个连接只属于一个线程。

违背上述原则,一个连接同时被多个线程处理,就是“惊群”?如果你一定要这样处理,就必须加锁,一个完了再另一个,串行化。

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-27 14:56 |显示全部楼层
windoze 发表于 2015-08-27 14:46
回复 1# knull 谁说libuv没用mutex?

那些都应该是资源管理所用。真正的IO还要加锁吗?

论坛徽章:
43
15-16赛季CBA联赛之四川
日期:2018-10-13 23:26:5015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:36程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
发表于 2015-08-27 15:10 |显示全部楼层
回复 6# yulihua49

最基本的I/O,比如read/write,不一定是原子操作,所以加锁是必须的。

论坛徽章:
2
技术图书徽章
日期:2014-04-15 16:30:27金牛座
日期:2014-06-06 16:20:49
发表于 2015-08-28 11:04 |显示全部楼层
windoze 发表于 2015-08-27 14:46
回复 1# knull 谁说libuv没用mutex?

谢谢你的回复啊,热心的朋友;
我的意思是,libuv库中,网络I/O相关代码,是 没有用 到锁;并不是说它 没有 。
libuv本身是提供这些同步工具,但是在I/O中没有用到;在线程池等地方,用了。

论坛徽章:
2
技术图书徽章
日期:2014-04-15 16:30:27金牛座
日期:2014-06-06 16:20:49
发表于 2015-08-28 11:11 |显示全部楼层
回复 5# yulihua49
再次感谢;但是,我不是很能理解
你说的模型,是不是一个epoll_wait就管理一个链接?然后,一个线程管理一个epoll?
一般的模型,不都是N多个链接,放在一个epoll中管理;有事件过来,那么就激活这个链接?
如果是我说的模型,要将数据分发到其他work线程,那么还是需要锁的,这个似乎没有异议。
但是,其他线程处理完数据之后,要对对应的链接发送数据,可以直接用uv_write;但是,我测试发现,如果uv_write和epoll线程不是同一个的话,是存在问题的(虽然,我也觉得,理论上是不应该有问题的)。暂时,没有找到问题根本原因?但是,现象是,epoll_wait触发了写事件,导致两个线程同时写;但是,写队列没有锁,所以就挂壁了。

   

论坛徽章:
36
子鼠
日期:2013-08-28 22:23:29黄金圣斗士
日期:2015-12-01 11:37:51程序设计版块每日发帖之星
日期:2015-12-14 06:20:00CU十四周年纪念徽章
日期:2015-12-22 16:50:40IT运维版块每日发帖之星
日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳
日期:2016-01-27 10:31:172016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建
日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛
日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控
日期:2016-06-20 17:38:50技术图书徽章
日期:2016-07-19 13:54:03程序设计版块每日发帖之星
日期:2016-08-21 06:20:00
发表于 2015-08-28 15:38 |显示全部楼层
可以放加锁的队列,开个uv的timer在io线程里发
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP