免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: iamlimeng

用多线程和持续连接实现高速WEB请求 [复制链接]

论坛徽章:
0
发表于 2010-06-17 13:58 |显示全部楼层
Coro直接带 Coro::Semaphore; 线程池 不用自己写
hitsubunnu 发表于 2010-06-17 11:25



这个也不错,不过运行不太稳定,到第700-800之间发呆,程序没有自动结束(不知道是不是我网络不好,但我一楼的程序能正常跑完),可能需要加入控制代码,以使之稳定。另外,系统资源开销非常大,程序运行时CPU基本是90%以上。

论坛徽章:
0
发表于 2010-06-17 14:31 |显示全部楼层
赞~~~

论坛徽章:
0
发表于 2010-06-17 14:35 |显示全部楼层
回复 11# iamlimeng


   调整LIMIT的数值 现在是并行200个线程

论坛徽章:
0
发表于 2010-06-18 11:39 |显示全部楼层
收藏了

论坛徽章:
0
发表于 2010-06-18 16:25 |显示全部楼层
不错,改天有时间试试

论坛徽章:
0
发表于 2010-06-18 19:12 |显示全部楼层
非常好的东西啊
一定要好好学习
谢谢分享,非常感谢

论坛徽章:
5
狮子座
日期:2013-08-20 10:12:24午马
日期:2013-11-23 18:04:102015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之德黑兰石油
日期:2015-06-29 18:11:1115-16赛季CBA联赛之新疆
日期:2024-02-21 10:00:53
发表于 2010-06-18 21:13 |显示全部楼层
问一个问题:perl的函数本身哪些是原子的?还是都不是原子的??

比如说push,如果我要在不同的进程push一个array,是不是说我就必须对这个array加锁,不加锁都不行?(如果push是一个原子操作,那么应该是可以不加锁的……不过看起来好像lz对自增自减这种操作都加锁了……)

论坛徽章:
5
狮子座
日期:2013-08-20 10:12:24午马
日期:2013-11-23 18:04:102015年辞旧岁徽章
日期:2015-03-03 16:54:152015亚冠之德黑兰石油
日期:2015-06-29 18:11:1115-16赛季CBA联赛之新疆
日期:2024-02-21 10:00:53
发表于 2010-06-18 22:38 |显示全部楼层
7L的不是线程池吧???线程池的目的就是为了避免频繁创造线程。7L的达不到这个目的啊,只是限制了同时执行多少个线程而已。

如果把async改成async_pool,则可以使用内部的线程池。但是这样不好join,不知道有没有什么办法能join内部的小线程池的……

实在不行也就只能用Coro写个线程池算了……

论坛徽章:
0
发表于 2010-06-18 23:43 |显示全部楼层
问一个问题:perl的函数本身哪些是原子的?还是都不是原子的??

比如说push,如果我要在不同的进程push ...
starwing83 发表于 2010-06-18 21:13



threads默认不共享的。操作共享变量,最好都加锁。

论坛徽章:
0
发表于 2010-06-19 21:22 |显示全部楼层
学习下了,偶最近正好要用perl 批量下个东东 ,5000多个网页,下了一个多小时。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP