论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-03-22 15:50 |只看该作者 |倒序浏览

我写了一个验证代理服务器匿名程度的perl脚本，开了5个线程去访问被测页面。脚本一开60M内存没了，检测完358个代理服务器后，内存占用高达200M。我就开了5个线程为啥么perl多线程这么废内存。

过几天我要写一个9线程脚本，每个线程要连续访问499个页面并处理信息，请问诸位高手pyhton多线程处理能力如何，内存使用情况如何？是否稳定？

文库|博客

bleem1998

富足长乐

论坛徽章:: 0

2楼 [报告]

发表于 2006-03-22 23:25 |只看该作者

[ 本帖最后由 bleem1998 于 2006-12-11 13:01 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

fandatou

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2006-03-28 14:20 |只看该作者

不是说perl坏话，我的程序大部分都是perl的。我现在处理22个服务器的信息，还有100多台服务器的信息没弄呢，必须为将来考虑。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Rcfeng 该用户已被删除	4楼 [报告] 发表于 2006-03-29 13:51 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
Rcfeng 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

xichen

荣誉版主

论坛徽章:: 0

5楼 [报告]

发表于 2006-04-03 16:50 |只看该作者

我开过30个线程的程序,内存占用大约10M左右吧,我想这个还是和程序有关的.
另外perl应该没有这么离谱,多线程和多进程是不一样的.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

fandatou

白手起家

论坛徽章:: 0

6楼 [报告]

发表于 2006-11-12 19:00 |只看该作者

哈哈，把程序修改为30线程的，内存直接奔1G去了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

assiss

家境小康

论坛徽章:: 0

7楼 [报告]

发表于 2006-11-12 21:18 |只看该作者

也太恐怖了吧。
如果只是简单的测试代理页面，绝对不会用到这么多内存的。

线程本身并不占用多少内存，占用内存的是线程里的应用。

就算是对访问页面的复杂应用，把所需页面全面加载到内存，每个页面也不过几百K吧。
就算PYTHON的自动管理内存没起作用，几百K×500页面，也不会到1个G吧。

楼主是不是调用了其它耗内存的函数？