请问pyhon开多线程费内存吗

aaronvox

原帖由 fandatou 于 2006-11-13 23:36 发表
每干啥，就是抓下来网页用正则把需要的数据取下来。刚修改了下程序，不指定每次线程启动数，程序效率提升不少，从33/分钟 提升到50个/分钟. 内存就剩下1008k。

我的程序就是单线程也一样运行时间长了就会占用很 ...

时间长了就会占用很大内存??
检查下是不是没有释放什么变量致使持续变大
据我所知perl里定义个ref，undef后不会释放内存，但是新生成的ref会利用原undef的内存
所以如果不是持续抢占地盘应该没有那么夸张
等待flw出现...

assiss

那有可能是你的垃圾回收管理真的没起作用……
不过这样的可能性不太大。

PYTHON的垃圾回收机制似乎是根据数量来定的，到达一定数量后启动gc.collect()
这也许是为了效率。

这就造成了使用pygtk时gtk.gdk.pixbuf的困惑：pixbuf每个都可能占用数MB甚至数十MB的内存，十个PIXBUF就有可能把内存耗光。而１０个PIXBUF被DEL的时候，gc.collect()一般是不会自动启动的，需要手工调用。

fandatou

经过测试python不费内存，程序跑起来只有了41M内存，其中包含一个9M的 list，CPU倒是一直100％
跟我的perl倒是相得益彰，一个用内存一个用cpu，各取所需

flw

blem* 同学，请不要诽谤，编辑一下你的发言。

bleem1998

原帖由 flw 于 2006-12-11 12:45 发表
blem* 同学，请不要诽谤，编辑一下你的发言。

'bleem1998'貌似不匹配'blem*'
看来不是说我

flw

原帖由 bleem1998 于 2006-12-11 12:54 发表

'bleem1998'貌似不匹配'blem*'
看来不是说我

请你编辑一下你的发言，谢谢。

bleem1998

好吧
看在你是技术大牛MM的份上

flw

原帖由 bleem1998 于 2006-12-11 13:01 发表
好吧
看在你是技术大牛MM的份上

感谢。

fandatou

近来看到google用的python写的爬虫，一台机器能维护300个线程，我这里5个线程就cpu100％了。为啥呢？笔记本是迅驰1.4的 server是志强2G ＋2M 的 都是100％

limodou

在循环中加入些等待的处理，不然会一直占用的。