
平台论坛博客文库

› 论坛 › 程序设计 › Python › python爬虫疑惑

python爬虫疑惑 [复制链接]

lgcHR

白手起家

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-04-04 11:03 |只看该作者 |倒序浏览

请大鸟帮小弟一下啊：
我最近在写python的爬虫，有很多疑问:1.网络异常（情况很多）这时候怎么取解决网络异常，直接try一下在except中什么也不做，直接忽略掉？2.我之前一直没有用到多线程，程序运行
很长时间之后就卡着不动了，只要ctrl-c一下又可以继续运行了，这是怎么回事呢？，是不是多线程就可以解决这个问题呢？3.如果用一个线程监视url队列，另外一个线程抓网页，那么如果发生像2中的情况怎么结束这个抓网页的线程？

文库|博客

anonymous0502

大富大贵

论坛徽章:: 0

2楼 [报告]

发表于 2012-04-04 13:21 |只看该作者

这种问题有点复杂吧，是不是可以在程序中加入记录日志的功能，看看程序运行碰到什么情况会貌似挂起。
再加入异常捕获看看问题在哪里

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Python › python爬虫疑惑

python爬虫疑惑 [复制链接]

浏览过的版块