免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4946 | 回复: 6

用python写spider,大家有什么推荐的lib吗? [复制链接]

论坛徽章:
0
发表于 2008-12-05 17:37 |显示全部楼层
用python写spider,大家有什么推荐的lib吗?
最近想用spider写个分布式的spider,http协议部分不知道使用那个库好,原来在c++上用curl不知道python上是否是最好的,大家有什么推荐

论坛徽章:
0
发表于 2008-12-05 18:19 |显示全部楼层

回复 #1 djw_posion 的帖子

用urllib2呗

论坛徽章:
0
发表于 2008-12-05 19:25 |显示全部楼层

回复 #2 tearyrose 的帖子

粗看了一下好像没有curl强大

论坛徽章:
0
发表于 2008-12-05 22:14 |显示全部楼层
楼主号称用过 curl 不会不知道它有个  python bind 叫 pycurl 吧?

论坛徽章:
0
发表于 2008-12-06 08:18 |显示全部楼层
就用pycurl,大型点的都用这个。第三方的。
http://pycurl.sourceforge.net/

论坛徽章:
0
发表于 2008-12-06 10:32 |显示全部楼层
原帖由 djw_posion 于 2008-12-5 19:25 发表
粗看了一下好像没有curl强大

pycurl没有用过,你的强大是指什么?有什么是其他库做不了的?

论坛徽章:
0
发表于 2008-12-07 14:44 |显示全部楼层

回复 #4 lanphaday 的帖子

这个当然知道,现在正在选择中,比如:ptython有没有aprwget的借口,这个要比curl要强,或者诸位有什么更好的建议。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2021中国系统架构师大会

【数字转型 架构重塑】
2022年1月13-15日,由IT168旗下ITPUB企业社区平台主办的第十四届中国系统架构师大会(SACC2021)将在云端进行网络直播。
为期3天的议程,涉及20+专场,近120个主题,完整迁移到线上进行网络直播对会议组织来说绝非易事;但考虑到云端会议的直播形式可以实现全国各地技术爱好者的参与,也使ITPUB作为技术共享交流平台得到更好的普及,我们决定迎难而上。

大会官网
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP