免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › python抓网页似乎不如perl加lwp

12 / 2 页

最近访问板块

发新帖

楼主: jmylf

上一主题

下一主题

python抓网页似乎不如perl加lwp [复制链接]

论坛徽章:: 0

11楼 [报告]

发表于 2008-07-30 16:18 |只看该作者

奇怪啊，难道有的网站必须要求加上user agent么？不明白啊，再去查查书

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

12楼 [报告]

发表于 2008-07-30 17:21 |只看该作者

恩，不少网站都会检查这个。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

13楼 [报告]

发表于 2008-08-25 03:11 |只看该作者

python 抓网页的时候支持JS吗，比如当前JS跳转它会抓取跳转后的页面吗？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

14楼 [报告]

发表于 2008-08-25 09:49 |只看该作者

有哪个能支持js跳转的？

没听说过哦。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

15楼 [报告]

发表于 2008-08-25 21:54 |只看该作者

其实抓web也没ruby好用。
在对时间类型的处理，http read()后的编码的存储问题上，让我大跌眼睛；而且heapsort，array访问效率也很低：（。不过也办法，随让它库等资源多呢

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

12 / 2 页

发新帖

Chinaunix › 论坛 › 程序设计 › Python › python抓网页似乎不如perl加lwp

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP