免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › 如何使用代理抓取网页？

最近访问板块

发新帖

查看: 5488 | 回复: 7

上一主题

下一主题

如何使用代理抓取网页？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2008-10-07 15:46 |只看该作者 |倒序浏览

如题。大家说说思想，尽量详细些。。。

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2008-10-07 16:46 |只看该作者

看看这篇http://forum.ubuntu.org.cn/viewtopic.php?f=137&t=142622

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2008-10-08 09:18 |只看该作者

http://hi.baidu.com/guijia520 两种方式

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2008-10-08 11:54 |只看该作者

回复 #3 guijia8427 的帖子

看了你的文章，有两点不明确的地方。
1 {'http':'http://username:password@58.177.248.69:80'})这句中的username和password是什么意思，使用的时候直接这样写？
2 方法2中的“验证”是指什么？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2008-10-08 12:17 |只看该作者

原帖由 lemonniu 于 2008-10-8 11:54 发表
看了你的文章，有两点不明确的地方。
1 {'http':'http://username:password@58.177.248.69:80'})这句中的username和password是什么意思，使用的时候直接这样写？
2 方法2中的“验证”是指什么？

那两个是在代理服务器需要密码的时候才用的，一般 {'http':'http://58.177.248.69:80'}这样即可。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2008-10-08 14:41 |只看该作者

好像很多方法可以

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2008-10-08 16:42 |只看该作者

回复 #6 lastexile 的帖子

说说来

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2008-10-08 17:04 |只看该作者

什么是代理？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Python › 如何使用代理抓取网页？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP