免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2106 | 回复: 3
打印 上一主题 下一主题

urllib2和urllib [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-01-22 12:30 |只看该作者 |倒序浏览
下面这段程序抓取google翻译的网页会返回一个403的错误
import urllib2
reg = urllib2.Request("http://"+raw_input(u"输入网址\n"))
fd = urllib2.urlopen(reg)
data = fd.read()
print data
但是下面这段程序可以成功抓取网页内容
import urllib
fd = urllib.urlopen("http://"+raw_input(u"输入网址\n"))
data = fd.read()
print data

为什么会出现这样的情况?我想知道这里面具体实现方式到哪里可以查到啊,现在只会按照书上说的依样画葫芦,出现问题了就不知道怎么回事了。
PS:两个程序都是在提示符"输入网址"后输入"translate.google.cn"

论坛徽章:
0
2 [报告]
发表于 2012-01-22 14:17 |只看该作者
这应该是google屏蔽了爬虫程序的缘故,在urllib2.Request()中设置headers,伪装成浏览器就可以了。

论坛徽章:
0
3 [报告]
发表于 2012-01-23 15:22 |只看该作者
或者用python调用ie, 这样肯定没问题

论坛徽章:
0
4 [报告]
发表于 2012-01-29 12:41 |只看该作者
一般就是修改 header 了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP