免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5184 | 回复: 8

用urllib2.urlopen()获取html时,为什么都是一些js代码? [复制链接]

论坛徽章:
0
发表于 2014-10-13 08:17 |显示全部楼层
想用urllib2.urlopen()函数获取返回html中的某些标签,发现得到的都是一些js代码。请问使用urllib2.urlopen()可以获得最终的html吗?如果不能,有什么办法解决这个问题吗?谢谢大家了!

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2014-10-13 09:24 |显示全部楼层
收藏,期待楼主继续更新!

论坛徽章:
1
卯兔
日期:2014-10-14 13:29:48
发表于 2014-10-13 10:16 |显示全部楼层
试下这种方法:
f =  urllib2.urlopen(url)
fopen = open('/tmp/test.html','w')
fopen.write(f.read())
fopen.close()

论坛徽章:
0
发表于 2014-10-13 20:22 |显示全部楼层
用了楼上说的方法,还是不行,得到的结果始终和浏览器查看html得到的结果不一样。

论坛徽章:
1
卯兔
日期:2014-10-14 13:29:48
发表于 2014-10-14 10:35 |显示全部楼层
方便发下你的代码看下吗?回复 4# danieluec


   

论坛徽章:
0
发表于 2014-10-14 12:38 |显示全部楼层
原来是我的url输入错了,导致返回了一个满是js代码的页面,让我误以为是urllib2解析不到。太抱歉了!劳烦各位了,谢谢!

求职 : Linux运维
论坛徽章:
0
发表于 2014-10-14 13:05 |显示全部楼层
本帖最后由 plutonji 于 2014-10-14 13:06 编辑

urlopen()是对括号里的URL进行HTTP请求,返回值可能是HTML也可能是JavaScript,还可能是别的东西

论坛徽章:
0
发表于 2014-10-14 13:09 |显示全部楼层
是的,我以前也遇到过这几种情况。有什么好的库可以直接解析成最终的html吗?

论坛徽章:
0
发表于 2015-11-28 18:44 |显示全部楼层
hello,你好,最近我在写个爬虫,用urllib2.urlopen()获取html时,发现和浏览器看到html不一样,感觉解析不完整,好像返回是js代码,我想获得完整的html,请问该怎么办?谢谢了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP