免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › urllib2如何完全读出网站的源码

最近访问板块

发新帖

查看: 3074 | 回复: 4

上一主题

下一主题

urllib2如何完全读出网站的源码 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2009-11-16 10:50 |只看该作者 |倒序浏览

10可用积分

使用urllib2读一些网站的源代码，模拟浏览器用。基本上都还可以正常操作。

只不过“http://www3.hkinventory.com/public/Home.asp”这个网站挺奇怪。每次读出的，都不是真正的代码。用IE或者Firefox看都是正常的。

个人分析是不是因为这个网站根据一些cookie的设定，来判断是不是标准浏览器，还是程序来读取。

请各位高手给个提示。谢谢！

文库|博客

论坛徽章:: 1

2015年迎新春徽章
日期:2015-03-04 09:50:28

2楼 [报告]

发表于 2009-11-16 11:53 |只看该作者

用抓包软件，看看传输的包有什么不一样。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2009-11-16 12:08 |只看该作者

get:
http://www3.hkinventory.com/public/Home.asp
post:
http://www3.hkinventory.com/Passport/HKIPassport.asp?pk=60651
get:
http://www3.hkinventory.com/public/Home.asp

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2009-11-16 12:53 |只看该作者

谢谢两位。跳转了几次，这个我也查到了。不过如何解决这个问题呢。能够得到正确的html代码呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2009-11-16 13:41 |只看该作者

第二次跳看看携带的 cookies 拿下来，一起提交就是

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Python › urllib2如何完全读出网站的源码

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP