论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-10-25 03:40 |只看该作者 |倒序浏览

本帖最后由 PfanAya 于 2012-10-25 05:02 编辑

import urllib, re
from subprocess import call
baiduimage = urllib.urlopen("http://image.baidu.com/i?tn=list&word=liulan#%E7%BE%8E%E5%A5%B3|%E5%85%A8%E9%83%A8").read()
imageurl = re.compile(r'\<image.+src="(.+)".*\>')
urls = imageurl.findall(baiduimage)
for url in urls:
call(['wget', url])
print 'Done'

复制代码

想批量下载百度的图片，上面的代码如果在一般的网页上是没问题的，但百度图片是动态加载的，执行完baiduimage = urllib.urlopen("http://image.baidu.com/i?tn=list&word=liulan#%E7%BE%8E%E5%A5%B3|%E5%85%A8%E9%83%A8").read()通过print baiduimage查看到下载的网页里一个jpg都没有，另外百度图片比如http://t1.baidu.com/it/u=3308324 ... ;fm=25&gp=0.jpg 都是不能直接访问的，会出现403 Forbidden。

有个想法：在脚本中调用 webbrowser模块调用系统默认浏览器打开网页，然后去浏览器的缓存里把图片提取出来，但这样也只能提取几个，对于动态加载的图片怎么下载呢？

不知道各位有什么办法没？

文库|博客

linux_c_py_php

巨富豪门

论坛徽章:: 4

2楼 [报告]

发表于 2012-10-25 11:01 |只看该作者

本帖最后由 linux_c_py_php 于 2012-10-25 11:02 编辑

1, AJAX拉回来的图片地址, 你不执行JS是拿不到的, 你必须去读JS代码, 找到AJAX的请求相关代码, 自己模拟AJAX请求来获取图片地址.
2, 加上referer的header，图片防盗链了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

PfanAya

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2012-10-25 13:21 |只看该作者

回复 2# linux_c_py_php

多谢回复:wink:

那就是说即使有图片的地址也不能通过wget来下载了必须要用浏览器加载JS后才可以在浏览器里看到

还有关于通过webbrowser调用浏览器打开网页然后从浏览器的缓存里获取图片的方法您觉得可行吗？百度的图片跟微博一样是动态加载的，滚动条向下滚才能获得图片，这有什么办法吗？搜了一下好像没有控制浏览器滚动和模块……