请教一个Beautiful Soup问题

mssp298

请教一个Beautiful Soup问题

您好，冒昧打扰一下。在使用Beautiful Soup解析亚马逊书店的页面：http://www.amazon.com/s/qid=1246 ... g_2?ie=UTF8&rs=1000&rh=n%3A!1000%2Ci%3Astripbooks&page=2的时候，我想提取该页内所有class="productTitle"的div标签，代码如下：
import urllib
from BeautifulSoup import BeautifulSoup
import re



webURL = "http://www.amazon.com/s/qid=1246505576/ref=sr_pg_2?ie=UTF8&rs=1000&rh=n%3A!1000%2Ci%3Astripbooks&page=2"
u = urllib.urlopen(webURL)
doc = u.read()      

soup = BeautifulSoup(doc)

print soup.findAll("div",attrs={"class" : "productTitle"})


但是运行结果为：
>>> ================================ RESTART ================================
>>>
[]
>>>
不知为什么会这样，弄了一下午，还是这样。希望您帮着看一下。谢谢

mssp298

有一个奇怪的发现。在上面的代码中添加一行代码：
print  doc
然后在输出结果中搜索字符串class="productTitle"，但是根本找不到这个字符串。但是同样的页面URL，打开浏览器的“查看”——>“页面源代码”，再次搜索字符串class="productTitle"，这次却能找得到这些字符串。我晕？？？？？？？？？？？

      诸位，谁能告诉在下为什么urllib抓取的页面内容会丢失东西呢？？？实在弄不懂。

king6o60

如果下载下来的源码和你在浏览器里面的源码有出入，可能是服务器加了解析了，你可以加上header试试。

4dian

import urllib2
import cookielib
import re
jar = cookielib.FileCookieJar("cookies")
results_web = "http://www.amazon.com/s/qid=1246505576/ref=sr_pg_2?ie=UTF8&rs=1000&rh=n%3A!1000%2Ci%3Astripbooks&page=2"
print results_web
request_web = urllib2.Request(results_web)
request_web.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5 (.NET CLR 3.5.30729)')
opener_web = urllib2.build_opener(urllib2.HTTPCookieProcessor(jar))
text = opener_web.open(request_web).read()
print re.findall(r'class="productTitle"',text)