有没有人试过 scrapy + webkit

a10086b

我在 middlewares.py中添加

1. class WebkitDownloader( object ):
   
2. 52     def process_request( self, request, spider ):
   
3. 53         if spider.name in settings.WEBKIT_DOWNLOADER:
   
4. 54             if(type(request) is not FormRequest ):
   
5. 55                 webview = webkit.WebView()
   
6. 56                 webview.connect( 'load-finished', lambda v,f: gtk.main_quit() )
   
7. 57                 webview.load_uri( request.url )
   
8. 58                 gtk.main()
   
9. 59                 js = jswebkit.JSContext( webview.get_main_frame().get_global_context() )
   
10. 60                 renderedBody = str( js.EvaluateScript( 'document.body.innerHTML' ) )
    
11. 61                 return HtmlResponse( request.url, body=renderedBody )
    

复制代码

在settings.py中添加

1. DOWNLOADER_MIDDLEWARES = {
   
2. 31 #    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': None,
   
3. 32 #    'search_spider.middlewares.ProxyMiddleware': 100,
   
4. 33     'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
   
5. 34     'taobao.middlewares.WebkitDownloader': 543,    //按网上说的，新添的
   
6. 35     'taobao.middlewares.UserAgentMiddleware': 400,
   
7. 36     }
   
8. 
   
9. WEBKIT_DOWNLOADLER=['taobao_spider']
   
10. 52 import os
    
11. 53 os.environ["DISPLAY"] = ":0"
    

复制代码

然后用 scrapy crawl taobao_spider
直接退出了 ， 什么输出都没，不知道怎么搞得？
有谁用过 scrapy + webkit处理过 js动态生成的DOM结点， 然后抓取数据经验的，或者其他有效方法，欢迎提出，感激不尽！！！

a10086b

什么js,都扯淡，还不是用浏览器 的审查元素， 拼出url