最近想用scrapy抓取一些网页，有没人在学习使用这个软件呢？一起交流下～～～～～～～～～～～～

[code] from taobao.proxy_list import PROXY_LIST class ProxyMiddleware(object): def process_request(self, request, spider): try: proxy = random.choice(PROXY_LIST) if proxy: request.meta['proxy'] = 'http://%s' % (proxy) except Exception,e: print 'proxy', e log.msg(e,level=log.ERROR) [/code]PROXY_LIST是个列表，包含了...

我在 middlewares.py中添加[code] class WebkitDownloader( object ): 52 def process_request( self, request, spider ): 53 if spider.name in settings.WEBKIT_DOWNLOADER: 54 if(type(request) is not FormRequest ): 55 webview = webkit.WebView() 56 webview.connect( 'load-finished', lambda v,f: gtk.main_quit() ) 57 webview.load_uri...

如果抓同一结构化的数据,比如租房信息,但是从不同的站抓取,比如58,ganji 这样是写多个project吗? 有没有办法在一直project里面同时抓多个站点?

比如要抓某个新浪博客,里面有分页,怎么样只处理分页的链接,忽略其他链接?

scrapy crawl xx 这样每次都是从头开始抓

比如一个种子站点,有列表页和详情页 ,列表页有 A , B 两个区块, 详情页有 B,C,D 三个区块,每个区块分别是某一类信息 那item是设置成一个ABCD的并集, 还是每个区块设置成一个item, 还有parser里面的代码是分开写还是全部写成一个方法?

比如某个商品 "大家印象"标签下有 ：“衣服不错”， “态度不错”等印象 我现在想要 点击 "衣服不错" 然后抓取该印象属性下的 评论 但是我发现点击 这个按钮后, url是不会发上变化的，不知道怎么办了，谁有好的解决方案， 帮帮忙， 感激不尽！！！

------使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。 这是项目的地址:https://github.com/gnemoug/distribute_crawler.git ------这个工程是我对垂直搜索引擎中分布式网络爬虫的探索实现，它包含一个针对http://www.woaidu.org/ 网站的spider， 将其网站的书名，作者，书籍封面图片，书籍概要，原始网址链接，书籍下载信息和书籍爬取...

本帖最后由 yakczh_cu 于 2013-04-06 19:34 编辑 按这个例子来的 http://blog.csdn.net/jiguanghoverli/article/details/8146973 ImportError: Error loading object 'scrapy.core.downloader.webclient.scrapyHTTPClientFactory': No module named win32api