免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › scrapy如果要实现从上次中断的地方继续抓取怎么办

最近访问板块

发新帖

查看: 5949 | 回复: 1

上一主题

下一主题

scrapy如果要实现从上次中断的地方继续抓取怎么办 [复制链接]

论坛徽章:: 1

操作系统版块每日发帖之星
日期:2016-06-12 06:20:00

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2014-03-02 10:08 |只看该作者 |倒序浏览

scrapy crawl xx
这样每次都是从头开始抓

文库|博客

论坛徽章:: 11

技术图书徽章
日期:2014-03-01 14:44:34

天蝎座
日期:2014-05-21 22:11:59

金牛座
日期:2014-05-30 17:06:14

2楼 [报告]

发表于 2014-03-02 16:45 |只看该作者

本帖最后由 timespace 于 2014-03-02 16:46 编辑

帮你google了一下scrapy resume crawl，然后直接就定位到官方文档的任务暂停与重启了
就是加一个选项就OK

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Python › scrapy如果要实现从上次中断的地方继续抓取怎么办

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP