忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 378 | 回复: 1

求助:为毛我的scrapy程序无法运行,实在查不出问题 [复制链接]

论坛徽章:
0
发表于 2017-05-16 11:31 |显示全部楼层
我写了个简单的scrapy程序,用于爬取网上的一些内容,代码如下:
items.py
  1. from scrapy.item import Item, Field

  2. class DmozItem(Item):

  3.     title = Field()
  4.     link = Field()
  5.     comment = Field()
复制代码
dmoz.py如下:
  1. from scrapy.spiders import Spider
  2. from scrapy.selector import Selector

  3. from dmoz.items import DmozItem

  4. class dmoz(Spider):
  5.         name = 'Dmoz'
  6.         allowed_domains = ['dmoztools.net']
  7.         start_urls = ['http://dmoztools.net/Society/Philosophy/Aesthetics/']

  8.         def parse(self, response):
  9.                 for sel in response.xpath('//*[@id="site-list-content"]/div[1]/div[3]'):
  10.                         item = DmozItem()
  11.                         item['title'] = sel.xpath('a/@href').extract()
  12.                         item['link'] = sel.xpath('a/div/text()').extract()
  13.                         item['comment'] = sel.xpath('div/text()').extract()
  14.                         yield item
复制代码
我的工程和代码目录如下
dmoz/dmoz/items.py
dmoz/dmoz/spiders/dmoz.py

报错提示:
  1. D:\Python27\scrapy\dmoz>scrapy crawl Dmoz
  2. Traceback (most recent call last):
  3.   File "d:\python27\lib\runpy.py", line 174, in _run_module_as_main
  4.     "__main__", fname, loader, pkg_name)
  5.   File "d:\python27\lib\runpy.py", line 72, in _run_code
  6.     exec code in run_globals
  7.   File "D:\Python27\Scripts\scrapy.exe\__main__.py", line 9, in <module>
  8.   File "d:\python27\lib\site-packages\scrapy\cmdline.py", line 141, in execute
  9.     cmd.crawler_process = CrawlerProcess(settings)
  10.   File "d:\python27\lib\site-packages\scrapy\crawler.py", line 238, in __init__
  11.     super(CrawlerProcess, self).__init__(settings)
  12.   File "d:\python27\lib\site-packages\scrapy\crawler.py", line 129, in __init__
  13.     self.spider_loader = _get_spider_loader(settings)
  14.   File "d:\python27\lib\site-packages\scrapy\crawler.py", line 325, in _get_spider_loader
  15.     return loader_cls.from_settings(settings.frozencopy())
  16.   File "d:\python27\lib\site-packages\scrapy\spiderloader.py", line 45, in from_settings
  17.     return cls(settings)
  18.   File "d:\python27\lib\site-packages\scrapy\spiderloader.py", line 23, in __init__
  19.     self._load_all_spiders()
  20.   File "d:\python27\lib\site-packages\scrapy\spiderloader.py", line 32, in _load_all_spiders
  21.     for module in walk_modules(name):
  22.   File "d:\python27\lib\site-packages\scrapy\utils\misc.py", line 71, in walk_modules
  23.     submod = import_module(fullpath)
  24.   File "d:\python27\lib\importlib\__init__.py", line 37, in import_module
  25.     __import__(name)
  26.   File "D:\Python27\scrapy\dmoz\dmoz\spiders\dmoz.py", line 4, in <module>
  27.     from dmoz.items import DmozItem
  28. ImportError: No module named items
复制代码


论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2017-05-16 15:57 |显示全部楼层
ImportError: No module named items
这个错误已经很明显了吧,另外这个items是你自己写的python吧,你搜索“python import 自己的模块”基本就能得到答案
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票6.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP