免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1768 | 回复: 0

{求助}python编程scrapy使用代理出问题 [复制链接]

论坛徽章:
0
发表于 2016-07-07 10:00 |显示全部楼层
在实用scrapy不加代理功能的时候一切正常,但是加上代理就出现下图的错误信息
71AAE886-52B1-4DDE-A8E3-B9DEA9A4596B.png

经过测试之后发现
6D429EF9-BDC3-48E9-BE9C-C526A34012A7.png
可能的原因是我在把文件里面的代理导进代理列表的时候把所有ip都放到同一个ip_port中了,所以出了错误。

我想问的是这个怎么解决?如上图所示我直接把ip写入列表是正常的,但是从文件导入进来再生成列表的时候就出问题了。
新手刚接触,期待各位大神的指点,谢谢

ps:附上scrapy中代理的代码
setting文件中:
'''读取代理文件中的ip,写入PROXIES'''
PROXIES = []
for line in open('/Users/liushirong/Documents/py/baidu_data/baidu_data/daili.txt'):
    line = line.strip()
    PROXIES.append({'ip_port':'%s' % line ,'user_pass':''})


# 加入中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,
    'seo.middlewares.RandomUserAgent':400,

    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
    'seo.middlewares.ProxyMiddleware': 100,
}

middlewares文件中:
6C145C07-10B9-40F8-815A-A52C669BCEE8.png
71AAE886-52B1-4DDE-A8E3-B9DEA9A4596B.png
71AAE886-52B1-4DDE-A8E3-B9DEA9A4596B.png
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP