免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2396 | 回复: 3

ruby 蜘蛛模块 [复制链接]

论坛徽章:
27
水瓶座
日期:2014-08-22 21:06:34程序设计版块每日发帖之星
日期:2015-11-25 06:20:0015-16赛季CBA联赛之新疆
日期:2015-12-19 19:05:48IT运维版块每日发帖之星
日期:2015-12-25 06:20:31IT运维版块每日发帖之星
日期:2015-12-25 06:20:31IT运维版块每日发帖之星
日期:2015-12-25 06:20:3315-16赛季CBA联赛之上海
日期:2016-04-15 19:51:31程序设计版块每日发帖之星
日期:2016-04-17 06:23:29程序设计版块每日发帖之星
日期:2016-04-23 06:20:00程序设计版块每日发帖之星
日期:2016-05-26 06:20:00每日论坛发贴之星
日期:2016-05-26 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-02-16 23:59:47
发表于 2013-06-12 16:01 |显示全部楼层
  1. require 'rubygems'
  2. require 'anemone'

  3. Anemone.crawl("http://bbs.chinaunix.net/forum-116-1.html") do |page|
  4. page.on_every_page do |p|
  5. puts p.url
  6. end

  7. end
复制代码
  1. ruby spider.rb
  2. http://bbs.chinaunix.net/forum-116-1.html
  3. http://bbs.chinaunix.net/
  4. http://bbs.chinaunix.net/member.php?mod=logging&action=login&logsubmit=yes
  5. http://bbs.chinaunix.net/member.php?mod=register.php
  6. http://bbs.chinaunix.net/forummodule-7-116-1.html
  7. http://bbs.chinaunix.net/forummodule-8-116-1.html
  8. http://bbs.chinaunix.net/forummodule-5-0-1.html
  9. http://bbs.chinaunix.net/listthread.php
  10. http://bbs.chinaunix.net/forummodule-6-116-1.html
  11. http://bbs.chinaunix.net/thread-4085530-1-1.html
  12. http://bbs.chinaunix.net/thread-4085563-1-1.html
  13. http://bbs.chinaunix.net/thread-4084951-1-1.html
  14. http://bbs.chinaunix.net/thread-4084352-1-1.html
  15. http://bbs.chinaunix.net/thread-4085161-1-1.html
  16. http://bbs.chinaunix.net/thread-4084648-1-1.html
  17. http://bbs.chinaunix.net/thread-4085138-1-1.html
  18. http://bbs.chinaunix.net/thread-4084117-1-1.html
  19. http://bbs.chinaunix.net/thread-4083590-1-1.html
  20. http://bbs.chinaunix.net/thread-4073559-1-1.html
  21. http://bbs.chinaunix.net/thread-4066941-1-1.html
  22. http://bbs.chinaunix.net/thread-4071696-1-1.html
  23. http://bbs.chinaunix.net/thread-4073563-1-1.html
  24. http://bbs.chinaunix.net/thread-4069592-1-1.html
  25. http://bbs.chinaunix.net/thread-4073561-1-1.html
  26. http://bbs.chinaunix.net/thread-4069836-1-1.html
  27. http://bbs.chinaunix.net/thread-4071205-1-1.html
  28. http://bbs.chinaunix.net/thread-4073564-1-1.html
  29. http://bbs.chinaunix.net/thread-3556368-1-1.html
  30. http://bbs.chinaunix.net/thread-3578635-1-1.html
  31. http://bbs.chinaunix.net/thread-1828414-1-1.html
  32. http://bbs.chinaunix.net/thread-3600440-1-1.html
  33. http://bbs.chinaunix.net/thread-2003541-1-1.html
  34. http://bbs.chinaunix.net/thread-1839514-1-1.html
  35. http://bbs.chinaunix.net/thread-1825155-1-1.html
  36. http://bbs.chinaunix.net/thread-955875-1-1.html
  37. http://bbs.chinaunix.net/thread-1824205-1-1.html
  38. http://bbs.chinaunix.net/thread-953289-1-1.html
复制代码

论坛徽章:
3
寅虎
日期:2013-11-27 07:53:29申猴
日期:2014-09-12 09:24:152015年迎新春徽章
日期:2015-03-04 09:48:31
发表于 2013-06-13 11:16 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
1
操作系统版块每日发帖之星
日期:2016-06-12 06:20:00
发表于 2013-06-13 18:52 |显示全部楼层
怎么样爬指定特证的url,还有怎么样处理内容,
能不能象python的scrapy那样自定义

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2013-06-18 19:08 |显示全部楼层
学习了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP