ruby 蜘蛛模块

shijiang1130

1. require 'rubygems'
   
2. require 'anemone'
   
3. 
   
4. Anemone.crawl("http://bbs.chinaunix.net/forum-116-1.html") do |page|
   
5. page.on_every_page do |p|
   
6. puts p.url
   
7. end
   
8. 
   
9. end

复制代码

1. ruby spider.rb
   
2. http://bbs.chinaunix.net/forum-116-1.html
   
3. http://bbs.chinaunix.net/
   
4. http://bbs.chinaunix.net/member.php?mod=logging&action=login&logsubmit=yes
   
5. http://bbs.chinaunix.net/member.php?mod=register.php
   
6. http://bbs.chinaunix.net/forummodule-7-116-1.html
   
7. http://bbs.chinaunix.net/forummodule-8-116-1.html
   
8. http://bbs.chinaunix.net/forummodule-5-0-1.html
   
9. http://bbs.chinaunix.net/listthread.php
   
10. http://bbs.chinaunix.net/forummodule-6-116-1.html
    
11. http://bbs.chinaunix.net/thread-4085530-1-1.html
    
12. http://bbs.chinaunix.net/thread-4085563-1-1.html
    
13. http://bbs.chinaunix.net/thread-4084951-1-1.html
    
14. http://bbs.chinaunix.net/thread-4084352-1-1.html
    
15. http://bbs.chinaunix.net/thread-4085161-1-1.html
    
16. http://bbs.chinaunix.net/thread-4084648-1-1.html
    
17. http://bbs.chinaunix.net/thread-4085138-1-1.html
    
18. http://bbs.chinaunix.net/thread-4084117-1-1.html
    
19. http://bbs.chinaunix.net/thread-4083590-1-1.html
    
20. http://bbs.chinaunix.net/thread-4073559-1-1.html
    
21. http://bbs.chinaunix.net/thread-4066941-1-1.html
    
22. http://bbs.chinaunix.net/thread-4071696-1-1.html
    
23. http://bbs.chinaunix.net/thread-4073563-1-1.html
    
24. http://bbs.chinaunix.net/thread-4069592-1-1.html
    
25. http://bbs.chinaunix.net/thread-4073561-1-1.html
    
26. http://bbs.chinaunix.net/thread-4069836-1-1.html
    
27. http://bbs.chinaunix.net/thread-4071205-1-1.html
    
28. http://bbs.chinaunix.net/thread-4073564-1-1.html
    
29. http://bbs.chinaunix.net/thread-3556368-1-1.html
    
30. http://bbs.chinaunix.net/thread-3578635-1-1.html
    
31. http://bbs.chinaunix.net/thread-1828414-1-1.html
    
32. http://bbs.chinaunix.net/thread-3600440-1-1.html
    
33. http://bbs.chinaunix.net/thread-2003541-1-1.html
    
34. http://bbs.chinaunix.net/thread-1839514-1-1.html
    
35. http://bbs.chinaunix.net/thread-1825155-1-1.html
    
36. http://bbs.chinaunix.net/thread-955875-1-1.html
    
37. http://bbs.chinaunix.net/thread-1824205-1-1.html
    
38. http://bbs.chinaunix.net/thread-953289-1-1.html
    

复制代码

yakczh_cu

怎么样爬指定特证的url,还有怎么样处理内容,
能不能象python的scrapy那样自定义

rubyish

学习了