nutch为什么不能爬行到相对网址？一些页面没有被编入索引，但是我的正则表达式和其他

xpjjy

爬虫工具默认一个被抓取页面的外链接限制在100，修改db.max.outlinks.per.page的值到一个更高的数值(比方说1000)或者设置为没有限制(-1)
file:conf/nutch-default.xml
   db.max.outlinks.per.page
   -1
   The maximum number of outlinks that we'll process for a page.
   If this value is nonnegative (>=0), at most db.max.outlinks.per.page outlinks
   will be processed for a page; otherwise, all outlinks will be processed.
   
  


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/76697/showart_1785090.html