heritrix资料

hyddd

                Heritrix is the Internet Archive's open-source, extensible,
                web-scale, archival-quality web crawler project.

• Heritrix is designed to respect the
          
  robots.txt
          exclusion directives and
          META robots
          tags, and collect material at a measured, adaptive pace unlikely
          to disrupt normal website activity.

• Heritrix 和 Nutch 能够很好的结合起来，如果想构造自己的搜索引擎，使用Heritrix和Nutch是一个很完美的选择

官方主页：
http://crawler.archive.org/
用户手册：
http://crawler.archive.org/articles/user_manual/index.html
下载地址：
http://sourceforge.net/project/showfiles.php?group_id=73833&package_id=73980
heritrix使用入门：
http://book.csdn.net/bookfiles/312/10031212848.shtml
ARC文档：
http://crawler.archive.org/articles/developer_manual/arcs.html
ARC文件格式：
http://www.archive.org/web/researcher/ArcFileFormat.php
               
               
               
               
               

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/10219/showart_687989.html