ChinaUnix.net
相关文章推荐:

larbin 里的readRequest是什么

帮忙看看吧,gcc version 3.4.6 错误如下面: ………………………………………… ………………………………………… gmake[1]: Entering directory `/var/search/larbin-2.6.3/src' cp ../config.h . for d in utils interf fetch; do (cd $d; gmake dep-in); done gmake[2]: Entering directory `/var/search/larbin-2.6.3/src/utils' makedepend -f- -I.. -Y *.cc 2> /dev/null > .depend gmake[2]: *** [dep-in] 错误 127 gmake...

by wildlily980 - Linux系统管理 - 2007-04-18 13:10:59 阅读(1887) 回复(1)

相关讨论

有谁使用过larbin没有,为什么不能抓取youku,和tudou的网页?? 谢谢了

by chinaunixccy - C/C++ - 2010-11-01 13:32:06 阅读(1762) 回复(1)

我在freeBSD下如何安装larbin,不通过ports,通过源码,我怎么就是不能编译,着急死了, 望各位高手指点迷津.

by bigpretty - BSD - 2009-12-11 17:48:00 阅读(1355) 回复(0)

在RHEL5(gcc (GCC) 4.1.2 )上安装larbin-2.6.3时,出现如下问题: gmake[2]: *** [site.o] 错误 1 gmake[2]: Leaving directory `~/Crawler/larbin-2.6.2/src/fetch' gmake[1]: *** [subdirs-all] 错误 2 gmake[1]: Leaving directory `~/App/Crawler/larbin-2.6.2/src' gmake: *** [all] 错误 2 哪位高人遇到过这种问题,是怎么解决的呢,谢谢!

by nkguangyou - C/C++ - 2009-08-23 11:41:40 阅读(2092) 回复(1)

本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u2/67118/showart_2007294.html

by jazy333 - Linux文档专区 - 2009-07-25 21:26:21 阅读(2141) 回复(0)

互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景,尤其是类似RSS的以XML为基础的结构化的数据越来越多,内 容的组织方式越来越灵活,检索组织并呈现会有着越来越广泛的应用范围,同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫,信息的来源入 口。一个高效,灵活可扩展的爬虫对以上应用都有着无可替代的重要意义。 要设计一个爬虫,首先需要考虑的效率。对于网络而言,...

by lc0060305 - Linux文档专区 - 2008-09-09 10:32:44 阅读(1012) 回复(0)

1. larbin : Introductionlarbin is a web crawler (also called (web) robot, spider, scooter...). It is intended to fetch a large number of web pages to fill the database of a search engine. With a network fast enough, larbin should be able to fetch more than 100 millions pages on a standard PC. larbin is (just) a web crawler, NOT an indexer. You have to write some code yourself in order to save pag...

by glq2000 - Linux文档专区 - 2008-04-02 08:35:28 阅读(930) 回复(0)

larbin看互联网爬虫设计 于敦德 2005.12.16 转载请注明出处 互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景,尤其是类似RSS的以XML为基础的结构化的数据越来越多,内 容的组织方式越来越灵活,检索组织并呈现会有着越来越广泛的应用范围,同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫,信息的来源入 口。一个高效,灵活可扩展的爬虫对以上应用都有着无可替代的重要...

by ima - 网络技术文档中心 - 2007-11-14 16:43:42 阅读(777) 回复(0)

[color="#000066"]搜索爬虫 larbin 设计原理 [color="#ff00ff"] 第一次看到这篇文章是在卢亮的blog...... 互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景,尤其是类似RSS的以XML为基础的结构化的数据越来越多,内容的组织方式越来越灵活,检索组织并呈现会有着越来越广泛的应用范围,同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫,信息的来源入口。...

by yjmwolf - 网络技术文档中心 - 2007-02-02 10:21:27 阅读(971) 回复(0)

大家好,我弄了好久,吧larbin安装上去后,一直不能抓取到网页,save文件一直为空,程序目录下多出了fifo000000和fifowait000000两个文件,问了好多人,都没回音,好心的大哥们,帮帮忙吧。这是我QQ1300416076,[email]email1300416076@qq.com[/email],你们也可以回帖,谢谢啦

by zhaoanhongxing - 数据仓库与数据挖掘 - 2014-03-22 20:00:18 阅读(10219) 回复(2)

以下操作是用root用户登录执行的 # chmod +x configure # ls -l total 38 -rw-r--r-- 1 pcdelphi ftpgroup 18007 May 25 00:50 COPYING -rw-r--r-- 1 pcdelphi ftpgroup 1178 May 25 00:50 CREDITS -rw-r--r-- 1 pcdelphi ftpgroup 469 May 25 00:50 Makefile -rw-r--r-- 1 pcdelphi ftpgroup 1040 May 25 00:50 README drwxr-xr-x 2 pcdelphi ftpgroup 512 May 25 00:50 adns -rwxr-xr-x 1 pcdelphi ftpg...

by 冷寒生 - BSD - 2012-05-25 16:42:46 阅读(1516) 回复(3)