免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 这样的基于libcurl写的程序算不算网络爬虫？

最近访问板块

发新帖

楼主: GodPig

上一主题

下一主题

[C] 这样的基于libcurl写的程序算不算网络爬虫？ [复制链接]

论坛徽章:: 0

1楼 [报告]

发表于 2008-06-04 17:52 |显示全部楼层

https://sirch.svn.sourceforge.ne ... unk/crawler/cache.c

你可以选择cache_to_memory，但是爬虫一般都设计成分布式的，如果不cache_to_file，会给索引造成很大的负担的吧

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 这样的基于libcurl写的程序算不算网络爬虫？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP