这样的基于libcurl写的程序算不算网络爬虫？

okmmno1

潜力贴， 来玩了， 2008最有趣的老师：）

涩兔子

https://sirch.svn.sourceforge.ne ... unk/crawler/cache.c

你可以选择cache_to_memory，但是爬虫一般都设计成分布式的，如果不cache_to_file，会给索引造成很大的负担的吧

ncoder

相当同意....

redspider

原帖由 GodPig 于 2008-6-4 13:39 发表
就是利用libcurl，将网页的内容下载下来，然后再提取网页中的链接，然后再下载，然后分析网页中的内容……
这样的程序算不算网络爬虫？？？

毕业设计，导师说这样的不算～～
他说网络爬虫是一个程序，跑到 ...

你导师这样告诉你？
赶紧闪吧，不要在他身边浪费你的青春了，有这时间去泡MM多好

cofish

可怜的娃

再说，注册表之类的
分析HTML能分析的了吗？要是在LINUX下哪里的注册表？

还是多泡泡妞吧

benjiam

都说爬虫这么简单。

google 还干嘛 建立一个小组 ，做这个东西。

首先,
html编码 的分析，
第二 如果传回来的文件不是标准的html 怎么办？
第三 url 回路。
第四 处理的效率
第五 失败后重新处理的策略。
效率
要做的东西 多者呢

chzCPU

原帖由 benjiam 于 2008-6-6 13:31 发表
都说爬虫这么简单。

google 还干嘛 建立一个小组 ，做这个东西。

首先,
html编码 的分析，
第二 如果传回来的文件不是标准的html 怎么办？
第三 url 回路。
第四 处理的效率
第五 失败后重新处理的策 ...

同意,说一件事简单动动嘴就可以了,可做好一件事就需要很多考虑了

goldenfort

如果你说的话是真的，那你的导师是个大SB.  应该想办法将其清洗出去， 以免贻误后来人

oklqh

楼主， 你和你们导师存在严重的代沟

GodPig

原帖由 oklqh 于 2008-6-8 21:07 发表
楼主， 你和你们导师存在严重的代沟

什么意思？？？
因为语言不同？？？
呵呵～～～