论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2005-12-15 21:30 |只看该作者 |倒序浏览

如题
想写一个网络爬虫，给定某个网址
然后抓到网页并建立数据库索引
哪位高人对此有好的建议
小弟洗耳恭听

文库|博客

sickcat2004

家境小康

论坛徽章:: 0

2楼 [报告]

发表于 2005-12-16 08:55 |只看该作者

最好就是弄别人的远代码读,然后自己写需求

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

世事无常

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2005-12-20 13:23 |只看该作者

http://htdig.org

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

yugangyi

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2005-12-22 11:06 |只看该作者

http://www.searchtools.com/robots/robot-code.html
上面的连接有可供参考

我在htdig的基础上做过一个项目，对htdig还是蛮熟悉的，作为crawler的话，如果要求不高，可以采用。

它是一个单进程应用，在处理连接问题上，用的方法比较原始，在大规模的爬行应用中，效率并不高。