1 234 5 / 5 页下一页

业余时间做了一个垂直搜索引擎，大家给些意见吧 [复制链接]

汉芯

白手起家

论坛徽章:: 0

21楼 [报告]

发表于 2006-12-21 01:21 |只看该作者

感觉还是不错的，支持一个。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

牧神午后

白手起家

论坛徽章:: 0

22楼 [报告]

发表于 2006-12-21 11:10 |只看该作者

原帖由 googleabcd 于 2006-12-20 00:10 发表
机器人定时抓取网页，关键之处是抓取之后要对HTML页面进行分词、主题过滤等处理。
网页可以放在本地，现在硬盘那么便宜，一个200G就足够放很多个大型网站了。

抓回来的页面需要生成索引，查询的时候只会查询索 ...

网络机器人就是传说中的网络爬虫？网络蜘蛛？，那也就是一个进程了，那是不是要起很多进程？那如果网站更新了，又怎么处理呢？搂主用了几台pc去抓取网页？是不是要专门用pc作为索引服务器，后台用C, 那后台是unix或者linux了？需不需要数据库支持？搂主用什么数据库？没做过搜索，请教一下。主要是想知道一些架构上的东西。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

googleabcd 该用户已被删除	23楼 [报告] 发表于 2006-12-21 11:23 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
googleabcd 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

james.liu

家境小康

论坛徽章:: 0

24楼 [报告]

发表于 2006-12-21 11:32 |只看该作者

原帖由 googleabcd 于 2006-12-19 15:25 发表
后台核心全部都是纯C写的。。只是目前暂用PHP作为前台显示而已

你写的？还是clucene？

还是？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

googleabcd 该用户已被删除	25楼 [报告] 发表于 2006-12-21 12:03 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
googleabcd 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

googleabcd 该用户已被删除	26楼 [报告] 发表于 2006-12-21 13:47 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
googleabcd 该用户已被删除	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？