免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 大家有较好的开源的网页爬虫（spider）和网页解析库吗

最近访问板块

发新帖

查看: 7609 | 回复: 6

上一主题

下一主题

大家有较好的开源的网页爬虫（spider）和网页解析库吗 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2011-08-31 12:31 |只看该作者 |倒序浏览

如题

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2011-09-01 17:43 |只看该作者

larbin

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2011-09-01 21:22 |只看该作者

larbin还是有点土。。。。。。　我写过一个叫hispider的 hispider.googlecode.com 不过已经有一年多没有维护了　等我有时间了添加到我的分布式计算系统里。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2011-09-02 11:51 |只看该作者

楼上好牛啊，还有自己开源搜索引擎项目，有时间一定仔细研究下，你的网页解析是怎么处理的，HTMLCleaner?

回复 3# redor

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2011-09-05 10:08 |只看该作者

回复 4# liqingfang

网页解析我自己写的，http://code.google.com/p/libibas ... 090722163610.tar.gz
　非常简单。。。。。　附带简单的正文抽取去噪功能。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

2015年迎新春徽章
日期:2015-03-04 09:50:28

6楼 [报告]

发表于 2011-09-05 16:47 |只看该作者

这种活不应该用C/C++，用perl或python吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2011-09-06 10:03 |只看该作者

回复 6# noword2k

搞小数据量和简单的可以用perl和python　复杂一点的还是需要做一个专门的采集系统的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 大家有较好的开源的网页爬虫（spider）和网页解析库吗

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP