免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Erlang › erlang 抓取网页
最近访问板块 发新帖
查看: 2734 | 回复: 6
打印 上一主题 下一主题

[技术动态] erlang 抓取网页 [复制链接]

shijiang1130

论坛徽章:
27
水瓶座 日期:2014-08-22 21:06:34程序设计版块每日发帖之星 日期:2015-11-25 06:20:0015-16赛季CBA联赛之新疆 日期:2015-12-19 19:05:48IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:3315-16赛季CBA联赛之上海 日期:2016-04-15 19:51:31程序设计版块每日发帖之星 日期:2016-04-17 06:23:29程序设计版块每日发帖之星 日期:2016-04-23 06:20:00程序设计版块每日发帖之星 日期:2016-05-26 06:20:00每日论坛发贴之星 日期:2016-05-26 06:20:0015-16赛季CBA联赛之辽宁 日期:2017-02-16 23:59:47
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-10-16 15:03 |只看该作者 |倒序浏览
https://github.com/mijkenator/web_searcher
arserangel

论坛徽章:
0
2楼 [报告]
发表于 2014-10-17 08:29 |只看该作者
这个是你写的开源代码么？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
arserangel

论坛徽章:
0
3楼 [报告]
发表于 2014-10-19 08:22 |只看该作者
httpc:可以实现网页抓取。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
shijiang1130

论坛徽章:
27
水瓶座 日期:2014-08-22 21:06:34程序设计版块每日发帖之星 日期:2015-11-25 06:20:0015-16赛季CBA联赛之新疆 日期:2015-12-19 19:05:48IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:3315-16赛季CBA联赛之上海 日期:2016-04-15 19:51:31程序设计版块每日发帖之星 日期:2016-04-17 06:23:29程序设计版块每日发帖之星 日期:2016-04-23 06:20:00程序设计版块每日发帖之星 日期:2016-05-26 06:20:00每日论坛发贴之星 日期:2016-05-26 06:20:0015-16赛季CBA联赛之辽宁 日期:2017-02-16 23:59:47
4楼 [报告]
发表于 2014-10-19 11:05 |只看该作者
是啊，大多数都是用的httpc作折抓取，用mochiweb做的结果分析
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
arserangel

论坛徽章:
0
5楼 [报告]
发表于 2014-10-19 19:24 |只看该作者
回复 4# shijiang1130


    做结果分析？
　 能给个示例不能？　我一直用　re 做结果分析，提取数据。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
shijiang1130

论坛徽章:
27
水瓶座 日期:2014-08-22 21:06:34程序设计版块每日发帖之星 日期:2015-11-25 06:20:0015-16赛季CBA联赛之新疆 日期:2015-12-19 19:05:48IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:31IT运维版块每日发帖之星 日期:2015-12-25 06:20:3315-16赛季CBA联赛之上海 日期:2016-04-15 19:51:31程序设计版块每日发帖之星 日期:2016-04-17 06:23:29程序设计版块每日发帖之星 日期:2016-04-23 06:20:00程序设计版块每日发帖之星 日期:2016-05-26 06:20:00每日论坛发贴之星 日期:2016-05-26 06:20:0015-16赛季CBA联赛之辽宁 日期:2017-02-16 23:59:47
6楼 [报告]
发表于 2014-10-20 09:16 |只看该作者
https://github.com/mochi/mochiwe ... c/mochiweb_html.erl
  1. {ok,{_,_,B}}=httpc:request("http://bbs.chinaunix.net/forum-323-1.html").
  2. {S,A,O}=mochiweb_html:parse(B).
  3. O.
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
arserangel

论坛徽章:
0
7楼 [报告]
发表于 2014-10-21 10:20 |只看该作者
回复 6# shijiang1130


    S, A, O, 分别是？？？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP