免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982
打印 上一主题 下一主题

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
221 [报告]
发表于 2012-05-26 21:20 |只看该作者
回复 224# crazyhadoop



电商有一些在用,只不过效率不高

论坛徽章:
0
222 [报告]
发表于 2012-05-28 10:35 |只看该作者
本帖最后由 cx6445 于 2012-05-28 10:39 编辑
bbjmmj 发表于 2012-05-24 15:17
我觉得最关键的问题是搞清楚HADOOP是什么。确切地说,HADOOP是APACHE WEB服务器的辅助日志处理工具。这 ...


@bbjmmj 还是很好学的。

科普一下,全球top 100的网站除了google,其他都有用hadoop。只能这么说除了google拥有领先全球的海量数据处理系统,其它各网站能选的只有hadoop,急需bbjmmj来创造一个新技术,呵呵!另外hadoop+hbase是google三篇论文的java版实现。玩hadoop,最好有一些关于它的业界背景了解。


想当年百度是没有能力全量build数十亿网页索引的,用了hadoop就有这个能力了,之后搜索质量有了极大的提高,后面又用c++重写了mapreduce的计算框架叫HCE,但是hdfs还在重度使用中。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
223 [报告]
发表于 2012-05-28 10:41 |只看该作者
cx6445 发表于 2012-05-28 10:35
@bbjmmj 还是很好学的。

科普一下,全球top 100的网站除了google,其他都有用hadoop。只能这么说除了 ...


我把HADOOP叫“关键词统计工具”,这个东西最适合搜索引擎。
我的意思是让腾讯先用,免得他挖大家的墙角。

论坛徽章:
7
寅虎
日期:2014-08-15 12:54:11狮子座
日期:2014-10-28 23:42:142015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:48:00IT运维版块每日发帖之星
日期:2015-08-04 06:20:00IT运维版块每日发帖之星
日期:2015-08-06 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00
224 [报告]
发表于 2012-06-15 15:53 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
225 [报告]
发表于 2012-06-15 16:40 |只看该作者
回复 228# bun


   

分析也是进行大量计算了
你说的那些交易记录理论上也是可以用Hadoop来做
但感觉用Hadoop来算这个还是比较麻烦的,mysql足够了

论坛徽章:
7
寅虎
日期:2014-08-15 12:54:11狮子座
日期:2014-10-28 23:42:142015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:48:00IT运维版块每日发帖之星
日期:2015-08-04 06:20:00IT运维版块每日发帖之星
日期:2015-08-06 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00
226 [报告]
发表于 2012-06-15 16:52 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
227 [报告]
发表于 2012-06-15 17:00 |只看该作者
回复 230# bun


   

简单的说都是查询,计算
选择一些字段,然后查询总数量等

论坛徽章:
7
寅虎
日期:2014-08-15 12:54:11狮子座
日期:2014-10-28 23:42:142015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:48:00IT运维版块每日发帖之星
日期:2015-08-04 06:20:00IT运维版块每日发帖之星
日期:2015-08-06 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00
228 [报告]
发表于 2012-06-15 17:15 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
229 [报告]
发表于 2012-06-15 18:20 |只看该作者
回复 232# bun


   

时时的肯定不会用hadoop的
如果你用时时的话,可以用Nosql比较好一些,现在这方面技术还是比较成熟的

论坛徽章:
0
230 [报告]
发表于 2012-07-11 14:53 |只看该作者
对这话题暂时没兴趣
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP