免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
发表于 2012-05-10 21:51 |显示全部楼层
回不回呢,考虑再三,还是不回了吧。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2012-05-10 23:25 |显示全部楼层
HDFS局限性很大,只能支持流式写入,不支持随机的文件写入,随机读的性能也很差,小文件性能也不好,除非你的应用是顺序访问文件,并且以大文件为主,否则不用考虑HADOOP。

论坛徽章:
0
发表于 2012-05-11 10:31 |显示全部楼层
回复 24# bbjmmj


    小文件放在贴在中,调块大小
Hadoop一般用来分析日志,这样的日志文件会有小的吗

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2012-05-11 10:39 |显示全部楼层
bbjmmj 发表于 2012-05-10 23:25
HDFS局限性很大,只能支持流式写入,不支持随机的文件写入,随机读的性能也很差,小文件性能也不好,除非你 ...


HADOOP本质上是个批处理系统,是不适合实时应用的,当然对随机读写的需求就不高了~

论坛徽章:
3
CU十二周年纪念徽章
日期:2013-10-24 15:41:34狮子座
日期:2014-03-27 15:44:382015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2012-05-11 11:05 |显示全部楼层
只听说过分布式文件系统,还不知道HADOOP是什么, 呵呵

论坛徽章:
3
CU十二周年纪念徽章
日期:2013-10-24 15:41:34狮子座
日期:2014-03-27 15:44:382015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2012-05-11 11:11 |显示全部楼层
HADOOP 有没有软硬件的要求呢?

论坛徽章:
0
发表于 2012-05-11 11:37 |显示全部楼层
一直没机会尝试HADOOP,据说某数字公司的软件下载服务器就是用的HDFS分布式。具体为fuse+hadoop。
什么datanode、namenode一大推,有点云里雾里。真是云。

论坛徽章:
0
发表于 2012-05-11 12:21 |显示全部楼层
回复 29# rootsecurity


    其实,对于用户来说,使用分布式文件系统和本地磁盘文件系统,是没有什么区别的,它们只是实现不同而已。

   在HDFS中,有两类重要的节点:NameNode和DataNode

    其中,NameNode负责管理整个文件系统,它存储着整个文件的系统信息,我们称这部分信息为元数据,例如:文件系统有多少个文件、每个文件的名字、文件的大小、所有者、权限、以及每个文件的分块信息等等。

  而DataNode则负责存储真实数据,也就是说,用户写入一个文件,文件的内容存储在DataNode上的。

  在整个系统中,NameNode只有一个,它管理DataNode;DataNode有多个,如果需要增加HDFS的容量,则只需要增加DataNode节点就可以了。

  另外,Fuse模块,是一个在用户空间实现文件系统的函数库。简单的说,通常情况下,应用程序访问HDFS是通过HDFS提供函数库的API访问的,我们不能使用标准的posix接口函数(C、JAVA中所提供的标准I/O函数)来访问HDFS。通过使用FUSE模块,就可以把HDFS虚拟成一块磁盘,直接挂载到某个目录下,这样应用程序就可以直接使用标准接口来访问了,和访问本地磁盘一样。

论坛徽章:
0
发表于 2012-05-11 12:27 |显示全部楼层
本帖最后由 Gray1982 于 2012-05-11 12:27 编辑

回复 28# cu_little_bird


    理论上没什么,不过最好大内存,大容量(这个需要看你实际应用)

论坛徽章:
0
发表于 2012-05-11 12:28 |显示全部楼层
回复 28# cu_little_bird


    就Hadoop本身而言,普通的商用机器就可以了,没有特殊的要求,它主要通过软件(HDFS)来解决硬件的不可靠性,同时通过并行运算(Mapreduce),来提高处理的性能,因此

   对于机器是没有苛刻要求的。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP