ChinaUnix.net
相关文章推荐:

hadoop写入数据

现在了解到hadoop中有个distcp 命令,书上的意思是可以用于大数据传输(并行),能提高效率。 我的疑问是,跟普通的rsync,ftp,scp之类的工具比较,有什么优势? 1. 如果大数据可以split成效文件,那么distcp跟rsync,ftp,scp还有什么优势? 2. hadoop是使用MR中的map功能,并未使用reduce。我想问下,大数据是如何在HDFS中map的? 使用的是split类似的原理么? 望大家指点一下。

by wenhq - NoSQL技术 - 2013-03-15 10:51:39 阅读(1430) 回复(0)

相关讨论
by patagonia - 下载共享 - 2015-10-29 17:17:23 阅读(14927) 回复(61)

北京时间11月2日,SAP旗下Sybase公司发布新一代高性能基于列分析型数据库Sybase IQ 15.4,专门针对大数据与BI。 http://tech.it168.com/a2011/1102/1267/000001267900.shtml

by double_life - NoSQL技术 - 2011-12-18 22:47:33 阅读(2216) 回复(7)

   在过去三年,hadoop生态系统已经大范围扩展,很多主要IT供应商都推出了hadoop连接器,以增强hadoop的顶层架构或是供应商自己使用的hadoop发行版。鉴于hadoop的部署率呈指数级的增长,以及其生态系统不断地深入而广泛地发展,我们很想知道hadoop的崛起是否会导致传统数据仓库解决方案的终结呢。 我们也可以将这个问题放到一个更大的环境中去讨论:在何种程度上,大数据会改变传统数据分析的环境? 数据仓库是技术和软件套件...

by Patagonia - IT资讯 - 2014-01-15 09:33:42 阅读(819) 回复(0)

   敏感信息的安全和保护是当今人们最关心的问题之一。进入大数据时代,很多组织都在从各种源头收集数据,进行分析,并基于对海量数据集的分析做出决策,因此这一过程中的安全问题变得愈发重要。与此同时,HIPAA和其他隐私保护法之类的法律法规也要求组织加强对这些数据集的访问控制和隐私限制。来自内部和外部攻击者的网络安全漏洞与日俱增,通常都要数月之后才能发现,而那些受此影响的人正在为此付出代价。没能对他们的数据做...

by Patagonia - 集群和高可用 - 2013-11-07 21:10:33 阅读(1578) 回复(2)

   今年,大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”,但在处理大数据上,hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了hadoop。然而,当你已经决定要使用hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。你有多种选择来安装hadoop的一个版本并实现大数据处理。本文讨论了不同的选择,并推荐了每种选择的适用场合。...

by Patagonia - 集群和高可用 - 2013-10-10 09:33:20 阅读(1181) 回复(0)

   众所周知我们处在一个数据爆炸的时代,越来越多的信息被制造出来,数据量大而且种类复杂。据统计,未来几年,智慧城市、智能交通、智慧医疗以及物联网所产生的数据也会铺天盖地而来。这么多的数据中蕴含着非常多的有价值信息,但是我们如何将这些信息提取出来呢?现在通常的方法是利用hadoop来做,但是,hadoop其实也不是那么安全。在昨天趋势科技召开的CIO峰会上,趋势科技全球首席技术官Jon Clay详细阐述了这个话题。 Jon ...

by Patagonia - NoSQL技术 - 2013-08-21 09:19:23 阅读(1091) 回复(0)

杰夫·哈梅巴赫(Jeff Hammerbacher)说,Facebook尝试了所有的(分析数据库),但没有一个能做到这家网络巨头需要它们做的。哈梅巴赫是哈佛大学毕业的数学家,在2006年被聘请到Facebook,他的工作是治理马克·扎克伯格(Mark Zuckerberg)的社交网络所产生的所有数据 - 弄明白人们过去在这个网站上面做些什么,并找到提高服务水平的新途径。但哈梅巴赫记得,当这项服务覆盖到数以百万计的人群,它所产生的数据,超过了该公司手边软件的分...

by Send_linux - 集群和高可用 - 2013-03-25 17:26:42 阅读(2475) 回复(3)

   Apache Haddo是一个批处理计算引擎,它是大数据核心的开源软件框架。hadoop并不适用于真正实时数据可见性所需要的在线互动式数据处理,是这样的吗?hadoop创造者兼Apache hadoop项目创始人(同时也是Cloudera公司首席架构师)Doug Cutting表示,他相信hadoop有一个超越批处理的未来。 Cutting表示:“批处理有用武之地,例如你需要移动大量数据以及分析所有数据的时候,但我认为,人们真正想要的是批处理和在线计算的结合体...

by Send_linux - 集群和高可用 - 2012-11-08 10:45:59 阅读(1996) 回复(1)

本帖最后由 小丶力丫 于 2012-06-26 18:18 编辑 其实我们公司处理数据在1G-2G左右,对别人来说算不上什么大数据, 对我们来说,这个1G的数据,就要处理2个小时差不多, 虽说,hadoop是专业处理大数据的,对我们这个1G--2G的数据,可以无视, 但是把,使用也不是什么坏处。可以说大才小用, 不过我决定还是用hadoop, 求一下这类相关的文档,失望大家帮个忙,因为近期,可以就要用上了, 一共4台linux服务器...

by 小丶力丫 - NoSQL技术 - 2012-08-19 07:59:53 阅读(4520) 回复(25)