遭遇大数据 我们的存储如何应对？欢迎参与！（获奖名单已公布2013-1-17）

幽云十八

各位网友大家好！

考虑到本次活动的问题较多，经CU与戴尔方面的专家协商，特将此活动延长至16:30。请大家踊跃提问~

DELL专家8

大数据是指大量的数据，一般是指几百个TB甚至几个PB级别。通常，是指非结构化数据和那些相互不是那么关联的数据集组成的。大数据分析的特征还具有快速和实时性。

大数据的应用是要从那些无序的大量数据中找出有价值的实时信息，而不单单是对其进行存储.

戴尔推出了一个“大数据成熟度模型”。该模型将企业对大数据的应对措施分为五种，分别是“无任何措施、被动应对、持续发展、主动应对、战略高度”，这五种措施也代表着用户在大数据方面所处的五个阶段回复 21# xjhns


   

chuxiaomeibiye

戴尔的专家来回答问题么？

我先问一个，在影视制作行业，能不能提供一个比较好的解决方案？ 需要高带宽和大并发的那种，价格适中一点的？

DELL专家8

戴尔推出了一个“大数据成熟度模型”。该模型将企业对大数据的应对措施分为五种，分别是“无任何措施、被动应对、持续发展、主动应对、战略高度”，这五种应对措施也代表着用户在大数据方面所处的五个阶段。在最初级的阶段，企业对数据没有控制，数据带来不了任何价值;而在最高级的阶段，企业能够对数据进行复杂分析，数据能为企业带来洞察，发现商机。

　　对于处于不同成熟阶段的用户，戴尔推荐给用户不同的解决方案。例如，对于处于第一、二、三阶段的用户，戴尔认为它们首先得通过存储虚拟化、应用数据优化、数据保留与管理等工作，来完成大数据的保留与优化。只有处于第四和第五阶段的用户，才需要采用Hadoop等大数据分析解决方案
回复 59# SinTeryx


   

DELL专家8

戴尔的大数据解决方案主要分为两大类——大数据保留解决方案和大数据分析解决方案。

戴尔大数据保留解决方案融入了戴尔端到端的存储产品及技术，可帮助客户将数据存储成本降低90%，同时具有易于操作、可扩展、低风险等特点。

在大数据分析方面，戴尔不仅开发了可自动化部署整个Hadoop环境的Dell Crowbar，并且联手Cloudera 推出基于Hadoop技术的大数据分析平台，以及相应的Hadoop服务，旨在减少部署、配置和管理Hadoop系统的复杂性

cjk 发表于 2013-01-09 10:38
现在很多公司都在谈大数据，开源的有Hadoop，貌似现在也可以直接用于在线系统？ 我记得2011年的Hadoop中国大 ...

chuxiaomeibiye

DELL专家8 发表于 2013-01-11 16:12
大数据是指大量的数据，一般是指几百个TB甚至几个PB级别。通常，是指非结构化数据和那些相互不是那么关联的 ...

专家提出的这五点不是太明白，比如被动应对和持续发展怎么去界定呢？  比如我所在的影视制作行业，因为业务需要，所以要解决大数据问题，如果是持续发展的话，那是什么状态呢？能具体解释下吗？

DELL专家8

戴尔的“大数据成熟度模型”。该模型将企业对大数据的应对措施分为五种，分别是“无任何措施、被动应对、持续发展、主动应对、战略高度”，这五种应对措施也代表着用户在大数据方面所处的五个阶段。

不一定每个用户都要立刻进化到最高阶段，但是用户至少都要发展到第三阶段,换句话说，对众多企业用户而言，做好数据的存储与优化仍是首当其冲的任务。而对数据的存储和优化过程中，戴尔的流动数据架构可以很好地解决以往传统存储在处理这些问题的难题.

回复 18# dengbao2001


   

DELL专家8

戴尔在数据管理方面提出流动数据架构的理念,可以实现在合适时间，能够去感知前端业务应用对这个数据块的一个访问频率，根据这样一个访问频率去决定他的数据应该存放在什么样的存储上，而且这样一个数据迁移，完全是自动的，不需要我们人工去干预，这也可以减少我们管理人做数据迁移的风险，以及我们工作量投入。

实际上在流动数据里面，不仅在磁盘阵列内我们通过将这些频繁访问数据从高速存储层去，比如沉淀到低速存储层。另外还能够细化到很多层面，比如说我们可以做到在不同这样一个磁盘外道和内道之间，比如我们知道在磁盘外道数据响应时间是最快的，能够把频繁读取的数据集中到磁盘外道，从而减少这样一个数据访问延迟时间。

另外我们甚至能够精细到写的功能，我们能够保证频繁访问数据一定放到最高层Raid 10，比如频繁访问数据。然后对于那些只读数据可以沉淀到用Raid 5的方式，从而第一保证性能，第二又可以减少成本。

除此之外，这样一个流动数据架构还能够跨越磁盘阵列，原来数据都是存放在一个阵列内，现在能够使得这个数据在不同阵列之间进行流动。他会根据我们磁盘阵列负载，以及我们用户自己的需求，让这样一个阵列流动到另外一个阵列。
回复 11# yzkarchive


   

yzkarchive

回复 70# DELL专家8

非常好的介绍，有链接吗？
   

qidunhu

我们主要是HPC集群，目前有存储240TB，过完年打算再增加200TB，但是现在的存储方式还是通过NFS共享出来，IO速度很是不理想，打算上hadoop或者是luster文件系统，但是不知道会提高多快的速度，而且我们IO节点的并发读写很大，现在也在犯愁中