遭遇大数据 我们的存储如何应对？欢迎参与！（获奖名单已公布2013-1-17）

realmon

我们有个项目做云存储服务(网盘)
要保存用户文件,还要保存历史版本,数据量增长非常快.
除了数据量大之外还有容灾备份,保密性等问题待解决.
目前在考虑hbase

SinTeryx

realmon 发表于 2013-01-09 15:12
我们有个项目做云存储服务(网盘)
要保存用户文件,还要保存历史版本,数据量增长非常快.
除了数据量大之外还 ...

hbase目前不是不错的，主要是互联网行业用的多，其实真正的做网盘的，不备份的多了去了，丢数据太正常了，大家都懂得

看看今年的盛大和阿里云出的事就知道了，这些都是云主机了，还出这些问题，更别提那些网盘啥的了

action08

回复 7# meego2012


    tb不是交流过么，，只有30人。什么时候这么多了哦

cu_little_bird

对数据量大的，现在还有重复数据删除技术(dedup)。
现在存储厂商还是多，各种级别的都有。可以根据自己实力和业务选择适合的。

对于5楼的看法， 存储本来就是企业级的，不是给大众消费的。所以有个概念曲解。 而且服务器和存储是两部分，server和存储是可以分开选择的。

snow888

大数据：

每一个做应用软件开发的人，都几乎不可避免的会遇到这个问题。这个方面，就个人看法而言，私有云是一个不错的选择方向。

就目前而言，一些大的存储供应商比如EMC、NetApp和IBM引入了存储虚拟化工具（EMC VPLEX、NetApp V-Series、IBM XIV等），把不同供应商的存储整合到一起，为服务器提供一个共有的存储池。

那么大数据存储建设中应考虑哪些方面的问题呢？

一、需求的可扩展性

在环境中增加任何新的存储系统，也应该按照针对未来的存储预测执行，而不影响现有环境。一旦创建好了私有云，私有云的存储容量应该随着需求可变，而且不影响环境。

二、存储的分级

我们说大数据存储不是目的，利用存储的数据才是我们最终的目标，最近在做一个数据仓库的方案时，就遇到了存储成本与访问效率方面的矛盾，解决办法是对存储的硬件建设部分进行一定的分级，包括现有和未来的存储在不同业务应用的需求。比如ERP应用需要FC存储，HR应用需要SATA存储。在存储整合时，存储池应该根据模板创建。比如说池A是SSD存储，池B则是FC存储，池C是SATA存储。这样做的好处是既可以兼顾成本方面的问题，同时又对某些高性能方面的需求予以了满足。

三、未来的存储需求
在构建一个私有云之前，对未来的计划不容忽视，其中包含为环境引入新硬件，要充分考虑到引入新硬件时对原有系统的集成性，在加入新硬件时，不得对原有的存储架构产生重大影响。同时也需要考虑添加一个存储分级时，与硬件的集成性问题，即新的存储分级能充分利用原有的和新添加的硬件设施。

一家之言，仅为笑谈。

wsgod2000

目前关于这种大数据时代的解决方案也就是云概念和非结构数据库技术的应用，目前腾讯应对大量数据的手段就是通过nosql实现的

chuxiaomeibiye

wsgod2000 发表于 2013-01-11 09:21
目前关于这种大数据时代的解决方案也就是云概念和非结构数据库技术的应用，目前腾讯应对大量数据的手段就是 ...

现在很多互联网公司都是开源的先驱，比如淘宝、腾讯、新浪、FB以及谷歌等等。当然他们的很多经验都值得借鉴，但是对于我们这种小公司而言，没有那么大的二次开发能力，不可能完全采用开源，但又想用开源。那么在开源和商业解决方案之间，该怎么去结合才是重点……

SinTeryx

现在hadoop啥的确实很热，但是又成熟的商用的结局方案么？基于hadoop等开源的，好像听得最多的还是那些互联网公司，传统的企业是否可以使用这样的技术呢？

yuya818

好活动，来晚了，不知道是否还能参与呢

yuya818

最近在尝试私有云，然后再上面部署一些bi的东西，数据量大，调度起来压力很大，hadoop明显有这样的问题，不能做到真正的分布式
不知道是否还有更好的方案？