企业如何建立高效、灵活、扩展的数据存储环境?(获奖名单已公布2013-2-26)
获奖名单已公布,详情请看:http://bbs.chinaunix.net/thread-4068978-1-1.html随着数据的暴增,数据中心空间越来越窄,成本飙升,安全性收到威胁,急需找到一种新的压缩技术解决这些存储难题,实时压缩技术的出现则适时的解决了上述问题。同时随着数据量的快速增长,企业对存储的需求也在迅速增加,如何有效控制大量数据的创建、存储和访问成为企业面临的一大难题。
讨论话题:
如何解决因数据暴增带来的存储难题?
企业如何建立高效、灵活、扩展的数据存储环境?
如何通过自动存储管理降低数据存储成本?
讨论时间:2013.1.31-2013.2.21
讨论奖品:讨论结束后将会选出5名会员赠送精美笔记本一本。
本帖最后由 wang_xue_m 于 2013-01-31 09:59 编辑
类似HDFS,分布式文件系统已经潮流了吧;如目前的hadoop等已经为大容量数据提供了解决方案
而且一堆廉价的PC server等堆积起来的集群成本相对来说算是低廉
并且扩展也比较简单 回复 2# wang_xue_m
话说PC server廉价,但很多pc展位和功耗也要不少的啊, 这个问题问得比较专业,能不能先让去机房和电脑城看看到底都是些什么设备啊 HDFS,还有那个FastDFS,这个都不错,不过归根结底都是分布式存储,只是需要根据具体情况考虑备份,以及容错,以及一些单点故障的预防,毕竟稳定性是第一的,其次是功能,然后才是效率
关于问题,好像目前的几个文件系统都能解决吧,扩展容易,自动备份什么的都有 时刻关注着更新 企业如何建立高效、灵活、扩展的数据存储环境?
=====
一是用分布式存储系统,这个应该是个大趋势,从管理上、稳定性上有了提高后肯定是雨后春笋,各存储厂商也会走上来,x86服务器只是它的外在。
二使用存储虚拟化,这个也正是各个存储厂商目前正在做的事情,也是目前应用相对成熟、主流的作法。 hadoop/ hbase 绝对是大数据不可缺少的部件,另外leveldb这样的kv型,持久型数据存储也是不可缺少的辅助部件,读写速度都比较可观 看应用场景的吧
存存储也要看大文件存储还是小文件存储
有些fs适合大文件存储但是小文件处理很慢
有些适合小文件存储,但是大文件也有问题
所以,文件系统的应用场景比较重要
扩容是比较简单的功能,关键是数据要不要迁移,会不会出现单点压力过大
如果存储大文件,是存储一整个文件好些还是打散分开存好些,打散的话是不是要有源数据,如果元数据服务器崩掉怎么办
如果没有元数据,是不是效率会很低
其实可以考虑一下配合着工作
比如大文件存储选择什么,小文件存储选择什么
比如GFS, Lustre,FastDFS,HDFS等,各有各的优势,但是不见得别人用着好,我们就用着好,看应用需求
一般是分布式存储吧。