遭遇大数据 我们的存储如何应对？欢迎参与！（获奖名单已公布2013-1-17）

xjhns

1.目前对大数据的定义是什么？指的是大量的非结构化数据吗？

2.对于共享视频文件、CAD图片等场景，是不是用昆腾的StorNext就能解决了！

3.目前很多互联网企业采用开源、分布式架构，相关概念、解决方案也是由他们提出与推广。那么对于非IT行业来说，因为维护的问题，往往需要稳定可靠、好维护的商业化解决方案，可能厂商的解决方案更合适一些。

lxluan

分布式存储数据冗余要做起来，要不很容易因为硬件问题导致数据出问题

xdsnet

对于影视大数据，现在还比较麻烦的是原始数据要原画幅实时编辑，当前的以太网络环境要求很高，起码要上G左右的网络才能勉强支持。
比如一个4k解析度的一般电影视频要支持2路视频叠化效果编辑，单个编辑点数据量差不多要800Mbps带宽才能支持，这几乎达到了1G网
络有效带宽上限了，这才1个编辑位，如果要支持多路视频实时处理，还要支持多个编辑位，则网络带宽要成倍增加，所以最少要上G网络才
有可能支持。
这也表面了存储的数据支持也要上G带宽。

xike2002

两个问题

1.有什么好的方法对于海量数据进行分类存储，便于今后的查询和编辑？

2.如何实现多人同时在线编辑数据的问题？

seesea2517

咱家数据也就几百G，还没有这方面的问题，从业务来看中长期也不会遇到这个问题，旁观一下吧。

hbsycw

回复 4# action08


搜BIG DATA ~


   

hbsycw

好话题，参与讨论：

1、你所在的企业是否也遇到了大数据的问题？具体表现在哪些方面？
答：我们是电商，当然会遇到BIG DATA问题，其实，貌似BIG DATA这样的提法，就是因互联网兴起，相较传统企业应用，产生了更多的业务数据，同时这些数据积累的速度又是非常快的，而通过对这些海量数据的有效分析，又能产生更大的价值，于是，信息技术有了新的名词BIG DATA（大数据）来代表这种趋势的发展和应用，应该说具体到技术上，像NO SQL\HADOOP,这些应该都是反映大数据的应对技术。


2、贵公司除了大数据方面的挑战，存储系统还遭遇了哪些挑战？
答：应该说，BIG DATA的挑战，首先就是对公司存储系统的挑战。因为，前面讲了，大数据就是指快速增长的业务数据，以现在越来越大的硬盘来说，就是对这一不可阻挡趋势的最好说明。这里我们看下数据单位，KB/MB/GB/TB/PB/EB/ZB/YB/NB/DB/CB，1T=1024G，即2的40次方；1P=1024T，即2的50次方；......；1CB  等于2的100次方。究竟多大算大数据，目前没有定论，但，用TB/PB来描述目前多数公司的数据量应该是够了吧。对于大数据，我们的办法是采用分级存储，构建数据仓库DW, 搭建HADOOP集群, 使用HBASE等新技术来加以应用。

wang290

seesea2517 发表于 2013-01-08 13:48
咱家数据也就几百G，还没有这方面的问题，从业务来看中长期也不会遇到这个问题，旁观一下吧。

几百G就算了，这个强大点的机器，excel就可以来计算了

seesea2517

回复 28# wang290


    excel 这么厉害！还真没试过用 excel 开这么大的文件。

wang290

seesea2517 发表于 2013-01-08 17:29
回复 28# wang290

打个比方，不是真的用excel啊

不过我见过用2G的excel文件，放的是水文信息