忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 28716 | 回复: 71

[其他] 遭遇大数据 我们的存储如何应对?欢迎参与!(获奖名单已公布2013-1-17) [复制链接]

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43ChinaUnix元老
日期:2015-01-30 15:14:07
发表于 2013-01-07 11:29 |显示全部楼层
获奖名单已公布,详情请看:http://bbs.chinaunix.net/thread-4064292-1-1.html


活动背景:

当前IT系统遭遇各种挑战,大数据就是近年来大家较为关注的挑战之一。由于业务飞速增长,加上法规要求,很多数据都需要一定的保留期,导致日益膨胀的数据给企业存储带来巨大挑战,此外,如何从这些数据中挖掘潜藏的商业价值也成为今天热议的话题。

例如,某建筑设计公司,要求将员工终端上数据全部迁移到在线存储设备之上,并直接在在线存储上进行编辑。目前公司共有150台终端,未来预计会增长到300台,现有数据20TB,所有正式的设计图纸必须保留50年。在选购存储设备时,不但要满足其性能需求,还要充分考虑成本与弹性,应该如何选择存储系统?如何构建存储方案?

再例如,在影视动漫制作行业,每部原始影片所占用的存储空间几百G,甚至达到TB级别。所有后期制作要求在线剪辑,并且需要多个工作站同时在线进行制作。其间网络考虑采用以太网网络,初期容量预计500TB左右,未来可能增长到PB级别。

某制造业客户,其间有CAD、CAM、CAE以及CAPP等一系列产品设计软件会产生大量的数据之外,还有OA等协同办公应用,以及ERP、CRM等企业管理应用。同样,这不但要考虑到不同应用对性能的需求,还需要考虑到数据保留策略,以及现在可能的一些商业智能手段,例如大数据分析、移动应用等等。这样环境里的存储系统又该如何设计呢?

本期话题:
当然这些都只是一些例子,在此我们特别针对大数据的存储问题征询,解决大家有关大数据概念、应用、方案规划和实际部署方面的问题?
1、        你所在的企业是否也遇到了大数据的问题?具体表现在哪些方面?
2、        贵公司除了大数据方面的挑战,存储系统还遭遇了哪些挑战?

活动时间:
2013年1月7日-2013年1月11日

参与方式:
此次活动共分为两个部分:
第一部分:2013-1-7——2013-1-10为活动预热期,在此期间大家可以提出各种关于大数据方面的问题,以及您对这些问题的看法。
第二部分:2013-1-11(星期五)下午15:00——16:00这个时段为专家在线答疑和交流时间。专家会针对网友提出的问题进行解答,和网友交流互动。

列出你的问题,与大家分享,并让戴尔的专家为你提供解答,还有惊喜大奖等着你!

本期嘉宾:
ChinaUnix资深版主:wolfheader

参与有奖:
最佳大数据解决案例奖:1名,奖励价值250元的移动硬盘一个
优秀大数据解决方案奖:5名,奖励每人价值的60元礼品一份
   250.jpg 60.jpg

活动规则:
1:针对本次话题,发表自己的意见和见解,也可提出疑问。
2:分享自己对话题的理解,也可评价其他人的方案,但是不要言论攻击

论坛徽章:
2
狮子座
日期:2014-01-17 09:09:212015年迎新春徽章
日期:2015-03-04 09:58:11
发表于 2013-01-07 11:35 |显示全部楼层
lz发这个主题面大啊!

论坛徽章:
69
IT运维版块每日发帖之星
日期:2016-07-15 06:20:00亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-01-07 11:40 |显示全部楼层
本帖最后由 zhaopingzi 于 2013-01-07 11:41 编辑

现在的主流是大数据量利用云:云储存,云数据库,分布式计算

为什么要使用云呢,我想硬件成本是很主要的一方面

论坛徽章:
210
2022北京冬奥会纪念版徽章
日期:2015-08-10 16:30:322015亚冠之全北现代
日期:2016-05-11 17:05:27操作系统版块每日发帖之星
日期:2016-05-10 19:23:04操作系统版块每日发帖之星
日期:2016-05-10 19:23:04操作系统版块每日发帖之星
日期:2016-05-10 19:23:04操作系统版块每日发帖之星
日期:2016-05-10 19:23:04操作系统版块每日发帖之星
日期:2016-05-10 19:22:58数据库技术版块每日发帖之星
日期:2016-05-10 19:23:04数据库技术版块每日发帖之星
日期:2016-05-10 19:23:04操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58操作系统版块每日发帖之星
日期:2016-05-10 19:22:58
发表于 2013-01-07 11:56 |显示全部楼层
本帖最后由 action08 于 2013-01-07 11:57 编辑

到现在还没明白什么是大数据。什么才算大数据?

存储大数据??还是访问/流量大数据??还是虚拟化大数据??

论坛徽章:
0
发表于 2013-01-07 12:11 |显示全部楼层
本帖最后由 llzqq 于 2013-01-07 12:21 编辑

我看好分布式存储,如MOOSEFS等开源产品,最突出的是性价比很好。

再过几年等10G网络普及后,这种分布式存储构架的优越性就更突出了(因为单个存储节点的网络带宽瓶颈基本消除了,目前的1G网络还是有那么点性能瓶颈)。

大量的应用案例就不列举了,如google、taobao等等大型机构已经使用多年了。小型机构使用分布式存储门槛也很低,几台服务器就OK。

相比动辄几十万,上百万的专业存储设备大众很难消费,而且后续的空间扩展能力也有限。

评分

参与人数 1可用积分 +2 收起 理由
send_linux + 2 赞一个!

查看全部评分

论坛徽章:
3
CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
发表于 2013-01-07 14:30 |显示全部楼层
send_linux 发表于 2013-01-07 11:29
活动背景:
当前IT系统遭遇各种挑战,大数据就是近年来大家较为关注的挑战之一。由于业务飞速增长,加上法 ...


个人认为,大数据的问题一直存在

只是每次工具有所改进的时候的,都会拿出来炒作一下,以凸显新的工具的优越性

其实硬件不是最重要的

数据分析的模型建立,以及合适的理论分析基础,及构建在其之上的算法才是我们真正要解决的

而这个多少年来都没有什么进步了,无论人工智能,还是神经算法啥的

论坛徽章:
3
CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
发表于 2013-01-07 14:31 |显示全部楼层
llzqq 发表于 2013-01-07 12:11
我看好分布式存储,如MOOSEFS等开源产品,最突出的是性价比很好。

再过几年等10G网络普及后,这种分布式 ...


不完全苟同,集中存储有几种存储的好处

可能在国内便宜的技术人员成本前提下,便宜的硬件+人工维护更加合适,微博上不是有说么,淘宝的DBA都80多号人了

论坛徽章:
69
IT运维版块每日发帖之星
日期:2016-07-15 06:20:00亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2013-01-07 14:39 |显示全部楼层
回复 7# meego2012


是的分部式存储硬件故障率会高


   

论坛徽章:
0
发表于 2013-01-07 14:44 |显示全部楼层
本帖最后由 llzqq 于 2013-01-07 14:46 编辑

回复 7# meego2012

所谓的分布式存储不是地理位置上说的,一个分布式存储系统也可以部署到一个机架上,技术门槛几乎没有。

这里的“分布式”真正的含义是存储节点物理上不在一个服务器硬件上。


   

论坛徽章:
0
发表于 2013-01-07 16:30 |显示全部楼层
存储snapshot功能,硬件级别数据拷贝block,并实施增量备份。

对巨量数据,可以做到业务影响最小,lan free备份。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP