免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 142605 | 回复: 217

话题讨论:大规模高并发下的分布式存储架构设计 [复制链接]

论坛徽章:
11
15-16赛季CBA联赛之同曦
日期:2019-04-10 11:46:5919周年集字徽章-19
日期:2019-08-19 11:00:0515-16赛季CBA联赛之浙江
日期:2019-08-05 14:38:42CU十四周年纪念徽章
日期:2019-07-26 10:49:5515-16赛季CBA联赛之山东
日期:2019-07-15 09:52:2015-16赛季CBA联赛之天津
日期:2019-07-11 10:24:54CU十四周年纪念徽章
日期:2019-07-03 15:06:5615-16赛季CBA联赛之北京
日期:2019-06-06 11:40:4715-16赛季CBA联赛之北控
日期:2019-05-17 10:41:1915-16赛季CBA联赛之上海
日期:2019-04-26 10:11:2315-16赛季CBA联赛之辽宁
日期:2019-08-20 09:56:07
发表于 2019-05-10 13:09 |显示全部楼层
恭喜一下会员获得此话题讨论的奖品

特等奖: kindle 一个
         东风玖哥 -212 楼  

一等奖: 爱奇艺电视果   
         laputa73-8楼      

二等奖: 纪念t恤一个

         aloki-24楼        
         friendmine-14楼
         xdsnet-25楼  

纪念奖若干:
         GB_juno-203楼
         hxcai—53楼
         coyan-17楼


以上获奖的同学,请于7月30日之前,将您的用户信息站内发给管理员cynthia ,如回复不了站内,请加微信:itpubwxt

话题讨论:大规模高并发下的分布式存储架构设计

活动背景

在海量数据时代,随着数据的快速增长,IT环境的愈发复杂,传统存储系统已经难以满足大规模的IT应用对数据存储的要求。
在此背景下,分布式存储系统走上舞台。它采用分布式的系统架构,利用多台存储服务器同时对数据进行存储,已逐渐成为大规模数据存储的主要方式。在气象预测、教育科研、能源勘探、广电媒资、视频监控、生物工程等行业,往往拥有非常高的海量数据存储需求。但对于许多企业来说,分布式存储系统的建设仍然困难重重。下面,我们将从此类分布式存储典型应用场景出发,展开话题讨论。

讨论内容

上述的几个典型行业应用场景都具有一个共同点,就是都会产生海量的非结构化数据,即规模可达到PB级,甚至EB级的视频、图像、文本等数据。为了实现此类场景中数据的高效存储、共享与访问、管理等能力,往往需要存储系统具备高性能、高并发、高带宽、大容量以及高效数据保护与数据管理等特性。那么:

1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?

2、  分布式存储系统的高并发能力应如何实现?

3、  使存储系统获得更高网络带宽的方法有哪些?

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?(可选回答)


奖项设置

  特等奖:kindle一个
等奖1名:爱奇艺电视果一个
二等奖3名:中国数据库技术大会(DTCC)十周年纪念T恤一件
三等奖若干:50个 IT168文库金币













论坛徽章:
0
发表于 2019-05-13 14:32 |显示全部楼层
  分布式存储系统的高并发能力应如何实现?
并发(不是并行!)模型的选择和设计无法作为实现细节隐藏在局部,它会影响到程序代码的各个部分,从底层到上层。基本的并发模型只有这样几种:事件驱动、多线程、多进程以及较为小众的多协程.

论坛徽章:
0
发表于 2019-05-13 15:16 |显示全部楼层
真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能
1、负载均衡、2.系统容灾、3.安全交换、4、数据同步

论坛徽章:
0
发表于 2019-05-13 15:24 |显示全部楼层
分布式文件系统设计主要关注几个方面:
设计特点、分布式能力、性能、容灾、维护和扩展、成本
分布式文件系统主要关键技术:
全局名字空间、缓存一致性、安全性、可用性、可扩展性
其他关键技术:
文件系统的快照和备份技术、热点文件处理技术、元数据集群的负载平衡技术、分布式文件系统的日志技术

论坛徽章:
0
发表于 2019-05-13 15:41 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
1.用阵列,组成阵列的存储器,访问带宽成倍上升,代价是要多个存储器和供电不断.一断电就阵列全掉了,数据丢失后果.
2.采用高缓存了硬盘,IDE接口最高2M缓存.SATA接口最高32M缓存.
3.用SSD,固态硬盘,每秒读取速度是190-250M/秒,意未着拷贝1G电影,4秒搞定.80G容量要1750元左右

评分

参与人数 1信誉积分 +5 收起 理由
shang2010 + 5 山寨

查看全部评分

论坛徽章:
154
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5720周年集字徽章-年
日期:2022-10-26 16:44:2015-16赛季CBA联赛之深圳
日期:2022-11-02 14:02:4515-16赛季CBA联赛之八一
日期:2022-11-28 12:07:4820周年集字徽章-20	
日期:2023-07-19 08:49:4515-16赛季CBA联赛之八一
日期:2023-11-04 19:23:5115-16赛季CBA联赛之广夏
日期:2023-12-13 18:09:34
发表于 2019-05-13 18:40 来自手机 |显示全部楼层
80G容量要1750元左右,不便宜啊

论坛徽章:
11
15-16赛季CBA联赛之同曦
日期:2019-04-10 11:46:5919周年集字徽章-19
日期:2019-08-19 11:00:0515-16赛季CBA联赛之浙江
日期:2019-08-05 14:38:42CU十四周年纪念徽章
日期:2019-07-26 10:49:5515-16赛季CBA联赛之山东
日期:2019-07-15 09:52:2015-16赛季CBA联赛之天津
日期:2019-07-11 10:24:54CU十四周年纪念徽章
日期:2019-07-03 15:06:5615-16赛季CBA联赛之北京
日期:2019-06-06 11:40:4715-16赛季CBA联赛之北控
日期:2019-05-17 10:41:1915-16赛季CBA联赛之上海
日期:2019-04-26 10:11:2315-16赛季CBA联赛之辽宁
日期:2019-08-20 09:56:07
发表于 2019-05-14 09:40 |显示全部楼层
1750是现在的价格吗?

论坛徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2015-12-01 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34IT运维版块每日发帖之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01
发表于 2019-05-14 13:34 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
万兆网络,ssd

2、  分布式存储系统的高并发能力应如何实现?
无中心或者master/data分离

3、  使存储系统获得更高网络带宽的方法有哪些?
万兆网卡,捆绑端口,光纤卡,光纤交换机。

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?
横向可扩展,可以增加存储服务节点
纵向可扩展,服务器的存储槽位具备扩展性。

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?
分片复制,机架感知,跨dc同步,离线备份

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?
面向混合数据类型,选择合适的集群方案。
大文件还是中小文件分别应对。文件还是对象分别处理。
传统CDN方案对于文件存储已经很成熟了。
如果是数据,有计算需求,则需要考虑HDFS等大数据方案。

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?(可选回答)
不要盲目上。先试点再推广。
运维难度大于建设难度。
机房的供电很重要。
自建还是云服务,需要考虑好。

论坛徽章:
43
15-16赛季CBA联赛之上海
日期:2020-11-04 09:36:5515-16赛季CBA联赛之北控
日期:2018-10-29 18:20:3415-16赛季CBA联赛之北京
日期:2018-10-06 21:39:5715-16赛季CBA联赛之天津
日期:2018-08-09 10:30:41ChinaUnix元老
日期:2018-08-03 17:26:00黑曼巴
日期:2018-07-13 09:53:5415-16赛季CBA联赛之吉林
日期:2018-03-30 12:58:4315-16赛季CBA联赛之佛山
日期:2017-12-01 10:26:3815-16赛季CBA联赛之上海
日期:2017-11-14 09:20:5015-16赛季CBA联赛之江苏
日期:2019-02-20 09:53:3319周年集字徽章-庆
日期:2019-08-27 13:23:2515-16赛季CBA联赛之广夏
日期:2019-09-03 18:29:06
发表于 2019-05-14 16:39 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
增加带宽,提高存储速度。

3、  使存储系统获得更高网络带宽的方法有哪些?
万兆网卡,光纤交换机。

就知道这些了。

论坛徽章:
40
水瓶座
日期:2013-08-15 11:26:422015年辞旧岁徽章
日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦
日期:2015-03-27 14:01:172015年亚洲杯之约旦
日期:2015-03-31 15:06:442015亚冠之首尔
日期:2015-06-16 23:24:37IT运维版块每日发帖之星
日期:2015-07-01 22:20:002015亚冠之德黑兰石油
日期:2015-07-08 09:32:07IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00IT运维版块每日发帖之星
日期:2015-10-11 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2019-05-14 23:42 |显示全部楼层
感兴趣 想要T恤 ~ 占位更新
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP