论坛 › CU活动专区 › 话题讨论：大规模高并发下的分布式存储架构设计

cynthia 发表于 2019-05-10 13:09

话题讨论：大规模高并发下的分布式存储架构设计

恭喜一下会员获得此话题讨论的奖品
特等奖： kindle 一个         东风玖哥 -212 楼
一等奖： 爱奇艺电视果            laputa73-8楼      
二等奖： 纪念t恤一个
         aloki-24楼               friendmine-14楼         xdsnet-25楼
纪念奖若干：         GB_juno-203楼         hxcai—53楼         coyan-17楼

以上获奖的同学，请于7月30日之前，将您的用户信息站内发给管理员cynthia ，如回复不了站内，请加微信：itpubwxt
话题讨论：大规模高并发下的分布式存储架构设计
活动背景：
在海量数据时代，随着数据的快速增长，IT环境的愈发复杂，传统存储系统已经难以满足大规模的IT应用对数据存储的要求。
在此背景下，分布式存储系统走上舞台。它采用分布式的系统架构，利用多台存储服务器同时对数据进行存储，已逐渐成为大规模数据存储的主要方式。在气象预测、教育科研、能源勘探、广电媒资、视频监控、生物工程等行业，往往拥有非常高的海量数据存储需求。但对于许多企业来说，分布式存储系统的建设仍然困难重重。下面，我们将从此类分布式存储典型应用场景出发，展开话题讨论。
讨论内容：

上述的几个典型行业应用场景都具有一个共同点，就是都会产生海量的非结构化数据，即规模可达到PB级，甚至EB级的视频、图像、文本等数据。为了实现此类场景中数据的高效存储、共享与访问、管理等能力，往往需要存储系统具备高性能、高并发、高带宽、大容量以及高效数据保护与数据管理等特性。那么：
1、为了使分布式存储系统获得更高性能，您会采用哪些措施？
2、分布式存储系统的高并发能力应如何实现？
3、使存储系统获得更高网络带宽的方法有哪些？
4、怎样在控制总体成本的情况下，合理地为海量数据提供存储空间，并能满足数据量快速增长的需求？
5、真正可靠的数据保护往往需要一套复杂的策略，实现多级数据保护与容灾，这需要分布式存储系统具备哪些功能？
6、海量非结构化场景下，应用类型、数据类型复杂，为获得高效便捷的数据管理功能，需要在哪些方面做好准备？
7、针对海量非结构化数据场景，您认为分布式存储系统的设计与建设还应关注什么？如何实现？（可选回答）

奖项设置：

特等奖：kindle一个
一等奖1名：爱奇艺电视果一个
二等奖3名：中国数据库技术大会（DTCC）十周年纪念T恤一件
三等奖若干：50个 IT168文库金币

jasonhsp 发表于 2019-05-13 14:32

分布式存储系统的高并发能力应如何实现？
并发（不是并行！）模型的选择和设计无法作为实现细节隐藏在局部，它会影响到程序代码的各个部分，从底层到上层。基本的并发模型只有这样几种：事件驱动、多线程、多进程以及较为小众的多协程.

markriver 发表于 2019-05-13 15:16

真正可靠的数据保护往往需要一套复杂的策略，实现多级数据保护与容灾，这需要分布式存储系统具备哪些功能
1、负载均衡、2.系统容灾、3.安全交换、4、数据同步

llittle 发表于 2019-05-13 15:24

分布式文件系统设计主要关注几个方面：
设计特点、分布式能力、性能、容灾、维护和扩展、成本
分布式文件系统主要关键技术：
全局名字空间、缓存一致性、安全性、可用性、可扩展性
其他关键技术：
文件系统的快照和备份技术、热点文件处理技术、元数据集群的负载平衡技术、分布式文件系统的日志技术

dapan 发表于 2019-05-13 15:41

使存储系统获得更高网络带宽的方法有哪些？
1.用阵列,组成阵列的存储器,访问带宽成倍上升,代价是要多个存储器和供电不断.一断电就阵列全掉了,数据丢失后果.
2.采用高缓存了硬盘,IDE接口最高2M缓存.SATA接口最高32M缓存.
3.用SSD,固态硬盘,每秒读取速度是190-250M/秒,意未着拷贝1G电影,4秒搞定.80G容量要1750元左右

shang2010 发表于 2019-05-13 18:40

80G容量要1750元左右，不便宜啊

cynthia 发表于 2019-05-14 09:40

1750是现在的价格吗？

laputa73 发表于 2019-05-14 13:34

1、为了使分布式存储系统获得更高性能，您会采用哪些措施？
万兆网络,ssd

2、分布式存储系统的高并发能力应如何实现？
无中心或者master/data分离

3、使存储系统获得更高网络带宽的方法有哪些？
万兆网卡，捆绑端口，光纤卡，光纤交换机。

4、怎样在控制总体成本的情况下，合理地为海量数据提供存储空间，并能满足数据量快速增长的需求？
横向可扩展，可以增加存储服务节点
纵向可扩展，服务器的存储槽位具备扩展性。

5、真正可靠的数据保护往往需要一套复杂的策略，实现多级数据保护与容灾，这需要分布式存储系统具备哪些功能？
分片复制，机架感知，跨dc同步，离线备份

6、海量非结构化场景下，应用类型、数据类型复杂，为获得高效便捷的数据管理功能，需要在哪些方面做好准备？
面向混合数据类型，选择合适的集群方案。
大文件还是中小文件分别应对。文件还是对象分别处理。
传统CDN方案对于文件存储已经很成熟了。
如果是数据，有计算需求，则需要考虑HDFS等大数据方案。

7、针对海量非结构化数据场景，您认为分布式存储系统的设计与建设还应关注什么？如何实现？（可选回答）
不要盲目上。先试点再推广。
运维难度大于建设难度。
机房的供电很重要。
自建还是云服务，需要考虑好。

fenyun689 发表于 2019-05-14 16:39

1、为了使分布式存储系统获得更高性能，您会采用哪些措施？
增加带宽，提高存储速度。

3、使存储系统获得更高网络带宽的方法有哪些？
万兆网卡，光纤交换机。

就知道这些了。

forgaoqiang 发表于 2019-05-14 23:42

感兴趣 想要T恤 ~ 占位更新

查看完整版本: 话题讨论：大规模高并发下的分布式存储架构设计