【话题讨论】分布式存储未来发展趋势（参与话题讨论赢系统架构师大会门票）

gaokeke123

话题背景：

     分布式存储，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

讨论内容：

      1.   为了使分布式存储系统获得更高性能，您会采用哪些措施？

      2.   分布式系统里面Member ship怎么管理？什么是gossip protocol?

      3.   一名分布式存储工程师的技能树是怎么样的？需要具备哪些硬性能力？

      4.   传统存储和分布式存储的有啥优缺点和适合什么样的场景？

      5.   分布式存储未来发展趋势？

活动时间：2019年7月9日-2019年7月28日

奖项设置：

    一等奖1名：2019中国系统架构师大会 门票1张

    二等奖3名：中国系统架构师大会（SACC）十周年纪念T恤一件

    三等奖若干：50个 IT168文库金币

      2019年10月31日~11月2日，由 IT168 旗下 ITPUB 企业社区平台主办的第十一届中国系统架构师大会（SACC2019)将在北京隆重召开。自2009年举办以来，大会云集了国内 CTO、研发总监、高级系统架构师、开发工程师和IT经理等技术人群，与会规模超千人。

      本届大会继续沿用四大主线并行的演讲模式，设置业务系统架构设计、大数据平台架构设计、数字化转型实践和开源架构设计四大主线，共1个主会场，20个技术专场，100+来自互联网、金融、制造业、电商等领域嘉宾，将为广大参会者提供一场最具价值的技术交流盛会。

      SACC2019 中国系统架构师大会，期待您的报名参与！报名链接：http://sacc.it168.com/

shang2010

做技术现在不是那么的吃香，不知道未来在哪里

王江玉

直播很挣钱

laputa73

这块开源方案很多吧.
就是个选择问题.
分布式文件/对象/块存储
ceph,hdfs,fasdfs,seaweedfs,swift

gaokeke123

laputa73 发表于 2019-07-12 11:50
这块开源方案很多吧.就是个选择问题.分布式文件/对象/块存储ceph,hdfs,fasdfs,seaweedfs,swift

咱们可以详细的回答一下问题哦，也让小伙伴们可以学习到更多的知识

britain

分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性。同一份数据有多个副本，仅有一个为主副本 Primary，其他的副本为备份副本 Backup，数据从主副本复制到备份副本，采用最终一致性来保证数据和事物的完整。
要真正从根本上解决分布式存储的高性能和高可用问题，更有效的是对分布式文件系统和分布式存储系统架构进行优化和改进，从源头解决问题。

laputa73

  1.   为了使分布式存储系统获得更高性能，您会采用哪些措施？
  多副本，管理节点和数据节点分离
      2.   分布式系统里面Member ship怎么管理？什么是gossip protocol?
   通过管理节点管理DN的扩容。gossip是用来做集群管理，leader选举的。
         3.   一名分布式存储工程师的技能树是怎么样的？需要具备哪些硬性能力？
  这个不清楚啊。
      4.   传统存储和分布式存储的有啥优缺点和适合什么样的场景？
  传统存储简单，贵。容量大，但是扩展比较复杂。
  分布式存储成本低，易扩展，维护复杂。一般用api.
      5.   分布式存储未来发展趋势？
  简单易用，可靠，
  

aloki

1.为了使分布式存储系统获得更高性能，您会采用哪些措施？
·更快的CPU
·更快的本地IO设备，比如内存代替硬盘, SSD 代替机械硬盘
·加内存减少分页
·快的网络IO设备，比如使用光纤及专线增加网络带宽，使用万兆千兆网卡代替千兆百兆网卡

2.分布式系统里面Member ship怎么管理？什么是gossip protocol?
从元数据存储以及节点之间的membership管理方面来看， 主要分以下两类：
· 中心化的节点membership管理架构
· 去中心化的节点membership管理架构

Gossip protocol 也叫 Epidemic Protocol （流行病协议），实际上它还有很多别名，比如：“流言算法”、“疫情传播算法”等。
这个协议的作用就像其名字表示的意思一样，非常容易理解，它的方式其实在我们日常生活中也很常见，比如电脑病毒的传播，森林大火，细胞扩散等等。
Gossip protocol 最早是在 1987 年发表在 ACM 上的论文 《Epidemic Algorithms for Replicated Database Maintenance》中被提出。主要用在分布式数据库系统中各个副本节点同步数据之用，这种场景的一个最大特点就是组成的网络的节点都是对等节点，是非结构化网络，这区别与之前介绍的用于结构化网络中的 DHT 算法 Kadmelia。

3.一名分布式存储工程师的技能树是怎么样的？需要具备哪些硬性能力？
·存储介质：SSD、SATA、SAS、磁带等原理、IO能力、可靠性（误码率）、擦写次数、介质持久性
·存储提供服务方式：block、FS、Object
·分布式：空间分配、空间回收、寻址等算法、一致性协议、CAP的权衡
·可靠性与成本：Raid、EC、副本等等
·效率：cache、分层、IO-path
·其他：操作系统、硬件特性、传输介质


4.传统存储和分布式存储的有啥优缺点和适合什么样的场景？
分布式相比于传统存储系统的优点：
①高性能
②支持分布式存储
③多副本一致性
④容灾与备份
⑤弹性扩展
⑥存储系统标准化

分布式相比于传统存储系统的缺点
首先，从部署与维护的角度来看，分布式存储部署过程较为复杂，需要专门的人才进行部署，维护与管理，需要一定的时间培养专门的人才。其次，从硬件设备角度来看，分布式存储使用的均为X86架构服务器，稳定性可能不如传统的硬件存储。尤其对于银行，金融，政府等重要行业，稳定永远大于一切，他们既是新技术的实践者但同时也需要最稳定的环境保持业务的良好运行。最后，对于数据保护技术，大部分都是通过副本技术实现数据保护机制，常见的有两副本三副本等，这样也会造成可用存储容量的降低。

5.分布式存储未来发展趋势？
(1) 超高Scale-Out扩展能力：单一EB级存储系统，支持万级集群规模，可全球范围内全局部署；
(2) CompuStor超融合：类似Nutanix架构，计算、存储，甚至应用高度融合；
(3) 闪存技术应用：从主存、Cache到Tier分层，闪存无处不在；
(4) 高速网络互连：四/十万兆以太网和Infiniband网络得到普及；
(5) 应用感知：I/O更加智能，性能和效率动态自适应和优化；
(6) 纠错码技术：基于纠错码提供可用性，复制技术作为辅助；
(7) Online消重/压缩：成为系统标准配置，提高存储效率；
( 8 ) 统一存储：池化存储，同时支持对象、块和文件存储。

gaokeke123

laputa73 发表于 2019-07-13 17:03
1.   为了使分布式存储系统获得更高性能，您会采用哪些措施？  多副本，管理节点和数据节点分离      2.  ...

真是简单明了的答案啊~