话题讨论：大规模高并发下的分布式存储架构设计

cynthia

回复 10# forgaoqiang
快加入话题吧

yanengineers

使存储系统获得更高网络带宽的方法有哪些？
这难道不是减少服务器和存储系统的中间介质，能用一米光纤不用10米，另外选择超高速交换机哈 ，个人见解 欢迎交流！

yanengineers

使存储系统获得更高网络带宽的方法有哪些？
这难道不是减少服务器和存储系统的中间介质，能用一米光纤不用10米，另外选择超高速交换机哈 ，个人见解 欢迎交流！

friendmine

1、  为了使分布式存储系统获得更高性能，您会采用哪些措施？
首先是硬件：高性能服务器，SSD， 光纤通信。
其次软件：读写服务器要做好热数据处理。
最后：核心Master服务器要双机或者无中心。

2、  分布式存储系统的高并发能力应如何实现？网络性能优化，程序异步化，数据缓存化。

3、  使存储系统获得更高网络带宽的方法有哪些？
硬件上光纤光交换。
软件就是能异步处理就异步处理。

4、  怎样在控制总体成本的情况下，合理地为海量数据提供存储空间，并能满足数据量快速增长的需求？冷热数据分级，热数据放在缓存中。其次放SSD， 再次放机械硬盘。

5、  真正可靠的数据保护往往需要一套复杂的策略，实现多级数据保护与容灾，这需要分布式存储系统具备哪些功能？
硬件上：做好硬件的Raid，同时确保每份数据不要单独存放。如果可能要多区存放。
软件上：主要还是数据存取的路由算法。保证数据能够多区多机存放。

6、  海量非结构化场景下，应用类型、数据类型复杂，为获得高效便捷的数据管理功能，需要在哪些方面做好准备？
做好数据索引是最重要的。

7、  针对海量非结构化数据场景，您认为分布式存储系统的设计与建设还应关注什么？如何实现？

良好的运维系统也是核心的一部分。

shang2010

回复 2# jasonhsp

目前技术行业主流的观点，并发就是短时间高访问量大吞吐的业务场景。学术界学校的并发就是几个进程通信问题，深入一点会死锁。跟社会上不一样


我认为根据题目这边，应该是讨论高访问量场景下，分布式存储架构的抗压问题
是吧。。

shang2010

回复 10# forgaoqiang

夏天来了，哈哈

coyan

分布式存储系统的高并发能力应如何实现？
从可靠性、易用性和性能三个维度着手分析。
可靠性:是存储系统的基石，一款存储系统至少需要提供99.99%的数据可靠性，数据丢失或者错乱对于存储系统是致命的，对大数据、云存储这样大规模的分布式集群
易用性:是系统管理员最关心的问题，主要体现产品设计、故障处理和系统的扩展性
性能:如果可靠性是存储系统的基石，那么性能是存储系统的灵魂，对一款优秀存储系统，高可靠与高性能缺一不可

oswald

分布式存储系统的高并发能力应如何实现？
数据库拆分要根据业务现状、模式，选择合适的拆分方式，紧密结合业务及应用架构设计，谨慎拆分，防止过度设计。
数据库分布式改造要遵循“循序渐进”的拆分原则
拆分方式有垂直拆分和水平拆分两种，选择拆分方式要根据企业自身业务发展需要。

else

高并发其实挺容易的，当你明白了一万并发的原理，然后扩展到百万、千万、亿万级很easy
要点有如下几项：
1、垂直分层：DNS层、跨机房部署、LVS+Nginx负载均衡，vanish+共享存储实现动静分离，Nginx后挂载N台服务器集群，服务器集群后挂载微服务化、微服务后挂载数据库分库分表+消息队列+任务调度，最后端挂载数据集群负责数据的统一归档+流计算+异步批处理
2、水平分区：根据业务划分业务线，每个业务线中设计分区键，根据userNo设计用户隔离，根据IP地址设计地区隔离，根据用户级别设计级别隔离，根据操作日期设计时间隔离，根据关键key进行hash散列，然后考虑一下分区的扩容、缩容、灾备、监控
3、数据同步，跨机房跨集群的困难点在于数据同步

sbzyg

使存储系统获得更高网络带宽的方法有哪些？
通俗的说，“把数据保存好，并且能读出来”是一个存储系统的基本能力。从产品特性的角度上讲，存储系统还可以有很多其他的丰富的特性，例如重复数据删除，数据多版本，数据快照，数据备份，数据灾备等。