cynthia
发表于 2019-05-15 09:44
回复 10# forgaoqiang
快加入话题吧
yanengineers
发表于 2019-05-15 22:04
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!
yanengineers
发表于 2019-05-15 22:04
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!
friendmine
发表于 2019-05-15 23:32
1、为了使分布式存储系统获得更高性能,您会采用哪些措施?
首先是硬件:高性能服务器,SSD, 光纤通信。
其次软件:读写服务器要做好热数据处理。
最后:核心Master服务器要双机或者无中心。
2、分布式存储系统的高并发能力应如何实现?网络性能优化,程序异步化,数据缓存化。
3、使存储系统获得更高网络带宽的方法有哪些?
硬件上光纤光交换。
软件就是能异步处理就异步处理。
4、怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?冷热数据分级,热数据放在缓存中。其次放SSD, 再次放机械硬盘。
5、真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?
硬件上:做好硬件的Raid,同时确保每份数据不要单独存放。如果可能要多区存放。
软件上:主要还是数据存取的路由算法。保证数据能够多区多机存放。
6、海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?
做好数据索引是最重要的。
7、针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?
良好的运维系统也是核心的一部分。
shang2010
发表于 2019-05-16 20:28
回复 2# jasonhsp
目前技术行业主流的观点,并发就是短时间高访问量大吞吐的业务场景。学术界学校的并发就是几个进程通信问题,深入一点会死锁。跟社会上不一样
我认为根据题目这边,应该是讨论高访问量场景下,分布式存储架构的抗压问题
是吧。。
shang2010
发表于 2019-05-16 20:29
回复 10# forgaoqiang
夏天来了,哈哈
coyan
发表于 2019-05-17 15:04
分布式存储系统的高并发能力应如何实现?
从可靠性、易用性和性能三个维度着手分析。
可靠性:是存储系统的基石,一款存储系统至少需要提供99.99%的数据可靠性,数据丢失或者错乱对于存储系统是致命的,对大数据、云存储这样大规模的分布式集群
易用性:是系统管理员最关心的问题,主要体现产品设计、故障处理和系统的扩展性
性能:如果可靠性是存储系统的基石,那么性能是存储系统的灵魂,对一款优秀存储系统,高可靠与高性能缺一不可
oswald
发表于 2019-05-17 15:28
分布式存储系统的高并发能力应如何实现?
数据库拆分要根据业务现状、模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计。
数据库分布式改造要遵循“循序渐进”的拆分原则
拆分方式有垂直拆分和水平拆分两种,选择拆分方式要根据企业自身业务发展需要。
else
发表于 2019-05-17 15:46
高并发其实挺容易的,当你明白了一万并发的原理,然后扩展到百万、千万、亿万级很easy
要点有如下几项:
1、垂直分层:DNS层、跨机房部署、LVS+Nginx负载均衡,vanish+共享存储实现动静分离,Nginx后挂载N台服务器集群,服务器集群后挂载微服务化、微服务后挂载数据库分库分表+消息队列+任务调度,最后端挂载数据集群负责数据的统一归档+流计算+异步批处理
2、水平分区:根据业务划分业务线,每个业务线中设计分区键,根据userNo设计用户隔离,根据IP地址设计地区隔离,根据用户级别设计级别隔离,根据操作日期设计时间隔离,根据关键key进行hash散列,然后考虑一下分区的扩容、缩容、灾备、监控
3、数据同步,跨机房跨集群的困难点在于数据同步
sbzyg
发表于 2019-05-17 16:20
使存储系统获得更高网络带宽的方法有哪些?
通俗的说,“把数据保存好,并且能读出来”是一个存储系统的基本能力。从产品特性的角度上讲,存储系统还可以有很多其他的丰富的特性,例如重复数据删除,数据多版本,数据快照,数据备份,数据灾备等。
页:
1
[2]
3
4
5
6
7
8
9
10
11