免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cynthia

话题讨论:大规模高并发下的分布式存储架构设计 [复制链接]

论坛徽章:
11
15-16赛季CBA联赛之同曦
日期:2019-04-10 11:46:5919周年集字徽章-19
日期:2019-08-19 11:00:0515-16赛季CBA联赛之浙江
日期:2019-08-05 14:38:42CU十四周年纪念徽章
日期:2019-07-26 10:49:5515-16赛季CBA联赛之山东
日期:2019-07-15 09:52:2015-16赛季CBA联赛之天津
日期:2019-07-11 10:24:54CU十四周年纪念徽章
日期:2019-07-03 15:06:5615-16赛季CBA联赛之北京
日期:2019-06-06 11:40:4715-16赛季CBA联赛之北控
日期:2019-05-17 10:41:1915-16赛季CBA联赛之上海
日期:2019-04-26 10:11:2315-16赛季CBA联赛之辽宁
日期:2019-08-20 09:56:07
发表于 2019-05-15 09:44 |显示全部楼层
回复 10# forgaoqiang
快加入话题吧

论坛徽章:
11
CU大牛徽章
日期:2013-03-13 15:32:35IT运维版块每周发帖之星
日期:2015-11-06 19:28:13IT运维版块每日发帖之星
日期:2015-10-13 06:20:00IT运维版块每日发帖之星
日期:2015-09-27 06:20:00IT运维版块每日发帖之星
日期:2015-09-19 06:20:00CU大牛徽章
日期:2013-03-14 14:14:29CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-13 15:38:15IT运维版块每日发帖之星
日期:2016-01-01 06:20:00
发表于 2019-05-15 22:04 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!

论坛徽章:
11
CU大牛徽章
日期:2013-03-13 15:32:35IT运维版块每周发帖之星
日期:2015-11-06 19:28:13IT运维版块每日发帖之星
日期:2015-10-13 06:20:00IT运维版块每日发帖之星
日期:2015-09-27 06:20:00IT运维版块每日发帖之星
日期:2015-09-19 06:20:00CU大牛徽章
日期:2013-03-14 14:14:29CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-13 15:38:15IT运维版块每日发帖之星
日期:2016-01-01 06:20:00
发表于 2019-05-15 22:04 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!

论坛徽章:
0
发表于 2019-05-15 23:32 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
首先是硬件:高性能服务器,SSD, 光纤通信。
其次软件:读写服务器要做好热数据处理。
最后:核心Master服务器要双机或者无中心。

2、  分布式存储系统的高并发能力应如何实现?网络性能优化,程序异步化,数据缓存化。

3、  使存储系统获得更高网络带宽的方法有哪些?
硬件上光纤光交换。
软件就是能异步处理就异步处理。

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?冷热数据分级,热数据放在缓存中。其次放SSD, 再次放机械硬盘。

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?
硬件上:做好硬件的Raid,同时确保每份数据不要单独存放。如果可能要多区存放。
软件上:主要还是数据存取的路由算法。保证数据能够多区多机存放。

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?
做好数据索引是最重要的。

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?

良好的运维系统也是核心的一部分。

论坛徽章:
136
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5719周年集字徽章-庆
日期:2019-08-27 13:28:5615-16赛季CBA联赛之福建
日期:2019-09-10 11:43:25
发表于 2019-05-16 20:28 |显示全部楼层
回复 2# jasonhsp

目前技术行业主流的观点,并发就是短时间高访问量大吞吐的业务场景。学术界学校的并发就是几个进程通信问题,深入一点会死锁。跟社会上不一样


我认为根据题目这边,应该是讨论高访问量场景下,分布式存储架构的抗压问题
是吧。。

论坛徽章:
136
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5719周年集字徽章-庆
日期:2019-08-27 13:28:5615-16赛季CBA联赛之福建
日期:2019-09-10 11:43:25
发表于 2019-05-16 20:29 |显示全部楼层
回复 10# forgaoqiang

夏天来了,哈哈

论坛徽章:
0
发表于 2019-05-17 15:04 |显示全部楼层
分布式存储系统的高并发能力应如何实现?
从可靠性、易用性和性能三个维度着手分析。
可靠性:是存储系统的基石,一款存储系统至少需要提供99.99%的数据可靠性,数据丢失或者错乱对于存储系统是致命的,对大数据、云存储这样大规模的分布式集群
易用性:是系统管理员最关心的问题,主要体现产品设计、故障处理和系统的扩展性
性能:如果可靠性是存储系统的基石,那么性能是存储系统的灵魂,对一款优秀存储系统,高可靠与高性能缺一不可

论坛徽章:
0
发表于 2019-05-17 15:28 |显示全部楼层
分布式存储系统的高并发能力应如何实现?
数据库拆分要根据业务现状、模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计。
数据库分布式改造要遵循“循序渐进”的拆分原则
拆分方式有垂直拆分和水平拆分两种,选择拆分方式要根据企业自身业务发展需要。

论坛徽章:
0
发表于 2019-05-17 15:46 |显示全部楼层

高并发其实挺容易的,当你明白了一万并发的原理,然后扩展到百万、千万、亿万级很easy
要点有如下几项:
1、垂直分层:DNS层、跨机房部署、LVS+Nginx负载均衡,vanish+共享存储实现动静分离,Nginx后挂载N台服务器集群,服务器集群后挂载微服务化、微服务后挂载数据库分库分表+消息队列+任务调度,最后端挂载数据集群负责数据的统一归档+流计算+异步批处理
2、水平分区:根据业务划分业务线,每个业务线中设计分区键,根据userNo设计用户隔离,根据IP地址设计地区隔离,根据用户级别设计级别隔离,根据操作日期设计时间隔离,根据关键key进行hash散列,然后考虑一下分区的扩容、缩容、灾备、监控
3、数据同步,跨机房跨集群的困难点在于数据同步

论坛徽章:
0
发表于 2019-05-17 16:20 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
通俗的说,“把数据保存好,并且能读出来”是一个存储系统的基本能力。从产品特性的角度上讲,存储系统还可以有很多其他的丰富的特性,例如重复数据删除,数据多版本,数据快照,数据备份,数据灾备等。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP