免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cynthia

话题讨论:大规模高并发下的分布式存储架构设计 [复制链接]

论坛徽章:
11
CU大牛徽章
日期:2013-03-13 15:32:35IT运维版块每周发帖之星
日期:2015-11-06 19:28:13IT运维版块每日发帖之星
日期:2015-10-13 06:20:00IT运维版块每日发帖之星
日期:2015-09-27 06:20:00IT运维版块每日发帖之星
日期:2015-09-19 06:20:00CU大牛徽章
日期:2013-03-14 14:14:29CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-13 15:38:15IT运维版块每日发帖之星
日期:2016-01-01 06:20:00
发表于 2019-05-15 22:04 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!

论坛徽章:
11
CU大牛徽章
日期:2013-03-13 15:32:35IT运维版块每周发帖之星
日期:2015-11-06 19:28:13IT运维版块每日发帖之星
日期:2015-10-13 06:20:00IT运维版块每日发帖之星
日期:2015-09-27 06:20:00IT运维版块每日发帖之星
日期:2015-09-19 06:20:00CU大牛徽章
日期:2013-03-14 14:14:29CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-13 15:38:15IT运维版块每日发帖之星
日期:2016-01-01 06:20:00
发表于 2019-05-15 22:04 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
这难道不是减少服务器和存储系统的中间介质,能用一米光纤不用10米,另外选择超高速交换机哈 ,个人见解 欢迎交流!

论坛徽章:
0
发表于 2019-05-15 23:32 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
首先是硬件:高性能服务器,SSD, 光纤通信。
其次软件:读写服务器要做好热数据处理。
最后:核心Master服务器要双机或者无中心。

2、  分布式存储系统的高并发能力应如何实现?网络性能优化,程序异步化,数据缓存化。

3、  使存储系统获得更高网络带宽的方法有哪些?
硬件上光纤光交换。
软件就是能异步处理就异步处理。

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?冷热数据分级,热数据放在缓存中。其次放SSD, 再次放机械硬盘。

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?
硬件上:做好硬件的Raid,同时确保每份数据不要单独存放。如果可能要多区存放。
软件上:主要还是数据存取的路由算法。保证数据能够多区多机存放。

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?
做好数据索引是最重要的。

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?

良好的运维系统也是核心的一部分。

论坛徽章:
132
操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57数据库技术版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:052022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:57IT运维版块每日发帖之星
日期:2016-05-11 17:06:49操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57程序设计版块每日发帖之星
日期:2016-05-11 17:06:57
发表于 2019-05-16 20:28 |显示全部楼层
回复 2# jasonhsp

目前技术行业主流的观点,并发就是短时间高访问量大吞吐的业务场景。学术界学校的并发就是几个进程通信问题,深入一点会死锁。跟社会上不一样


我认为根据题目这边,应该是讨论高访问量场景下,分布式存储架构的抗压问题
是吧。。

论坛徽章:
132
操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57数据库技术版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:052022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:57IT运维版块每日发帖之星
日期:2016-05-11 17:06:49操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57程序设计版块每日发帖之星
日期:2016-05-11 17:06:57
发表于 2019-05-16 20:29 |显示全部楼层
回复 10# forgaoqiang

夏天来了,哈哈

论坛徽章:
0
发表于 2019-05-17 15:04 |显示全部楼层
分布式存储系统的高并发能力应如何实现?
从可靠性、易用性和性能三个维度着手分析。
可靠性:是存储系统的基石,一款存储系统至少需要提供99.99%的数据可靠性,数据丢失或者错乱对于存储系统是致命的,对大数据、云存储这样大规模的分布式集群
易用性:是系统管理员最关心的问题,主要体现产品设计、故障处理和系统的扩展性
性能:如果可靠性是存储系统的基石,那么性能是存储系统的灵魂,对一款优秀存储系统,高可靠与高性能缺一不可

论坛徽章:
0
发表于 2019-05-17 15:28 |显示全部楼层
分布式存储系统的高并发能力应如何实现?
数据库拆分要根据业务现状、模式,选择合适的拆分方式,紧密结合业务及应用架构设计,谨慎拆分,防止过度设计。
数据库分布式改造要遵循“循序渐进”的拆分原则
拆分方式有垂直拆分和水平拆分两种,选择拆分方式要根据企业自身业务发展需要。

论坛徽章:
0
发表于 2019-05-17 15:46 |显示全部楼层

高并发其实挺容易的,当你明白了一万并发的原理,然后扩展到百万、千万、亿万级很easy
要点有如下几项:
1、垂直分层:DNS层、跨机房部署、LVS+Nginx负载均衡,vanish+共享存储实现动静分离,Nginx后挂载N台服务器集群,服务器集群后挂载微服务化、微服务后挂载数据库分库分表+消息队列+任务调度,最后端挂载数据集群负责数据的统一归档+流计算+异步批处理
2、水平分区:根据业务划分业务线,每个业务线中设计分区键,根据userNo设计用户隔离,根据IP地址设计地区隔离,根据用户级别设计级别隔离,根据操作日期设计时间隔离,根据关键key进行hash散列,然后考虑一下分区的扩容、缩容、灾备、监控
3、数据同步,跨机房跨集群的困难点在于数据同步

论坛徽章:
0
发表于 2019-05-17 16:20 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
通俗的说,“把数据保存好,并且能读出来”是一个存储系统的基本能力。从产品特性的角度上讲,存储系统还可以有很多其他的丰富的特性,例如重复数据删除,数据多版本,数据快照,数据备份,数据灾备等。

论坛徽章:
0
发表于 2019-05-17 16:58 |显示全部楼层
什么是传统存储
我们一般将传统存储成为物理存储,比如直连存储(个人电脑)、存储域网络(SAN)、网络附加存储(NAS)。他主要用于存储数据,也作为一种灾难管理的方式。在传统存储中,我们使用LAN / WAN将数据存储在计算机或与我们的计算机连接的服务器中。数据信息存储在磁盘中,可以在需要时重新格式化或重新配置,也可以增加磁盘数量以扩大存储限制。
什么是分布式存储
简单来说,就是存储设备分布在不同的地理位置,数据就近存储,将数据分散在多个存储节点上,各个节点通过网络相连,对这些节点的资源进行统一的管理,从而大大缓解带宽压力,同时也解决了传统的本地文件系统在文件大小、文件数量等方面的限制。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP