免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cynthia

话题讨论:大规模高并发下的分布式存储架构设计 [复制链接]

论坛徽章:
0
发表于 2019-05-20 17:01 |显示全部楼层
为什么我们努力提高网络带宽而不是去想办法压缩文件尤其是视频文件的大小呢?

论坛徽章:
0
发表于 2019-05-21 13:57 |显示全部楼层
怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?
这个得看企业吧?

论坛徽章:
0
发表于 2019-05-21 14:17 |显示全部楼层
如何提升系统的并发能力之水平扩展

论坛徽章:
0
发表于 2019-05-21 14:33 |显示全部楼层
如何计算系统用户并发数,系统最大并发数?

论坛徽章:
0
发表于 2019-05-21 14:49 |显示全部楼层
开源分布式流存储Pravega前景怎么样?

论坛徽章:
0
发表于 2019-05-21 15:08 |显示全部楼层
分布式存储按其存储接口分为三种:文件存储、块存储和对象存储?

论坛徽章:
0
发表于 2019-05-21 15:27 |显示全部楼层
高并发的分布式系统中订单流程是怎样的?订单与库存关系如何处理?

论坛徽章:
0
发表于 2019-05-21 15:49 |显示全部楼层
中小企业如何进行高效数据管理?

论坛徽章:
0
发表于 2019-05-21 16:09 |显示全部楼层
如何进行多云环境中的数据管理?

论坛徽章:
0
发表于 2019-05-21 16:25 |显示全部楼层
关于高并发
数据同步,跨机房跨集群的困难点在于数据同步,有三种做法:
1)不同步,任由各子集群在自己的业务范围内运行
2)汇总集群,建立一个统一的数据汇总集群(如Hadoop\Spark\Kylin等),将数据汇总到统一的大数据集群中,再进行统计、汇总、运算等。缺点是会有时间差,短须5分钟,长须一天以上
3)远程数据同步,通过开源框架实现多个数据库的同步,例如阿里的otter,底层为canal,模拟mysql的从库,实现日志解析并数据库入库,时间差较短,如果网络没有太大问题,可在秒级完成数据同步。数据同步冲突算法有两种:单向回环补救、时间交集补救。一般推荐使用单向回环补救,即:如果发现数据库A与数据库B的同步时间差大于某个数值,则根据pk查询最新记录同步到数据库中。而另一种算法时间交集补救,是根据“时间交集”的定义,获得双方数据库的“时间交叉的操作”清单,然后根据此清单执行单向回环补救。此方法缺点为:a)开源版本中仅有单向回环补救;b)只支持mysql->mysql同步或者mysql->oracle同步。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP