免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: cynthia
打印 上一主题 下一主题

话题讨论:大规模高并发下的分布式存储架构设计 [复制链接]

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2015-06-24 22:20:00
181 [报告]
发表于 2019-05-30 10:32 |只看该作者
关于accessToken的存储方式?
存储到数据库
存储到session/cookie
存储到具体的文件中
个人能想到的就这三种方式,然后哪种使用更佳?

论坛徽章:
0
182 [报告]
发表于 2019-05-30 10:51 来自手机 |只看该作者
活动啥时候结束

论坛徽章:
0
183 [报告]
发表于 2019-05-30 10:52 |只看该作者
订单分表存储?有几个问题请教一下各位大神,谢谢
1、如果对订单表进行分表存储呢?按人,还是按日期,或者其他?
2、如果分表查询,那如何查询所有时,连表查询?

论坛徽章:
0
184 [报告]
发表于 2019-05-30 11:07 |只看该作者
redis作为缓存的特性有很多好处,可以缓解服务器压力
先判断缓存中有没有,没有的话查DB
有的话直接使用
那如果DB更新了呢?redis中的数据不就是旧的脏数据了吗?

论坛徽章:
0
185 [报告]
发表于 2019-05-30 11:20 |只看该作者
求推荐分布式方案

论坛徽章:
0
186 [报告]
发表于 2019-05-30 11:37 |只看该作者
用rest http相当于再写一个接口,所有接口都需要修改也有点麻烦,

有其他更好的方案么?或者框架?

论坛徽章:
0
187 [报告]
发表于 2019-05-30 12:00 |只看该作者
分布式架构中,一个web调用多个服务,怎么样保证事务。就是多个服务在不同的服务器上面,怎么保证事务?

论坛徽章:
1
操作系统版块每日发帖之星
日期:2015-06-05 22:20:00
188 [报告]
发表于 2019-05-30 12:17 |只看该作者
求WCF 分布式 事务例子
一个星期了
怎么样都不会RollBack
求例子(最好能打包下载的)+详细配置

论坛徽章:
0
189 [报告]
发表于 2019-05-30 12:35 |只看该作者
首先HBase是列式存储,也就是说在一个HFILE(Storefile)中存放着一个列族,在HFILE大小达到阈值后会触发split操作将原Region下线分裂成两个等同的region并取其一发送到新的regionserver,这个理解应该是正确的吧?
然而很明显,一个列族中,不同的列根据数据类型不同,所占空间大小也一样,比如cf:a中存放int,一个值只占1K(假设,大小不要在意)而cf:b中存放bigint,一个值占1M(还是假设)而cf2:c中存放string,一个值占10M,而HFILE则是以大小为标准而非条目数为标准,所以每个HFILE中存储的条目数势必是不相等的
那么同一个datanode中的HFILE,可能存储了cf:a到100w列,而cf:b则存到了第50w列,cf2:c中则仅存储了10w列就存完了(请不要在意条目数与HFILE分裂阈值的关系,这里的数值为了让差距明显而刻意改变)
这时我的问题来了:当我需要第90000列进行cf:a+cf:b+cf2:c运算的时候,cf:a的第9w列在datanode1上,cf:b的第9w列在datanode2上,而cf2:c的第9w列在datanode3上。
这时HBASE会通过网络传输这些列到任意机器上吗?
上面只是一个数据量极小的假设,那么将数据量同步扩大
我需要批量计算共计10w列的cf:a+cf:b+cf2:c运算,而这10w列很可能将分布在不同的datanode中,这时会造成网络堵塞吗?(或者最起码,要把这些数据读出来进行网络传输,总要进行IO吧)
而HBASE是一个基于大量数据的数据库,在进行大量数据计算时先要进行大量的网络数据重新传输然后再计算,这个结论显然是不对的
请问我哪里理解错误了呢?
求大神解答

论坛徽章:
0
190 [报告]
发表于 2019-05-30 12:51 |只看该作者
redis使用setnx命令创建锁,失效时间我设置多长时间为好?如何设置的失效时间太短,方法没等执行完,锁就自动释放了,那么就会产生并发问题。如果设置的时间太长,其他获取锁的线程就可能要平白的多等一段时间。在只考虑单机redis的情况下,如何处理这个问题?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP