免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6525 | 回复: 7
打印 上一主题 下一主题

[算法] Hash在多线程下面怎么做到高效的修改? [复制链接]

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-11-22 10:39 |显示全部楼层 |倒序浏览
一个比较困扰的问题

Hash本身可以做到线程安全的操作(find/insert/remove),但是如果要修改某个item的内容(譬如是一个struct or class reference),如何做到高效的修改?
目前想到的几种方式:
1、lock 或 spin_lock,保护整个写过程
2、摘下来,写好,放回去
3、用一块新的内存去替换原来的,只涉及一个atomic update reference的操作,但是需要分配内存

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
2 [报告]
发表于 2016-11-23 09:41 |显示全部楼层
回复 2# wlmqgzm

不好意思,我讲得不是这个意思,BTW,您的第二种方案其实也就是Java ConcurrentHashMap,先分segment,然后每个segment才算是一个真正的Hash结构
我的问题是:怎么做到高效的修改Hash中的Item内容,譬如每个Item内容是个strcut,怎么能够 原子的 高效修改这些内容

假设有A B两个线程能够同时拿到这个Item,如果让它们同时修改,肯定会出现不一致的情况

其他Hash的基本操作,我都假设它是线程安全的

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
3 [报告]
发表于 2016-11-23 11:05 |显示全部楼层
回复 4# mr_sev

原子的修改指针或者引用是没有问题的,不过这样就意味着新分配内存

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
4 [报告]
发表于 2016-11-24 16:38 |显示全部楼层
回复 6# sxcong

  1. strcut {
  2.     int a;
  3.     int b;
  4.     int c;
  5. }
复制代码
假设每个item是这样的,Hash支持并发的find,多个线程找到这个item之后,肯定需要原子的修改(a,b,c),否则就冲突了我大概问的就是这个意思,难道说没这种需求??

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
5 [报告]
发表于 2016-11-28 09:25 |显示全部楼层
本帖最后由 lxyscls 于 2016-11-28 09:27 编辑

回复 11# wlmqgzm

您的方案
一个方式就是: 新得到一个裸指针 new struct data, 拷贝旧数据到新裸指针的结构中 copy from old struct data, 修改数据 modify new struct data, 一次性更新裸指针 change point,

1、如何获取一个裸指针?内存从哪里来?new or malloc?
2、怎么保证old struct data在拷贝过程中一直有效呢?假设还有一个writer完成了修改,这个时候只要它修改了指针,那么这块old data对它来说就没用了,也许就被它给释放掉了
3、您说的这种方案其实是“SPMC”的?“MPMC”怎么弄呢?

PS,您讲的这个跟我最初的某个想法挺相似的,不过当时我也没考虑copy过程中的有效性问题

3、用一块新的内存去替换原来的,只涉及一个atomic update reference的操作,但是需要分配内存


论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
6 [报告]
发表于 2016-11-29 09:58 |显示全部楼层
回复 14# wlmqgzm

读锁和写锁,2个锁互不干扰
我再多问一下,如果互不干扰的话,怎么做到“写时不读”和“读时不写”呢?两个锁判断的东西都不一样,一个是mutex,一个是cas retry。或者说两个在底层的还是用到了同一个atomic进行cas操作,只是逻辑不一样?
PS
    两把锁在Intel TBB里面也有,const accessor和accessor,不过Intel的代码实在是稀烂,没有看的欲望,相较Folly的代码整齐多了。

    目前还是想办法找现成的用起来先

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
7 [报告]
发表于 2016-12-01 09:32 |显示全部楼层
回复 16# codechurch

单读单写啦,是没我提的问题
我想知道如果支持“多读后再多写”(不改变位置,算是个“原位操作”)怎么玩?

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
8 [报告]
发表于 2016-12-02 09:22 |显示全部楼层
windoze 发表于 2016-12-01 23:23
用open address hash table,删除用mark deletion,这样增删改只需一个指针的cas。
至于存放元素的内存管 ...

猫哥好晚啊

增删能理解,但是“改”怎么做到一个cas呢?pair(const k, v),挂上个新的v也算是改了?

也就是说v其实是块新内存(新指针)?read-copy-write?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP