免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: lxyscls
打印 上一主题 下一主题

[算法] Hash在多线程下面怎么做到高效的修改? [复制链接]

论坛徽章:
9
程序设计版块每日发帖之星
日期:2015-10-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-01 06:20:00程序设计版块每日发帖之星
日期:2015-11-02 06:20:00每日论坛发贴之星
日期:2015-11-02 06:20:00程序设计版块每日发帖之星
日期:2015-11-03 06:20:00程序设计版块每日发帖之星
日期:2015-11-04 06:20:00程序设计版块每日发帖之星
日期:2015-11-06 06:20:00数据库技术版块每周发帖之星
日期:2015-12-02 15:02:47数据库技术版块每日发帖之星
日期:2015-12-08 06:20:00
11 [报告]
发表于 2016-11-27 13:50 |只看该作者
回复 3# lxyscls

我这边研究无锁的技术方案中, 关键核心思想就是要保证 临界区 的数据的完整性  有两种比较常用:

一个方式就是: 新得到一个裸指针 new struct data, 拷贝旧数据到新裸指针的结构中 copy from old struct data, 修改数据 modify new struct data, 一次性更新裸指针 change point,

另外一种方式是公司的内部库,  不用new和copy, 因此性能要高出很多, 主要的思路是:atomic_memeory_release/accquire, 以及一些保护性内存单元, 来保护 临界区 的数据的完整性, 比spin_lock开销更小更快,
实现有限条件的并发, 读多线程并发,写单线程并发, 或者说是读写分离的方式

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
12 [报告]
发表于 2016-11-28 09:25 |只看该作者
本帖最后由 lxyscls 于 2016-11-28 09:27 编辑

回复 11# wlmqgzm

您的方案
一个方式就是: 新得到一个裸指针 new struct data, 拷贝旧数据到新裸指针的结构中 copy from old struct data, 修改数据 modify new struct data, 一次性更新裸指针 change point,

1、如何获取一个裸指针?内存从哪里来?new or malloc?
2、怎么保证old struct data在拷贝过程中一直有效呢?假设还有一个writer完成了修改,这个时候只要它修改了指针,那么这块old data对它来说就没用了,也许就被它给释放掉了
3、您说的这种方案其实是“SPMC”的?“MPMC”怎么弄呢?

PS,您讲的这个跟我最初的某个想法挺相似的,不过当时我也没考虑copy过程中的有效性问题

3、用一块新的内存去替换原来的,只涉及一个atomic update reference的操作,但是需要分配内存


论坛徽章:
2
综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:00
13 [报告]
发表于 2016-11-28 12:52 |只看该作者
我知道你的意思,就是想怎么访问hash并修改数据最快,方法可能很多

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
14 [报告]
发表于 2016-11-29 09:58 |只看该作者
回复 14# wlmqgzm

读锁和写锁,2个锁互不干扰
我再多问一下,如果互不干扰的话,怎么做到“写时不读”和“读时不写”呢?两个锁判断的东西都不一样,一个是mutex,一个是cas retry。或者说两个在底层的还是用到了同一个atomic进行cas操作,只是逻辑不一样?
PS
    两把锁在Intel TBB里面也有,const accessor和accessor,不过Intel的代码实在是稀烂,没有看的欲望,相较Folly的代码整齐多了。

    目前还是想办法找现成的用起来先

论坛徽章:
0
15 [报告]
发表于 2016-12-01 08:50 |只看该作者
每个桶上有一个自旋锁

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
16 [报告]
发表于 2016-12-01 09:32 |只看该作者
回复 16# codechurch

单读单写啦,是没我提的问题
我想知道如果支持“多读后再多写”(不改变位置,算是个“原位操作”)怎么玩?

论坛徽章:
44
15-16赛季CBA联赛之浙江
日期:2021-10-11 02:03:59程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
17 [报告]
发表于 2016-12-01 23:23 |只看该作者
用open address hash table,删除用mark deletion,这样增删改只需一个指针的cas。
至于存放元素的内存管理,你可以用slab,这玩意就是个链表,也可以无锁并发。

唯一的缺点就是整个hash table需要定期重建。

论坛徽章:
14
水瓶座
日期:2014-06-10 09:51:0215-16赛季CBA联赛之江苏
日期:2017-11-27 11:42:3515-16赛季CBA联赛之八一
日期:2017-04-12 14:26:2815-16赛季CBA联赛之吉林
日期:2016-08-20 10:43:1215-16赛季CBA联赛之广夏
日期:2016-06-23 09:53:58程序设计版块每日发帖之星
日期:2016-02-11 06:20:00程序设计版块每日发帖之星
日期:2016-02-09 06:20:0015-16赛季CBA联赛之上海
日期:2015-12-25 16:40:3515-16赛季CBA联赛之广夏
日期:2015-12-22 09:39:36程序设计版块每日发帖之星
日期:2015-08-24 06:20:002015亚冠之德黑兰石油
日期:2015-08-07 09:57:302015年辞旧岁徽章
日期:2015-03-03 16:54:15
18 [报告]
发表于 2016-12-02 09:22 |只看该作者
windoze 发表于 2016-12-01 23:23
用open address hash table,删除用mark deletion,这样增删改只需一个指针的cas。
至于存放元素的内存管 ...

猫哥好晚啊

增删能理解,但是“改”怎么做到一个cas呢?pair(const k, v),挂上个新的v也算是改了?

也就是说v其实是块新内存(新指针)?read-copy-write?

论坛徽章:
44
15-16赛季CBA联赛之浙江
日期:2021-10-11 02:03:59程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
19 [报告]
发表于 2016-12-02 21:42 |只看该作者
回复 19# lxyscls

不要直接改,删一个加一个,这样你就可以随便折腾新元素,折腾好了再插进去就行。

评分

参与人数 1信誉积分 +10 收起 理由
lxyscls + 10 赞一个!

查看全部评分

论坛徽章:
0
20 [报告]
发表于 2017-02-06 15:03 |只看该作者

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP