无锁( mutex)内存数据库的技术路线讨论贴, 准备测试评估一下

heguangwu

楼主知道voltdb这个东东吗，该项目是布朗大学和麻省理工的一个研究项目的商业产品：http://hstore.cs.brown.edu/
号称是无锁的，你可要去了解一下

wlmqgzm

回复 11# heguangwu

非常感谢提供信息, 以前不知道这个产品, 现在知道了, 正在查阅资料中, 更有信心了, 毕竟C++比java要快一些, 谢谢.


   

wlmqgzm

回复 10# cokeboL

首先要想办法提高单机的交易处理能力TPS, 我觉得现在的内存数据库的单机潜力还没有挖掘出来, 根据各方面的资料,
内存数据库提高性能的新方法很多, 每个环节都有好多技术路线, 有很多资料指出, 现有系统的改进余地很大.

Intel在2013年有一份报告, 指出现有系统的改进潜力非常大, 甚至提出老的方式与新的方式对比, 网络性能可以有80倍的提高,
做了一个全新用户态的驱动展示, 这很多改进, 我还没有涉及, 总之, 要全新的驱动方法, 包括网卡的驱动程序等等, 很多都要换.


   

db1984

楼主的技术路线1我总结下:
1. 预先内存分配
2. 队列用lockfree
3. 对同1数据的操作对应固定的线程

windoze

回复 13# wlmqgzm

如果你想在这些地方挖性能，你需要DPDK和Seastar，而不是用Boost.ASIO自己造轮子。

cokeboL

回复 13# wlmqgzm


    关于服务器、数据库性能，我一直在想一个问题：如果想榨干单机，硬件+定制内核（只保留驱动网络协议栈和进程绑定等必须的）。

wlmqgzm

刚测试了一下, 4核心8线程CPU大约是82万QPS ECHO的处理能力, 现在提高CPU数量, 带来的增加还是比较明显的,  比原来的2核心2线程快了2倍多的速度.
测试中程序占有率超过790%, CPU的8个线程基本都超过98%以上, 占满了.
其中包括4个ab测试程序98%占有率, echo_server410%占有率,
目前主要的瓶颈, 还是在代码自身的处理能力, 还没有涉及IO等, 估计继续扩容CPU是最简单的办法

wlmqgzm

这两天查了一些资料，觉得牛人很多，　已经有很多类似的产品了，包括内存数据库．

windoze

回复 16# cokeboL

所以你要试试OSv……

yulihua49

cokeboL 发表于 2015-10-31 18:32
回复 13# wlmqgzm 关于服务器、数据库性能，我一直在想一个问题：如果想榨干单机，硬件+定制内核（只保留驱动网络协议栈和进程绑定等必须的）。

你要搞清一个问题，性能，到底卡在哪？尤其是数据库应用。这是个永远的难题。