MySQL Cluster性能测试结果以及疑问 [复制链接]

论坛徽章:: 0

61楼 [报告]

发表于 2008-05-23 16:40 |只看该作者

mysql cluster 也是把记录做hash，然后平均分布到每个data node上的；只不过是根据主键的hash分片的

ndbd的效率其实是很高的，mysql cluster的响应时间上不去可能主要还和ndbd之间、ndbd和mysqld之间的数据传输、数据通讯、mysqld上的数据集生成等因素有关。

哪位兄弟试试NDBAPI？据说很多mysql cluster的case都是用NDBAPI，效率很高

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

hzcgz

白手起家

论坛徽章:: 0

62楼 [报告]

发表于 2008-05-23 17:01 |只看该作者

原帖由 raid_fifa 于 2008-5-23 16:40 发表
mysql cluster 也是把记录做hash，然后平均分布到每个data node上的；只不过是根据主键的hash分片的

ndbd的效率其实是很高的，mysql cluster的响应时间上不去可能主要还和ndbd之间、ndbd和mysqld之间的数据传 ...

有道理,谢谢提醒,抽空看一下NDBAPI.

但cluster系统的整体性能上不去也是一个现实问题(虽然有可能是数据传输和通信的瓶颈),特别是要在实际环境中使用时这点尤其头痛.
我们原来数据库cluster选型时也化了很多时间和精力,最后由于种种原因而放弃了常规的cluster 而采用了HA+GDA,现在8台数据库组成的服务还算满足要求. 反正觉得一上多机系统后各方面要考虑的事情就来了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

飞哥林

白手起家

论坛徽章:: 0

63楼 [报告]

发表于 2008-05-23 17:20 |只看该作者

原帖由 raid_fifa 于 2008-5-23 16:40 发表
mysql cluster 也是把记录做hash，然后平均分布到每个data node上的；只不过是根据主键的hash分片的

ndbd的效率其实是很高的，mysql cluster的响应时间上不去可能主要还和ndbd之间、ndbd和mysqld之间的数据传 ...

是hash完了，把整条记录存到一个data node还是，将记录分成n片，把每一片放到不同的node？这个里面实现的细节有没有文档能参考一下？实在不行，只能看源代码了。
说道ndbapi倒是应该会比较快，晚点我再试试。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sunnyfun

小富即安

论坛徽章:: 0

64楼 [报告]

发表于 2008-05-23 17:20 |只看该作者

嗯，只有使用NDB API才能真正发挥 cluster 的效率，性能可以提高数倍。
不过要用C++直接从底层操作数据库，难度还是有点的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

chuhongze

稍有积蓄

论坛徽章:: 0

65楼 [报告]

发表于 2008-05-23 17:53 |只看该作者

对于大量的数据的读写以及大量的数据并发，现在就我知道没有太多更好的解决办法。对于网络的流量可以分流，对于数据库的瓶颈，如何处理呢？LZ的测试是"符合实际情况的" .

[ 本帖最后由 chuhongze 于 2008-5-27 14:44 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

iamacnhero

实习版主

论坛徽章:: 0

66楼 [报告]

发表于 2008-05-24 19:01 |只看该作者

NDB不支持外键，而CLUSTER又必须用NDB

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

raid_fifa

家境小康

论坛徽章:: 0

67楼 [报告]

发表于 2008-05-26 09:39 |只看该作者

回复 #63 飞哥林的帖子

记录本身不再分片

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

gxcooo

白手起家

论坛徽章:: 0

68楼 [报告]

发表于 2008-05-26 09:48 |只看该作者

原帖由 wwdwwd 于 2008-5-22 14:44 发表

哥们，chinaunix的论坛里面有一篇帖子里面详细讨论了这个方案，大部分人的观点是暂不适合企业级应用，个人测试测试就ok了。
我自己简单的测试了一下，三台。一台mysql server，两代data，mgm node也放在mysq ...

3：所有的数据都存储在每个data node的内存里面，比如说数据库大小为10m，就会占用每个data node的10m内存，但是同时也会占用100m左右的硬盘，这个很奇怪。

有人能确认wwdwwd说的这个第3点吗？
我感觉不应该是这样的吧