免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: 飞哥林

MySQL Cluster性能测试结果以及疑问 [复制链接]

论坛徽章:
0
发表于 2008-05-22 16:22 |显示全部楼层
原帖由 wwdwwd 于 2008-5-22 15:20 发表




有一个问题:mysql cluster的数据会放到内存里面,大数据量需要分库分表的话那得多大的内存?


有意思,那看看这个:

So how will MySQL Cluster work on a
Niagara-II with 256 GB memory?
Unpublished results from 2002
* Benchmark load:
* Simple read, read 100 bytes of data through primary key
* Simple update, update 8 bytes of data through primary key
* Both are transactional
* HW: 72-CPU SunFire 15k, 256 GB memory
* CPU’s: Ultra Sparc-III@900MHz
* 32-node NDB Cluster, 1 data node locked to 1 CPU
* Results (Database size = 88 Gbyte, ~900 million records):
* Simple Read: 1.5 million reads per second
* Simple update: 340.000 updates per second

论坛徽章:
0
发表于 2008-05-22 16:25 |显示全部楼层
原帖由 sunnyfun 于 2008-5-22 16:22 发表


有意思,那看看这个:




This machine is very robust!

论坛徽章:
0
发表于 2008-05-22 16:38 |显示全部楼层
顺便看看网络对Cluster的影响:

1.JPG

PS:什么是SCI
  IEEE SCI

  IEEE 标准 SCI 的延迟更少(低于 2.5 微秒),并且其单向速度可达到 400 MB/秒 (3.2 Gbps)。SCI 是基于环拓扑的网络系统,不像以太网是星形拓扑。这将使在较大规模的节点之间通信速度更快。更有用的是环面拓扑网络,它在节点之间有许多环形结构。两维环面可以用 n 乘 m 的网格表示,其中在每一行和每一列都有一个环形网络。三维环面也类似,可以用三维立体节点网格表示,每一层上有一个环形网络。密集超级计算并行系统使用环面拓扑网络,为成百上千个节点之间的通信提供相对最快的路径。

  大多数操作系统的限制因素不是操作系统或网络接口,而是服务器的内部 PCI 总线系统。几乎所有台式 PC 通常有基本 32-位,33-MHz PCI,并且大多数低端服务器只提供 133 MB/秒 (1 Gbps),这限制了那些网卡的能力。一些昂贵的高端服务器,如 Compaq Proliant 6500 和 IBM Netfinity 7000 系列,都有 64-位, 66-MHz 网卡,它们能够以四倍速度运行。不幸地是,矛盾是更多公司使用低端的系统,因此大多数供应商最终生产和销售更多低端 PCI 网卡。也有专门的 64-位,66-MHz PCI 网卡,但价格要贵许多。例如,Intel 提供了这种类型的“快速以太网”网卡,价格约 $400 到 $500,几乎是普通 PCI 版本价格的 5 倍。


千兆以太网卡延迟估计起码在8、9微秒吧。相信将来服务器能直连万兆网的话,就会是另一种情况了。

论坛徽章:
0
发表于 2008-05-22 16:43 |显示全部楼层
加精了。 再讨论。

论坛徽章:
0
发表于 2008-05-22 20:46 |显示全部楼层
原帖由 showsa 于 2008-5-20 17:02 发表
目前网上很多所谓mysql cluster的测试,其实基本上只是个搭建起来能够运行而已
很多人还不理解mysql cluster构架的初衷
当你们遇到大数据量需要分表分库的时候再来审视mysql cluster的构架,你会发现是多么的 ...


太亲切了,NDB这个东西真的很好,不过技术要求也比较高,我们的NDB因为SWAP过小而起不来的问题而发展成大问题

论坛徽章:
0
发表于 2008-05-22 21:15 |显示全部楼层
原帖由 showsa 于 2008-5-21 23:12 发表
不知道你是怎么添加的

现在的内部机制,根据我的理解,是没办法在线添加的



• N: Node Restart
• IN: Initial Node Restart
• S: System Restart
• IS: Initial System Restart

DataMemory bytes 80M 1M 1024G (subject to available system RAM and size of IndexMemory) N

这个是手册上说明的,数据节点内存大小只要重起节点就可以做到

论坛徽章:
0
发表于 2008-05-23 00:24 |显示全部楼层
原帖由 sihexuan 于 2008-5-22 21:15 发表



• N: Node Restart
• IN: Initial Node Restart
• S: System Restart
• IS: Initial System Restart

DataMemory bytes 80M 1M 1024G (subject to available system RAM an ...



请看我之前的回复

原帖由 showsa 于 2008-5-21 22:16 发表
月亮,现在还没法在线添加data node节点,不过有办法在线增加节点内存

论坛徽章:
0
发表于 2008-05-23 15:31 |显示全部楼层
高手过招,十分幸运
留个名。。

论坛徽章:
0
发表于 2008-05-23 15:43 |显示全部楼层

回复 #11 飞哥林 的帖子

现实问题,在很多情况下并不能有效提高速度.不光是mysql cluster, 其它数据库也有这样的类似情况, 赞一个LZ的这种精神.

论坛徽章:
0
发表于 2008-05-23 16:18 |显示全部楼层
原帖由 hzcgz 于 2008-5-23 15:43 发表
现实问题,在很多情况下并不能有效提高速度.不光是mysql cluster, 其它数据库也有这样的类似情况, 赞一个LZ的这种精神.

既然是内存数据存储的方式,不能提高速度,我实在是不明白。

我们团队原来自己做过一个分布式内存数据库,性能没的说,现在field很多点大量用户数据在跑。只是我们的方案是记录根据hash分配到不同的node,而mysql cluster是将表分片,每条记录都分一部分数据到每个node上保存,我们节省了拆和拼的过程。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP