论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2007-02-06 11:43 |只看该作者 |倒序浏览

最近把这三样东西整理在了一起，做了一个小测试。效果还不错。
单点fail以后，对整个文件系统没有影响。
文档贴出来，大家提提意见。

这个测试是做web文件存储用的，但是小文件太多，性能只能达到物理硬盘的1/3。

Lustre_DRBD_Heartbeat.pdf

118.56 KB, 下载次数: 1704

文库|博客

lzj_0619

稍有积蓄

论坛徽章:: 0

2楼 [报告]

发表于 2007-02-06 12:10 |只看该作者

不错不错．谢谢共享啊．顶你一下．

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sinofool

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2007-02-08 01:12 |只看该作者

这个系统搭出来测，结果真让人心痛。。。
2台OSS，iozone测16G文件，16k块随机读写，才2MByte/s
可能是测试工具不好，体现不出来高并发时候的优势。
闲一些了，自己写一个并发的测试，用实际业务文件测一下。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nntp

版主

论坛徽章:: 0

4楼 [报告]

发表于 2007-02-08 16:21 |只看该作者

原帖由 sinofool 于 2007-2-8 01:12 发表于 3楼
这个系统搭出来测，结果真让人心痛。。。
2台OSS，iozone测16G文件，16k块随机读写，才2MByte/s
可能是测试工具不好，体现不出来高并发时候的优势。
闲一些了，自己写一个并发的测试，用实际业务文件测一下。

我不是已经反复的说过了么, lustre 和类似的分布式文件系统对于小块I/O读写一点性能提高都没有，而且根据你用的分布式文件系统的metadata 控制的不同，反而在小块I/O读写上性能会很差. 目前没有很好的软件手段可以解决这个问题. 可选的方法是在硬件上增加投入. 比如使用有更大queue的硬盘子系统，或者使用有更好小文件读写性能的SCSI/阵列卡.

你可以看看，一样按照你的硬件配置，你在单服务器上，单硬盘来一样测你的16G/16k random, 比较一下和lustre环境下的性能. 呵呵.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

feiyuw

丰衣足食

论坛徽章:: 0

5楼 [报告]

发表于 2007-02-13 19:44 |只看该作者

多谢楼主，正在学这方面的内容

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › IT运维 › 分布式文件系统（FastDFS） › Lustre+DRBD+Heartbeat组建无共享磁盘的分布式文件系统

[Lustre] Lustre+DRBD+Heartbeat组建无共享磁盘的分布式文件系统 [复制链接]