免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › IT运维 › 存储备份 › 问个关于分布式存储的问题.

最近访问板块

发新帖

查看: 3054 | 回复: 5

上一主题

下一主题

[存储网络] 问个关于分布式存储的问题. [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2010-07-02 11:39 |只看该作者 |倒序浏览

我这里有个应用，有8个chunkserver做存储，9个左右的client并发追加方式向一文件写数据，每次写的数据大小是5M。
这个用mfs性能可以吗？我这里主要是写。
我自己装mfs做了下测试，用了3个chunkserver，3个clent同时写，每个client每次写5m，连续写2G，最慢的需要5分多，最快的也要4分多,而且iowait有的点达到10%。
系统是centos 5.4-x86_64,文件系统是ext3,mfs版本为1.6.16.系统未运行其它服务只跑了mfs.硬盘是(7200转),内存2G

这个速度实在是很慢，有没有其它的分布式文件系统解决方案可以代替?主要是写应用。

文库|博客

论坛徽章:: 1

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

2楼 [报告]

发表于 2010-07-02 12:00 |只看该作者

试一试StorNext

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 10

处女座
日期:2015-01-22 16:08:50

技术图书徽章
日期:2018-09-13 11:25:52

技术图书徽章
日期:2018-09-13 11:25:45

技术图书徽章
日期:2018-09-13 11:25:37

技术图书徽章
日期:2018-09-13 11:25:29

黑曼巴
日期:2018-06-04 09:03:19

2017金鸡报晓
日期:2017-01-10 15:19:56

极客徽章
日期:2016-12-07 14:03:40

2015年迎新春徽章
日期:2015-03-04 09:50:28

技术图书徽章
日期:2018-09-13 11:26:01

3楼 [报告]

发表于 2010-07-02 12:18 |只看该作者

这个还真没用过

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2010-07-05 10:07 |只看该作者

分布式文件系统只听说过微软的DFS 其他的不懂

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2010-07-05 13:57 |只看该作者

MFS默认的冗余机制好象是三份副本,也就是你写入2GB的数据实际上写入的是6GB,所以慢是很正常的,为了提高速度可以更改一下冗余策略!

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2010-07-06 10:50 |只看该作者

我这里有个应用，有8个chunkserver做存储，9个左右的client并发追加方式向一文件写数据，每次写的数据大小是 ...
weizhishu 发表于 2010-07-02 11:39

luster或者ibm的gpfs 高性能计算专用，storenext也不错不过gpfs和storenext是收费的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › IT运维 › 存储备份 › 问个关于分布式存储的问题.

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP