免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda
打印 上一主题 下一主题

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
0
201 [报告]
发表于 2008-10-31 21:16 |只看该作者

回复 #1 liaoboda 的帖子

厉害了...

我最近发现.
备份中国(www.beifen.com)的在线备份软件  随时掌握备份状况-系统自动回报管理机制,让您无后顾之忧。
        针对企业对於资讯安全,低成本、高效率之要求,开发全天2 4小时备援监控,主动回报系统机制。您的线上备份状况,不论成功或发生错误,我们的系统都会提供完整的备份报告给您,您除了可以从一般预设的email信箱收到报告之外,同时也可以至本公司的官方网站www.beifen.com做进一步的信息浏览,达到节省人力、专业分工,进而提高整体效率,降低营运成本。
软件免费下载:http://www.skycn.com/soft/48873.htmlpc2.0版               
                        http://www.skycn.com/soft/48875.html服务器2.0版               
同时你也会免费得到两个版本的破解版

这个也不错的阿.狠安全,又实在的,试试看阿.!

论坛徽章:
0
202 [报告]
发表于 2008-12-02 16:47 |只看该作者

回复 #201 liaoboda 的帖子

强帖 留名 !!!目前正在看冬瓜的<<大话存储>> 充电阶段

论坛徽章:
2
丑牛
日期:2014-06-11 13:55:04ChinaUnix元老
日期:2015-02-06 15:16:14
203 [报告]
发表于 2008-12-30 16:40 |只看该作者
新技术,有人敢用吗?

论坛徽章:
0
204 [报告]
发表于 2009-01-03 23:27 |只看该作者
lz最近有没有什么新的数据,都贴出来看看吧,学习学习,呵呵。
另外,lz说xfs和lustre都测试过,我想问问lustre是分布式文件系统,xfs是本地文件系统,测试的时候是不是本地文件系统用xfs,集群之间用lustre文件系统呢?
从架构上说,lustre是在xfs之上吗?

我再说几个存储上的问题

1)raid5的时候,并不是盘越多越好,盘太多的话,在写cache往磁盘刷数据的时候,并不能把IO很平均地分配到各个硬盘,这个时候往往有些盘很忙,而有些盘很闲。
2)有读有写的时候比纯读存些要慢是正常的,一方面是读写互斥的问题,一方面是cache利用的问题,如果是单纯以读业务为主,可以把读cache分配大一些,写cache小一些,这样整体性能会有很大提高,因为命中率会提高,但是如果是混合业务的话,cache资源会比较紧张,常常成为瓶颈。
3)xfs文件系统是64位的文件系统,支持大文件,大目录。在大文件的读写性能上表现优异,但是小文件写和小文件删除恰恰是它的软肋,据说SGI的开发者已经开发补丁来解决这个问题,但是从lz的测试来看lustre也存在这个问题,我对这个还比较感兴趣,希望有更多的数据可以参考学习。
4)磁盘的cache最好不要打开,多数情况下对性能没有好处反而影响数据一致性。
5)磁盘的读写速度:sata盘一般是70M/s,sas 110M/s,fc 110M/s,如果是相同的磁盘,比如都是FC盘,不同的firmware版本在性能上会有一些差异。
6)当一个目录下有很多小文件时,目录的结构非常复杂,对xfs来说是b+树索引的extent结构,这个时候inode大小对读写性能不会有太大影响,影响的是磁盘寻道时间,因为此时有很多的元数据和日志需要处理,而同意文件中元数据IO,日志IO,数据IO的LBA地址相互之间都是不连续的,各个文件的数据IO的LBA地址也不连续,所以此时的读写带宽很慢。

论坛徽章:
1
CU十二周年纪念徽章
日期:2013-10-24 15:41:34
205 [报告]
发表于 2009-01-03 23:56 |只看该作者
SSD还是再观望观望

论坛徽章:
0
206 [报告]
发表于 2009-02-04 18:53 |只看该作者

回复 #208 liuprairie 的帖子

最近有点忙 我们今年有个很大的项目存储大概能到50-100P 另外我大量的测试了一些东西,现在有个100T的lustre的测试环境 intel 的SSD 也在测试 还有一些CPU  我前边的说法可能有点问题 现在发现协议很重要 另外看IO 也有门道 但是现在没时间和心情发贴了 有时间会继续讨论.

论坛徽章:
0
207 [报告]
发表于 2009-02-04 18:55 |只看该作者
原帖由 山野村夫 于 2008-12-30 16:40 发表
新技术,有人敢用吗?

百度已经换了1/3

论坛徽章:
0
208 [报告]
发表于 2009-02-10 01:01 |只看该作者
原帖由 liaoboda 于 2008-9-11 12:14 发表

据我所知道现在google baidu 腾讯 阿里巴巴 等等这些海量的都是用的这种单台Raid 卡的,可能raid卡都没有的(软raid)。


据说,baidu的机器去年全部更换了Flash Disk,应该是单机,不知道这东西有什么帮助。
btw, LZ的问题曾经和一个军方的信息中心聊过,他们的计划仿佛是向这些网络公司取经。

论坛徽章:
0
209 [报告]
发表于 2009-02-10 16:36 |只看该作者
原帖由 liuprairie 于 2009-1-3 23:27 发表
xfs文件系统是64位的文件系统,支持大文件,大目录。在大文件的读写性能上表现优异,但是小文件写和小文件删除恰恰是它的软肋



好久没看过这个帖子了,请问这个结论是测试结果还是有文可循呢?麻烦给个连接吧,我想了解下,谢谢啦

论坛徽章:
0
210 [报告]
发表于 2009-02-11 12:15 |只看该作者
原帖由 andy_lyb 于 2009-2-10 01:01 发表


据说,baidu的机器去年全部更换了Flash Disk,应该是单机,不知道这东西有什么帮助。
btw, LZ的问题曾经和一个军方的信息中心聊过,他们的计划仿佛是向这些网络公司取经。

ssd 可以有更快的响应时间,这样在lustre这种系统里边做MD data会非常有好处.其实最理想的是Rambox.这个大的存储系统的方案优化 应该是根据每种实际情况的一个复杂的结构.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP