免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
0
发表于 2008-09-06 17:17 |显示全部楼层
原帖由 klin121628 于 2008-9-6 00:15 发表
并行文件系统都是很贵很贵的.........

有两种一中开源的软件lustre 不用钱的。一种带硬件的panasas,这个比较贵

论坛徽章:
0
发表于 2008-09-08 11:28 |显示全部楼层
原帖由 夜的小宇宙 于 2008-9-5 09:53 发表


2.磁盘的cache 大小对突发读写有效果,对持续的读写基本没用。

这一条理论上应该是,数据读取的时候和缓存命中率关系很大,如果能在缓存中读取,就不用去磁盘上寻址读取了,速度当然快不少。但我感觉应该 ...


这个问题我也想搞清楚一些,一般我们出货的阵列,都将磁盘的缓冲关掉,说这样能提升速度,不知缘何。:(

论坛徽章:
5
CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:45
发表于 2008-09-08 13:17 |显示全部楼层
很不错的讨论

论坛徽章:
0
发表于 2008-09-09 17:26 |显示全部楼层
2.大量持续的读写,软raid速度比硬raid好。
很有可能吧,总有一个地方要分条,但主机的CPU肯定比存储上的CPU要快一点。只不过软RAID的话会占主机的CPU时间。
3.cache多一点,性能高一点。这个应当是正确的结论,但是在大量写时cache不够用时,有没有cache就变成一样了。不连续时性能高是由于IOPS上不去,当然cache很难一下搞满。所以性能才会高吧。
4.raid5的话,连续读应当比1块盘好吧.写才慢
5.FC的协议要比TCP/IP的传输效率要高,但是使用NAS做文件服务时,传输的数据肯定会少一点,NAS的cache利用也会比SAN上存储上好。做比较的有点不合适。

论坛徽章:
0
发表于 2008-09-10 22:30 |显示全部楼层
长见识,关注中。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-10 23:51 |显示全部楼层
2.大量持续的读写,软raid速度比硬raid好。
不知道兄台这个结论怎么来的,实验,经验,理论推导?我看多半是实验。理论上讲,软raid仅当在主机CPU很空余而且性能比外部控制器cpu强劲时,表现的比硬raid强。但是一旦主机cpu已经高负荷了,那么此时,硬raid的效果就凸显了。

3.raid5会比单块盘慢。
这个不好说吧。得看io的性质,我在《大话存储》中,将IO种类分成:随机/连续,顺序/并发,大块/小块。而且对各种raid,不仅是raid5,做了分别针对上面这些情况的相对于单盘的性能分析,有兴趣的话,9月末出版之后,希望兄台可以捧场,买本看看。给点意见。


4.传输的问题可能存在南桥和硬盘控制器之间。
南桥和硬盘控制器,不知道兄台指芯片内部的传输么?硬盘控制器是说的南桥内部集成的么?这个会有什么问题呢?

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-10 23:53 |显示全部楼层
关于并行文件系统,这个得去本论坛linux半块集群和虚拟机亚半块找nntp大侠取经了。
pvfs2,lustre,polyserver,gpfs之类的,具体没怎么研究。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-10 23:58 |显示全部楼层
原帖由 smile_hua 于 2008-9-8 11:28 发表


这个问题我也想搞清楚一些,一般我们出货的阵列,都将磁盘的缓冲关掉,说这样能提升速度,不知缘何。:(


首先澄清。没有“关闭磁盘cache”这一说。所谓“关闭磁盘cache”,这不是一个出厂前的步骤,也不是硬盘上的某个开关或者电路。
磁盘cache在任何情况下都在使用。不可能有没有cache的硬盘。
可以看一下scsi协议。有个fau和dpo的概念看完就知道所谓“关闭磁盘cache”是什么意思了。
至于为什么要“关闭”磁盘cache,唯一原因就是为了数据一致性。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 00:00 |显示全部楼层
原帖由 liaoboda 于 2008-9-5 12:44 发表

昨天我给那些学生提议,建议他们做一个大规模存储的解决方案的课题。不过好像没人感兴趣,一般喜欢研究那些复杂的算法。嘻嘻。
我觉得解决这个问题必须从下边的几个方面共同解决。
1.存储介质的工作原理,必 ...


不拍兄台耻笑,强烈推荐敝人专著《大话存储》,虽然不能覆盖所有这些细节,但是至少能让您的学生对您所说的这些有个比较深刻的理解。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 00:02 |显示全部楼层
原帖由 liaoboda 于 2008-9-5 15:34 发表
lustre 我试过 计算所的蓝鲸我也试验过 lustre的效果还可以 但是对大量2M左右的文件就不行了。


是的,小文件对于这类FS来说都是梦魇。由于开销过大,往往不能二者兼顾。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。




----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP