免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: liaoboda

[RAID与磁盘阵列] 有关存储一些问题的开放讨论 [复制链接]

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 11:36 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 11:24 发表

有电子版的没有 我可以看看


请尊重版权。纸张版。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 11:43 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 11:30 发表

3.有关和南桥传输有关系。
这个也是我在CU认识的一个朋友和我说的,他说有可能和南桥协议封包有关系。这个我不确定,我准备试验和找intel的解释这个问题。

希望老兄找到答案之后贴上来共享。谢谢

论坛徽章:
0
发表于 2008-09-11 11:55 |显示全部楼层
我开始的那些结论不是我一个人得出的。是大家在长时间实际工作中得出来的。我的理论水平有限,上边所有问题全是实际应用中发现的问题。(我这里有很多很多各个厂家的机器可以试验,如果要我还可以再去要),我们的目的就是大家互相交流,懂理论的说理论 有经验的说经验真正把问题搞清楚。我下边说明一点问题。
1.存储的相应速度分两中,一种是突发响应,一种是持续读写。一般是数据库操作都是突发响应,在这个层面上,就常常有san,nas之争,光纤和以太网不同,协议不同,cache大小不同。因为像这类的操作主要是要反应快(可能数据流量并不太大,当然你存储的数量多到一定程度,你那根总的水管就得很粗了)。这个就像网络通信的infinband和万兆以太一样了。在数值计算里边集群里边需要超低响应的的网络,所以那些超算中心一般比较喜欢infinband. 同样的道理可以解释AMD的数据库性能比intel好。应为整合了内存控制器(intel Nehamel马上也要整合了),所以AMD的数据库并发相应要比intel快。但是带宽就不一定快了。相应快不代表带宽大。
2.我们现在碰到的问题主要是指持续读写的,比如我一天要读写10个T的数据。(这种是以后云计算经常会碰到的)现在我们发现的问题不是在协议上,也不是在网络带宽上,也不是在文件系统上 也不是在控制器或者cache上(我做过一些小的试验 该换的我都换过 很多厂商拿来东西都很有信心,我一跑就很无奈了,其实我测试的方法很简单就是time cp ,本地同一控制器拷本地同一控制器,本地不同控制器拷本地不同控制器,本地考异地。大文件小文件,不同的东西略有差别,但是一句话 都那样)我和我的朋友都认为问题在硬盘上。因为现在SATA 就60MB/s 转速15K的SAS 也就100MB/s 我说的这个数字都是上限。其做了raid以后并不是像理论那样的增加。所以我想把这些理论和实际的结合起来,让理论最少要能解释实际的,最后找到解决的办法。

论坛徽章:
0
发表于 2008-09-11 11:56 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 11:36 发表


请尊重版权。纸张版。

那里能买?不好意思谢谢了

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 11:57 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 11:56 发表

那里能买?不好意思谢谢了

全国各大书店网店均有售。目前还没有出版,正在终审,封面和序都做好了。
敬请关注!请留意本版置顶帖。

论坛徽章:
0
发表于 2008-09-11 12:01 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 11:35 发表


这个是几本原理,都知道的。一块盘当然用不到。
但是对于像样的nas系统,几十块磁盘难道就能出100M流量么?这样的话NAS也没必要弄什么多以太口绑定了,也不用lacp了。

我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 12:06 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 11:55 发表
我开始的那些结论不是我一个人得出的。是大家在长时间实际工作中得出来的。我的理论水平有限,上边所有问题全是实际应用中发现的问题。(我这里有很多很多各个厂家的机器可以试验,如果要我还可以再去要),我们的目的就是大家互相交流,懂理论的说理论 有经验的说经验真正把问题搞清楚。我下边说明一点问题。
1.存储的相应速度分两中,一种是突发响应,一种是持续读写。一般是数据库操作都是突发响应,在这个层面上,就常常有san,nas之争,光纤和以太网不同,协议不同,cache大小不同。因为像这类的操作主要是要反应快(可能数据流量并不太大,当然你存储的数量多到一定程度,你那根总的水管就得很粗了)。这个就像网络通信的infinband和万兆以太一样了。在数值计算里边集群里边需要超低响应的的网络,所以那些超算中心一般比较喜欢infinband. 同样的道理可以解释AMD的数据库性能比intel好。应为整合了内存控制器(intel Nehamel马上也要整合了),所以AMD的数据库并发相应要比intel快。但是带宽就不一定快了。相应快不代表带宽大。
2.我们现在碰到的问题主要是指持续读写的,比如我一天要读写10个T的数据。(这种是以后云计算经常会碰到的)现在我们发现的问题不是在协议上,也不是在网络带宽上,也不是在文件系统上 也不是在控制器或者cache上(我做过一些小的试验 该换的我都换过 很多厂商拿来东西都很有信心,我一跑就很无奈了,其实我测试的方法很简单就是time cp ,本地同一控制器拷本地同一控制器,本地不同控制器拷本地不同控制器,本地考异地。大文件小文件,不同的东西略有差别,但是一句话 都那样)我和我的朋友都认为问题在硬盘上。因为现在SATA 就60MB/s 转速15K的SAS 也就100MB/s 我说的这个数字都是上限。其做了raid以后并不是像理论那样的增加。所以我想把这些理论和实际的结合起来,让理论最少要能解释实际的,最后找到解决的办法。


读写大文件,但就这一点,用raid3和raid5是很合适的。具体为何性能太低,与控制器有关,控制器太烂,或者配置的参数不恰当。
不管外部接口还是磁盘给出的速率,大文件读写,磁盘转速够快,外部网络能提供足够带宽,就行了。至于为何性能低下,这个得找存储厂商的人来弄,而不能下结论说raid实际效果不大。

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:49:45IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2008-09-11 12:07 |显示全部楼层
“我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。”

这样的话,您所遇到的问题就是一个性能调优的问题了。找具体厂家吧,我无能为力,netapp我可以帮你,其他我帮不了。

论坛徽章:
0
发表于 2008-09-11 12:12 |显示全部楼层
原帖由 liaoboda 于 2008-9-11 12:01 发表

我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。

很高端的EMC的存储我叫他们提供过存储的测试好像是C900(型号可能有点错)嘻嘻,但是他们说这个国内可能没有货。这个我没发言权,如果CU上边谁在用的,可以测试下,本机cp个几百G的东西。看看时间就可以了。我们估计不可能买EMC NETAPP 这种存储了。价格太高。10个P算算要多少钱。据我所知道现在google baidu 腾讯 阿里巴巴 等等这些海量的都是用的这种单台Raid 卡的,可能raid卡都没有的(软raid)。

论坛徽章:
0
发表于 2008-09-11 12:14 |显示全部楼层
原帖由 冬瓜头 于 2008-9-11 12:07 发表
“我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。”

这样的话,您所遇到的问题就是一个性能调优的问题了。找具体厂家吧,我无能为力,netapp我可以帮你,其他我帮不了。

Sun的4500 找到Sun sun无能为力。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。




----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP