有关存储一些问题的开放讨论

冬瓜头

原帖由 liaoboda 于 2008-9-11 11:24 发表

有电子版的没有 我可以看看

请尊重版权。纸张版。

冬瓜头

原帖由 liaoboda 于 2008-9-11 11:30 发表

3.有关和南桥传输有关系。
这个也是我在CU认识的一个朋友和我说的，他说有可能和南桥协议封包有关系。这个我不确定，我准备试验和找intel的解释这个问题。

希望老兄找到答案之后贴上来共享。谢谢

liaoboda

我开始的那些结论不是我一个人得出的。是大家在长时间实际工作中得出来的。我的理论水平有限，上边所有问题全是实际应用中发现的问题。（我这里有很多很多各个厂家的机器可以试验，如果要我还可以再去要），我们的目的就是大家互相交流，懂理论的说理论 有经验的说经验真正把问题搞清楚。我下边说明一点问题。
1.存储的相应速度分两中，一种是突发响应，一种是持续读写。一般是数据库操作都是突发响应，在这个层面上，就常常有san,nas之争，光纤和以太网不同，协议不同，cache大小不同。因为像这类的操作主要是要反应快（可能数据流量并不太大，当然你存储的数量多到一定程度，你那根总的水管就得很粗了）。这个就像网络通信的infinband和万兆以太一样了。在数值计算里边集群里边需要超低响应的的网络，所以那些超算中心一般比较喜欢infinband. 同样的道理可以解释AMD的数据库性能比intel好。应为整合了内存控制器（intel Nehamel马上也要整合了），所以AMD的数据库并发相应要比intel快。但是带宽就不一定快了。相应快不代表带宽大。
2.我们现在碰到的问题主要是指持续读写的，比如我一天要读写10个T的数据。（这种是以后云计算经常会碰到的）现在我们发现的问题不是在协议上，也不是在网络带宽上，也不是在文件系统上 也不是在控制器或者cache上（我做过一些小的试验 该换的我都换过 很多厂商拿来东西都很有信心，我一跑就很无奈了，其实我测试的方法很简单就是time cp ,本地同一控制器拷本地同一控制器，本地不同控制器拷本地不同控制器，本地考异地。大文件小文件，不同的东西略有差别，但是一句话 都那样）我和我的朋友都认为问题在硬盘上。因为现在SATA 就60MB/s 转速15K的SAS 也就100MB/s 我说的这个数字都是上限。其做了raid以后并不是像理论那样的增加。所以我想把这些理论和实际的结合起来，让理论最少要能解释实际的，最后找到解决的办法。

liaoboda

原帖由 冬瓜头 于 2008-9-11 11:36 发表


请尊重版权。纸张版。

那里能买?不好意思谢谢了

冬瓜头

原帖由 liaoboda 于 2008-9-11 11:56 发表

那里能买?不好意思谢谢了

全国各大书店网店均有售。目前还没有出版，正在终审，封面和序都做好了。
敬请关注！请留意本版置顶帖。

liaoboda

原帖由 冬瓜头 于 2008-9-11 11:35 发表


这个是几本原理，都知道的。一块盘当然用不到。
但是对于像样的nas系统，几十块磁盘难道就能出100M流量么？这样的话NAS也没必要弄什么多以太口绑定了，也不用lacp了。

我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。

冬瓜头

原帖由 liaoboda 于 2008-9-11 11:55 发表
我开始的那些结论不是我一个人得出的。是大家在长时间实际工作中得出来的。我的理论水平有限，上边所有问题全是实际应用中发现的问题。（我这里有很多很多各个厂家的机器可以试验，如果要我还可以再去要），我们的目的就是大家互相交流，懂理论的说理论 有经验的说经验真正把问题搞清楚。我下边说明一点问题。
1.存储的相应速度分两中，一种是突发响应，一种是持续读写。一般是数据库操作都是突发响应，在这个层面上，就常常有san,nas之争，光纤和以太网不同，协议不同，cache大小不同。因为像这类的操作主要是要反应快（可能数据流量并不太大，当然你存储的数量多到一定程度，你那根总的水管就得很粗了）。这个就像网络通信的infinband和万兆以太一样了。在数值计算里边集群里边需要超低响应的的网络，所以那些超算中心一般比较喜欢infinband. 同样的道理可以解释AMD的数据库性能比intel好。应为整合了内存控制器（intel Nehamel马上也要整合了），所以AMD的数据库并发相应要比intel快。但是带宽就不一定快了。相应快不代表带宽大。
2.我们现在碰到的问题主要是指持续读写的，比如我一天要读写10个T的数据。（这种是以后云计算经常会碰到的）现在我们发现的问题不是在协议上，也不是在网络带宽上，也不是在文件系统上 也不是在控制器或者cache上（我做过一些小的试验 该换的我都换过 很多厂商拿来东西都很有信心，我一跑就很无奈了，其实我测试的方法很简单就是time cp ,本地同一控制器拷本地同一控制器，本地不同控制器拷本地不同控制器，本地考异地。大文件小文件，不同的东西略有差别，但是一句话 都那样）我和我的朋友都认为问题在硬盘上。因为现在SATA 就60MB/s 转速15K的SAS 也就100MB/s 我说的这个数字都是上限。其做了raid以后并不是像理论那样的增加。所以我想把这些理论和实际的结合起来，让理论最少要能解释实际的，最后找到解决的办法。

读写大文件，但就这一点，用raid3和raid5是很合适的。具体为何性能太低，与控制器有关，控制器太烂，或者配置的参数不恰当。
不管外部接口还是磁盘给出的速率，大文件读写，磁盘转速够快，外部网络能提供足够带宽，就行了。至于为何性能低下，这个得找存储厂商的人来弄，而不能下结论说raid实际效果不大。

冬瓜头

“我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。”

这样的话，您所遇到的问题就是一个性能调优的问题了。找具体厂家吧，我无能为力，netapp我可以帮你，其他我帮不了。

liaoboda

原帖由 liaoboda 于 2008-9-11 12:01 发表

我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。

很高端的EMC的存储我叫他们提供过存储的测试好像是C900（型号可能有点错）嘻嘻，但是他们说这个国内可能没有货。这个我没发言权，如果CU上边谁在用的，可以测试下，本机cp个几百G的东西。看看时间就可以了。我们估计不可能买EMC NETAPP 这种存储了。价格太高。10个P算算要多少钱。据我所知道现在google baidu 腾讯 阿里巴巴 等等这些海量的都是用的这种单台Raid 卡的，可能raid卡都没有的（软raid）。

liaoboda

原帖由 冬瓜头 于 2008-9-11 12:07 发表
“我原来也是你那么想的 我在本地读写不管怎么做raid 就那样。”

这样的话，您所遇到的问题就是一个性能调优的问题了。找具体厂家吧，我无能为力，netapp我可以帮你，其他我帮不了。

Sun的4500 找到Sun sun无能为力。