找网络或者存储瓶颈。。。

bio_tt

  hi,

    我们实验室有这样一套装备，但是复制文件就几十M每秒，大家帮忙看看问题可能在哪。。

   1个IO： Intel(R) Xeon(R) CPU           X5650  @ 2.67GHz  48G内存，后面挂了个HP MSA2000的盘阵，大概11T
   
   1个管理： Intel(R) Xeon(R) CPU           E5430  @ 2.66GHz   32G内存
     
    16台刀片服务器。。。

  IO上有个ib卡，管理上有个ib卡, 还有一个IB交换机。 IO将盘阵分出的3个卷NFS给管理，走的是IPOIB

  
  问题1：
    这样配是不是很挫啊。。嘿嘿，几年前配的（当然还有几台胖节点也有ib卡，先不管啊）

问题2：
   管理上的不同用户scp是超慢的。。就几十M,不是传说ib的带宽很高的。。难道什么地方有瓶颈？

问题3：
   所谓的ipoib和纯ib有啥区别，，效率有差很多吗？网上说延迟有点差。。但是都是跑在IB接口上是不是带宽一样啊？

问题4：
   怎么才能使我们平时的scp等操作走在ib上，而不是借助ipoib。

  追加一下：
   
     现在集成公司都说infiniband肯定能用上，就是在不同计算节点计算时，数据走的就是纯ib,难道是ib-raw。。但实际上有效果不？咋验证呢。。
     平时跑的程序哪有那样交换量这么大的呢。。。骗子。。都是骗子。。。哎。。浪费啊

spook

所有的IO都落在MSA上面……你MSA接口是什么的啊？先画个拓扑连接图上来看看。

bio_tt

回复 2# spook

画图太难了。。。你懂的。。


你说的IO的接口？ib卡：Fibre Channel: QLogic Corp. ISP2432-based 4Gb Fibre Channel to PCI Express HBA (rev 02)

还是存储跟IO肯定是光纤4G的吧。。。

嘿嘿，不太懂。。求指教。


   

spook

我不懂画个拓扑图有什么难的？难道涉及什么先进结构需要保密?

如果画个拓扑图都难的话，那别人帮你分析解决问题不是更难了&……

说的难听点，那不是吃饱了闲的么？

bio_tt

回复 4# spook


    画图倒不是特别难。。关键就一个IO挂了一个盘阵，通过IB交换机，nfs给管理。。。超简单的架构啊。。。没有其他东西啊。

alongx

nfs 你想要 多好的性能

bio_tt

回复 6# alongx


嘿嘿，nfs能上100吗？带宽肯定是有的。。只是传文件的时候就11M好像。。。太慢了。

   

yfg123

回复 7# bio_tt


    你那IBM交换机是百兆的还是千兆的，我想达到100， 不可能吧。有几十M就非常好了。

deadwind

俺也想说，IB是很NB

但你那个IO的主机，对外提供的NFS的网络接口是啥呢？(不是指和MSA2000的FC-HBA接口)

bio_tt

回复 8# yfg123


    交换机是Qlogic 的ib 交换机。。。