PVFS2在rocks＋infiniband上的安装问题

bigkevinwong

各位好：
小弟手头有一个4个节点的集群，使用ROCKS 5.1管理。
最近弄了1套mellanox 的交换机和卡，我使用rocks提供的PVFS2 Roll安装得非常顺利，但是从rocks的 mail list得知pvfs2 roll不支持 ib协议，只能使用tcp协议。
所以我下载了pvfs2的安装文件，并按照quickstart进行安装。安装过程遇到几个问题，安装过程如下
1.
[root@perahpc pvfs2]# ./configure --with-kernel=/usr/src/kernels/2.6.18-92.1.13.el5-x86_64/

***** Displaying PVFS2 Configuration Information *****
------------------------------------------------------
PVFS2 configured to build karma gui               : yes
PVFS2 configured to use epoll                     : yes
PVFS2 configured to perform coverage analysis     :  no
PVFS2 configured for aio threaded callbacks       : yes
PVFS2 configured for the 2.6.x kernel module      : yes
PVFS2 configured for the 2.4.x kernel module      :  no
PVFS2 configured for using the mmap-ra-cache      :  no
PVFS2 configured for using trusted connections    :  no
PVFS2 configured for a thread-safe client library : yes
PVFS2 will use workaround for redhat 2.4 kernels  :  no
PVFS2 will use workaround for buggy NPTL          :  no
PVFS2 server will be built                        : yes

PVFS2 version string: 2.7.1

2.
[root@perahpc pvfs2]# make install
install -d /usr/local/share/man/man1
install -d /usr/local/share/man/man5
install -m 644 ./doc/man/*.1 /usr/local/share/man/man1
install -m 644 ./doc/man/*.5 /usr/local/share/man/man5
install -d /usr/local/include
install -m 644 ./include/pvfs2.h /usr/local/include
install -m 644 ./include/pvfs2-request.h /usr/local/include
install -m 644 ./include/pvfs2-debug.h /usr/local/include
install -m 644 ./include/pvfs2-sysint.h /usr/local/include
install -m 644 ./include/pvfs2-mgmt.h /usr/local/include
install -m 644 ./include/pvfs2-types.h /usr/local/include
install -m 644 ./include/pvfs2-util.h /usr/local/include
install -m 644 ./include/pvfs2-encode-stubs.h /usr/local/include
install -d /usr/local/lib
for i in libpvfs2.a ; do \
            install -m 755 lib/$i /usr/local/lib ;\
        done
install -d /usr/local/bin
install -m 755 src/apps/admin/pvfs2-check-config src/apps/admin/pvfs2-set-debugmask src/apps/admin/pvfs2-set-mode src/apps/admin/pvfs2-set-eventmask src/apps/admin/pvfs2-set-sync src/apps/admin/pvfs2-ls src/apps/admin/pvfs2-lsplus src/apps/admin/pvfs2-ping src/apps/admin/pvfs2-rm src/apps/admin/pvfs2-stat src/apps/admin/pvfs2-statfs src/apps/admin/pvfs2-perf-mon-example src/apps/admin/pvfs2-event-mon-example src/apps/admin/pvfs2-mkdir src/apps/admin/pvfs2-chmod src/apps/admin/pvfs2-chown src/apps/admin/pvfs2-fs-dump src/apps/admin/pvfs2-fsck src/apps/admin/pvfs2-validate src/apps/admin/pvfs2-cp src/apps/admin/pvfs2-viewdist src/apps/admin/pvfs2-xattr src/apps/admin/pvfs2-touch src/apps/admin/pvfs2-remove-object src/apps/admin/pvfs2-ln src/apps/admin/pvfs2-perror src/apps/admin/pvfs2-check-server /usr/local/bin
install -m 755 src/apps/admin/pvfs2-config /usr/local/bin
install -m 755 ./src/apps/admin/pvfs2-genconfig /usr/local/bin
install -m 755 ./src/apps/admin/pvfs2-config-convert /usr/local/bin
install -m 755 src/apps/karma/karma /usr/local/bin
install -d /usr/local/sbin
install -m 755 src/apps/admin/pvfs2-mkspace src/apps/admin/pvfs2-migrate-collection src/apps/admin/pvfs2-change-fsid src/apps/admin/pvfs2-showcoll /usr/local/bin
install -m 755 src/server/pvfs2-server /usr/local/sbin

3.
[root@perahpc usr]# /usr/local/bin/pvfs2-genconfig /etc/pvfs2-fs.conf
**********************************************************************
    Welcome to the PVFS2 Configuration Generator:

This interactive script will generate configuration files suitable
for use with a new PVFS2 file system.  Please see the PVFS2 quickstart
guide for details.

**********************************************************************
You must first select the network protocol that your file system will use.
The only currently supported options are "tcp", "gm", "mx", "ib", and "portals".
(For multi-homed configurations, use e.g. "ib,tcp".)

* Enter protocol type [Default is tcp]: ib

Choose a TCP/IP port for the servers to listen on for IB communications.  Note that this
script assumes that all servers will use the same port number.

* Enter port number [Default is 3335]:

Choose a directory for each server to store data in.

* Enter directory name: [Default is /pvfs2-storage-space]:

Choose a file for each server to write log messages to.

* Enter log file location [Default is /tmp/pvfs2-server.log]:

Next you must list the hostnames of the machines that will act as
I/O servers.  Acceptable syntax is "node1, node2, ..." or "node{#-#,#,#}".

* Enter hostnames [Default is localhost]: perahpc

Now list the hostnames of the machines that will act as Metadata
servers.  This list may or may not overlap with the I/O server list.

* Enter hostnames [Default is localhost]: perahpc

Configured a total of 1 servers:
1 of them are I/O servers.
1 of them are Metadata servers.

* Would you like to verify server list (y/n) [Default is n]?

Writing fs config file... done  //问题首先出现在这个地方，文档上写着，配置文件生成之后，最后一行回显应该为：‘Configuration complete!’
[root@perahpc usr]#

4.
剩下的配置完全按照quickstart的步骤进行

5.测试
[root@perahpc usr]# pvfs2-ping -m /mnt/pvfs2/

(1) Parsing tab file...

(2) Initializing system interface...

(3) Initializing each file system found in tab file: /etc/fstab...

   PVFS2 servers: ib://perahpc:3335
   Storage name: pvfs2-fs
   Local mount point: /mnt/pvfs2
[E 21:31:32.925688] PVFS_isys_fs_add: Failed to initialize any appropriate BMI methods for addresses:
[E 21:31:32.925813]     ib://perahpc:3335
[E 21:31:32.925868] PVFS_isys_fs_add call: Protocol not available
   /mnt/pvfs2: FAILURE!

Failure: could not initialze at least one of the target file systems.

(4) Searching for /mnt/pvfs2/ in pvfstab...
[E 21:31:32.926001] Error: /mnt/pvfs2// resides on a PVFS2 file system that has not yet been initialized.
Failure: could not find filesystem for /mnt/pvfs2/ in pvfs2tab /etc/fstab
Entry 0: /mnt/pvfs2


小弟接触linux和并行文件系统的时间很短，但是手头的项目很急，请大家帮忙看看应该怎么解决，多谢了！！！

[ 本帖最后由 bigkevinwong 于 2008-12-23 13:18 编辑 ]

kns1024wh

你要实现的管理目标是什么

bigkevinwong

我们使用Rocks的目的是方便管理，毕竟我对linux不是很熟悉，rocks管理起来很方便，不用做太多改动。
现在就是想在rocks上面把PVFS2跑起来，可是安装的过程出了问题。请帮忙看看是哪里的问题，多谢啦！！！

[ 本帖最后由 bigkevinwong 于 2008-12-23 13:10 编辑 ]

wysilly

# ldd $(which pvfs2-client)
信息.

bigkevinwong

[root@n-0-0 ~]# lld $(which pvfs2-client)
/usr/bin/which: no pvfs2-client in (/usr/kerberos/sbin:/usr/kerberos/bin:/usr/java/latest/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/ganglia/bin:/opt/ganglia/sbin:/opt/rocks/bin:/opt/rocks/sbin:/root/bin)
-bash: lld: command not found


是不是代表pvfs2－client没有运行起来？应该怎么处理呢？

HenrySmith

楼主，我最近也在rocks上搞pvfs，想咨询你几个问题：

1. rocks本身已经把home目录建在主节点的/export下了，并且共享出去，用了pvfs后，是不是要用pvfs io节点共享出来的空间来替换/export，并把automount停掉？还是仅仅把pvfs 的mount点设置到每个计算节点的/scratch目录下？ NFS那一套rocks缺省都有了，是不是全部取消？

2. 我rocks 5.0上用pvfs roll，在安装pvfs io节点的时候，发现IO节点无法安装，报错：error partitioning....

3. meta server 和io server是可以合用一个服务器的，但是似乎用pvfs roll安装，两个要用2台独立服务器？

4. 如果以后扩展IO节点数量，是不是要整个集群重装？

5. 如果任意一个IO节点崩溃，是不是没有冗余机制，要集群重装？

bigkevinwong

1.pvfs2我也正在研究中，具体的原理我也是一头雾水。 但是你要是使用rocks提供的pvfs roll进行安装的话，问题就简单多了。只要pvfs roll安装正确，挂载的事情都会自动搞定。
pvfs roll的安装顺序为：
  a.在frontend上安装pvfs roll
   b.在frontend上  #insert-ethers ，模版里面会多了几个选项：pvfs2 IO node、pvfs2 IO&compute node(记忆中是叫这个名字)，如果你的IO server不是专用的存储节点的话可以选择后者。
  c.网络启动要部署的节点，像部署新节点一样。
2.安装上面的安装顺序应该不会遇到这个错误。
3.pvfs roll 默认配置里，meta server不能做为IO server。
4.添加IO节点只要在frontend上insert一个IO node就可以了
5.可以增加一个metaserver做备份，并在每个IO 节点上使用raid5

HenrySmith

1. pvfs mount 到/mnt/pvfs2，这个空间用于放置什么数据呢？是不是把共享程序全部从/share/apps下面改到/mnt/pvfs2？我就是没搞明白怎么利用这个空间，是不是把用户home directory全部放到/mnt/pvfs2上？

2. 一个IO节点起不来，应该整个pvfs的数据就无法读写，所以光备份metaserver是没用的啊。

3. 增加IO节点的时候，是不是要整个pvfs系统重建？数据能自动往新的IO上写吗？不会影响原有数据吗？

wysilly

出现这个PVFS_isys_fs_add: Failed to initialize any appropriate BMI methods for addresses:提示,多为ib支持没有正常编译.
另外是
ldd $(which pvfs2-client)

不是lld.要看的就是是否正常编译了软件.