请教 PVFS2 segementation fault 问题！

jiangyi_hust

之前使用pvfs2 没有问题，但是在为了使用外置存储，调整本地存储挂载点，重新安装一次之后，出现如下的segementation fault的问题。请大侠们帮忙！

**********************************************************************
        Welcome to the PVFS2 Configuration Generator:

This interactive script will generate configuration files suitable
for use with a new PVFS2 file system.  Please see the PVFS2 quickstart
guide for details.

**********************************************************************

You must first select the network protocol that your file system will use.
The only currently supported options are "tcp", "gm", and "ib".
(For multi-homed configurations, use e.g. "ib,tcp".)

* Enter protocol type [Default is tcp]:

Choose a TCP/IP port for the servers to listen on.  Note that this
script assumes that all servers will use the same port number.

* Enter port number [Default is 3334]:

Next you must list the hostnames of the machines that will act as
I/O servers.  Acceptable syntax is "node1, node2, ..." or "node{#-#,#,#}".

* Enter hostnames [Default is localhost]: 174.19.234.2,174.19.234.3,174.19.234.4,174.19.234.5

Now list the hostnames of the machines that will act as Metadata
servers.  This list may or may not overlap with the I/O server list.

* Enter hostnames [Default is localhost]: 174.19.234.2,174.19.234.3,174.19.234.4,174.19.234.5

Configured a total of 4 servers:
4 of them are I/O servers.
4 of them are Metadata servers.

* Would you like to verify server list (y/n) [Default is n]? y

****** I/O servers:
tcp://174.19.234.2:3334
tcp://174.19.234.3:3334
tcp://174.19.234.4:3334
tcp://174.19.234.5:3334

****** Metadata servers:
tcp://174.19.234.2:3334
tcp://174.19.234.3:3334
tcp://174.19.234.4:3334
tcp://174.19.234.5:3334

* Does this look ok (y/n) [Default is y]? y

Choose a file for each server to write log messages to.

* Enter log file location [Default is /tmp/pvfs2-server.log]:

Choose a directory for each server to store data in.

* Enter directory name: [Default is /pvfs2-storage-space]: /mnt/pvfs2

Writing fs config file... Done.
Writing 4 server config file(s)... Done.
Segmentation fault

请高手指导

jiangyi_hust

where is nntp?

nntp

where is your details?

jiangyi_hust

4 IO server
4 pvfs2 client
OS:SuSE EL 9
kernel:2.6.5-7.191

在每台IO server上配置
#cd /usr/src/
#tar zxvf pvfs2-1.4.0.tar.gz
#cd pvfs2-1.4.0
#./configure --disable-kernel-aio --with-kernel=/usr/src/linux-2.6.5-7.191
#make
#make install

#pvfs2-genconfig /etc/pvfs2-fs.conf /etc/pvfs2-server.conf
配置最后一步，出 segmentation fault 错!重启后试过几次，仍然出错。无法定位问题，请高手帮忙

help
thx

[ 本帖最后由 jiangyi_hust 于 2006-7-13 16:25 编辑 ]

nntp

segfault 一般是程序自身的问题，并和这个程序运行需要的环境也有关系. 配置最后出错，service还没有起来所以debug也无法enable.

个人建议:

1. change OS to RHEL4 (just have a try) with NXbit & SELinux disabled.(just for troubleshooting)
2. try latest pvfs2 1.5.1
3. carefully check your gcc, glibc, pthread environment ensure that are all ok.
4. try to log something when re-produce the issue.

jiangyi_hust

Thanks for nntp's help!
The problem is fixed!

nntp

and the issue and problem is ?

jiangyi_hust

use the PVFS2 release 1.5.1 and change the OS.

安装操作系统的时候使用的是安装服务器，在安装过程中可能有些包没有装好，安装完成后服务器的名字显示的是linux，也有none的。
在重新安装后名字显示是所要求的名字。
所以估计问题是OS的问题。之前使用的是PVFS2 1.4.0

jiangyi_hust

请问nntp 在不考虑单点故障的情况下，pvfs2能否使用在流媒体环境中。
pvfs2的条带化的读写方式 与流媒体的应用 配合起来是否在性能上有不合拍的地方？！

我觉得搞清这个问题的前提是需要搞清楚 流媒体请求对文件的读写方式是怎样的
请关注！

nntp

涉及到performance benchmark的问题，就是一个头大的问题，因为要测试的可能组合非常多，configure和tuning的组合也很多，这样两个一对上，排出来的测试排列组合和结果也爆多。

我个人觉得pvfs2不适合流媒体环境，讨论RAID性能的时候，因为是在一个disk system上面，通过利用SCSI 技术优势，stripe程度越高，对于流媒体(大文件，顺序读)服务的性能提高就越大.  但是 pvfs2 是跨物理主机的文件系统，文件跨主机之后(striped)，读开销不但要算上涉及这个文件的单个host上的disk I/O 开销，还有host/host之间的通信开销. 虽然一个大文件(比如4GB media file)因stripe多个host得到了并发操作的好处，他的开销也同时提高了.

LVS+dedicated media server+centralized high performance storage 的方案要比  multi-clients(media service system)+pvfs2 cluster+low end host based storage的方案好很多.

举例来说，如果是对应流媒体应用,  4个服务器作LVS 分掉client 的压力,用一个高性能的FC SAN来集中存储. 要比多client(media service system) 直接访问pvfs2 cluster获得媒体服务要好很多.

这是我个人意见，说得比较粗略，需要针对具体的benchmark需求做实际的具体的评估工作才能精确得到一个结果.

正常的流媒体应用应该都是大文件/顺序读行为.