NFS、PVFS和Lustre文件系统的安装和性能评测

jimsong

    如今，面向网络的计算环境需要一种高性能、网络化的文件系统，这种文件系统既可满足个人的存储需求又可满足集群系统的文件共享需求。在实际应用中，NFS、PVFS文件系统越来越不能满足大规模计算需求。Lustre是一种高性能并行文件系统，它克服了传统分布式文件系统中性能低、可靠性差、规模小等问题。现通过在同一环境下分别安装NFS、PVFS和Lustre文件系统，然后评测它们的性能。其中在不同系统下的安装方法是不同的，在redhat下可通过rpm来安装，比较简单；在ubuntu下则有点复杂。
    一：NFS PVFS Lustre安装和配置

        1.NFS
l        安装
服务器端：
apt-get install portmap
apt-get install nfs-user-server
apt-get install nfs-kernel-server
客户端：
apt-get install nfs-common
启动nfs服务
/etc/init.d/portmap start
/etc/init.d/nfs-user-server start
/etc/init.d/nfs-kernel-server start
l        配置
服务器端：
#vi /etc/exports输入允许被访问的IP地址及有关权限
客户端：
#vi /etc/fstab输入要访问的IP地址

2.PVFS
l        安装
下载Berkeley DB(version 3 or 4)
aio support(provided by glibc and librt)
gcc 2.96 or newer
从PVFS官网下载PVFS-2.7.1.tar.gz软件包，然后解压，进入PVFS-2.7.1目录中，用命令./configure，make，make install完成安装。
注意：在安装PVFS软件包时首先可查看以下系统中是否已经安装过数据库和glibc，gcc编译器的版本是否大于或等于2.96。如果已经安装好再去安装PVFS，在实际的安装过程中，有可能会出现无法找到DB library，这说明你虽然安装db-xx.tar.gz，但是没安装db-devel-xx.rpm。PVFS安装手册要求安装GNU，但可以不安装。
l        配置
服务器端：#/usr/bin/pvfs2-genconfig /etc/pvfs2-fs.conf
       启动服务器：#/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf –f
                             #/usr/sbin/pvfs2-server /etc/pvfs2-fs.conf
                             #/etc/rc.d/init.d/pvfs2-server start
       客户端：#mkdir /mnt/pvfs2
                      #touch /etc/pvfs2tab
                      #chmod a+r /etc/pvfs2tab
       测试：./pvfs2-ping –m /mnt/pvfs2
注意：在实际的安装中，PVFS被安装在/usr/local目录下。其中pvfs2- genconfig在/usr/local/bin中，pvfs2-server在/usr/local/sbin中。所以上面的目录对于有些机器是不一样的，在使用中可以去除目录直接使用命令即可。pvfs2-genconfig命令可产生配置文件，其中有host name，local name两项，要输入服务器和客户端的别名而不是IP地址。

3.Lustre(1)   下载给内核打补丁的工具quilt-0.46,用命令#apt-get install quilt-0.46(2)  给Linux内核打上Lustre补丁,用命令#apt-get install linux-patch-lustre(3)下载Linux源代码,用命令#apt-get install linux-source-2.6.18(4)对linux-source-2.6.18.tar.gz解压，进入linux-source-2.6.18的目录中进行编译：用make clean，make mrproper，make menuconfig。(5)#make-kpkg clean；#make-kpkg--added-patches=lustre--initrd--append-to-version"-quota-enabled-lustre-1.6.4.1" --revision credativ.1 kernel_image(6)#dpkg –i *.deb(7) 重新选内核，reboot(8)#apt-get install dpatch(9)#m-a auto-install lustre(10)#apt-get install luster-utils(11)#modprobe lnet 'network="tcp0(eth0)"'；#modprobe lustre；     #modprobe ldiskfs。二：用iozone测试性能1：I/O性能：在写性能上：NFS、PVFS差别不是很大；Lustre比它们平均性能提高了20%～30%。
在读性能上：PVFS比NFS平均性能提高了15%左右；Lustre比PVFS平均性能提高了10%左右；Lustre比NFS提高了20%～30%。  2：扩展性：PVFS：静态配置，不能动态扩展
NFS 、Lustre：在线扩展 3：安全性：NFS：  “信任网络”
PVFS：数据无容错机制
Lustre：MDS、OST、Client构成高级安全框架


参考文献：
[1] Lustre1.6.x Operations Manual，Cluster File Systems, Inc, 2007
[2] Lustre A Scalable High-Performance File System，Cluster File Systems, Inc
[3] http://linux.chinaunix.net
[4] http://en.wikipedia.org/wiki/Lustre_(file_system)
[5] A Quick Start Guide to PVFS2, PVFS2 Development Team,2008



本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/73287/showart_1085546.html